Mintaméret és statisztikai szignifikancia: mit jelent a p-érték, és mit nem

A tudományos híreket böngészve lépten-nyomon találkozunk a kifejezéssel: „statisztikailag szignifikáns eredményt kaptak a kutatók”. A köznyelvi használatban a szignifikáns szót a fontos, jelentős vagy áttörő szinonimájaként értelmezik. A statisztikában és a kutatásmódszertanban azonban a szignifikancia egy szigorúan matematikai fogalom, amely önmagában sem a felfedezés fontosságát, sem annak gyakorlati hasznát nem garantálja.

A szignifikanciavizsgálatok középpontjában évtizedek óta az úgynevezett p-érték áll. Mivel a p-érték körüli téves értelmezések szisztematikus hibákhoz és a kutatások reprodukciós válságához vezettek, az Amerikai Statisztikai Társaság (American Statistical Association, ASA) 2016-ban egy mérföldkőnek számító hivatalos állásfoglalást adott ki a p-érték helyes használatáról és korlátairól.

Ahhoz, hogy tudatosan olvashassuk a kutatási híreket, meg kell értenünk a mintaméret szerepét, a p-érték pontos szakmai jelentését és a hatásméret fontosságát.

Mi a p-érték pontos jelentése?

A kutatók a kísérletek során általában felállítanak egy úgynevezett nullhipotézist ($H_0$). Ez a kiindulási feltételezés azt mondja ki, hogy a vizsgált beavatkozásnak nincs hatása, a két csoport között nincs különbség, vagy a két tényező független egymástól.

A p-érték nem más, mint annak a valószínűsége, hogy amennyiben a nullhipotézis tökéletesen igaz, a megfigyelt adatokat – vagy azoknál még szélsőségesebb eltérést – pusztán a véletlen ingadozás (mintavételi hiba) folytán kapnánk meg.

Hagyományosan a $p < 0,05$ küszöbértéket használják a tudományos publikációkban. Ez azt jelentene, hogy ha a nullhipotézis igaz lenne, kevesebb mint 5% valószínűséggel kapnánk ilyen vagy ennél eltoltabb adatokat pusztán a véletlen folytán. Ha a p-érték kisebb mint 0,05, a kutatók elvetik a nullhipotézist, és az eredményt statisztikailag szignifikánsnak nyilvánítják.

Mit NEM jelent a p-érték? Az ASA hat alapprocellája

Az Amerikai Statisztikai Társaság állásfoglalása hat kulcsfontosságú elvet rögzített, amelyeket minden forráskritikus olvasónak érdemes ismernie:

1. A p-érték azt mutatja meg, mennyire összeférhetetlenek az adatok egy adott statisztikai modellel. A p-érték a meglévő adatok és a nullhipotézis közötti feszültséget méri, nem pedig a fizikai valóság végső bizonyítéka.
2. A p-érték NEM méri annak valószínűségét, hogy a vizsgált hipotézis igaz-e. A $p = 0,03$ nem jelenti azt, hogy 97% a valószínűsége a hipotézis helyességének, és nem jelenti azt sem, hogy az adatokat 3% eséllyel generálta a véletlen.
3. A tudományos következtetéseket és döntéseket nem szabad pusztán arra alapozni, hogy a p-érték átlép-e egy mesterséges küszöbértéket ($p < 0,05$). A dichotóm gondolkodás („szignifikáns” vs. „nem szignifikáns”) félrevezető. Egy $p = 0,049$ és egy $p = 0,051$ közötti különbség gyakorlatilag elhanyagolható, mégis az egyiket publikálják, a másikat gyakran elutasítják.
4. A megfelelő statisztikai következtetéshez teljes átláthatóságra és hiánytalan adatközlésre van szükség. A kutatóknak be kell számolniuk az összes elvégzett elemzésről, elkerülve az adatbányászatot (p-hacking) vagy a hipotézisek utólagos felállítását (HARKing).
5. A p-érték vagy a statisztikai szignifikancia NEM méri a hatás nagyságát vagy az eredmény gyakorlati fontosságát. Egy rendkívül kicsi p-érték ($p < 0,001$) társulhat egy olyan minimális elmozduláshoz is, aminek a klinikai vagy mindennapi életben semmilyen jelentősége nincs.
6. Önmagában a p-érték nem nyújt jó mértéket a modellre vonatkozó bizonyítékokról. A p-érték kontextus nélkül hiányos; függ a mintamérettől, a mérés szórásától és a kísérleti elrendezéstől.

A mintaméret és a statisztikai erő hatása

A p-érték nagysága két alapvető tényezőtől függ: a hatás tényleges nagyságától és a kísérletben részt vevő alanyok számától ($N$).

• Kis mintaméret ($N = 10-20$): Ha a kísérletben kevés alany vesz részt, a statisztikai erő (statistical power) alacsony. Ilyenkor még egy valós, közepes nagyságú hatás sem tudja átlépni a $p < 0,05$ küszöbértéket, vagyis tévesen elvethetünk egy működő elméletet (másodfajú hiba). Másrészről a kis mintán kapott szignifikáns eredmények gyakran felülbecsülik a hatás nagyságát.
• Óriási mintaméret ($N = 500 000$): Hatalmas adatbázisok elemzésekor a legkisebb, gyakorlatilag elhanyagolható eltérés is rendkívül apró p-értéket ($p < 0,0001$) eredményez. Ha egy százezer fős vizsgálat kimutatja, hogy egy diéta hatására a vérnyomás átlagosan 0.2 Hgmm-rel csökken, az statisztikailag szignifikáns lesz, de klinikai szempontból teljesen hatástalan.

Torzító eljárások: P-hacking és HARKing

A publikációs kényszer (“publish or perish”) miatti torzítások két visszatérő formában jelentkeznek a kutatási gyakorlatban:

• P-hacking (Adatbányászat a szignifikanciáért): Amikor a kutatók addig gyűjtenek újabb alanyokat, zárnak ki adatpontokat, változtatnak a statisztikai teszteken vagy tesztelnek tucatnyi alcsoportot, amíg valamelyik kombinációban végül meg nem jelenik a vágyott $p < 0,05$. Ha húsz független tesztet végzünk el tisztán véletlenszerű adatokon, átlagosan egy teszt pusztán a véletlen folytán szignifikáns eredményt fog adni.
• HARKing (Hypothesizing After Results are Known): Amikor a kutatók az adatgyűjtés után, a meglévő szignifikáns korrelációk ismeretében fogalmazzák meg a kiindulási hipotézist, mintha azt már a kísérlet előtt eltervezték volna.

A hatásméret és a konfidenciaintervallum fontossága

A modern forráskritikus tudományos elemzés éppen ezért a p-érték helyett két másik mutatóra helyezi a hangsúlyt:

1. Hatásméret (Effect Size): Ez a mutató (például Cohen-féle $d$, relatív kockázat vagy odds ratio) közvetlenül megmutatja a beavatkozás által kiváltott változás nagyságát. Ez ad választ arra a kérdésre: Mekkora a különbség a gyakorlatban?
2. Konfidenciaintervallum (Confidence Interval, CI): A 95%-os konfidenciaintervallum megadja azt a tartományt, amelyen belül a valódi populációs érték 95%-os valószínűséggel elhelyezkedik. Ha a konfidenciaintervallum szűk, a becslésünk pontos; ha kifejezetten széles, az adatok még bizonytalanok.

Tanulságok a hírolvasó számára

Amikor egy tudományos hírben azt olvassuk, hogy egy kezelés vagy módszer „statisztikailag szignifikáns javulást hozott”, ne érjük be ennyivel. Keressük meg a válaszokat az alábbi három kérdésre:

• Hány alanyon (mekkora mintán) végezték el a vizsgálatot?
• Mekkora volt a tényleges hatásméret, vagyis a számszerű eltérés a csoportok között?
• Rendelkezésre áll-e a 95%-os konfidenciaintervallum a becslés bizonytalanságának megítéléséhez?

Ha ezek a mutatók hiányoznak, és csupán a $p < 0,05$ varázsigére támaszkodik a beszámoló, a hírt kezeljük fenntartásokkal.