Članak objašnjava zašto neuspeh u odbacivanju nulte hipoteze ne znači da je ona tačna, već da su podaci neodlučni. Zbog prirode statističkog testiranja i težnje časopisa za "novim" rezultatima, postoji sklonost ka objavljivanju studija koje odbacuju nultu hipotezu (pozitivni publikacioni bias). Ako se statistika koristi savesno, takva urednička selekcija može povećati udio stvarnih otkrića među objavljenim radovima, ali zloupotrebe dizajna i analiza i dalje predstavljaju ozbiljan rizik.
„Nedostatak dokaza nije dokaz odsustva“ — zašto časopisi češće objavljuju 'pozitivne' studije
Da li treba verovati rezultatima naučnih studija? U vremenu kada poverenje javnosti u nauku varira, stari i ponekad pogrešno shvaćeni argumenti o dokazima ponovo stvaraju zabunu.
Kao statističar koji se godinama bavi istraživanjima, znam koliko pažnje zahteva dizajn dobro osmišljene studije. Razumevanje šta rezultati stvarno znače — i šta ne znače — pomaže vam da bolje procenite vesti i tvrdnje na društvenim mrežama.
Od hipoteze do zaključka
Istraživač najpre postavlja hipotezu: primerice, da li određene mutacije u BRCA genima povećavaju rizik od raka dojke? Zatim se prikupljaju podaci i donosi se zaključak na osnovu unapred odabranog statističkog okvira.
U praksi se često koristi testiranje značajnosti nulte hipoteze. Istraživač formuliše nultu hipotezu (npr. nema povezanosti između BRCA mutacija i raka dojke) i potom proverava da li postoje dovoljni dokazi da se ta nulta hipoteza odbaci. Važno je: neuspeh u odbacivanju nulte hipoteze nije dokaz da je nulta hipoteza tačna — već znači da podaci u toj studiji nisu dovoljni da potvrde postojanje efekta.
Greške tipa I i tipa II
Ako istraživač odbaci nultu hipotezu kada je ona u stvarnosti tačna, radi se o grešci tipa I (lažno pozitivno). Ako ne uspe da odbaci nultu hipotezu kada ona zapravo nije tačna, to je greška tipa II (lažno negativno). Testiranje značajnosti je obično podešeno da ograniči grešku tipa I na unapred određen nivo, što može povećati rizik od greške tipa II.
Zašto časopisi favorizuju "pozitivne" studije
Kada autori pošalju rad za objavljivanje, urednici i recenzenti odlučuju koji radovi donose novinu i vrednost. U praksi postoji tendencija da se favorizuju studije koje odbacuju nultu hipotezu — to se naziva pozitivni publikacioni bias. Takav bias delimično nastaje zato što testiranje značajnosti nije dizajnirano da "dokaže" odsustvo efekta: neodlučni rezultati mogu delovati manje informativno i manje traženo.
Međutim, to nije nužno samo "loša nauka". Ako se statističke metode koriste savesno i transparentno, urednička selekcija radova koji pokazuju dokaze za efekat može povećati udio stvarnih otkrića među objavljenim radovima više nego udio lažnih pozitivnih nalaza. Bez ikakve selekcije, časopisi bi često bili preplavljeni studijama sa neodlučnim ili neinformativnim rezultatima.
Rizici zloupotrebe
S druge strane, ako istraživači paze samo na objavljivanje i manipulišu dizajnom, analizom ili prijavom rezultata (p-hacking, selekcija analiza, izostavljanje neuspešnih pokušaja), tada se stopa lažno pozitivnih nalaza može znatno povećati — i ta opasnost postoji nezavisno od uredničkog ponašanja.
Alternativni pristupi
Postoje i drugi pristupi koji mogu pomoći da se bolje razumeju "negativni" rezultati. Na primer, testovi ekvivalencije ili unapred definisane granice praktične neznatnosti omogućavaju da se izričito testira ideja da je efekat dovoljno mali da bude praktično bez značaja. Takvi dizajni zahtevaju jasne hipoteze i planiranje pre prikupljanja podataka.
Šta čitaoci treba da zapamte
Ne shvatajte neuspeh u odbacivanju nulte hipoteze kao dokaz da efekta nema. Obratite pažnju na dizajn studije, veličinu uzorka, kliničku ili praktičnu veličinu efekta i da li su korišćeni testovi koji ciljano ispituju odsustvo značajnog efekta. Kritičko razumevanje ovih elemenata pomoći će vam da bolje procenite naučne tvrdnje i preporuke.
Autor: Mark Louie Ramos (Penn State)
Pomozite nam da budemo bolji.
