Rezultati raziskav: neponovljivi ali ponarejeni?

12.10.2015 / 06:08 Komentiraj
S ponarejenimi rezultati in izogibanjem objavam z negativnimi se bo znanost — tudi ekonomija — samodiskreditirala.
NAROČI SE PRIJAVI SE

Zadeva je znana že s področja psihologije in medicine, pa tudi klimatskih sprememb in drugih. Gre za to, da večine rezultatov znanstvenih raziskav, objavljenih v najboljših akademskih revijah, ni mogoče reproducirati.

Ali drugače rečeno, če ponovite poskus ali empirično ocenite neke podatke z natanko isto metodo, kot so jo uporabili avtorji objavljene raziskave, ne boste dobili enakih rezultatov.

V nemškem Bayerju so denimo poskusili ponoviti rezultate objavljenih raziskav, vendar jim je uspelo reproducirati samo 14 od 67. V Amgenu so poskusili reproducirati rezultate 53 študij s področja raziskav raka, opravljenih v priznanih laboratorijih in objavljenih v top akademskih revijah. Toda uspeh je bil še skromnejši: uspelo jim je ponoviti rezultate samo v šestih primerih od 53. V ekperimentalni psihologiji je bilo to razmerje 1:3.

Zdaj pa še v ekonomiji

No, zdaj so to isto zadevo (ponovno) odkrili tudi na področju ekonomije. Andrew Chang in Phillip Li iz ameriškega FED-a sta ta teden objavila raziskavo, v kateri sta poskušala replicirati rezultate 67 ekonomskih raziskav, objavljenih v 13 top akademskih revijah. Pri tem sta uporabila tako originalne podatke kot ekonometrično kodo avtorjev člankov.

V 22 primerih — torej v tretjini — jima je uspelo replicirati rezultate brez pomoči prvotnih avtorjev, še v sedmih drugih primerih pa jima je uspelo samo s pomočjo inštrukcij prvotnih avtorjev. Skupaj jima je torej uspelo replicirati rezultate v manj kot polovici primerov, pa čeprav so bili na voljo originalni podatki in originalna ekonometrična koda. Na podlagi sta prišla do sklepa, da ekonomske raziskave večinoma niso replikabilne.

Problem

Neponovljivost znanstvenih rezultatov je seveda hud problem. Po eni strani vzbuja dvom v splošno veljavnost in nepristranskost znanstvenih rezultatov. Na drugi strani pa — vsaj v primeru ekonomije — poraja dvom v učinkovitost ukrepov ekonomske politike od financ in sociale pa do trga dela. Ukrepi lahko temeljijo na raziskavi, ki je lahko že jutri ovržena zaradi, hm, neponovljivosti, če se milo izrazim.

Toda to, da velikega dela ugotovitev empiričnih raziskav ni mogoče uspešno ponoviti, ni največji problem. Temu se je mogoče v precejšnji meri izogniti z izboljšanjem standardov v znanstvenih revijah — recimo z zahtevo, da morajo biti ob objavi priloženi tudi podatki in koda.

Takšno politiko je leta 2004 uvedel Ben Bernanke, ko je bil urednik prestižne American Economic Review. Temu so nato sledile tudi Econometrica, Journal of Political Economy in druge revije. To sicer ni povsem rešilo problema, saj avtorji dajo na voljo običajno transformirane podatke, ki pa so lahko že ustrezno izkrivljeni. Treba bi bilo dati na voljo originalne podatke in kodo za njihovo obdelavo. Prav tako bi moral uredniški odbor na podlagi priloženih podatkov in kode še pred objavo preveriti, ali je rezultate mogoče replicirati ali ne.

Še hujši problem: “pozitivnost”

Verjamem, da se bodo po teh razkritjih in razkritjih načrtnih znanstvenih prevar izoblikovale ustrezne metode preprečevanja takih praks in posledično tudi nova etika raziskovalcev.

Toda še večji problem vidim drugje. Uredniška politika večine znanstvenih revij je objavljanje samo tistih znanstvenih člankov s “pozitivnimi rezultati” — torej člankov, ki jim hipotezo ali nek pričakovan rezultat uspe potrditi. Uredniki revij zelo neradi objavljajo članke, ki zavračajo določene hipoteze. Članki z negativnimi rezultati so praktično neobjavljivi.

Še huje je tam, kjer raziskave financira industrija, ki je seveda zainteresirana zgolj za pozitivne rezultate. Ta pojav se imenuje “positive bias” oziroma “pozitivna pristranskost“.

Samocenzura

Zaradi te pristranskosti revij se je med nami znanstveniki oblikoval temu primeren način raziskovanja in samocenzure. Iščemo zgolj pozitivne rezultate. Če ne dobimo pozitivnih rezultatov, vržemo nedokončan projekt (članek) v smeti, saj takšnega članka skorajda ni mogoče objaviti.

Še večji problem je, če so znanstveniki odvisni od zasebnih virov financiranja njihovih raziskav: pritok raziskovalnega denarja je namreč odvisen od zadovoljstva zasebnih lastnikov s “pozitivnostjo” rezultatov.

TTIP

Toda za javnost, industrijo in ekonomsko politiko bi bile raziskave z dokazanimi negativnimi rezultati bistveno bolj pomembne kot peščica člankov, ki potrjuje pričakovane hipotetične rezultate. Za družbo bi bilo bistveno bolj pomembno vedeti, katera zdravila ne delujejo, kot pa to, v katerih primerih nekatera zdravila delujejo v določenem segmentu.

Če kot primer vzamem našo študijo učinkov sporazuma TTIP na slovensko gospodarstvo, je za družbo denimo bistveno bolj pomembno vedeti, da nek trgovinski sporazum ne bo imel pozitivnih učinkov na domače gospodarstvo, kot pa če takšna študija ne bi ugledala luči sveta, ker so rezultati drugačni od pričakovanih.

Novi standardi

Akademske revije bodo torej morale sprejeti nove standarde glede objavljanja člankov. Standarde, ki bodo zmanjšali možnost objav “ponarejenih” (neponovljivih) rezultatov, in standarde, ki bodo spodbujali tudi objavo člankov z negativnimi rezultati.

Na drugi strani pa bodo v razvitih državah morali razmisliti o večjem deležu javnega financiranja znanstvenih raziskav. V nasprotnem primeru se bo znanost samodiskreditirala.


OpombaTekst je bil objavljen v petek, 9. oktobra 2015, na avtorjevi spletni strani Damijan blog pod naslovom Večine rezultatov (ekonomskih) raziskav ni mogoče ponoviti. Tekst na Fokuspokusu je editiran. Objavljeno v dogovoru z avtorjem.

FOKUSPOKUS

Naročite se za 1 leto € 20,99


Z nakupom naročnine boste odklenili dostop do vseh vsebin za 12 mesecev od dneva sklenitve naročnine.


Naročilo poteka v Večerovi spletni trgovini.

Vstopite v trgovino...


Za pomoč in vprašanja nam pišite na suport@fokuspokus.si
Vam je potekla naročnina? Samo 20,99€ za 12 mesecev. NAROČI SE