Je těžké argumentovat proti síle vědy. Od studií, které hodnotí nejnovější dietní trend, až po experimenty, které osvětlují prediktory štěstí, lidé stále častěji zkoumají vědecké výsledky jako konkrétní a spolehlivá fakta, která mohou řídit, jak myslíme a jednáme.
Související obsah
- Vědci replikovali 100 psychologických studií a méně než polovina dosáhla stejných výsledků
Ale v posledních několika letech začal rostoucí kontingent vědců zpochybňovat akceptovanou pravdivost publikovaného výzkumu - i poté, co byl odstraněn překážky vzájemného hodnocení a objevuje se v široce respektovaných časopisech. Problémem je všudypřítomná neschopnost replikovat velkou část výsledků napříč mnoha disciplínami.
Například v roce 2005 použil John Ioannidis, profesor medicíny na Stanfordské univerzitě, několik simulací, aby ukázal, že vědecká tvrzení jsou pravděpodobně nepravdivější než pravdivá. A toto minulé léto se Brian Nosek, profesor psychologie na University of Virginia, pokusil zopakovat nálezy ze 100 psychologických studií a zjistil, že pouze 39 procent výsledků se podrobilo přísnému opětovnému testování.
"Existuje několik důkazních linií, teoretických i empirických, které začaly zpochybňovat reprodukovatelnost podstatné části vědecké literatury, " říká Ioannidis. "Dostáváme miliony papírů, které nikam nevedou."
Tato předběžná zjištění vedla k vytvoření zcela nového oboru zvaného meta-výzkum - vědecké studium vědy.
Tento týden, biologické rameno Veřejné knihovny vědy (PLOS), neziskové vydavatelské a advokátní organizace, spustilo novou sekci věnovanou výhradně meta-výzkumu. Sekce se bude zabývat otázkami, jako je transparentnost ve výzkumu, metodické standardy, zdroje zkreslení, sdílení údajů, financování a struktur pobídek.
K zahájení věcí Ioannidis a jeho kolegové vyhodnotili náhodný vzorek 441 biomedicínských článků publikovaných v letech 2000 až 2014. Ověřili, zda tyto dokumenty poskytovaly veřejný přístup k prvotním datům a experimentální protokoly, zda se replikovaly v následných studiích, zda byly jejich výsledky začleněny do systematických revize předmětové oblasti a zahrnutá dokumentace zdrojů financování a dalších potenciálních střetů zájmů.
Jejich výsledky byly přinejmenším znepokojující. Například pouze jedna studie poskytla úplné experimentální protokoly a nulové studie poskytovaly přímo dostupná prvotní data.
"Jsou to dva základní pilíře reprodukovatelnosti, " říká Ioannidis. „Pokud nejsou k dispozici data a úplný protokol, nikdo nemůže nic reprodukovat.“ Koneckonců, bez těchto klíčových informací, jak může jiný tým přesně vědět, co dělat a jak se jejich výsledky liší od výsledků v původním experimentu?
Tým také zjistil, že nároky pouhých osmi sledovaných článků byly později potvrzeny následnými studiemi. A přestože mnoho studií tvrdilo, že mají nová zjištění, výsledky pouhých 16 článků byly zahrnuty do pozdějších přehledových článků, které slouží jako lakmusový test skutečného dopadu studie na konkrétní téma.
"Čísla, která dostaneme, jsou velmi děsivá, " říká Ioannidis. "Ale můžete to vidět jako základní linii, kde jsme nyní, a existuje spousta prostoru pro zlepšení."
Ne všechny výsledky však byly odrazující. Procento článků bez střetu zájmů se snížilo z 94, 4% v roce 2000 na 34, 6% v roce 2014 - pravděpodobně v důsledku rostoucího povědomí o škodlivých dopadech zkreslení na výsledky výzkumu.
Ve druhé meta-výzkumné studii německý tým analyzoval, jak může ztráta zvířat během předklinických studií přispět k rozšířené neschopnosti převést laboratorní nálezy do užitečných klinických léků.
Výzkumná zvířata by mohla ze studie zmizet náhodně - například proto, že zvíře zemřelo - nebo jemně předpojatými akcemi, jako by byla odstraněna z pokusu, aby se vyloučila data, která podkopává očekávané výsledky. Tým ukázal, že neobjektivní odstranění zvířecích subjektů může vést ke zkreslení výsledků a výrazně zvýšit pravděpodobnost falešně pozitivního - když se předpokládá, že nový lék funguje, ale ve skutečnosti to tak není.
V samostatné analýze předklinických studií na mozkové mrtvici a rakovině zjistili stejní vědci, že většina článků adekvátně nenahlásila ztrátu zvířat, a že pozitivní účinky mnoha testovaných léčiv mohou být značně nadhodnoceny.
Proč se tedy tato krize transparentnosti a reprodukovatelnosti děje na prvním místě?
I když některé problémy mohou spočívat ve vědomých nebo nevědomých výzkumných předpojatostech, je pravděpodobné, že většina studií, které se dostanou k publikaci, je vzhledem ke stávající motivační struktuře ve vědě jediná svého druhu.
V krutém světě akademie je hlavní mírou úspěchu počet studií, které výzkumník získává v prestižních časopisech. V důsledku toho jsou vědci pod tlakem, aby většinu času strávili získáváním průlomových výsledků, které budou pravděpodobně zveřejněny.
„I když si ceníme reprodukovatelnosti v konceptu, v praxi si to opravdu neuvědomujeme, “ říká Nosek, který je také společným ředitelem Centra pro otevřenou vědu, neziskového technologického startupu, který podporuje průhlednost a reprodukovatelnost ve vědeckém výzkumu.
"Skutečnými pobídkami, které vedou mé chování vědce, jsou inovace, nové objevy a nové základy - neopakovat to, co udělali ostatní." To je nudná část vědy. “
Vědci také vidí jen málo pobídek k tomu, aby poskytovali informace nezbytné pro replikaci jejich práce, což je jeden z hlavních důvodů, proč tvrzení tolika studií zůstávají neověřená.
"Nejsem odměněn za zpřístupnění svých dat ani za zpřesnění mé metodologie v hloubce, která je nezbytná k tomu, abychom se dostali do publikace, " říká Nosek.
Mnoho časopisů žádá vědce, aby poskytli podrobné vysvětlení svých metod a sdílení dat, ale tyto zásady jsou zřídka prosazovány a neexistují žádné univerzální publikační standardy.
"Kdybych věděl, že na silnicích nikdy nebudou žádní policajti, vždy bych se držel rychlostního limitu?" Ne - je to lidská přirozenost, “říká Ivan Oransky, spoluzakladatel Retraction Watch, organizace, která podporuje odpovědnost a transparentnost sledováním stažení ve vědecké literatuře. "Pokud víte, že vás nikdo nebude sankcionovat, nebudete sdílet data."
Vědci, kteří chtějí provádět replikační práci a jsou schopni získat experimentální podrobnosti, pak pravděpodobně nebudou moci získat financování od veřejných agentur, jako je NIH, kteří primárně posuzují žádosti o udělení grantu na základě novosti a inovací.
"Šance jsou jasně proti replikaci, " říká Ioannidis.
To je místo, kde se může objevit nově vznikající oblast meta-výzkumu. Organizace, jako je Centrum pro otevřenou vědu a Meta-Research Innovation Center ve Stanfordu (METRICS), pracují na tom, aby pomohly sladit systém odměňování a stanovily přísné univerzální standardy, které budou povzbuzovat širší rozšíření. postupy transparentnosti a reprodukovatelnosti.
„Pokud by úroveň financování nebo propagace závisely na tom, co se stalo s vaším předchozím výzkumem - pokud by to bylo replikovatelné, kdyby to lidé mohli pochopit, kdyby to lidé mohli přeložit do něčeho užitečného, ne jen na kolik příspěvků jste publikovali - to by velmi silná pobídka ke změně výzkumu, aby se stala více reprodukovatelnou, “říká Ioannidis, který je společným ředitelem METRICS.
"Doufám, že se tyto ukazatele zlepší, " dodává. "A pro některé z nich není jiná možnost než jít nahoru, protože začínáme od nuly."
