pondělí 4. února 2013

DŮVĚŘUJ, ALE PROVĚŘUJ: aneb jak vědcům rozumět a kdy jim (ne)věřit

V tom, jak společnost přijímá či nepřijímá poznatky ze světa vědy, existuje řada nedorozumění (a problémů s tím spojených). Na jedné straně najdeme nepochopení a ignoraci nových poznatků, na druhé naopak zavádějící interpretace či nekritické přebírání všeho, co vědou jen trochu zavání. K příčinám nedorozumění patří jak nedostatky v komunikaci ze strany vědců, tak i poměrně nízká úroveň přírodovědného a technického vzdělání ve společnosti. Nízké je nicméně i povědomí o tom, že i ve vědě může docházet (a dochází) k chybám či dokonce k podvodům. A právě těchto dvou poněkud různorodých témat bych se chtěl dnes dotknout.

A protože tím konečně se zpožděním naplním kvótu příspěvků, která mi byla původně jako hostovi přidělena, chtěl bych se s vámi zároveň i rozloučit a Jiné právo přenechat opět komunitě, které primárně patří. Pro mě osobně bylo psaní sem moc zajímavá zkušenost a tak jen doufám, že něco bylo třeba přínosné i pro vás.



„Shakespeare vs Gauss“

V posledních týdnech jsem si často četl, jak bude budoucnost naší země ohrožena, když si zvolíme toho či onoho politika. Z toho strach opravdu nemám. Co mě naopak znepokojuje, je čtení o tom, jak se postupně propadáme v mezinárodních srovnání znalostí studentů základních a středních škol – a to zejména v matematice a přírodních vědách. Znepokojuje mě to nejen proto, že tím můžeme ztratit konkurenceschopnost v globální ekonomice, ale i proto, že dle mého názoru s tímto typem vzdělání souvisí i určité schopnosti logického uvažovaní a orientování se v moderním světě (i když je mi jasné, že JP asi není pro tyto názory zrovna ideálním fórem ;-)).

Samozřejmě příčin by se našlo mnoho, stejně jako možných způsobů řešení a nechci je tu rozebírat (snad jen se podělím o své zklamání z opuštění snahy zavést povinnou maturitu z matematiky).
Za hlavní problém však obecně považuji to, že matematické a přírodovědné vzdělání je stále v širší společnosti (nejen u nás) vnímáno jako něco exkluzivního, co je určeno jen pro úzkou skupinu „vyvolených“, ale u ostatních se neočekává. Pokud někdo prohlásí, že netuší, kdo byl Shakespeare, co bylo husitské hnutí, případně jak funguje shoda podmětu s přísudkem, je obvykle automaticky označen za nevzdělance a očekává se, že by se za to měl stydět. Na druhou stranu přiznání, že neví k čemu je Gaussovo rozdělení, co je to gen nebo neuron, případně jak funguje sčítání pravděpodobností, s podobným stigmatem spojeno není. Určité „celebrity“ se dokonce neváhají v televizi svou neznalostí „chlubit“. Přitom jsem opravdu přesvědčen, že ten druhý typ znalostí je pro současný život užitečnější, než ten první. Myslím, že společnosti, které si to uvědomí a dokáží toto vnímání změnit, budou mít v budoucnosti značnou výhodu. Samozřejmě, chápání vzdělanosti má své historické kořeny a nezmění se přes noc. Školy jsou však jedním z míst, kde by se myslím mělo začít.

„Dabování vědy“

Kromě škol představují další možnost jak načerpat informace z přírodovědného a technického prostředí média – ať už formou reportáží o nových poznatcích nebo prostřednictvím popularizačních knih a pořadů. Ty mají v ideálním případě jak zaujmout tak i poučit – a to formou sice přístupnou, ale zároveň takovou, že i odborníci poznají, že se hovoří o jejich oboru. Dodržet všechna tato kritéria není rozhodně jednoduché.

Je pravda, že vědci často buď neumí nebo dokonce odmítají svou práci vysvětlit v lépe pochopitelné formě. Není ale asi ani úplně fér to od nich očekávat – jejich hlavní práce je o něčem jiném. Dobrý popularizátor nicméně nemusí být nutně sám špičkovým vědcem (stejně jako třeba dobrý komunikátor ekonomických problémů není nutně dobrý ekonom). Určité porozumění problematice však důležité je. Ne nadarmo tak vznikají na západních universitách specializované pozice profesorů veřejné komunikace a vědecká žurnalistika se bere jako důležitá činnost hodná podpory.

Většina novinářů (a pro česká média to platí dvojnásob) má spíše tendenci k senzacechtivosti a ke zjednodušování až přespříliš. Snaha o přiblížení a zaujetí čtenářů je sice chvályhodná, skutečnost se však bohužel v takovém podání často zcela ztrácí (což si připomeňme vždy, až zas budeme číst na první stránce celostátního deníku další zprávu o „vyléčení“ rakoviny).
V této souvislosti jsem si nedávno vzpomněl na článek , ve kterém autorka požadovala, aby byly dabované filmy v české televizi a kinech nahrazeny těmi v původním znění s titulky. Diváci by sice měli zpočátku s porozuměním trochu problém, postupně by si však zvykli a dlouhodobě by to mělo pozitivní efekt na zvýšení jazykové úrovně národa (jak například v Holandsku či Skandinávii) a bylo ku prospěchu nás všech (tedy kromě herců, kteří se dabingem živí ;-)). Mám pocit, že vědě by prospělo něco podobného. Pokud se totiž nebudou média bát namísto vyprávění pohádky jen volně s vědou související poskytovat lidem reálnější obrázek, ti si časem na nové pojmy zvyknou. Samozřejmě jsem si vědom, že narozdíl od filmů s milovanými holywoodskými herci, které by lidé sledovali asi i v čínštině bez titulků, zde hrozí že v případě nesrozumitelnosti divák/čtenář ztratí zájem - musí se tedy najít ona zlatá střední cesta. Příkladem, že něco takového se podařit může, jsou pro mě třeba některé pořady z dílny BBC.




„Pravda zjevená“

Přestože asi častějším důsledkem nepochopení nejnovějších poznatků bývá ignorace, setkáme se i s extrémem opačným. Lidé se bez znalosti souvislostí nekriticky dovolávají určitých vědeckých studií, jako kdyby obsahovaly nějakou shůry zjevenou pravdu. Problém je, že odkazem na nějakou publikovanou vědeckou práci můžete v dnešní době podpořit téměř jakoukoliv myšlenku. A to i tu zcela mylnou. Jednak se výsledky často špatně interpretují a závěry týkající se určitých specifických podmínek se neoprávněně zobecní. Dále ne všechny práce, které se „vědecky“ tváří, dosahují stejné kvality a prochází stejnou rigorózní kontrolou. Novináři, kteří s oblibou užívají frázi „publikováno v prestižním vědeckém časopise“ jako nezpochybnitelné potvrzení určitého poznatku, obvykle mají o té „prestižnosti“ jen velice mlhavou představu. Nicméně je důležité si přiznat, že i ty vědecké práce, které prošly náročnou recenzní kontrolou „prestižního“ časopisu, se mohou mýlit. A že se mýlí dokonce mnohem častěji, než si většina veřejnosti představuje. Uvádí se, že i v tom nejprestižnějším časopise Nature, se až 40% článků buď ukáže být přímo špatně, nebo se je nepodaří nikomu jinému zopakovat.

„Trestní zákoník“

Pochybení, která za výše uvedenými omyly stojí, můžeme rozdělit do asi čtyř kategorií:
1) Zcela smyšlené či zmanipulované výsledky. Zaměněné vzorky, „experimentální“ data vygenerovaná na počítači, snímky posunuté a upravené ve Photoshopu, … V českém prostředí byl například z takového jednání nedávno usvědčen profesor Bezouška . Odhalených případů takových podvodů sice není mnoho, ale to neznamená, že se jedná o řídký jev. Obávám se, že vidíme jen špičku ledovce.
2) Záměrné polopravdy a selektivní výběr. Zde není problém přímo v tom, co je publikováno, ale v tom, co publikováno není. Z mnoha opakování experimentu se vyberou pouze ty případy, které nejlépe odpovídají hypotéze. Ze snímků se poskytne jen výřez. Kontrolní pokusy, které ukázaly pravý opak, se zatají. Jiné, které by mohly teorii ohrozit, se radši ani neprovedou. Nejedná se sice o tak zřejmé podvody jako v té první kategorii, nicméně negativní důsledky pro vědu jsou obdobné. A děje se tak bohužel častěji, než by bylo zdrávo (několik vědců, kteří se myslím s oblibou v této šedé zóně pohybují, znám i osobně - a nutno říct, že patří spíš k těm úspěšnějším).
3)„Chyby z nedůslednosti“. V podstatě se jedná o pochybení podobná těm předchozím, nejsou však činěna úmyslně. Výzkumníci si vždy neuvědomí veškeré možné artefakty komplexního experimentu a neověří všechny potřebné kontroly. S tím trochu souvisí ještě jedna specifická oblast, kterou zde chci zmínit - a to statistika. Ta je (nejen) v bio-vědách velice důležitá, neboť nám říká, kdy můžeme z výsledků na našem omezeném vzorku činit závěry o celé populaci. Přestože se dnes učí snad už na všech univerzitních kurzech (a řada vědců má až náboženskou úctu před pojmy jako směrodatná odchylka či „p-value“), obávám se, že úroveň pochopení je stále poměrně nízká. Řada chyb pak pramení z jejího špatného použití – časté je třeba opomenutí tzv. korekce na mnohonásobné testování (zohlednění, že když testuji stovky různých hypotéz, nějaká mi vyjde jako „pravdivá“ jen na základě čisté náhody).
4) „Přirozené omyly“ . I při sebelepší snaze a dobré vůli (což je případ většiny vědců) lze někdy dospět k závěrům, které se v budoucnu ukáží jako mylné. Roli mohou hrát určité specifické podmínky, jejichž vlivu si nejsme (a ani nemůžeme být) při experimentu vědomi. Tato nevědomost pak vede k jeho špatné interpretaci. Zejména v biologii, při práci s živými buňkami či pacienty, je navíc přirozená variabilita vzorků značná a může nastat taková shoda různých faktorů, kterou se již v budoucnu nepodaří zreprodukovat. To k vědě neodmyslitelně patří (i proto však není vhodné dělat významné závěry dříve, než dojde k nezávislému potvrzení z několika zdrojů).

Je důležité si uvědomit, že narozdíl od obecně vžité představy, je podvod ve vědě hodně těžké prokázat (tedy pokud není dotyčný přímo načapán, jak vyměňuje vzorky v ledničce, případně pokud se nezjistí, že grafy nebo „bandy na gelu“ přímo zkopíroval z jiné publikace). Nejdříve je nutné chybu odhalit. Hlavní kontrolní roli hraje ve vědě recenzní řízení, kdy každou práci před publikací posoudí dva až tři další odborníci z oboru. Ti mají jednak zhodnotit její přínos, ale zároveň i posoudit, zda jsou předložené výsledky správně interpretovány, odhalit případné mezery a nedostatky a buď vyžádat jejich nápravu/doplnění nebo publikaci zcela odmítnout. V jejich silách však není odhalit vše. Recenzent nevidí, co mu autor zatajil. Navíc podvodná data obvykle žádné „mezery“ nemají (pokud se rozhodnete data upravit, upravíte je nejspíš tak, aby do sebe vše zapadalo).

Na podvodnou práci tak obvykle dopadá podezření až po čase, poté co se ji jiným skupinám nepodaří zreprodukovat. To však může trvat i řadu let (ve špičkové vědě jste často jediný, kdo v daném okamžiku na experimentu pracuje; navíc výsledky odporující přechozím publikacím to s prosazením nemají snadné). Následné vyšetřování příčin odhalených nesrovnalostí je poměrně řídké. Dokázat nečestné jednání je totiž složité. Dotyčný (který už v té době má často jiné místo, jiný výzkum a řadu dalších publikací) se obvykle brání tím, že nic nečestného neprovedl a zvláštní výsledky musely být jen důsledkem „shody okolností“.

Dalo by se říct, že největší (a skoro jedinou) šanci podvodníky odhalit tak má jejich šéf, spolupracovníci a další kolegové ze skupiny. Ti jediní znají veškeré podrobnosti daného výzkumu a mohou se dostat i k nepublikovaným výsledkům. Bohužel v současnosti se šéfové skupin věnují převážně psaní různých grantů a zpráv, takže se zajímají jen o konečné (a positivní) výsledky a na kontrolu podrobností nemívají čas. Navíc zde narazíme na další problém. Pokud je chyba odhalena až poté, co už je práce publikována, většina šéfů se zdráhá to přiznat a požádat o její stažení, neboť by to poškodilo jejich reputaci (mimochodem podobně jsou na tom editoři časopisů, kteří práci opublikovali). Sám znám několik studentů a postodců, jejichž kariéra se dostala do problémů, protože po příchodu do nové skupiny odhalili nějakou chybu v předchozích výsledcích. Žádného ocenění se jim za to rozhodně nedostalo, naopak byli obviňováni z neschopnosti a upadli v šéfovu nemilost.



„Prokorupční prostředí“

Tím se již dostávám k důležité souvislosti s tím, o čem jsem zde psal již ve svém prvním příspěvku. Domnívám se totiž, že současný systém vědecké kariéry, ve kterém převládají krátkodobé kontrakty a kvantitativní systém hodnocení, k podvodům do určité míry „vybízí“ .

Představte si například, že jste v pozici postdoca (či PhD studenta), který se blíží ke konci svého tříletého kontraktu. A řekněme, že vaše dosavadní výsledky moc slibně nevypadají (to nemusí být vaše chyba - i ta nejlepší hypotéza zkoumaná kvalitními experimenty se může ukázat být slepou uličkou). Víte však, že váš další kontrakt závisí na tom, zda se vám podaří data opublikovat v nějakém prestižním časopise. A nejde jen o vás. Nejistá budoucnost se týká i vaší rodiny. Cítíte zodpovědnost, protože manželka se vám přizpůsobila a stěhovala se za vámi, když jste získal současnou pozici. Nyní máte navíc malé děcko – pro něj byste udělal cokoliv. Tlak narůstá. Začnete pracovat dvacet hodin denně ve snaze na poslední chvíli vygenerovat nové výsledky a vše zachránit. Ale řekněme, že ani to nepomůže. Pokušení výsledky trochu “vylepšit” je v takové situaci značné. V podstatě totiž navíc nemáte co ztratit. Pokud zůstanete věrni svým zásadám, vaše současná kariéra skončí s velkou pravděpodobností okamžitě. Pokud si naopak nějakým tím podvůdkem své výsledky vylepšíte, nejbližší budoucnost může být zachráněna. Navíc, jak jsem zmínil výše, je zde nemalá pravděpodobnost, že vás to nedostihne nikdy. No a když časem někdo pojme podezření, případně vám chyby prokáže? Nebudete na tom hůř než nyní! Vědecký podvod totiž není trestný čin a jakmile odejdete do jiného oboru, nikoho už nejspíš vaše vědecká reputace zajímat nebude. No tak proč to nezkusit?!

Aby nedošlo k mýlce. Podvodníky ve vědě neobhajuji. Jenom si myslím, že v současném systému nastávají situace, kdy by málokdo z nás mohl „hodit kamenem“. Samozřejmě to nemusí být vždy tak vyhrocené, jak jsem vylíčil výše, a nemusí se jednat o vědecký zločin první kategorie. Může se začít třeba jen drobnou korekcí dat pro příští prezentaci, abyste získali podporu šéfa pro váš projekt. Kriminalisté ale asi potvrdí, že pokud jednou malý podvod projde, nastává pokušení v podobném jednání pokračovat a je možné se dostat na nebezpečnou spirálu, kdy jeden podvod střídá či maskuje druhý (tak tomu mohlo být třeba i u pana prof. Bezoušky).

Mimochodem, není bez zajímavosti, že z nedávné studie vyplynulo, že podvodů ve vědě se častěji dopouští muži než ženy (pokud to tedy není tím, že ženy jsou v podvádění úspěšnější a zůstávají neodhaleny ;-)).

Stejně jako je tomu třeba v případě korupce, i s vědeckými nečestnostmi je třeba bojovat na několika frontách. Odhalovat a trestat, ale zároveň i působit preventivně a snažit se systém nastavit tak, aby nevznikalo pokušení. To první dělá věda už odnepaměti a snaží se stále zlepšovat: užívají se programy na odhalení některých manipulací s daty, formují se iniciativy motivující vědce nechávat výsledky ověřit nezávislou laboratoří, vznikají nové online časopisy usnadňující publikaci negativních výsledků (včetně těch které odporují dřívějším studiím), ... Obávám se však, že v oblasti prevence týkající se kariérního systému a hodnocení výstupů, se bohužel zatím vydáváme spíše cestou opačnou.

Abych však nekončil na negativní notu. Ze všech oborů lidské činnosti má věda myslím jednu z nejlepších sebeopravných schopností. Často je sice třeba udělat dva kroky zpátky, ale vždy tam jsou i ty tři kroky vpřed. Lidé z oboru obvykle vědí, jakým výsledkům důvěřovat a jaké jsou pochybné a v dlouhodobém horizontu většina omylů vyjde najevo a skončí v zapomnění. Takže přestože určitě nabádám k opatrnosti v citování jednotlivých studií z vědeckých časopisů bez znalosti souvislostí, o vědě jako takové (a většině toho, co si přečtete třeba v učebnicích) rozhodně nutno pochybovat není. Naopak, důrazně bych varoval před akceptací různých „alternativních směrů“ – ty totiž většinou nejsou alternativní proto, že lépe vysvětlují něco, v čem se věda mýlí, ale proto, že narozdíl od vědy neprochází oním rigorózním ověřováním a nejsou schopny své chyby připustit a napravit.


2 komentáře:

Libor Dušek řekl(a)...

Nesprávnému chápání vědy - atˇ už odmítání nebo nekritickému přijímání - bohužel pomáhají i vysoké školy, které by měly schopnost vstřebat a zhodnotit vědecké poznání přinejmenším trochu kultivovat. Přinejmenším v ekonomii naprostá většina Bc a Mgr programů neseznámí studenty s empirickým výzkumem, který dnes tvoří naprostou většinu práce. (Seznámení ve stylu - Otázka: Jak se mění příjmy lidí při změnách daní? Shrnout několik hlavních studií, vysvětlit stručně, jakou metodologií na to šly, výsledky - většina studií zjistila, že se mění trochu, pár studií zjistilo, že se mění hodně, k pochopení je dobré si vysvětlit, PROČ rozdílné metodologie nebo kontext dané země vedly k rozdílným výsledkům.)

Bohužel jsem slyšel hodně studentů i profesorů z českých ekon. VŠ vypustit výroky typu, že nějaký vědec v jednom empirickém článku PROKÁZAL, že při zvýšení daní bohatí vykazují nižší příjmy. Tak z toho jdu do mdlob.

Anonymní řekl(a)...

Výborný článek, který zde pravděpodobně nenalezne velkou odezvu. Právníci mají jiné problémy a prakticky nepublikují v prestižních časopisech. Trochu přeženu a budu ještě tvrdší než autor. Podvádění ve vědě se stává nutností. Ohodnocení vědeckého pracovníka a tím jeho kariéra, udělení grantů apod. je výlučně a to je to strašné, založeno na počtu publikací, počtu citací, impact faktorech časopisů a tzv. H faktoru, který to vše spojuje do jednoho čísla. Existuje řada databází, např Web of Science, kde po zadání jména vědce vyskočí všechny tyto údaje. To znamená zběsilou honbu za publikacemi. Vznikají "Publikační bratrstva", kde jeden člen napíše článek, na který připíše další členy a to jde dokola. Publikační produktivita se zmnohonásobí. Ještě lepší jsou "Citační bratrstva", což je spojení dvou či více publikačních bratrstev, které se navzájem citují. Takto lze dosáhnout skvělých výsledků. Mohl bych pokračovat, ale to by vyšlo na celý nový článek.
I. Hüttel