Teorie a praxe hodnocení právní vědy v ČR. Díl III.: Právo a jeho specifika (...a srovnání s chemií)

V prvních dvou dílech seriálu jsem ponechal stranou otázku, zda lze právo považovat za vědu. Po pravdě se jí nebudu zabývat ani nyní, neboť se jedná do značné míry o záležitost subjektivní. Co je věda? Jestliže ji vnímáme jako něco, kde je cílem objevit neznámé a musí u toho vystupovat lidé s bílými plášti sklánějící se v laboratoři nad chromatografem, pak se samozřejmě právo nekvalifikuje. Jestliže je vědou ověřování hypotéz na základě určeného výzkumného rámce, pak by právo stranou stát nemuselo, přičemž se v něm vyskytují i četné empirické záměry. Někdo by naopak mohl hodnotit vědu podle svého dopadu. Je pak cennější nezpochybnitelně vědecký výstup, který je ve své podstatě blbostí, nebo „nevědecké“ odborné pojednání, které přiměje soud rozhodnout určitým směrem a ovlivní miliony lidí? Takové debaty nemají řešení.

Tento příspěvek se místo toho stejně jako předchozí zaměřuje na objektivní skutečnosti související s hodnocením publikačních výstupů a pokusí se poukázat na to, jak se v nich projevují specifika oboru právo. Abychom se nepohybovali v jednorozměrném světě, rozhodl jsem se do textu zapojit zkušenosti a data z oboru fyzikální chemie (FCH). Lze namítnout, že jde o srovnávání nesrovnatelného, dále se ukáže, že to je pravda jen částečně. FCH je samozřejmě zařazena jako eugenicky čistý příklad vědecké disciplíny, nakonec i na olomouckém komunistickém orloji z 50. let minulého století je jednou ze dvou hlavních postav chemik. Neuškodí, že má přítelkyně zkoumá nanočástice stříbra a železa a tudíž o situaci v daném oboru něco málo vím.

V čem je právo opravdu jiné

Nejprve si dovolím podcenit inteligenci čtenářů a poukázat na dobře známé prvky, ve kterých se právo výrazně liší. Ač časy Savignyho minuly, nikdo nemůže zpochybnit, že přes všechny globalizace, evropeizace, WTOizace a další harmonizující vlivy si právní řady uchovávají výrazný národní rozměr. Samozřejmě existují odvětví, kde mezinárodní prvky převládají (MPV, právo EU...) a v praxi lze i o ryze české záležitosti napsat tak, aby zaujala čtenáře mimo úsečku Aš-Břeclav. Fakticky ale bude cílovou skupinou pisatelů většinově domácí publikum. To je navíc velmi široké, odborné texty mohou kromě jiných akademiků zajímat soudce, advokáty či správní úředníky. Nepřekvapí tudíž, že právně zaměřené publikace jsou psané většinou česky a v ČR vychází několik právních časopisů. Stříbro stejně jako fyzikální zákony jsou oproti tomu kupodivu po celém světě shodné a publikace ve FCH se obrací hlavně na jiné výzkumníky. Výsledkem je 100% internacionalizace, byť i zde najdeme česky psané Popelky (Chemické listy). Vyčítat právníkům, že nemají v CV většinově mezinárodní publikace (mít v kolonce nulu je jiná záležitost…) je asi stejně chytré, jako vyčítat lékařské vědě pobíjení bezbranných hlodavců. It simply goes with the territory.

Tradice a zaměření oborů determinuje rovněž druhy výstupů. Ve FCH v odraze rychlého vývoje a potřebě dokonalé databázové přístupnosti dominují články v impaktovaných časopisech, v právu se objevují národní specifika (například komentáře ve středoevropském prostoru), ale rovněž obecně si význam zachovávají monografie a tematicky zaměřené sborníky. Některé kvalitativní otázky se dají rozvinout pouze na širším prostoru, což v exaktních vědách nebývá zvykem (analyzují se data). Předchozí dvě skutečnosti významně ztěžují srovnávání excelence, není a priori vyloučeno, že česky psaná monografie bude mít větší dopad než článek v Nature. 

Třetí odlišností je způsob vědecké práce jako takový. I zde na JP se v komentářích objevovaly výkřiky, jak je profesor práva XY líný, když vypotí za rok 1-2 články, zatímco chemik profesor ZW jich opublikuje třicet. To snad ale není ani komparace hrušek a jablek, ale hrušek a tatrovek. S ohledem na výzkum ve velkých týmech jsem ještě snad neviděl článek z FCH, který by měl jen jednoho autora (výjimkou nejsou stovky pisatelů). Není snad třeba dokazovat, že mnoho ze spoluautorů se podílí na článcích jen okrajově (přístup zašel něco vyfotit na elektronový mikroskop), i proto je tak důležitým kritériem (ale v RIVu nijak automaticky nehodnoceným) být prvním/korespondečním autorem. Jako poslední mezi autory bývá zařazen vedoucí týmu, což je onen výše uvedený stachanovec se stovkami publikací, jenž je ale v podstatě už více manažerem než vědcem a hlavně shání granty a peníze. V právu je víceautorství tradičně výjimkou, a přestože je běžné, že s textem mnoho lidí pomáhalo, odbyde se to v poděkování. Prosté porovnání čárek u publikací má tedy stejně zvrácenou logiku, jako když se jeden právník ve Vědecké radě podivoval nad informací kandidáta na profesora chemie v CV, že vedl v kariéře úspěšně 15 diplomantů. To přece zvládne profesor/docent/odborný asistent práva za rok (sic!). Mimochodem rozdíly v průměrném objemu výuky mezi pracovníky na chemii a právu ponechávám zcela stranou.

Srovnávejme srovnatelné: psaní do impaktovaných časopisů

Neulehčujme si však situaci a pojďme se vrhnout na slíbené srovnávání srovnatelného. Máme zde dva postdoky, právníka a fyzikálního chemika, oba chtějí publikovat na mezinárodní úrovni. Abychom je co nejvíce přiblížili, tak právník je činný v evropském právu a odmítá psát monografie/kapitoly/sborníky, u chemika si odmysleme zapojení do výzkumného týmu, které by jinak jeho publikační směřování a úspěchy výrazně ovlivnilo. Jinak řečeno- cílem našich hrdinů je posílat články do prestižních mezinárodních odborných časopisů.

Zde se hodí včlenit vsuvku, která vysvětlí bodové hodnocení za impaktované časopisy, metodika kafemlejnku a nového systému je zde shodná. Východiskem jsou údaje z  databáze firmy Thomson Reuters nazvané Web of Science (WoS, přístupná jen předplatitelům včetně VŠ). Ta zpracovává bibliografické údaje z časopisů a vypočítává příslušné hodnoty "popisující tyto" časopisy. Metodika je založena na sekci WoS pod hlavičkou Journal Citation Reports, rozdělené do částí přírodní vědy (JCR Science) a sociální vědy (JCR Social Sciences). Časopisy jsou v kategoriích dále roztříděny do skupin podle oborů. Pro metodiku je klíčové pořadí časopisu dle impakt faktoru v předmětné skupině, počet bodů se může pohybovat v rozmezí 10-305 za článek. Příklad: právníkovi vyšel článek v časopise European Law Journal (ELJ). Skupina Law obsahuje 131 časopisů (odkaz zde), ELJ je na 76. místě. Z komplikovaného vzorce, který ale má kromě řady konstant pouze dvě proměnné (pořadí= 76, počet= 131), zjistím, že za článek v ELJ autor obdrží 21,22 bodu. Za článek v prvním časopise skupiny získám 305 bodů (Harvard Law Review), v posledním 10 bodů (Securities Regulation Law Journal). Jiné proměnné než pořadí jsou z hlediska metodiky bezpředmětné, je jedno, že Harvard Law Review má impakt faktor 6,56, zatímco první časopis ze skupiny FCH (Nature Materials) 36,4. Autoři budou za článek v nich odměněni shodně 305 body, tj. i zde vlastně funguje škatulkování.

Odmysleme si, že pro právníka zaměřeného na právo EU se hodí ze 131 časopisů ve skupině jen pár, tomu samému bude pravděpodobně čelit i chemik pracující s nanomateriály stříbra a nabídkou 136 časopisů v jeho skupině (odkaz zde). Počty periodik ve skupině jsou srovnatelné (131 ku 136). Zásadní rozdíly jsou však v charakteristice samotných periodik a publikací v nich. V roce 2013 vyšlo v časopisech skupiny FCH 50964 článků (průměr 364/časopis/rok), ve skupině právo 3454 článků (28 článků/časopis/rok). Ceteris paribus tedy má právník zhruba 12krát menší šanci svůj text udat. Letmý pohled do obsahů časopisů k tomu prozradí, že právní texty jsou v průměru mnohonásobně delší a výjimkou nejsou články přesahující sto stran. Představa rovných šancí se pomalu začíná vytrácet.

Bohužel předchozí odstavec zachycuje pouze očividné „statistické“ rozdíly a pro vykreslení úplného obrazu musíme hlouběji. Troufám si tvrdit, že u FCH díky dlouhodobé klíčové pozici WoS pro obor seznam v JCR Science pokrývá všechny relevantní časopisy. U odborníka na právo EU tomu tak není, má k dispozici jen Common Market Law Review (CMLRev), ELJ, European Law Review, European Journal of International Law a European Constitutional Law Review. Velmi prestižní časopisy typu Yearbook of European Law, German Law Journal (GLJ) či European Public Law na WoS (BTW ani ve Scopusu…) vůbec nejsou, o řadě skvělých německých nebo francouzských časopisů ani nemluvě. Důvod je jednoduchý- nakladatelé nebo editoři to nepovažují za důležité. Když jsem o věci mluvil s (teď již bývalým) editorem GLJ prof. Zumbansenem, WoS neznal a vůbec nechápal, k čemu je taková databáze dobrá. Asi netřeba zdůrazňovat, že za článek v zahraničním časopise mimo databáze obdrží autor dle metodiky přesně 0 bodů, neb nejsou (logicky) ani na onom populárním národním „seznamu“.

Problémem není jen, že značná část právních časopisů ve WoS chybí, ale i to, co a jak je (ne)uvedeno u těch zařazených. Když mi vydali 20 stran dlouhý case-note v CMLRev, k mé hrůze se ve WoS neobjevil, přitom u jiných právních časopisů jsou case-notes zařazovány standardně v kategorii article. Po emailovém upozornění pracovníkům Thomson Reuters byl záznam zařazen nesmyslně jako editorial material (0 bodů v metodice), teprve po dalším emailu výsledek odpovídá skutečnosti. Nedbalost administrativy WoS může vyjít pořádně draho: s ohledem na exkluzivní pořadí CMLRev ve skupině byl článek nakonec ohodnocen cca 230 body a z něj odvozená institucionální podpora pro UP/fakultu čítá milióny korun! Úplně mimo realitu jsou u právních publikací ve WoS uvedené citace a další klíčové proměnné. U mého zmiňovaného článku je citací tak jedna třetina, chybí i některé z toho samého časopisu… Z daných důvodů má proto pro právo nulovou vypovídací hodnotu například v současnosti tolik idolizovaný Hirschův index, dosahující pro představu u Michala Bobka hodnoty 2 a u publikačního supermana Steva Peerse 6. Podobné výsledky mají ve FCH s trochou nadsázky i židle v laboratoři… Jestliže neodpovídají citace, lze zpochybnit i samotný výpočet impakt faktoru ovlivňujícího pořadí časopisů a tak bychom mohli pokračovat dále. 

Význam "kvalitativních" subjektivních prvků v hodnocení

V neposlední řadě platí, že v rámci oborů se uplatňují subjektivní prvky, které však mohou mít statisticky ověřitelné dopady. Troufám si tvrdit, že v právu je velmi obtížné publikačně „prorazit“ z ČR, u stejně kvalitního článku bude mít neznámý autor s afiliací z Heidelbergu mnohem větší šanci, než autor z Brna. I když jsem si psal na Fulbrightově pobytu poctivě jako domovské pracoviště Olomouc, vždy jsem byl na konferencích představován jako ten z Michigan School of Law. Kastování u práva ovlivňuje i přímo metodiku hodnocení. Z prvních desítky žebříčku skupiny Law patří devět časopisů k americkým law review, do kterých se mimoameričtí autoři bez ohledu na svou kvalitu a věhlas jednoduše nedostanou. Jak mi potvrdil člen redakční rady Michigan Law Review, rukopisy od Evropanů ani nevstupují do recenzního řízení. U FCH se po mém soudu rozlišování na základě národnosti či pracoviště ve stejné míře neaplikuje.

Závěr: Kudy dále a metodika hodnocení vs kvalita oboru

Představené skutečnosti i ve své poněkud nesouvislé formě potvrzují komplexnost problematiky hodnocení a ošidnost někdy se objevujících jednoduchých komparací ve stylu „vědci“ vs „ulejváci“. Je absolutně mimo mé možnosti pokoušet se navrhnout „ideální“ metodiku hodnocení. Vzhledem k uvedeným specifikám oboru právo jen naznačím, že se kloním k: 1 ) škatulkování hodnocení na úroveň oborů, tj. například samostatně vydělit obor právo (AG), 2) přidělení části (řekněme 40-50 %) bodů/dotace na položkové oceňování typu kafemlejnek za jasných pravidel a s verifikacemi výstupů, 3) vyčlenění zbytku na hodnocení kvality, kdy by třeba každých 5 let jednotlivec odevzdával k peer-review tři dle něj nejcennější výstupy a výsledek z evaluace by pak byl každoročně započítáván domovské instituci až do dalšího hodnocení. 

Ve třech dílech seriálu jsem český systém hodnocení vědy kritizoval. Metodika však vždy byla a zůstane pouze technickým nástrojem. To, že úroveň české právní vědy je ve srovnání se zeměmi na západ od nás podprůměrná a řada zaměstnanců právnických fakult nepublikuje nic či ve velmi nízké kvalitě, není určitě chyba systému hodnocení, ale otázka schopností a hlavně snahy. Deficit v tomto směru sama o sobě nepřetlačí ani ta nejdokonalejší metodika.