Teorie a praxe hodnocení právní vědy v ČR. Díl I.: Systém „kafemlejnek“

 Na rozdíl od mnoha předchozích hostů Jiného práva pohybujících se mezi akademií a praxí, často s širším zakotvením v druhé položce, jsem klasický „homo academicus“. Rozhodl jsem se pokračovat v přiblížení některých problémů, nad kterými takový průměrný český odborný asistent ve své slonovinové věži přemýšlí. Jedním z nejvýznamnějších je dlouhodobě systém hodnocení publikačních výstupů. Původně jsem chtěl vše shrnout v jednom příspěvku, ale pro zcela neudržitelnou délku text plánuji rozdělit do tří dílů. Kromě tohoto hledícího do minulosti se druhý bude soustředit na nyní platnou přechodnou metodiku, třetí na specifika práva jako odvětví oproti jiným vědním disciplínám.

Seriál vyžaduje akceptaci několika „hypotheticals“. Primárně uznání, že i právo může být v širším pojetí vědou. Jestliže toto je pro někoho hereze, přiznejme právu alespoň příslušnost k oborům, ve kterých je možné publikovat odborné texty. Pozůstávající skeptiky snad přesvědčí formální argument: právo se v ČR vyučuje na vysokých školách (VŠ) a akademičtí pracovníci jsou dle §70 odst. 1 z.č. 111/1998 Sb. povinni vykonávat vědeckou a výzkumnou činnost. Vyučující na právnické fakultě by tedy měl publikovat, o jisté pozitivní korelaci mezi kvalitou výuky a „výzkumu“ (ať po tím myslíme cokoliv) doufám již nemusím přesvědčovat nikoho. Asi i s ohledem na tuto skutečnost se stát rozhodl přidělovat určitou část veřejných prostředků univerzitám dle jejich publikační výkonnosti. To předvídá zavedení systému hodnocení, který poslouží jako podklad pro dělení dotací.

Základní rámec fungování kafemlejnku

Publikační činnost byla vždy pro akademiky důležitá zejména z osobního hlediska, například pro splnění podmínek habilitačního řízení. Finanční příspěvky VŠ však historicky byly přidělovány pouze dle počtu studentů (normativ) a tak i když existovala centrální databáze výsledků, moc pozornosti jí věnováno nebylo. To se změnilo někdy po roce 2005 (snad?), kdy určitý objem prostředků začal být alokován na základě počtu bodů produkovaných VŠ (nebo výzkumnými ústavy) a vykazovaných v databázi nazvané Rejstřík informací o výsledcích (RIV). Systém vycházel z ohodnocení každého výstupu určitým počtem bodů, konkrétně šlo o následující položky:

• Odborná kniha (monografie): Text o délce minimálně 50 stran, splňující některé další formální požadavky. Nezapočítávají se učebnice nebo popularizační texty. Hodnota= 40 bodů paušálně.
• Kapitola v monografii: Autor dostal podíl dle počtu stránek vykázané kapitoly. Hodnota=  40 bodů / stránkový podíl na celku.
• Článek v impaktovaném časopise: Články v časopisech vedených v databázi Web of Science, Scopus. Hodnota= 10 až 305 bodů dle pořadí časopisu v rámci kategorií v uvedených databázích.
• Článek v časopise na „seznamu“: České časopisy nezařazené v databázích mohly požádat o uvedení na tzv. seznam vedený Radou pro vědu, výzkum a inovace. Pokud uspěly a obor byl zároveň zařazen do Národního referenčního rámce excelence (tj. byl řekněme vnitrostátně orientovaný), autoři článků získali body. Hodnota= 10 bodů paušálně.
• Pro právo neaplikovatelné výstupy: Patenty, užitné vzory, výsledky použité v aplikační praxi- přestože se objevovaly nápady, že například podíl osoby XY na tvorbě zákona AZ by mohl spadat pod poslední druh výstupů, uznáno to myslím nebylo.
• Nebodované výstupy: Příspěvky ve sbornících, učebnice, časopisy mimo „seznam“ a databáze s impakty.

Produkce bodů nebyla limitována a systém až (nepřímo) na kategorii impaktů nezohledňoval kvalitu ani kvantitu jednotlivých textů (například počet stran článku či knihy). Všechny výstupy bez ohledu na obory byly vykazovány společně a všichni soupeřili proti všem, odtud zmíněný termín kafemlejnek. Přidělené peníze na výzkum se jednoduše vydělily celkovým počtem bodů v daném roce a tak se získala „cena“ jednoho bodu, dotace VŠ (potažmo výzkumným ústavům) odvisela od jejich počtu bodů, vždy sečtených zpětně za víceleté období.

Pozitiva a negativa zvoleného přístupu

Výhodou řešení byla jeho naprostá jednoduchost a z toho plynoucí transparentnost. Za prvé, hodnota bodu byla pro všechny stejná, což napomáhalo komparaci. Jinak řečeno, fyzik s produkcí 800 bodů/rok byl 20krát lepší než právník s 40 body. Fakulta X v Praze s 4000 body byla dvakrát produktivnější než fakulta Y v Olomouci s 2000 body. Vzhledem ke shodné finanční hodnotě bodu byly snadno plánované i finanční toky. Jestliže univerzita dělila peníze na fakulty, mohla přímo korelovat produkci s penězi. To samé šlo dělat i na úrovni fakult, například při tvorbě vnitřního systému odměňování za publikace. Fakulta do něj vloží 1 milion Kč, její zaměstnanci vytvořili v roce 2011 1000 bodů, bod tak má „cenu“ 1000 Kč. Doc. Pavlík se 40 body dostane odměnu 40 tisíc, prof. Havlík s 2 body 2 tisíce (případně důtku a srážku z osobka…). Za druhé kafemlejnek nevyžadoval prakticky žádnou administraci, u výstupů byla zkontrolována jejich existence (opravdu byly VŠ vykázané položky fyzicky vydány a splňovaly formální podmínky?), body se následně přidělily automaticky. Subjektivní prvek nenašel uplatnění.

Zápory systému zrcadlově reflektovaly jeho pozitiva. Prvním je konkurence napříč obory. Opravdu lze na stejném hřišti nechat soutěžit chemika působícího v týmu s desítkami impaktovaných článků a několika patenty ročně s osamoceným právníkem píšícím dlouhý článek do Modern Law Review? (k tomu více ve třetím dílu) Mimo této „filosofické“ otázky měl nastavený rámec další, přímý dopad. Nepřítomnost limitů a paušální taxy se staly jasnou pobídkou k maximalizaci produkce bez ohledu na kvalitu obsahu. Se zvyšujícím se podílem dotace za výzkum na úkor normativa na studenta se VŠ aktivovaly a produkce exponenciálně narůstala. I tu největší blbost bylo nutné vydat, byť by výstup měl skončit v (autorově) skříni. Proč psát knihu o délce 700 stran, když z toho lze udělat tři monografie? „Přizpůsobení“ probíhalo rovněž mezi kategoriemi.  Například počet vydaných právu se věnujících sborníků šlo spočítat na prstech jedné ruky, všechny se kouzelně změnily v kolektivní monografie, byť vlastně spolu kapitoly obvykle absolutně nesouvisely. Dopady však nemusely směřovat pouze ke zneužití metodiky. I u kvalitních textů museli autoři zejména u adresování článků zvažovat, jestli časopis je na „seznamu“ či zda je v databázích (a případně na jakém místě), přičemž by se třeba bez svěrací kazajky kafemlejnku rozhodli jinak. Tak například za článek ve vysoce prestižním German Law Journal by autor obdržel 0 bodů, text v Trestněprávní revue byl za 10 bodů, ale v Trestním právu za 0 (nebyl v „seznamu“). Vy jako autor jste samozřejmě neměli žádnou šanci ovlivnit, jestli se časopis na nějaký seznam dostane, u řady zahraničních právních periodik nakladatelství (Německo, Francie) nad snahou zařadit se do nějakého Web of Science nebo Scopusu mávají rukou.

Zhodnocení kafemlejnku

Osobně se domnívám, že kafemlejnek nebyl svým nastavením takovou katastrofou, jak se z mnoha stran ozývá. Zřejmým důsledkem proliferace výstupů byla vzhledem k neproporcionálně rostoucí částce přidělené na výzkum ve státním rozpočtu snižující se monetární hodnota bodu. Alokaci do jednotlivých institucí se to ale úplně dotknout nemuselo. Předpokládám totiž, že všichni aktéři se přizpůsobili/využívali/zneužívali pravidla systému vyrovnaně a tak vzájemné podíly zůstaly shodné. Hypotézu dosvědčuje celkové pořadí výsledků institucí, na předních příčkách byly nejvýznamnější výzkumné subjektyv ČR (UK, MUNI, ČVUT, UP atd.). Kritické připomínky k upřednostnění kvantity před kvalitou byly samozřejmě oprávněné, ale systém se spoléhal na autokorekci vydavatelů, když už se jí nedostává autorům. V impaktovaných časopisech soutěží mezinárodní konkurence, i u těch českých ale nebylo zcela mimo očekávat, že nevydají všechno. Největší „díra“ v systému se vázala k monografiím, ani to vydání knihy však není zadarmo a neprodejným ležákům se komerční nakladatelství bez příspěvku autora vyhýbají. Zde se paradoxně projevil dopad široké škály dostupných projektů (GAČR, OPVK atd.) počítajících s příspěvkem na vydání knih. Nerozlišování kvality bylo navíc relativní- článek v dobrém impaktovaném časopise oceněný třeba 100 body vyžadoval publikaci 10 článků v Právním fóru.

Zde musím upozornit, že se na věc dívám především pohledem osoby publikující v oboru právo a dopady metodiky v něm. Systém odhalil, kdo nepíše nic, některé neaktivní lidí k psaní přiměl.  Z širšího hlediska byla situace složitější, jak hezky přibližuje třeba prof. Hořejší. Nicméně i když přistoupím na jeho argumentaci o nevhodnosti kafemlejnku pro společensko-vědní obory, v reálu to alespoň ze zkušeností mé fakulty nemělo negativní finanční dopady. Vedení i akademický senát byly s celkovým příjmem plynoucím „za body“ více než spokojeny a ten v čase mírně stoupal. Jestli měla Přírodovědecká fakulta UP (nebo ústavy AV) desetkrát tolik a jestli a jaké to způsobovalo nějaké problémy, bylo spokojené „chudině“ srdečně jedno. 

Ponechajíce tyto sofistikované záležitosti stranou, postupně začal být hlavní reálný problém kafemlejnku v boomu výrazně nekvalitních textů. Kromě tlaku na autory to zapříčinila hlavně skutečnost, že v pozdějších fázích se rezignovalo i na formální kontrolu výstupů (hádám s výše uvedenou logikou „švindlují všichni“) a uznávalo se vše, co kdo v databázi RIV vykázal. Body obdržely knihy, které nesplňovaly základní podmínky monografie (citace, analýza…) či dokonce nebyly fakticky k dispozici (někdy třeba vyjdou…), jako články získávaly body různé abstrakty, zprávy z konferencí nebo jednostránkové informace o rozhodnutí soudů. Projevil se efekt sebenaplňujícího se proroctví: systém má určité nedostatky ↔ systém je špatný a nemá cenu nedostatky řešit = nedostatky se stávají nezvladatelnými a s nimi i systém. 

Kafemlýnek zdiskreditován skončil a v roce 2013 byl schválen systém nový, který měl cíleně veškeré slabé stránky svého předchůdce adresovat. Jak takový pokus o sociální inženýrství v praxi vypadá, si nechám na příště. Slabé povahy dopředu varuji a doporučuji připravit si ke čtení něco ostřejšího.