Teorie a praxe hodnocení právní vědy v ČR. Díl II.: Současný systém „fiefdom and peer review“

V letech 2011-2012 byla neudržitelnost kafemlejnku brána jako neoddiskutovatelný fakt, kriticky vyzněl i nezávislý mezinárodní audit financovaný unijními fondy. V současné době se v dalším dlouhodobém ministerském projektu pracuje na nové metodice, její obrysy se teprve tvoří a měla by být zavedena zhruba v letech 2017-2018. Mezitím má být aplikován systém, který byl schválen Usnesením vlády č. 475v červnu 2013 a jehož představení a hodnocení je cílem tohoto příspěvku. 

Stejně jako v prvním díle seriálu se obrním disclaimerem. Text představuje subjektivní pohled univerzitního pěšáka, který čerpá informace výhradně z oficiálních dokumentů a ze zkušeností s fungováním metodiky v oboru právo. Stejně jako u všech ostatních právnických fakult je hlavním úkolem mé alma mater výuka a věda plní v zásadě roli (nepřehlížené!) přízdoby. Nejsem odborníkem na hodnocení výzkumu, nestuduji k tomu po večerech materiály, nemám přehled o dopadech metodiky na přírodní obory či aplikovaný výzkum a rozumím, že jde o neuvěřitelně složitou a komplexní záležitost (viz projekt IPN Metodika odkazovaný výše). Nemohu proto samozřejmě vyloučit, že skutečnosti po mém soudu bizarní plní v celkovém obraze svůj účel, který mi díky vlastní jednorozměrnosti a neznalosti uniká. Rád se nechám poučit v případné diskuzi.

Tři pilíře (pro jednou ne Maastrichtské)

Přechodný systém (dále jen PS) je ve většině aspektů protikladem kafemlejnku. Stejný zůstal pouze způsob vykazování výstupů prostřednictvím databáze RIV, převod výsledků na body (ale zcela jinak) a jednotlivé druhy publikačních výstupů (které lze stěží vymyslet jiné). Na rozdíl od kafemlejnku PS vykazuje známky neuvěřitelné komplexnosti a roztříštěnosti, napadá mě hezký český výraz kompartmentace. PS počítá se třemi pilíři: 1) oborové hodnocení výsledků: zde obdrží body většina výstupů, 2) bonusy za excelentní výstupy: VŠ vyberou určité výsledky, z nichž maximálně 20 % nejlepších obdrží zvláštní bonifikaci, 3) hodnocení nepublikačních výsledků aplikovaného výzkumu: patenty atd., které jsou na právo neuplatnitelné a proto se třetím pilířem nebudu dále zabírat. Celkem může být každý rok rozděleno 600 tisíc normalizovaných bodů, 495 tisíc připadá na 1. pilíř.

Jednotlivé vrstvy přechodného systému

Ve všech pilířích se aplikuje další linie škatulkování, tentokrát podle oborů. Celkem bylo vytvořeno 11 skupin, sedm z nich patří k přírodním vědám, zbytek ke společenským. Skupina SHVc obsahuje především společenskovědní exaktnější obory s celosvětovým přesahem (psychologie, ekonomie), SHVa humanitní, do národního prostředí orientované obory (historie, právo, jazykověda), SHVb společenskovědní neexaktní obory někde mezi národní a mezinárodní orientací (filosofie, politologie, pedagogika). Každá ze skupin má pevně stanovený počet normalizovaných bodů, pro SHVa to například je 43920 bodů, pro skupinu Chemické vědy 94800 bodů. Aby toho dělení nebylo málo, v rámci skupiny je přesně nastaveno, kolik procent připadá na jednotlivé druhy výstupů. Tak například ve skupině Lékařské vědy je 100 % bodů alokováno za výstupy z článků v impaktovaných časopisech registrovaných v databázi Web of Science. Ve skupině SHVa (právo) mají impaktované časopisy (včetně databáze Scopus) maximální podíl 30 %, články v časopisech na seznamu 13 %, monografie 55 % a sborníky registrované v celosvětové databázi 2 %. Prakticky stejné to je v kategorii SHVb.

Z uvedeného je doufám zřejmé, proč bylo v názvu příspěvku použito slovo fiefdom. Místo konkurence všech proti všem má nyní každá ze skupin své „jisté“, neboť 7,32 % z celkových bodů (43920/600000) pro SHVa znamená stejný procentuální podíl na dotaci jdoucí z veřejných rozpočtů, i kdyby v dané skupině byl vyprodukován pouze jediný článeček. Maximální hranice bez ohledu na faktickou produkci platí i v rámci skupiny dle druhů výstupů. Na druhou stranu kvantita výstupů samozřejmě nijak omezena není. Vezměme modelové případy, předpokládající, že za výstupy v roce 2013 bude přiděleno 600 milionů Kč, tj. jeden normalizovaný bod má hodnotu 1000 Kč (2. a 3. pilíř nezohledňujeme). V Chemických vědách vykázali autoři impaktované články v hodnotě 200 tisíc (absolutních, nikoliv normalizovaných!) bodů, jeden jejich bod tudíž má aktuální hodnotu 474 Kč (94800/200000*1000). Ve skupině SHVa autoři vykázali u impaktovaných článků 2000 bodů, u článků ze „seznamu“ 16 tisíc bodů, u monografií 80 tisíc bodů a u sborníků nic. Aktuální hodnota bodu u monografií pak bude 302 Kč (43920*0,55/80000*1000), u článků na „seznamu“ 357 Kč (43920*0,13/16000*1000), u impaktovaných článků 7027 Kč [(43920*0,3+43920*0,02)/2000*1000; nevyčerpané body z jiných kategorií- zde ze sborníků- jdou k impaktovaným článkům]. Výklad výpočtů v metodice je poněkud zmatený, doufám proto, že jsem jej provedl správně. 

Každopádně se nemýlím v tom, že z kafemlejnku plynoucí transparentní komparace výkonů už je nyní nemožná nejen napříč skupinami, ale dokonce i v oboru samotném. Situace je dále komplikována bodovým hodnocením jednotlivých výstupů. U impaktovaných článků se stále vychází z objektivních dat z databází Web of Science a Scopus, totéž platí u sborníků. Ostatní druhy výstupů se uplatní především ve skupinách SHVa a SHVb. Recenzované články v časopisech na „seznamu“ obdrží 4 body (dříve 10), za monografii je možné obdržet dle její kvality 4-120 bodů (dříve 40 bodů).

Z hlediska autorů je PS dosti problematický. Ať je to koncepčně špatně či nikoliv, stále větší podíl dotace na fakulty se odvozuje z jejich publikační produkce. Je proto pochopitelné, že se vedení snaží zaměstnance motivovat k publikační činnosti. Já jako pisatel nemám šanci ovlivnit kvantitu produkce ostatních autorů v oboru. V novém systému ale až do zveřejnění konečných výsledků nebudu mít ani šanci zjistit, jak je rámcově „cenný“ ten který výstup. V kafemlejnku platilo, že jedna monografie rovná se třeba čtyři články v Právních rozhledech, nyní už se úměra neuplatní. Možná byla důvodem snaha o omezení kalkulování, ale to se projeví jinde. Jestliže je na monografie vymezeno 55 % dotace a mohu za každou získat až 120 bodů, bude psaní monografií na první pohled „lukrativnější“ než psaní recenzovaných článků a autoři se tomu přizpůsobí. V důsledku skončí X časopisů, budou vycházet tisíce knih- a v čase T+1 4 body za článek mohou mít větší dotační hodnotu než mnohem více bodů za monografii. Autoři zareagují a … pořád dokola. Mé otázky jsou k části „fiefdom“ následující:

• Metodika nevysvětluje, proč procenta přidělená kategoriím oborů a druhům výsledků jsou zrovna ta uvedená. Je to na základě empirických výstupů z kafemlejnku (takže fixujeme něco, co bylo špatné?), nebo něčí normativní plánování (vycházející z čeho?).
• Jak mají fakulty vytvářet systémy odměňování zaměstnanců za jejich snahu na poli publikací, když nemají šanci zjistit, kolik kdo fakultě finančně „vydělal“? To povede akorát k demotivaci úspěšných, protože neúspěšní napadnou jakýkoliv fakultní systém pro „nesoulad s realitou“.
• Jestliže požadavkem dne bylo škatulkování, proč se nedotáhlo do konce? Proč nerozdělit dále skupiny oborů, tj. aby například proti sobě soutěžili jen právníci (obor AG), nikoliv historici s právníky v kategorii SHVa?  Nebo je historik právníkovi konkurenčně bližší než politolog (kategorie SHVb)? Pokud naopak byla cílem širší konkurence podobných, tak proč kategorie SHVa a SHVb nespojit?
• V některých oborech je sociální inženýrství absolutní, takže například v lékařství asi neexistují odborné knihy, respektive se nebudou psát, protože za ně nelze nic dostat.

„Odborné“ posouzení výstupů: peer review

Kafemlejnek uplatňoval paušální hodnocení, z výše uvedených skutečností plyne nově povinnost udělit různé počty bodů dle kvality publikace. Hodnocení provádí v každé skupině Oborový verifikační a hodnotící panel, složený s odborníků navržených VŠ a schválených Radou pro vědu, výzkum a inovace. Úkolem panelu je zhodnotit všechny výstupy spadající do kategorií 1) článek z časopisu na „seznamu“ a 2) monografie. Výstup vždy recenzují nezávisle na sobě dva členové panelu. U článků mají možnost udělit hodnocení 0 a 1: při součtu 2 obdrží článek 4 body, při součtu 0 se 4 body dané VŠ odečtou, při neshodě nastupuje třetí hodnotitel. U knih mají hodnotitelé k dispozici škálu 0-3 body, vyšší číslo značí vyšší kvalitu. Kde se liší hodnocení o více než jeden stupeň, přiřadí se třetí hodnotitel a použijí se vyšší hodnocení. Nulový součet vyústí ve vyřazení výsledku a v odečet -40 bodů, součet 2=0 bodů, součet 3=26 bodů, součet 4=56 bodů, součet 5=86 bodů, součet 6=116 bodů. K tomu je potřeba přičíst 4 body za každou monografii, která není vyřazena. Metodika obsahuje stručná kritéria pro zařazení výstupů na škále 0-3, v příloze jsou definice charakterizující jednotlivé druhy výstupů. Hodnotitelé tak teoreticky nemohou postupovat úplně subjektivně, jsou navíc povinni svá rozhodnutí odůvodnit. 

Pojďme se nyní podívat na systém hodnocení z praktické stránky. Panel pro skupinu SHVa má přes 50 členů, 11 z nich za obor právo (4 PF UK, 4 PF MUNI, 1 PF UP, 1 ÚSP AV, 1 Chmelařský institut Žatec). Nikde není řečeno, jestli si každý z oborů recenzuje „své“ výstupy či se postupuje napříč obory skupiny, v SHVa byla zvolena (dle mého logicky) první varianta. Jelikož se musí hodnotit všechny výstupy v uvedených kategoriích, je objem položek samozřejmě dech beroucí. Základní číslo poskytuje sama metodika, říká, že počet členů panelu je vypočítán jako 1/20 z počtu knih v roce 2012. Ceteris paribus tedy každý z členů panelu musel posoudit na 40 jednotlivých monografií (dva posudky na každou), předpokládám, že počet samostatných kapitol v monografiích a článků z časopisů na „seznamu“ byl řekněme dvojnásobný (80 kapitol, 80 článků). Na tuto lavinu měli hodnotitelé v roce 2014 (pro výstupy za rok 2013) čas od začátku července do půlky srpna, jim přidělené položky byly fyzicky přístupné v Klementinu.  Je mimo rámec tohoto veřejného blogu ve vší slušnosti posoudit, jestli jsou členové OVHP takoví Herkulové, aby úkol kvalitně (sic!) zvládli. Přesto se pokusím poukázat na další možné obtíže vázající se k dopadům aplikovaného peer review:  

• Je u 11 osob realizovatelné, aby věci týkající se třeba finančního práva posuzoval odborník na dané odvětví? Kde je hranice toho, čemu rozumím? K tomu se uplatňuje pravidlo, že osoba z fakulty A nemůže hodnotit výstupy z ní, takže reálně se počet kombinací dále limituje a s ohledem na složení panelu Praha hodnotí Brno a naopak.
• Metodika nedává doporučení týkající se frekvence stupňů hodnotící škály (Gaussova křivka atd.). To by nemuselo být na závadu, kdyby se neuplatňoval zmíněný systém faktického škatulkování v rámci skupiny. Právníci hodnotící jen právníky mohou mít motivaci výsledky nadhodnocovat, protože právo pak „vytvoří“ více bodů a uloupí je z podílu konkurenčních historiků, kteří budou při recenzích kritičtější. Nakonec to může skončit tak, že racionálně nadhodnotí raději všichni. Obecně je ostatně vždy jistější dát více, než někoho „sundat“, udělit nulu a čelit tomu, že to uražený autor (a fakulta drcená odpočtem) jen tak nenechá a bude řízení rozporovat (pokud to tedy jde…). Za stavu, kdy není čas zrecenzovat výstupy pořádně, by ve své podstatě nešlo u hodnotitelů ani o alibismus.

2. pilíř: excelence

VŠ mají předložit k posouzení publikační výstupy, které považují z nějakého důvodu za mimořádné. Za každých 10 milionů Kč podpory za publikační činnost má VŠ právo navrhnout jeden výstup. Ten je následně posouzen expertním panelem a pokud je jím zařazen do třídy A  (nejlepší publikace v daném oboru), obdrží daná VŠ podle složitého schématu určitý bonus. Jestli tomu dobře rozumím, excelence se uplatní u všech skupin oborů, je ale na VŠ (univerzitě), kolik z jakých oborů výstupů pošle. PF UP umožnila univerzita v roce 2014 navrhnout jeden výsledek (poslali jsme česky psanou monografii), netuším, co se stane, když nebude hodná třídy A a ani jestli třeba UP nezaslala 50 návrhů u skupiny Chemické vědy (a jaký bude mít vyhodnocení finanční dopad na celou univerzitu/fakultu).

Každopádně rovněž snaha o excelenci vyznívá rozpačitě. Metodika očekává výstupy odpovídající „světovému standardu či špičce“ a logicky díky tomu předpokládá, že většinu členů expertních panelů mají tvořit zahraniční experti. U SHVa je z 15 členů ze zahraničí šest, nevím ale, jak ti budou schopni se vyjádřit třeba k námi zaslané monografii v češtině. Metodika slibuje zajištění překladů hrazených ze státního rozpočtu, ale i u Xset stránkových knih? Kolik jich bude? Nabízí se otázka (i pro vedení PF UP), zda mohou být vůbec světové výsledky psané česky? Abych kritiku nesměřoval jen na právo- expertní panel pro Chemické vědy má z 20 členů čtyři zahraniční členy, slovo „většina“ si zdá se vykládají po svém i exaktní vědci…

Závěrečné poznámky

Už nyní pravděpodobně jde o nejdelší post, který kdy byl na JP publikován. Nebudu se tudíž zabývat ani z právního hlediska možná nejzajímavějším otázkou, tedy jestli usnesení vlády vyhlašující v červnu 2013 PS není retroaktivní, neboť některé jeho hlavní rysy se aplikovaly zpětně již na výstupy vydané v roce 2012 a vykázané do RIVu dlouho před červnem 2013. Ve srovnání s ostatními skutečnostmi je to skoro maličkost...

Shrnu pouze, že ve snaze reagovat na kritizovaná místa kafemlejnku byl schválen systém, který je daleko méně transparentní, zavání sociálním inženýrstvím, u sociálně vědních oborů obsahuje neproveditelné peer review a ještě PS de facto petrifikuje výsledky vycházející právě z kafemlejnku. Jde tak o příklad klasického českého ode zdi ke zdismu, naneštěstí s přímým dopadem na fungování výzkumných institucí v ČR a rozdělení miliard Kč…