O jednom subjektívnom rankingu nemeckých právnických časopisov a o obrazoch v zrkadle

Michal Bobek dal pred pár dňami opäť do pozornosti kult karga v právnickej akadémii. Nechcem v tejto súvislosti otvárať novú pôdu pre ďalšie obradné stavanie barikád, pálenie čarodejníc alebo iné prejavy akademického sebapotvrdzovania. Rád by som Vám ale predstavil podľa môjho názoru zaujímavý výsledok jedného pokusu o zhodnotenie akademickej kvality právnických časopisov v Nemecku akademikmi samými.

Na rozdiel od, síce sporného, ale existujúceho, rankingu nemeckých právnických fakúlt (na základe dát CHE-Ranking) sa pokusy vytvoriť určitý scientometrický ranking právnických časopisov v Nemecku podľa ich „akademickej hodnoty“, pokiaľ mi je známe, nevydarili. Minulý rok bol však v JuristenZeitung publikovaný úder zo strany, od ktorej by to nikto nečakal. Zverejnený bol študentský pokus o prieskum, ako hodnotia samotní akademici jednotlivé nemecké právnické časopisy (neskôr k nemu pribudla aj webstránka) Ako vieme, žiadny nemecký časopis nie je v zozname vavrínmi ovenčených karentovaných časopisov. Taktiež je známe, že nemeckí kolegovia z toho hlavu v smútku nemajú. Akademická obec má (ako som mal možnosť zistiť aj od kolegov, ktorí sa v súčasnosti pokúšajú v Nemecku o akademický postup) dosť jasnú predstavu o akademickej kvalite právnických časopisov, ktorá do veľkej miery korelovala aj s výsledkami tohto prieskumu. Poďme sa naň bližšie pozrieť.

Autori prieskumu rozposlali 1500 vyučujúcim na 45-ich nemeckých univerzitách dotazník. Obdržali 248 odpovedí. Odpovedalo 125 vysokoškolských učiteľov (profesorov a tzv. junior profesorov), 21 profesorov na dôchodku (prof. i.R.) alebo emeritných profesorov, ako aj 104 vedeckých pracovníkov, z toho 199 mužov, 49 žien.

Od respondentov požadovali nasledovné údaje: určenie právneho odvetvia ich záujmu a poradie piatich najdôležitejších časopisov v tomto odvetví, poradie piatich najpodstatnejších časopisov vo všeobecnosti, bez ohľadu na právne odvetvie a počet publikácii respondenta za posledné tri roky. Do výsledku sa započítavalo samotné poradie časopisu (koeficient 1; 0,8; ... 0,2), postavenie respondenta (profesor – 1, vedecký pracovník – 0,6), čo malo byť odôvodnené dĺžkou skúseností s vedeckou prácou, a intenzita publikačnej činnosti respondenta. Posledne menované kritérium malo odzrkadľovať myšlienku, že respondent, ktorý je častým autorom by mal mať menej skreslený pohľad na kvalitatívne požiadavky vydavateľstva, ako ten, kto vníma časopisy iba z perspektívy čitateľa. Koeficient publikačnej činnosti sa určil tak, že počet publikácií respondenta za posledné 3 roky bol predelený desiatimi.

Príklad: profesor, ktorý publikoval 25 príspevkov za posledné tri roky ohodnotil časopis X druhým miestom, tak počet bodov, ktorý mu bol v hodnotení počítaný bol: 0,8 (druhé miesto) krát 1 (profesor) krát 2,5 (desatina publikačnej činnosti za rok), spolu teda 4,3.

Výsledky, ku ktorým prieskum dospel sú uverejnené v článku, ako aj na internetovej stránke. Toľko k samotnému prieskumu. Ťažko hľadať v našich priestoroch nejaké poučenie z jeho výsledkov, a voči zvolenej metodológii možno mať taktiež určité výhrady (arbitrárne určené bulharské konštanty značne skresľujú výsledok). Zaujímavé sú ale niektoré postrehy autorov, ktoré sa v článku vyskytujú akoby mimochodom, resp. myšlienky, ktoré sa objavujú medzi riadkami.

Už samotná voľba subjektívnych kritérií, resp. subjektívneho hodnotenia poukazuje na krízu klasických objektívnych scientometrických kritérií (počet výtlačkov, počet citácii) a našu schopnosť splniť kvantitatívne kritéria, resp. vytvoriť si systém, v ktorom ich spĺňame.

Pri subjektívnom hodnotení je potrebné odstrániť mnoho komunikačných „šumov“. Tvorcovia rankingu stáli pri probléme už pri definovaní samotného slova „akademická kvalita“ časopisu, najmä ak je možné rozlišovať medzi kvalitou a reputáciou časopisu. Subjektívne hodnotenie má ale aj ďalšie zákutia. Respondenti, ktorí prispievajú do kvalitných a tradičných časopisov majú tendenciu neprimerane prísneho posudzovania nových časopisov. V hodnoteniach sa taktiež často prejavuje korelácia medzi hodnotením časopisu ako kvalitného a členstvom v redakčnej rade časopisu, s čím je spojený problém sliepky a vajca: Stali sa respondenti najprv členmi redakčnej rady a až následne považovali časopis za kvalitný, alebo opačne? Tieto ako aj iné subjektívne neduhy chceli autori odstrániť neanonymizovaným dotazníkom. Takýto postup ale pravidelne vedie k zmene v „reprezentatívnosti“ vzorky respondentov.

Úsmevne pôsobí údaj, že ako akademici nemáme hanbu naletieť a hodnotiť aj to, čo nepoznáme. V jednom prieskume sa body priraďovali k vymenovaným časopisom, pričom jeden z nich sa síce honosil dobre znejúcim názvom, bol však iba vymyslený. To ale nebránilo 30-tim percentám respondentov hodnotiť aj tento výmysel, a tri percentá respondentov mu dokonca priraďovali vysoké známky.

V prieskume sa vyníma zaujímavý údaj o publikačnej činnosti nemeckých učiteľov. Počet publikácií respondentov za posledné tri roky varioval medzi 0 až 101, priemerne 11,86 publikačných výstupov ročne. Zaujímavé sú priemery podľa postavenia respondenta. Priemer pre profesorov na dôchodku a emeritovaných bol 16,7 príspevku ročne (pri rozptyle 0 až 100), vysokoškolskí učitelia v priemere 18,1 príspevkov ročne (pri rozptyle 0 až 101) a vedeckí pracovníci: 4,1 príspevkov ročne (pri rozptyle: 0-24). Uznávam, že pri takých rozptyloch sú výpovedné hodnoty priemerov sporné, ukazujú ale trend, že v nemeckom právnom prostredí publikačná krivka s akademickým vekom rastie. Zároveň existuje dosť veľký prepad v hodnotení medzi prvými niekoľkými časopismi a zvyškom.

Už som písal, že v tuzemskom prostredí sú výsledky prieskumu nepoužiteľné. Aj na Slovensku je ale v posledných rokoch snaha (najmä od akademickej rankingovej a ratingovej agentúry ARRA, ktorá nezištne vytvára ranking vysokých škôl), aby spoločenské vedy zadefinovali skupinu časopisov, ktorá bude pre akademické účely hodnotená vyššie ako ostatné časopisy. Takáto skupina časopisov môže byť určená nielen prostredníctvom kvantitatívnych ale aj subjektívnych, akýchsi soft-kritérií. To, že doterajšie kritéria hodnotenia kvality publikácií (recenzovaný / nerecenzovaný časopis) sú bez rozumnej miery disciplíny nezmyselné potvrdzuje aj fakt, že sama ARRA vydáva vlastný ARRA newsletter ako recenzovaný časopis.

Každopádne, bolo by zaujímavé vidieť výsledky obdobného subjektívneho prieskumu tunajších akademikov.