středa 17. listopadu 2010

O jednom subjektívnom rankingu nemeckých právnických časopisov a o obrazoch v zrkadle

Michal Bobek dal pred pár dňami opäť do pozornosti kult karga v právnickej akadémii. Nechcem v tejto súvislosti otvárať novú pôdu pre ďalšie obradné stavanie barikád, pálenie čarodejníc alebo iné prejavy akademického sebapotvrdzovania. Rád by som Vám ale predstavil podľa môjho názoru zaujímavý výsledok jedného pokusu o zhodnotenie akademickej kvality právnických časopisov v Nemecku akademikmi samými.

Na rozdiel od, síce sporného, ale existujúceho, rankingu nemeckých právnických fakúlt (na základe dát CHE-Ranking) sa pokusy vytvoriť určitý scientometrický ranking právnických časopisov v Nemecku podľa ich „akademickej hodnoty“, pokiaľ mi je známe, nevydarili. Minulý rok bol však v JuristenZeitung publikovaný úder zo strany, od ktorej by to nikto nečakal. Zverejnený bol študentský pokus o prieskum, ako hodnotia samotní akademici jednotlivé nemecké právnické časopisy (neskôr k nemu pribudla aj webstránka) Ako vieme, žiadny nemecký časopis nie je v zozname vavrínmi ovenčených karentovaných časopisov. Taktiež je známe, že nemeckí kolegovia z toho hlavu v smútku nemajú. Akademická obec má (ako som mal možnosť zistiť aj od kolegov, ktorí sa v súčasnosti pokúšajú v Nemecku o akademický postup) dosť jasnú predstavu o akademickej kvalite právnických časopisov, ktorá do veľkej miery korelovala aj s výsledkami tohto prieskumu. Poďme sa naň bližšie pozrieť.

Autori prieskumu rozposlali 1500 vyučujúcim na 45-ich nemeckých univerzitách dotazník. Obdržali 248 odpovedí. Odpovedalo 125 vysokoškolských učiteľov (profesorov a tzv. junior profesorov), 21 profesorov na dôchodku (prof. i.R.) alebo emeritných profesorov, ako aj 104 vedeckých pracovníkov, z toho 199 mužov, 49 žien.

Od respondentov požadovali nasledovné údaje: určenie právneho odvetvia ich záujmu a poradie piatich najdôležitejších časopisov v tomto odvetví, poradie piatich najpodstatnejších časopisov vo všeobecnosti, bez ohľadu na právne odvetvie a počet publikácii respondenta za posledné tri roky. Do výsledku sa započítavalo samotné poradie časopisu (koeficient 1; 0,8; ... 0,2), postavenie respondenta (profesor – 1, vedecký pracovník – 0,6), čo malo byť odôvodnené dĺžkou skúseností s vedeckou prácou, a intenzita publikačnej činnosti respondenta. Posledne menované kritérium malo odzrkadľovať myšlienku, že respondent, ktorý je častým autorom by mal mať menej skreslený pohľad na kvalitatívne požiadavky vydavateľstva, ako ten, kto vníma časopisy iba z perspektívy čitateľa. Koeficient publikačnej činnosti sa určil tak, že počet publikácií respondenta za posledné 3 roky bol predelený desiatimi.

Príklad: profesor, ktorý publikoval 25 príspevkov za posledné tri roky ohodnotil časopis X druhým miestom, tak počet bodov, ktorý mu bol v hodnotení počítaný bol: 0,8 (druhé miesto) krát 1 (profesor) krát 2,5 (desatina publikačnej činnosti za rok), spolu teda 4,3.

Výsledky, ku ktorým prieskum dospel sú uverejnené v článku, ako aj na internetovej stránke. Toľko k samotnému prieskumu. Ťažko hľadať v našich priestoroch nejaké poučenie z jeho výsledkov, a voči zvolenej metodológii možno mať taktiež určité výhrady (arbitrárne určené bulharské konštanty značne skresľujú výsledok). Zaujímavé sú ale niektoré postrehy autorov, ktoré sa v článku vyskytujú akoby mimochodom, resp. myšlienky, ktoré sa objavujú medzi riadkami.

Už samotná voľba subjektívnych kritérií, resp. subjektívneho hodnotenia poukazuje na krízu klasických objektívnych scientometrických kritérií (počet výtlačkov, počet citácii) a našu schopnosť splniť kvantitatívne kritéria, resp. vytvoriť si systém, v ktorom ich spĺňame.

Pri subjektívnom hodnotení je potrebné odstrániť mnoho komunikačných „šumov“. Tvorcovia rankingu stáli pri probléme už pri definovaní samotného slova „akademická kvalita“ časopisu, najmä ak je možné rozlišovať medzi kvalitou a reputáciou časopisu. Subjektívne hodnotenie má ale aj ďalšie zákutia. Respondenti, ktorí prispievajú do kvalitných a tradičných časopisov majú tendenciu neprimerane prísneho posudzovania nových časopisov. V hodnoteniach sa taktiež často prejavuje korelácia medzi hodnotením časopisu ako kvalitného a členstvom v redakčnej rade časopisu, s čím je spojený problém sliepky a vajca: Stali sa respondenti najprv členmi redakčnej rady a až následne považovali časopis za kvalitný, alebo opačne? Tieto ako aj iné subjektívne neduhy chceli autori odstrániť neanonymizovaným dotazníkom. Takýto postup ale pravidelne vedie k zmene v „reprezentatívnosti“ vzorky respondentov.

Úsmevne pôsobí údaj, že ako akademici nemáme hanbu naletieť a hodnotiť aj to, čo nepoznáme. V jednom prieskume sa body priraďovali k vymenovaným časopisom, pričom jeden z nich sa síce honosil dobre znejúcim názvom, bol však iba vymyslený. To ale nebránilo 30-tim percentám respondentov hodnotiť aj tento výmysel, a tri percentá respondentov mu dokonca priraďovali vysoké známky.

V prieskume sa vyníma zaujímavý údaj o publikačnej činnosti nemeckých učiteľov. Počet publikácií respondentov za posledné tri roky varioval medzi 0 až 101, priemerne 11,86 publikačných výstupov ročne. Zaujímavé sú priemery podľa postavenia respondenta. Priemer pre profesorov na dôchodku a emeritovaných bol 16,7 príspevku ročne (pri rozptyle 0 až 100), vysokoškolskí učitelia v priemere 18,1 príspevkov ročne (pri rozptyle 0 až 101) a vedeckí pracovníci: 4,1 príspevkov ročne (pri rozptyle: 0-24). Uznávam, že pri takých rozptyloch sú výpovedné hodnoty priemerov sporné, ukazujú ale trend, že v nemeckom právnom prostredí publikačná krivka s akademickým vekom rastie. Zároveň existuje dosť veľký prepad v hodnotení medzi prvými niekoľkými časopismi a zvyškom.

Už som písal, že v tuzemskom prostredí sú výsledky prieskumu nepoužiteľné. Aj na Slovensku je ale v posledných rokoch snaha (najmä od akademickej rankingovej a
ratingovej agentúry ARRA, ktorá nezištne vytvára ranking vysokých škôl), aby spoločenské vedy zadefinovali skupinu časopisov, ktorá bude pre akademické účely hodnotená vyššie ako ostatné časopisy. Takáto skupina časopisov môže byť určená nielen prostredníctvom kvantitatívnych ale aj subjektívnych, akýchsi soft-kritérií. To, že doterajšie kritéria hodnotenia kvality publikácií (recenzovaný / nerecenzovaný časopis) sú bez rozumnej miery disciplíny nezmyselné potvrdzuje aj fakt, že sama ARRA vydáva vlastný ARRA newsletter ako recenzovaný časopis.

Každopádne, bolo by zaujímavé vidieť výsledky obdobného subjektívneho prieskumu tunajších akademikov.

5 komentářů:

Anonymní řekl(a)...

Ankety do vědy nepatří. Nejhorší paseku ve vědě udělá tvrzení, že vědecká komuinita je přesvědčena o ....

Jiří Hnízdo

Kristian Csach řekl(a)...

Ankety (týkajúce sa soft údajov, teda postojov, vnímania, názorov) urobia skutočne paseku vtedy, ak sa z nich niečo "objektívne a vedecké" vyvodzuje. To ale nie je tento prípad. Toto je zábavka (prečo to asi vyšlo v časopise, ktorý je prvým v poradí?).

Takéto ankety majú určitý zmysel pri rozhodovaní o nastavení benchmarkingu (akési odosobnené kolektívne rozhodovanie), resp. pri rozhodovaní o tom, že žiadny benchmarking nemá význam. Niečo ako marketingový prieskum.

Ankety zrkadlia obrazy, niekedy ich skresľujú. Dávajú vstupné údaje do úvahy, a to najmä vtedy, ak nie je možné tieto údaje objektívne kvantifikovať (aká je vedecká hodnota časopisu, ktorý každý číta a využíva ho spôsobom ktorý sa nedá kvantifikovať? - napríklad pri rozhodovaní, hoci na to nepoukáže, pri výučbe, pri formovaní spôsobu myslenia, a podobne).

Ako som ale písal, zaujímavejšie sú pasáže mimo výsledkov ankety a ich interpretácie.

Anonymní řekl(a)...

To je karidnální omyl. Neškodí to tak, že by z výsledku někdo něco objektivně dovozoval.
Škodí to proto, že to dává jistým tvrzením váhu bez toho, že by se tím k věci nějak argumntačně přispělo . Když budete mít několik konkurenčních názorů vč. konkurenčních "objektivních realit", pak se v minulosti několikrát stalo, že o pravdivosti se rozhodovalo hlasováním.

Ne náhodou mají muslimové, židé a katolíci (a možná i někteří protestanté) pravidlo, že se jako celek (skupina/církev) nemohou nikdy mýlit. Papežská neomylnost v věcch víry a morálky je proti tomu už jenom lehký a skoro by se dalo říci vědcký čajíček :-)

Jakmile se přistoupí k anketě, věda tím končí.

Jiří Hnízdo

Anonymní řekl(a)...

Právo není objektivní realita nezávislá na lidech, ale je to společenská praxe, kterou tvoří legislativa, judikatura, ale i jurisprudence. Smysl jurisprudence spočívá v tom, že pomáhá koordinovat právní praxi, a to zejména tím, že upřesňuje sdílenou právní terminologii a juristickou metodologii. Jurisprudence (ve své hlavní části) není poznáváním objektivní pravdy, není to empirická věda, ale koordinační projekt.

Tomáš Sobek

Anonymní řekl(a)...

Z vlastní zkušenosti mého žití posledních 20 let soudím, že v právu je naopak důležité, co si myslí komunita než to, co je pravda, čímž se právo dostává do oblasti věd teologických, řekněme pastoračního charakteru :-)
Existuje v právu vůbec pravda ve smyslu logickém ? V poslední době mám zkušenost, že lze zargumentovat cokoliv s odkazem na zabránění formalismu (roz. právnímu pozitivismu).

Naposledy např. zde pobyvavši pan Mgr. Kuhn, který dovodil, že aby měl zákon smysl, musí být vymahatelný a proto může i takto vzniknout povinnost nechat se držet revizorem. Proti samotnému výsledku nic nenamítám, přijde mi rozumný, ale takto lze dovodit cokoliv. Tento výsledek má stanovit explicitně (to se nevylučuje s obecností) zákon a nikoliv soud, který si tím de facto navýšil pravomoc zákonodárce podobně jako kdysi US v případě rušení ústavních zákonů nebo nařizování předběžných opatření bez návrhu.

V svém důsledku je totiž jedno, z které strany přiletí diktátor.

Milan Slabý