středa 27. ledna 2016

Žebříčky právnických fakult a výzkum platů advokátních koncipientů - zatím na půl cesty

V posledním týdnu se objevily dva žebříčky právnických fakult. Jeden z dílny Hospodářských novin a druhý na webech Právní prostor a Legal Jobs. První si klade otázku, která právnická fakulta je lepší, druhý se zaobírá platy absolventů, respektive studentů práv. Neodvážím se kritizovat jejich kompletní zpracování, ale poukáži na jejich několik nedostatků, kvůli kterým by člověk měl být ostražitý při jejich využívání.

Žebříček právnických fakult

O zavedení hodnocení právnických fakult se postaral Tomáš Němeček a na Jiném Právu se o něm diskutovalo od počátku. Hodnotí se různé kategorie, které se v průběhu roku mění. Byť je dostupná metodika, resp. údaje, které se berou v potaz, není přesně jasné, jak se dojde k číslům, které jsou výsledkem metodiky.

Podívejme se na výsledky v kategorii věda. Ta je nejjednodušeji ověřitelná z veřejných zdrojů. Zároveň trpí (dle mého názoru) největším problémem, protože se body přidělují na základě pořadí a nikoli proporčně. Co ukazuje tabulka níže? Srovnání čtyř fakult na základě obodovaných vědeckých výsledků. První sloupec ukazuje přepočítané body v souladu s metodikou HN (tedy pilíř I a II) za rok 2014. Druhý sloupec ukazuje počet akademických pracovníků na každé fakultě přepočtený na plné úvazky (údaje podle výročních zpráv za rok 2014, v případě Olomouce za rok 2013, jelikož se mi nepodařilo najít údaj za rok 2014). Další sloupce jsou již vypovídající samy o sobě. Byť v dotazníků pro HN fakulty zasílají sami informace, které mají dostupné, není jasné, zda zaslaly informace za rok 2014. Při srovnávání je ale nejlepší pracovat s nejaktuálnějšími informacemi, které jsou právě za rok 2014. Jsou-li tyto informace dostupné na webu, mohli je novináři využit. Tyto údaje porovnávám s pořadím stanoveným HN v roce 2014 i 2015.


Přepočítané body Přepočítané úvazky Body na pracovníka Pořadí poměru Pořadí absolutní Pořadí HN 2014 Pořadí HN 2015 Přepočtené body (celkem 25) Body HN Rozdíl body HN – JP
Brno 10732 99.3 108.1 1 2 1 1 8.1 10 1.9
Olomouc 5095 80 63.7 4 3 3 4 4.8 2,5 -2.3
Plzeň 4556 52 87.6 2 4 2 2 6.6 7,5 0.9
Praha 11403 153.4 74.3 3 1 4 3 5.7 5 -0.6

Co to ukazuje? Že pořadí, o kterém často rozhodují malé rozdíly, toho moc nevypovídá. Respektive, že pokud se lehce upraví metodika (zamění se např. proporční přiřazování bodů za body za pořadí), tak lze pozměnit sled fakult za sebou.

Jaké jsou výsledky ve vědě? Z hodnocení v pilíři I a II vycházejí dva vítězové. Z hlediska produkce největšího množství bodů to je Praha, z hlediska nejlepšího poměru (počet bodů/pracovní úvazek) Brno. Rozdíly jsou velké, ale nikoli velmi vysoké. Nejlepší fakulta (Brno) produkuje na jednoho akademického pracovníka 1,7x více bodů než nejhorší fakulta (Olomouc). Přesto tento rozdíl v případě letošního hodnocení HN by znamenal rozdíl mezi 10 a 2,5 body – a tedy i významný vliv na konečný výsledek.


Výzkum týkající se platů absolventů

Největším problém tohoto výzkumu je výběr respondentů. Reflektuje to skutečnost, že na právnických fakultách se neučí metodologie výzkumu. Průzkumu se zúčastnilo celkem 2093 studentů, koncipientů, advokátů a dalších právníků. Jak byli vybráni? Byli vyzváni k vyplnění dotazníku na internetu. Dále se uvádí, že dotazník vyplnila pětina koncipientů. Jeden by si řekl, že to jsou krásná čísla. Jenže ouha.

Jak víme, že tato pětina skutečně reprezentuje celou koncipientskou populaci? Do jaké míry je reprezentativní? Toto bohužel není zmíněno. Tak tato pětina může být odlišná od zbytku – může pracovat spíše ve velkých městech, může pracovat ve větších kancelářích, může být více vzdělaná či více jazykově vybavená. Nebo naopak nemusí. Tedy pokud není zjištěno, nakolik je vzorek reprezentativní, tak z něj není možné činit obecné závěry. Jak by to šlo udělat lépe? Třeba pokud by se náhodně vybralo 300 koncipientů a od nich by se následně získaly potřebné údaje. I vzorky získané pomocí internetového dotazníku by šlo použít (či jim spíše věřit), pokud by se porovnaly se základními údaji, které souvisí s příjmem – např. s věkem, místem výkonu či vystudovanou fakultou, které by mohly být shromažďované advokátní komorou.

Nakolik je vzorek reprezentativní není jasné ani u jednotlivých podkategorií. Odchází-li 30 % absolventů brněnské fakulty do Prahy, jedná se o průměrné studenty? Nebo odchází ti nejlepší? Pokud odchází ti lepší a v Praze zůstane např. 80 % absolventů, pak tyto dvě skupiny nejde samozřejmě srovnávat, byť se tak děje. Tedy při porovnání se snažíme hledat porovnatelné. V sociálních vědách to jde vždy jen omezeně, do určité míry. Tedy určité nedostatky a zkreslení bude mít každý výzkum. Zde je to otázka míry a někdy i snahy výzkumníka. Škoda je i to, že se nepřikročilo k lepšímu zpracování dat, např. užitím mnohorozměrné analýzy, která by lépe vysvětlila vliv jednotlivých proměnných (např. u jazyků) na příjem. Takto analýza zůstává lehce bezzubá, protože některé kategorie jsou smíchané – jaké další jazyky např. umí ti, kteří vládnou velmi pokročilou němčinou? Nakolik jsou brány v potaz?

Co s tím?

Do budoucna by se hodilo zveřejňovat více dat o výzkumech. Metodiku výzkumu a jak se došlo k jednotlivým počtům u žebříčků právnických fakult, data o účastnících a o jejich reprezentativitě u dalších výzkumů příjmů absolventů. Možná článek vyznívá příliš kriticky. Tak rozhodně není míněn. Je dobré žebříčky sestavovat, je potřebné o světě kolem nás vědět co nejvíce. Zároveň ale je třeba je sestavovat metodologicky správně – jinak nejsou příliš použitelné.

A nakonec když jsou žebříčky sestavené, tak by jim člověk neměl propadnout – nezobrazují to nejdůležitější. Tedy nakolik univerzity naučí své studenty být dobrými právníky nejen z hlediska znalostí, ale i z hlediska morálky. Nebo zda věda, kterou vyprodukují, je i k něčemu jinému než k publikaci. Podobně i očekávaný příjem je pro člověka informací a nikoli tlakem, které povolání si má vybrat.

(autor je z Prahy)

Pozn.: V původním výpočtu článek vycházel z špatného údaje v případě Masarykovy univerzity. V důsledku toho byl údaj (i text)
opraven. Byly provedeny dvě větší změny. Z výroční zprávy nevyplývá, jaký je přepočtený stav akademických pracovníků na PF MU. Počet akademických pracovníků byl vynásoben průměrným úvazkem všech pracovníků na PF MU. V rámci PF UK bylo naopak odečteno sedm úvazků, které tvoří akademičtí pracovníci na katedře tělesné výchovy, která není v případě tří ostatních zahrnuta do struktury fakulty. Problematické je i započítávání vyučujících jazyků. V případě ZČU nejsou členy fakulty, u MU a UP není zřejmé, zda jsou počítáni za akademické pracovníky či nikoli - UK je za akademické pracovníky započítává. Za chyby a původní mylné závěry se omlouvám.

13 komentářů:

Robert řekl(a)...

Měřitelnost dobrého právníka z hlediska znalostí i morálky je hezká představa :-)

Michal Havran řekl(a)...

Zkušenost nám ukazuje, že různé "alternativní" (a exaktně prakticky neměřitelné) ukazatele obvykle navrhují ti, kdo selhávají v těch tradičních.
Proti HDP jako ukazateli ekonomického úspěchu nejhlasitěji protestovaly země, které "nezvládly" krizi. No a když se fakultě nedaří ve vědě ani v praxi, začne měřit morální kredit absolventů.

Jaroslav Benák řekl(a)...

Údaj v tabulce za Brno (162 pracovníků) je včetně neakademických. Těch akademických bylo podle VZ 113 (v absolutních číslech, bez přepočtených úvazků). Tím se oklikou dostáváme k pointě autora postu, že pokud se změní metodika, dají se změnit i výsledky :-)

Tomáš Sobek řekl(a)...

Pro měření morálních kvalit právníků potřebujeme nějakou jednotku. Navrhuji 1 URV (= urválek).

Honza řekl(a)...

no v tomto bode je Vase cislo take zavadejici dle meho nazoru, protoze mam za to ze zde nejsou zapocitani doktorandi, kteri se na "vede" take podileji - to je pravdepodobne problem u cisel vsech fakult, v Brne vsak bude celkem zasadni vzhledem k vysokemu poctu doktorandu (v absolutnich cislech), kteri maji povinnost vykazovat "vedecke" vysledky. Zkracene receno - "veda" by nemela byt rozpocitana pouze na akademicke pracovniky (vyucujici) ale take na doktorandy.

Ladislav Vyhnánek řekl(a)...

Jaká bude zkratka pro tisíc urválků?

Jakub Drapal řekl(a)...

Mate pravdu, dneska nebo zitra to zkusim prepocitat. Neznate pocet prepoctenych uvazku v Brne? Ve VZ to totiz neni uvedeno...
Dalsim problemem je, nakolik brat pouze udaje z VZ. V Praze se mezi odborne asisteny pocitaji i ti na katedre telesne vychovy, popripade ti na katedre jazyku. Tyto katedry napr. v Brne nejsou (popripade nevim, zda se clenove Centra jazykoveho vzdelani pocitaji jako akademicti ci jako neakademicti). V Olomouci toto nejsem take schopen o katedre jazyku zjistit ani z webu (jedna se o pracovniky nebo o odborne asistenty?), v Plzni katedru (ci centrum) jazyku nemaji. 14 prepoctenych uvazku z jazyku pritom muze rozhodnout o poradi vcelku vyrazne - proto by to pomerne hodnoceni bylo lepsi, protoze pripadne rozdily by nebyly tak vysoke.
Nicmene spatny udaj z Brna je moje velka chyba, diky za upozorneni.

Lukas Hoder řekl(a)...

Žádný vulgarity, pánové.

Tomáš Sobek řekl(a)...

Pro tisíc urválků navrhuji 1 VLG (= vulgarita).

Robert Zbíral řekl(a)...

Jakube dvě poznámky:
- proč má mít nejlepší poměr Plzeň, když podle předložené tabulky to je jednoznačně Brno?
- nerozumím těm psím kusům s "nevědeckými" katedrami: i lektoři jsou v pozici akademických pracovníků a pokud si je tam fakulta drží a tím naznačuje jejich důležitost, tak proč by se neměli započítávat třeba i tělocvikáři? (u nás třeba jazykáři určitě započítaní jsou)

To, že je žebříček HN k ničemu, je prostě fakt a rozeberu to ve slíbeném postu, na který se právě vrhám :-)

Jakub Drapal řekl(a)...

Opravit Plzeň za Brno mi uniklo, když jsem opravoval čísla. Už to je napraveno, díky.

Srovnávat by se mělo jen srovnatelné. Navíc to nezáleží jen na fakultě - pokud se univerzita rozhodne, že sporty se budou učit centrálně, tak s tím fakulta nic nenadělá. Stejně i opačně, pokud fakulta chce zachovat sporty a nelze učit sporty centrálně, tak to musí dělat každá fakulta zvlášť. Tedy fakulta nenaznačuje jejich důležitost, ale naznačuje tradici a způsob organizace na jednotlivých univerzitách.
Podobně i u jazykářů - nepředpokládám (což lze navrhovat i z hlediska titulů, které mají), že příliš publikují. Není tedy namístě srovnávat výsledky z Prahy, kde desetina akademických pracovníků jsou jazykáři, s výsledky z Plzně, kde nikdo takový není. Protože mi to nedá komparativní výsledky. A opět to nezáleží jen na fakultě, ale na organizaci celé univerzity.
Taky bych argumentoval teleologicky - mým cílem je zjistit, jak "dobří ve vědě" jsou jednotliví pracovníci na různých fakultách. Vyučující sportů a jazyků vědu obecně nedělají, tak je tedy nepočítejme. Nejen, že zjistíme stav, který odpovídá lépe skutečnosti (běžný akademik se s ním pak může např. srovnávat), ale protože jednotlivé fakulty mají různou organizační strukturu, tak zajistím porovnatelnost výsledků.
Nakonec jde o to, že počítám body na akademického pracovníka - nikoli absolutní výši. A musím si definovat, kdo to je akademický pracovník. A úřední zařazení na jednotlivých fakultách (z jakéhokoli důvodu, který může být mylný) mi nepřijde jako nejlepší měřítko - mám-li lepší.

Robert Zbíral řekl(a)...

Aha, jsme se minuli v tvém záměru: já se domníval, že se snažíš nějak zpětně replikovat závěry z HN, ne že chceš ukázat vlastní objektivní způsob výpočtu. Pak to dává smysl, ale chce to logicky korekci i na straně výstupů (nebude fakt jednoduchá...), neboť těch X jazykářů něco určitě vykázalo a takto by se jejich výstupy započítaly zbytku a Prahu (či Olomouc) zvýhodníš před Plzní

Jakub Drapal řekl(a)...

No do určité míry je třeba zobecňovat. A řekl bych, že jazykáři ve velké většině nepublikují. Ale bylo by zajímavé vyžádat si publikační činnost katedry jazyků.