Žebříček právnických fakult v Lidových novinách
Dnešní vydání Lidových novin publikovalo již druhé číslo jejich žebříčku právnických fakult. Vyhrála v něm brněnská práva následována Prahou, Plzní a Olomoucí. Jak to již bylo loni, vypovídací hodnota tohoto žebříčku je blízká nule. V celém žebříčku jsou totiž jen čtyři kritéria: počet zájemců, procento úspěšných zájemců (čím menší procento, tím větší selektivnost, a tedy lepší fakulta), počet zapsaných/počet přijatých (tady mne překvapilo, že Praha tu měla výrazně nižší procento než Brno), a počet na trhu práce uplatněných absolventů.
Jak vypadá sofistikovaný (ale také velmi kritizovaný) ranking v USA, se můžete podívat tady. Všimněme si, že těch kritérií je tam mnohem víc, např. hodnocení školy jejími studenty, hodnocení pověsti školy právníky a soudci, kvalit studentů měřená tamním systémem přijímacích zkoušek LSAT, kolik procent absolventů projde advokátními zkouškami, ale třeba i kvalita knihovny (počet svazků v knihovně, u nás by měl smysl i počet a kvalit internetových databází). Takže v USA ta výpověď má smysl. Napadá mne spousta dalších možných kritérií: citační index učitelů, počet jejich prací publikovaných v časopisech s IF, kolik studentů během studia vycestuje do zahraničí, atd. atd.
Srovnáním českých žebříčků nejen s USA, ale třeba i s Polskem snadno zjistíme, že koupě dnešních Lidovek jen kvůli žebříčku právnických fakult (což byl můj případ) byla vyhozením 12 korun. Aby tomu bylo jinak, musí se redaktoři LN ještě moc a moc snažit.
Ale skeptik asi namítne, že co vlastně v ČR srovnávat, máme-li tu všeho všudy čtyři právnické fakulty.
PS: Lidovky si stěžují, že jim rektoři a děkani nechtěli odpovídat na jejich dotazy. Nevím sice, co se jich přesně ptali, ale pokud to bylo srovnávání fakult (což je v textu naznačeno), neumím si představit, co by jim tak mohl univerzitní hodnostář asi říci. Takže trochu chápu jejich nevoli srovnávat a vykládat, že jejich fakulta je lepší než Olomouc, Brno nebo Praha (nebo že by někdo otevřeně řekl "Jsme horší!"?). Dotazy na extraney (právníky či studenty) jsou v tomto smyslu mnohem lepší, ale dají samozřejmě mnohem více práce.
17 komentářů:
Vysvětlením poměru zapsaní/přijatí mezi UK a MU může být skutečnost, že brněnská fakulta pořádala (a předpokládám, že tomu tak je dosud) zápis v době, kdy ještě nejsou známy výsledky pražských přijímacích zkoušek.
Neplatí nutně, že čím více kritérií, tím lépe. Všechna kritéria dohromady mají 100% podíl, a tedy přidáme-li jedno, musíme zmenšit význam jiného/jiných. Příklad: Kritéria hodnocení fakulty: 1/3 reputace, 1/3 uplatnění absolventů, 1/3 poměr přijatých. Co se stane když přidáme kritérium další, třeba schopnost studenta skákat o tyči (nebo repredukovat historická fakta :) )?
V USA je zcala zásadní Law School Admission Test (LSAT), objektivní a relevantní kritérium. Je cenný údaj, že přijatí na Harvard mají v průměru v LSATu percentil např. 99 a na Washington Law School např. 90.
(Percentil osoby X: kolik procent všech účastníků testu mělo stejně dobrý nebo horší výsledek než X.)
Prý se dělal v USA velký průzkum, jaká charakteristika studenta nejlépe predikuje jeho úspěšnost (nejlépe koreluje s úspěšností) při studiu (známkami). LSAT jim vyšel jako zdaleka nejdůležitější.
Vzhledem k rozptylu výsledku fakulty v testu okolo "skutečné hodnoty" má srovnávání 4 fakult trochu legrační charakter. (Ledaže bodový rozdíl výjde velký.)
(Samotné pořadí nám neříká, o kolik horší / lepší jednotlivé fakulty jsou a zda je tento rozdíl signifikantní.)
Asi bych na prvém místě ocenil, že se vůbec nějaký žebříček udělal, ale souhlasím se Zdeňkem, že k tomu, aby měl nějakou vypovídací hodnotu, je ještě pořádný kus cesty.
Jak uvádí sám Zdeněk, US News rankings jsou velice kritizované pro svoji metodologii. Jedním z kritiků je (můj oblíbený:-) Brian Leiter, který sestavil svůj vlastní žebříček - nejen právnických fakult, ale také fakult filozofických (který je velmi respektovaný, zaštiťuje ho Blackwells Publishing a ví se o něm dokonce i tady v Oxu - tím nechci říct, že je Oxford pupek světa, spíš chci zdůraznit, že ten žebříček musí už opravdu něco znamenat, když si ho všimnou místní stratosféričtí letci).
Není bez zajímavosti, co Leiteříká k hodnocení fakult na základě LSAT, které tady bylo zmíněno:
12.5% of the overall score is based on the median LSAT score. Highly Manipulable. This criterion is one of many that favors small schools. Consider: a school that enrolls 180 students each year, only needs to recruit 90 with an LSAT of, say, at least 164 in order to have a strong median LSAT. A school that enrolls 450 each year, by contrast, will need to recruit 225 students (more than twice as many) with that LSAT to report the very same median. Note also that U.S. News has no way of verifying the data reported by private schools, since the American Bar Association does not collect median LSAT data, only data about the 25th and 75th percentile. So this factor is highly manipulable by the schools.
Zde [http://www.leiterrankings.com/usnews/guide.shtml] je možné nalézt jeho kritiku žebříčku US News, zde potom odkaz na komparativní žebříček (který bral v potaz více žebříčků včetně toho jeho):
[http://www.top-law-schools.com/rankings.html]
Na rozdíl od české akademie je hodnocení škol předmětem debat mezi americkými právními akademiky: zde jsou články ze symposia, kterého se zúčastnil kromě Leitera třeba i Posner:
[http://www.law.indiana.edu/ilj/volumes/v81/no1/index.shtml]
Upřímně ale nevím, jakou metodiku by měli zvolit čeští novináři, nebo kdokoliv, kdo by se pokoušel o sestavení lepšího žebříčku; ta Leiterova je založena na peer review, tedy hodnocení ostatních akademiků. Představit si něco takového v malém zabahněném českém rybníčku si opravdu neumím.
Ha, ještě v návaznosti na ta kritéria zmiňovaná Zdeňkem: počet akademiků na našich právnických fakultách, kteří publikují někde, kde by se dalo mluvit o citačním indexu (mají něco takového právnické časopisy? - podle mě ne), by se dal spočítat na prstech jedné ruky. Můj odhad. Skoro bych tu ruku za ten odhad dal do ohně - myslím, že bych si ty prsty nepopálil. Stačí se podívat na karikaturu přehledu publikací pracovníků PF, který je na webu fakulty.
K Honzovi a Leiterovi: Leiter naznacuje, ze americky ranking a LSAT zvyhodnuje male skoly. Nejsou ale male skoly obecne lepsi nez velke skoly? Ma-li jeden rocnik studentu na skole A 400 studentu a na skole B 200 studentu, je to velke plus pro skolu B, protoze tady se mohou ucitele venovat studentum mnohem vice nez na skole dvojnasob pocetne.
A. Polské rankingy
Nevíte někdo, prosím, jak vypadá "waloryzacja KBN"? (Zřejmě státní hodnocení kvality škol; jedna ze složek polského rankingu, zaodkazovaného ve Zdeňkově příspěvku.)
B. Leiterova kritika LSATu
I. Nemožnost verifikovat
To je zajímavý argument, nevěděl jsem o tom. Uznávám, že je to problém. Protiargument: Kdyby se odhalilo, že fakulta podváděla, byl by to opravdu velký průšvih. Je-li riziko detekce dostatečné, pak si to fakulta nedovolí.
(V USA by se pražský přijímačkový skandál mohl stát mnohem obtížněji. Tamější špičkové fakulty ví, že jsou ve hře desítky mil. USD -- hodnoty jejich dobrého jména.)
II. Zvýhodnění malých škol
Přiznám se, že tomuto argumentu moc nerozumím. Škola může manipulovat 1. sehnáním kvalitních studentů, 2. zmenšením jejich počtu ve třídě.
1. Shit Law School, otevírající třídu pro 200 studentů, prostě nesežene 101 studentů s LSATem 164. (Aby měla v rankingu medián LSATu 164.) Na nejlepší školy se dostatnou nejlepší studenti, kteří pak těm horším školám chybí.
2. Harvard Law School se rozhodne polepšit si v rankingu a v příštím roce sestaví třídu ne z 500 studentů s nejvyšším LSAT (předpokládejme, že je to jediné kritérium pro přijetí), ale z 250. Tím se její medián LSATu přirozeně zvýší. Ale co je na tom špatně? Zvednutím laťky škola zvýší svou kvalitu a stane se z ní lepší škola. Každá fakulta -- i ta pražská -- balancuje kvalitu přijatých a jejich počet.
C. Kritéria pro hodnocení kvality školy
LSAT je nedokonalý v tom, že je zacílen na to, co škola dostala "na vstupu". Tento údaj silně koreluje s tím, co odevzdá "na výstupu". Můžeme se hádat o to, jak silně, a tedy o to, jak kvalitní je LSAT ukazatel pro ranking školy.
D. Otázka preferencí
Je dobré vědět, na jakou otázku ranking odpovídá. Jestli např. 1. na oblibu mezi profesory (dělají tam dobrou vědu) nebo 2. hodnocení v očích zaměstnavatelů. Body 1. a 2. přirozeně nějak silně souvisí.
Neexistuje nic jako objektivně nejlepší fakulta.
Má-li sloužit ranking jako informace uchazečům, pak je zásadní hledisko 2.
Takový ranking by měl rozřešit i otázku: pokud má "průměrný" zaměstnavatel před sebou jednoho uchazeče z fakulty A a jiného uchazeče z fakulty B, kterého z nich si vybere, nemá-li o uchazečích žádné jiné informace.
(Zajímavá otázka je, zda je lepší být hvězda v pekle nebo lůzr v nebi.)
E. Metodologie
Tvořit rankingy nebo přijímací testy je (tvrdá) věda. (Pokud někdo víte o dobré knize, napíšete mi prosím?) Pobaví představa, jak novináři volali děkanům jednotlivých fakult a ptali se, která je ta nejlepší.
O (prokázané) manipulaci některých právnických škol s kritérii pro US News Ranking se píše např. tady: [http://www.nxtbook.com/nxtbooks/cypress/nationaljurist0107/index.php].
Menší vypovídací hodnota LSAT pro hodnocení kvality školy může přece spočívat v tom, ža zatímco aby Yale (tedy malá škola) měl určitý procentní podíl studentů s vysokým LSAT, tak soutěží o mnohem méně studentů, než třeba Harvard, jehož ročník má studentů mnohem více. V tom jsou přece větší školy znevýhodněny, nebo ne?
K té literatuře na Rankings: já myslím, že ty Leiterovy stránky jsou opravdu dobré, stejně jako to symposium (na oboje jsou odkazy v mém předchozím postu). Přinejměnším tam budou odkazy na další literaturu.
K tomu sebehodnocení děkanů: nedávno se mi dostal do ruky rozhovor děkana Gerlocha v časopise Soudce. Při jeho čtení se ve mně střídal vztek, zoufalství a smích, zkrátka všechny možné emoce. Doporučuji k přečtení!!! Jedna z věcí,která se mi líbila nejvíce, bylo jeho chválení fakulty za to, kolik má profesorů. Za prvé: kdo rozhoduje o tom, že někdo dostane profesuru? (Že by slovutná vědecká rada - - samotné fakulty?) Za druhé: jaká jsou kritéria? Posuzuji-li některé nedávné profesory podle jejich publikací (ach ano, známé, bohužel ne u nás: "Publish or perish!") nebo jiné VĚDECKÉ činnosti (účast na konferencích např.), musím nutně dospět k závěru , že kritériem pro českou profesuru není vědecká činnost, která by byla nějak objektivně doložena. Nějak mi odsud z dálky pořád není jasné, co to tedy vlastně je.
Ale abych neházel špínu jen na Čechy: když se bavím s kolegy z Polska, nebo třeba i Itálie, říkají mnohdy to samé.
Ano, malé školy jsou "zvýhodněny". Jenže škola A pro 5 lidí s LSATem 180 bude lepší než škola B pro 500 lidí s mediánem LSATu 170. Škola A je lepší a dostane lepší ranking, škola B je horší a dostane horší ranking. Kde je problém?
Samozřejmě je otázka, co to znamená být lepší/horší. Vezmeme-li to z pohledu zaměstnavatele: Zaměstnavatel nezná Váš LSAT. Zná, jakou školu jste absolvoval. Nemá-li jiné informace než ranking, raději přijme studenta ze školy A než B. Zná-li známky obou studentů, uvědomí si, že student z A čelil tvrdší konkurenci. Tedy student z B -- aby ho zaměstnavatel přijal -- musí mít o něco lepší známky.
Hypotéza: studenti s vyšším LSATem se -- ceteris paribus -- společným studiem zlepší více, než Ti s horším.
Ten článek, no nevím:
"The law school community is rife with numbers or selectively reporting statistics to help boost their rankings."
Zaměstnávání nezaměstnaných absolventů na NYU -- aby se zlepšila statistika --, je zajímavé , ale nepotvrzené.
Nepochybuji, že některá z cca. 181 akreditovaných škol bude podvádět -- zajímavější otázka je, zda budou podvádět ty, řekněme, v první třicítce.
Obávám se, že zkonstruovat dobrý ranking není úloha pro právníky.
Díky za odkazy, podíval jsem se teď do Posnerova příspěvku a našel tohle:
The weights are arbitrary2 and so, likewise, are the rankings except insofar as the different
weighted factors happen to be well correlated with each other.
...
In fact, as shown in table 1, the median3 Law School Admission Test (LSAT) score of a law school’s students does much of the work of U.S. News’s ranking
algorithm (especially since the more subjective factors in the algorithm, such as school
reputation and students’ college GPAs, are correlated with it), and one imagines that
the reason for the algorithm may be to make readers think that some analytic subtlety
went into the magazine’s system and perhaps also to obtain some copyright protection.
Díky za Vaši odpověď, přesto však ve mně zůstavají pochyby: pokud na škole A bude 10 studentů a všichni budou mít LSAT na 180 a na škole B bude 100 studentů, přičemž 10 z nich bude mít LSAT 180 a ostatních 90 pak skóre nějak rozvrstvené, jak můžete říci, že škola A je lepší? (I když v přepočtu na průměrný LSAT vychází ta škola A jako jednoznačně lepší).
Jinak k zaměstnávání absolventů právnických škol v USA zrovna včera bloggoval Brian Tamanaha:
http://balkin.blogspot.com/2007/01/slice-of-information-about-corporate.html
Děkuji za odkazy a vůbec za tenhle blog.
Záleží, co znamená "lepší".
Vaše škola A je lepší než škola B v tom smyslu, že pokud o absolventovi školy A a školy B nevíme nic jiného, pak předpokládáme, že absolvent školy A je lepší.
Kvalita absolventa = (i)kvalita absolventa při přijetí + (ii)přidaná hodnota ze vzdělání.
(i) To myslím LSAT určuje celkem dobře, nebo přinejmenším lépe než jakýkoli jiný dostupný údaj.
(ii) Myslím, že vezmeme-li dva studenty se stejným LSATem, přičemž jeden je svým LSATem na své fakultě průměrný (přip. medián?) a druhý na své fakultě nadprůměrný, pak lze očekávat, že ten první získá vyšší přidanou hodnotu.
Jinými slovy, těch 10 studentů s LSAT 180 na velké škole bude muset navštěvovat pro ně příliš jednoduché kurzy, zacílené svou obtížností na všechny studenty (s nižším mediánem LSATu).
Ještě můžete argumentovat, že systematicky platí, že čím větší škola, tím vyšší přidaná hodnota. Předpokládám, stejně jako Zdeněk Kühn, že tomu bude právě naopak.
(Samozřejmě přidanou hodnotu měří peer review, počet profesorů na studenta...; je otázka, jak dobře.)
Znalostní "ekonomika" se může dostat do následující rovnováhy: Nejlepší škola nejlépe učí, aby získala nejlepší studenty. Nejlepší uchazeči se hlásí -- a jsou přijatí -- na nejlepší školu, aby získali nejvyšší přidanou hodnotu. Nejlepší zaměstnavatelé preferují absolventy z nejlepší školy, protože jsou nejlepší.
Jsme-li v takové rovnováze, pak abychom zjistili, která fakulta je nejlepší (na jakou se mám dostat, abych získal co nejlepší nálepku), stačí se podívat na medián/průměr LSAT jejích studentů. (Přitom tento údaj nedává dokonalou předpověď, ale nejlepší dostupnou.)
(Komplikace: a) Záleží nejen na tom, jakou školu jste absolvoval, ale i na tom, jaké jste tam získal známky. b) Specializace studentů / jednotlivých fakult. c) Další, které mě nenapadly.)
Okomentovat