Karolína Drachovská: Morální dilema samořiditelného automobilu
Každé vozidlo se zabudovanými prvky vysoké či plné automatizace (stupeň autonomie řízení 4 a 5) bude vykovávat kompletní akt řízení v zásadě bez jakéhokoliv zásahu člověka. Chtě, nechtě se tak nevyhneme okamžiku, kdy bude nutné příslušnému algoritmu předdefinovat, jak se má v konkrétní situaci zachovat, a to i pro případ kolize. Upřednostní vozidlo v krizové situaci život osob jdoucích po chodníku, či těch jedoucích ve vozidle? Vybere řešení A, nebo B? A máme vůbec mandát k tomu, abychom předem stanovili, který lidský život má v dané situaci dostat přednost?
Trend rozvoje samořiditelných vozidel je zřejmý. Prognózy počítají s plnou dostupností služby podmíněné automatizace řízení do roku 2025, přičemž první poloautonomní automobily by se na silnicích mohly objevit již v průběhu roku 2020. Příznivci tohoto pokroku jako hlavní přínosy autonomních technologií v dopravě deklarují zejména zvýšení bezpečnosti silničního provozu (dle odhadů je selhání lidského faktoru v určité míře příčinou až 95 % kolizí na silnicích, 75 % dopravních nehod je pak způsobeno výlučně lidskou chybou, aktuální predikce však v konečném důsledku do roku 2050 očekávají dosažení tzv. „vize nula” jako stavu, kdy na evropských silnicích nebude docházet k žádným smrtelným nehodám), čistší životní prostředí, hospodářský růst či zlepšení mobility obyvatel. Avšak aby tyto technologie mohly dostát všem přínosům, musí mít společnost celou situaci pod kontrolou již od samého počátku.
K tomu, abychom neztratili krok s předními hráči automobilového trhu (předními hráči dopravního trhu zde rozumím zejména Japonsko a USA, které již na úpravách svých právních řádů intenzivně pracují) a mohli vůbec začít samořiditelná vozidla v reálném provozu používat, je nutno vyřešit klíčové otázky pojící se s touto novou, doposud platným právem přesně nepopsanou oblastí. De lege lata představuje první tuzemskou překážku zákon č. 361/2000 Sb., o provozu na pozemních komunikacích, v podobě legálního vymezení pojmu řidič, zákonodárce musí svou pozornost upnout rovněž k uzpůsobení pravidel silničního provozu a infrastruktury, vymezení základních technických požadavků, úpravě odpovědnostních vztahů a další klíčovou právně-relevantní otázkou je i problematika nakládání s daty, kterými budou vozidla vybavena. Úvahy nad těmito oblastmi však nebudou protentokrát předmětem mého zamyšlení. Rozhodla jsem dnes namísto zkoumání pravidel právních zabřednout do vod pravidel etiky, neboť vzájemný průnik odpovědnosti právní a odpovědnosti morální by měl být v demokratické společnosti co nejúplnější. (K tomu srov. ŠVESTKA, J. In: DVOŘÁK, J., ŠVESTKA, J. a kol. Občanské právo hmotné 1 – Díl první: Obecná část. 2. vyd. Praha: Wolters Kluwer, 2016, s. 74-75.)
Jak již bylo předestřeno na předchozích řádcích, conditio sine qua non prvotního uvedení vozidel vybavených automatizačními prvky řízení do reálného provozu je rozšíření legální definice pojmu řidič, jakož i úprava městské infrastruktury a uzpůsobení extravilánu, aby vozidla mohla sbírat a zpracovávat okolní data. S tím si však vystačíme toliko v počátcích autonomie, tedy ve fázi, kdy bude ve vozidle stále nutno přítomnosti řidiče člověka, který v případě potřeby převezme od „robota“ řízení do svých rukou a zasáhne podle potřeby. Avšak ve chvíli, kdy tento lidský faktor na pozici řidiče odpadne, až budou vozidla schopna plného samořízení, bude nezbytně nutné vybavit vozidlo i takovými daty, která určí, zda v případě kolize upřednostnit život kolemjdoucích, či posádky. V případě řidiče člověka, se může tento rozhodnout strhnout řízení, pustit volant a přenechat situaci osudu … Jenže ve chvíli, kdy bude řídit algoritmus, tento prvek náhody odpadá. Auto zareaguje tak, jak bude mít ve vstupních datech předdefinováno. A právě zde se skrývá ono „morální dilema“. Problém je zakopaný v tom, že autonomní vozidlo v sobě skutečně předem nadefinovaný algoritmus, který určí, koho zachránit, mít musí - ale kladu si otázku, kdo má mandát něco takového rozhodnout?
Na tomto místě se nabízí srovnání s tzv. tramvajovým dilematem, se kterým poprvé přišla britská filozofka Philippa R. Foot. Jde o známý myšlenkový experiment, který simuluje okamžik nevyhnutelné kolize neovladatelné tramvaje, kdy se člověk, který je kolizi přítomný, musí v daném okamžiku rozhodnout, čí život zachrání, a koho naopak „obětuje”. Dotazovaný má možnost neudělat nic, tedy nechat tramvaj jet v hlavním směru, čímž bude usmrceno 5 lidí, nebo může přehodit výhybku a těchto 5 lidí zachránit. Tím však dojde k usmrcení jedné osoby stojící na trati vedlejší. Sic jde o 1 člověka, tedy početně menší ztrátu, je to osoba, jež by se původně, kdyby nedošlo k přesměrování tramvaje, střetu vyhnula, neboť se nenachází v přímém směru jízdy. Tento test byl v základní variantě představen na konci 60. let minulého století. Následně došlo k vytvoření dalších variant, které modifikují základní skutkovou situaci, podstata je však stále stejná. Neexistuje správné řešení, každý se rozhoduje dle vlastních morálních preferencí.
Byť bylo toto etické cvičení poprvé představeno před více než 50 lety, testu obdobného typu se dnes před zahájením provozu musíme podle mého přesvědčení podrobit obligatorně. Já osobně však vnímám jako velmi problematické, aby někdo dopředu systému určil, že má upřednostnit např. život řidiče ve vozidle, před chodcem. Ergo stanovil, že vyšší váhu má život osob na palubě automobilu, eventuálně vážil mezi věkem, pohlavím či vzděláním potenciální oběti. Každý lidský život má stejnou váhu a nikdo z nás nedisponuje oprávněním rozhodnout o životě a smrti druhých. Já osobně uspokojivou odpověď na vyvstávající otázky etické roviny neznám, nechť si ale každý zkusí obtížnou roli „soudce a kata” sám. Změnilo by se naše rozhodování, kdyby některým z aktérů byl někdo z nás či osoba našemu srdci blízká?
Ambicí tohoto zamyšlení bylo spíše nadnést téma do diskuze (nejen) v odborných kruzích na téma tohoto „dilematu samořiditelného automobilu”, protože k tomu, abychom alespoň částečně zmírnili negativní etický dopad kolize robota, bude nutné, aby přijaté závěr odrážely všeobecný společenský konsenzus. I když se pro dohlednou dobu (horizont cca 10 let) pracuje v zásadě jen s vozidly poloautonomními, za 20 až 30 let jsou v reálném provozu očekávána už i vozidla zcela na lidské součinnosti nezávislá. A proto si dovoluji apelovat, aby i tato etická rovina byla co nejdříve (vy)řešena a promítnuta do podoby odrážející vůli demokratické většiny při pohledu na věc. Tedy pokud při zvážení těchto okolností vůbec něco takového jako plně samořiditelný vůz (zde mířím na skutečně plně autonomní vozidla stupně automatizace 5, kdy je veškerý proces jízdy nezávislý na interakci s řidičem - člověk jako řidič přestává existovat, je toliko příjemcem služby samořiditelného vozidla a v zásadě jediným jeho úkolem je zadat cíl cesty) fungující s nulovou interakcí člověka chceme…
Etické aspekty umělé inteligence obecně jsou v těchto dnech rovněž předmětem zkoumání předních odborníků na úrovni Evropská unie, konkrétně se touto problematikou zabývá odborná skupina na vysoké úrovni pro umělou inteligenci (High-Level Expert Group on AI), která vypracovala dokument s názvem Návrh etických pokynů pro zajištění důvěryhodnosti UI. Konzultační proces byl ukončen 1. 2. 2019, přičemž revidované znění pokynů bylo předloženo v dubnu 2019. Etické pokyny pro důvěryhodnou umělou inteligenci viz zde.
---
Autorka je studentkou 2. ročníku magisterského studia na Právnické fakultě Univerzity Karlovy.
18 komentářů:
Fascinující otázka.
1) Domnívám se, že cestě ven z těchto dilemat trochu brání příliš centralistický přístup k celému problému: že formou nějaké společenské shody (jakkoli založené na spoustě výzkumů, debat atd) se najde to jedno správné řešení, které se do nových aut "vreguluje" a pak mohou začít hromadně jezdit. Spíš bych uvažoval, jakým procesem postupného vývoje a testování autonomních aut v reálném provozu a přizpůsobování regulací se budou vhodné algoritmy nacházet.
2) Trolley problem, aspoň ve své čisté verzi, asi zbytečně zatěžuje cestu k řešením právě tím, že má v sobě těžké etické dilema fatální smrti, kdežto změny algoritmů v autě mají důsledky pravděpodobnostní: má zemřít chodec s pravděpodobností 15% nebo řidič s pravděpodobností 5%?
3) Možná vhodný postup je odpíchnout se od současnosti a přemýšlet o marginálních změnách. Prvně sesbírat data o tom, jak dnes rozhodují živí řidiči. Řekněme, že v určitém typu hrozících kolizí s chodcem upřednostní sebe v 80% případů a chodce ve 20%. Bude to zlepšení, když automat upřednostní chodce v 30%? Porovnávání marginálních změn oproti status quo je snažší, než vymýšlet jedno správné globální řešení.
4) Jak předchozí odstavec naznačuje, není užitečné uvažovat tak, že algoritmus má nutně strhnout vůz buď tak či onak. Realisticky bych očekával, že algoritmy budou řešené jako pravděpodobnostní, tj. prvně si "hodí mincí", zda ze 70% upřednostnit řidiče nebo ze 30% chodce. (Jazykem teorie her, budou hrát smíšené strategie (mixed strategies)). A je skoro jistě žádoucí, aby takto fungovaly, protože tím budou zpočátku generovat experimentální data, pomocí nichž bude moci možné vyhodnocovat, jaké reakce jsou efektivnější z pohledu ochrany životů.
Osobně se domnívám, že je to zajímavá diskuzní otázka, která ale reálně nikdy nebude řešena. Nepředpokládám, že by existoval významný trh pro auto, které spíše shodí ze skály vlastní posádku a ochrání tak kolemjdoucího chodce. Naopak jsem přesvědčen, že se budou jednotliví výrobci předhánět v deklaracích o maximální ochraně vlastní posádky za jakýchkoliv okolností. A jak víme z případu crashtestů*, zákazníci na tohle slyší.
*) od doby, kdy došlo k rozšířenému testování (EuroNCAP a další), došlo k výraznému pokroku v bezpečnosti, alespoň měřítky těchto testů. Prakticky nikdo si zkrátka nedovolí nabízet auto, který je výrazně pod standardem ostatních, jakkoliv regulatorní standardy by plnily i vozy se špatným hodnocením. Za pozornost stojí i to, že (alespoň dle mého soukromého pozorování) se výrobci vždy chvástali zejména vysokou bezpečností posádky a to i přesto, že je testována též bezpečnost chodce při nárazu. Ta ale stojí poněkud stranou, přinejmenším stran marketingu...
Samé správné otázky. Už se těším na žaloby zraněných řidičů na výrobce automobilu o náhradu škody, která byla způsobena výběrem (dle řídiče) ne ideálního řešení. A na to, jak se k tomu postaví civilní soud. Neb zde zjevně bude muset být možnost alespoň dílčí liberace výrobce, přičemž zřejmě nastavení bude obdobné jako u krajní nouze - tedy, že hrozil následek ještě horší.
Zcela jistě. Ale co pak, až se v praxi ukáže, že vozidlo dalo přednost zlomeným nohám a těžkému otřesu mozku svého řidiče před sražením pěti dětí, přecházejících na červenou? Anebo naopak - že vozidlo dalo přednost smrti/těžkému zranění několika dětí, přecházejících na červenou, před pravděpodobným těžším zraněním svého řidiče?
Otázkou je, kolik zákazníků tohle bude řešit před nákupem nového vozu.
Každý. Jakmile proběhne proběhne bulvárem první zpráva typu "Auto zavraždilo svého řidiče, aby nemuselo přejet neukázněné chodce."
Jo pardon, blbě jsem pochopil tu reakci.
Právě ano, přesně z tohoto důvodu si myslím, že pro auta "prvního typu" (dle Vašeho příspěvku) neexistuje trh.
Ovšem naopak - bude morálně přijatelné, aby auto způsobilo třetí osobě těžší následek, než který (pravděpodobně) hrozil jejímu řidiči při výběru jednoho z možných scénářů? Pokud ano, kde bude hranice? A bude vozidlo zohledňovat, zda střet je zaviněn (samozřejmě podle předběžné úvahy vozidla) eventuálně poškozenou třetí osobou, anebo ne?
Ale vždyť situace, kdy auto chrání více posádku než okolí, jen kopíruje dnešní situaci. Neznamená to žádný posun v morálce.
(Dovolím si možná otázku - kolik času jste při koupi posledního auta strávil zkoumáním hodnocení ochrany chodců při nárazu a kolik peněz jste investoval do prvků ochrany chodců - airbag pod kapotou, vystřelovací kapota, infračervená detekce... Já se rovnou přiznávám, že ani korunu, na rozdíl od kompletní sady airbagů a automatického aktivního brzdění pro svoji vlastní posádku...)
Jenže ono "neexistuje pro ně trh" závisí taky na nastavení odpovědnosti. Zákazníci preferují auto, které bude primárně chránit posádku. Ale taková striktní odpovědnost výrobců za auta s algoritmem, který excesivně chrání posádku na úkor lidí vně auta, může tato auta vytlačit z trhu.
Podle mého soudu k posunu dochází. Dnes vybírá scénář střetu řidič zpravidla v časové tísni, bez reálné možnosti vyhodnotit všechny informace, který navíc nemá často dostatek. Ovšem software automobilu už dnes má více informací než člověk a je také mnohem rychlejší a dokáže je tudíž vyhodnotit. Tedy zatímco člověk se často rozhoduje intuitivně (a je tedy morálně přijatelné, že třeba i špatně), program se rozhodne zcela vědomě.
Ano, přesně tak jsem to myslel. Také pokud by měla být auta z jakéhokoliv donucení či "donucení" nepříznivě nastavena pro posádku, opět si myslím, že pro ně nebude trh => zůstane se u volantu a pedálů, alespoň do takového stupně pokroku, který by eliminoval možnost nehody na naprosto zanedbatelné procento.
Nutno dodat, že nejde jen o trh, ale čistě o nastavení pravidel. Pokud bude například v EU přijata právní úprava, podle níž
1) od určitého data lze prodávat jen autonomní auta s určitým algoritmem řešení situací (jinak nedostanou technické schválení užívání v provozu)
2) po určitém přechodném období už nelze provozovat jiná auta (což se odůvodní nekompatibilitou a vyšší nehodovostí ručně řízených aut)
pak během nějakých 10 - 20 let jiná auta v provozu prakticky nebudou.
Prostě se tahle technologická změna silou vynutí. Bude to podobné jako se zavedením katalizátorů, pásů na zadních sedadlech nebo aktuálně eCall.
Je to samozřejmě tak, nicméně obecně se od řidiče očekává, že vybere správně a za špatnou volbu je trestán. Což ostatně říká i ten druhý odstavec. Ale jaksi mi stále přijde, že nad nedostatečným aktivně i pasivně bezpečnostním chováním řidiče (s výjimkou samotného způsobu jízdy) se dnes nikdo nepozastavuje a úplně nevidím důvod, který by to měl měnit (byť nějaké kampaně typu zákazu plastových brček se pravda dokáží rozbíhat poměrně rychle).
Mimochodem, ono to u toho počítače taky nebude tak stoprocentně deterministické, jak si tady básníme. S rozvojem strojového učení a prvků umělé inteligence budou a jsou reakce strojů stále více autonomní.
(Jo no, já v to také doufám. Za dlouhá léta se nic nestalo (ťuk ťuk), ale vyběhnout ze škvíry mezi auty může kdokoliv kdykoliv...)
Ta otázka je odtržená od reality. To, že se samořiditelné auto neřídí intuici, přece neznamená, že to auto bude s to v reálném čase přesně spočítat, kolik životů ukončí, případně jaká zranění způsobí to nebo které rozhodnutí. Takový výpočet přesahuje možnosti i dnešních superpočítačů, které předpovídají počasí, nemluvě o tom, že informace, které může samořiditelné vozidlo získat ze svých senzorů, také nikdy nebudou úplné.
Realisticky vzato nejspíš postačí, pokud bude vozidlo naprogramované tak, aby vždy volilo takový postup, kde bude pravděpodobnost fatální kolize nejmenší.
Ad "Já osobně však vnímám jako velmi problematické, aby někdo dopředu systému určil, že má upřednostnit např. život řidiče ve vozidle, před chodcem."
Takováto rozhodnutí v minulosti přijímána byla zcela běžně, pouze se o nich běžně nemluví. Silnice jsou plné vozidel kategorie "SUV", která svou krabicovostí a vizuální obludností nabízí falešný pocit bezpečí a navíc jsou, v porovnání s jinak tvarovanými vozy, pro chodce méně bezpečné. Fakticky to nikoho zase tak moc netrápí, což je vidět na poptávce po těchto konstrukčně nesmyslných a pro okolí (a dokonce i pro vlastní posádku) nebezpečných autech.
Ad "... (někdo) Ergo stanovil, že vyšší váhu má život osob na palubě automobilu, eventuálně vážil mezi věkem, pohlavím či vzděláním potenciální oběti. Každý lidský život má stejnou váhu a nikdo z nás nedisponuje oprávněním rozhodnout o životě a smrti druhých."
Hezké humanistické ideály, které skvěle vypadají na papíře, ovšem nemají oporu v realitě. Tam, kde se už dnes reálně musí rozhodovat o životě a smrti, tj. mj. o nákladech na obranu, ochranu nebo záchranu životů, se takovéto klakulace dělaly, dělají a budou dělat i v budoucnu. Zkuste se trochu víc ponořit do problematiky kvantifikace ceny lidského života a uvidíte, že každý na sobě máme nějakou cenovku (mnohdy víc než jednu). Minimálně už vaše zdravotní pojišťovna na vás cenovku má a pokud vaše případná léčba nebude dávat ekonomicky smysl, tak vám ji hradit odmítne. A kupodivu někdo jiný už má tu cenovku jinou ...
Navíc, pokud začnete razit, že každý lidský život má stejnou váhu, tak má tramvajové dilema rázem velmi snadné a jednoduché řešení.
Vašemu úhlu pohledu poněkud chybí porozumění toho, jak daný problém nejspíš bude vidět řídicí systém, který ovládá automobil. To rozhodnutí nebude "tamtoho člověka zabiji, abych ochránil tohoto člověka". To rozhodnutí bude ve výsledku minimalizovat způsobené škody a ty škody budou vyčíslené na základě analýzy rizik. Nepochybně součástí toho procesu bude ocenění jednotlivých objektů nacházejících se v okolí. Jenomže samotné ty objekty budou vnímány pravděpodobnostně, protože auto (stejně jako občas řidič) neví zcela jistě zda je daný objekt člověk, nebo třeba popelnice, kterou rozpohyboval vítr. Takže daný objekt je z 90% popelnice a z 10% procent člověk, tedy jeho cena nejspíš bude "0,1 x člověk", zatímco osádka vozidla jsou lidé ze 100 procent a tedy jsou cennější. Ve výsledku pak auto zkusí pro jednotlivé scénáře zkusí spočítat riziko (pravděpodobnou hrozící škodu) a vybere scénář, kde bude celkové riziko nejnižší.
Řešení stavu, kdy najednou bude potřeba připustit, že za nehodu vlastně občas nikdo ani nemůže (zatímco když jsou řidiči, tak se vždy najde někdo, komu se to hodí na krk) očekávám v tom, že autonomní vozidla budou pojištěna a oběti nehody dostanou automaticky kompenzaci z pojistky. Pokud tedy právníci pojišťovny nenajdou způsob, jak se v daném případě vykroutit z plnění.
Software automobilu má sice hodně informací (byť si nejsem si jistý, zda víc než řidič), nicméně software nemá znalosti, které by mu dovolily interpretovat informace v širším kontextu. Současná výpočetní technika stále ještě "výpočetní" kapacitě lidského mozku nesahá ani po kontníky, proto také je plná autonomie (mimo dálnice a jiná relativně jednoduchá prostředí) stále ještě hudbou docela vzdálené budoucnosti.
Řidič není trestán za špatnou volbu, ale za škodlivý následek volby (celkem bez ohledu na to zda volba byla skutečně špatná, nesprávná, nebo pouze nejméně špatná ze všech možných). Řidič se občas dostává do situací, kde reálně nemá možnost splnit všechny požadavky, které jsou na ně kladeny. Typický požadavek je dívat se současně vlevo a vpravo například při vjíždění z vedlejší na hlavní, ideálně ještě v kombinaci s nedostatečnými rozhledovými parametry. Reálně to občas nemá realizovatelné zcela bezpečné řešení, většinou se nic nestane, pokud však dojde k nehodě, je řidič potrestán.
Okomentovat