Ondřej Veselý: Strojové učení musí být etické
Jak vlastně takové hodnocení projektu z hlediska etiky probíhá? Máte nějaký pevně daný scénář?
Odpověď je vlastně hodně jednoduchá. Jedná se o pevný scénář – a sice podívat se na projekt v kontextu a zvenku. To je naše hlavní role. Uvedu rovnou konkrétní příklad: měli jsme projekt, ve kterém vědci vyvíjeli navigaci robota v hustém davu lidí. Řešili opravdu spoustu matematiky, co a jak predikovat. Robot se sice všem lidem v davu vyhnul, vědcům ale unikly těžko předvídatelné jevy.
Jaké například?
Ten robot ve skutečnosti opravdu dělal to, co měl. Pak se k němu ale nachomýtly děti, které si s ním začaly hrát a začaly ho lehce „šikanovat“. To je něco, s čím programátoři už nepočítali. Je to zcela mimo jejich obor. Proto se nad specifickými situacemi zamýšlíme my a dokážeme vědcům pomoct, protože celý projekt dokážeme vidět z nadhledu. A takových příkladů nám pod rukama prošly stovky.
Dá se to opravdu zobecnit na každý případ? Jednoduše se podívat na technický problém zvenku a zeptat se sám sebe, jak bude společnost reagovat na výsledek mého výzkumu?
Určitě není pro hodnocení potřeba nějaká technická znalost ani extrémní zkušenost. Uvedu ještě jeden příklad: firma vyvíjela dron, který létal ze střechy na střechu a dělal inspekci okapů. Kontroloval, jestli nerezavějí, nejsou ucpané a podobně. Fungoval dobře, ale poletoval při tom samozřejmě i kolem oken a celou tu dobu měl zapnuté kamery. Vývojářům dronu přitom nedošlo, že by to lidem uvnitř mohlo vadit. V takovém případě stačí zadat požadavek, aby dron detekoval okna a vymazával videa, která zabírají vnitřek bytů. Případně vypínal nahrávku ve chvíli, kdy kolem okna letí. Pohled na projekt zvenku tak může být velmi cenný.
Etika strojového učení souvisí i s firemní kulturou
V komisi s vámi sedí lidé různých profesí i národností, jak moc pestrá je vaše diskuze?
To je jedna z věcí, které mě na tom baví. Zhruba polovinu projektů vracíme s požadavky na zlepšení. Já jsem hodně liberální člověk, sám se věnuji strojovému učení, takže se snažím, aby se požadavky nenavyšovaly. Jiné podněty pak má třeba kolegyně z Polska, která má doktorát z etiky, a nahlíží tak na celý obor z jiného úhlu. A všichni musíme dojít k nějakému konsensu, abychom mohli říct: tento projekt je etický. Nebo se dohodnout na nějakých opatřeních, díky kterým projekt etické normy naplní.
Dalo by se z vašich zkušeností vytáhnout nějaké pravidlo pro firmy, které vyvíjejí systémy postavené na umělé inteligenci? Čemu se vyvarovat a co naopak vypilovat do dokonalosti, aby se později neobjevily nechtěné potíže?
Evropská unie v roce 2015 vydala dokument „Ethics Guidelines for Trustworthy Artificial Intelligence“. Je to návod, jak vytvořit důvěryhodnou umělou inteligenci naplňující etické standardy. Reagovala tím na nové fenomény, které ovlivňují naši společnost – ať už je to třeba síla fake news nebo systém sociálního kreditu, když například v Číně lidé dostávají pokutu za přecházení na červenou plně automaticky bez zásahu člověka. V tomto dokumentu jsou taková doporučení shrnutá. Sám za sebe můžu vyzdvihnout dva důležité tipy. První z nich souvisí s tím, co jsem už naznačoval – mít nějakého člověka nebo klidně více lidí, kteří se na váš byznys podívají zvenku.
Kdo ideálně může být takový pozorovatel zvenčí?
Jsou to lidé, kteří nemají za úkol váš problém vyřešit, jen zhodnotit, jaký bude mít dopad, jestli s ním nejsou spojena určitá rizika. Jsou to nezávislí lidé, klidně to mohou být ale i produktoví manažeři, kteří mají povrchní technické porozumění. Zároveň jim jde o to, jaký bude mít vaše technologie výsledek.
A druhý tip?
Velmi důležité je, aby v dané firmě byla dobře nastavená firemní kultura. Může se zdát, že to spolu nijak nesouvisí, ale opak je pravdou. Lidé se nesmí bát mluvit o nedostatcích. Ve chvíli, kdy vývojář přijde se systémem postaveným na strojovém učení, který ale v některých situacích nefunguje správně, nesmí se bát říct to svému nadřízenému. Strach pramenící ze snížení platu nebo z toho, že bude nadřízený naštvaný, že se produkt nedostane na trh včas, nevede k ničemu dobrému.
Kam až může dojít nesprávně nastavená firemní kultura?
V automobilce Ford v sedmdesátých letech například vyvinuli auto, které nebylo bezpečné. Při nehodách v něm umírali lidé pětkrát častěji než v jiných autech. Vývojáři se tehdy báli přiznat, že mají problém. Firmu by to totiž stálo spoustu peněz a je samotné pracovní místo. Když byla v USA velká finanční krize, během níž klesly ceny nemovitostí, mohla za to také špatná kultura v rámci banky Lemmon Brothers. Zaměstnanci ze strachu přeceňovali nemovitosti, podřízení reportovali nadřízeným mnohem lepší čísla, než jaká odpovídala skutečnosti. A firma pak přirozeně nemohla dělat správná rozhodnutí.
Regulace má za cíl posílit důvěru lidí v umělou inteligenci
Pracujete s projekty, které žádají o dotaci z Evropské unie. Co firmy, které o dotaci nežádají? Existuje i nad nimi nějaká forma kontroly?
Možná to často lidé nevědí, ale spoustu věcí řeší Obecné nařízení o ochraně osobních údajů neboli dobře známé GDPR. Pokud například existuje autonomní systém, který rozhoduje, jestli dostanu hypotéku nebo jestli mě firma přijme jako zaměstnance, jedná se o důležité rozhodnutí v mém životě. A tohle nesmí dělat autonomní systém. Už se tedy dotýkáme regulace. Ta říká, že firma používající takový systém musí dát lidem možnost se bránit, možnost se zeptat, jak systém funguje. Proč jsem nedostal hypotéku? Je to proto, že bydlím na špatné adrese? Nebo proto, že mám nízký plat? Povinnost vysvětlit tento mechanismus už v legislativě je – a zároveň to nesmí být čistě rozhodnutí strojového učení. To znamená, že na konci musí být člověk, který celou věc schvaluje. Tohle všechno tedy už směrnice GDPR obsahuje.
Bude to stačit nebo se dá očekávat, že bude regulace do budoucna přitvrzovat?
Momentálně se na to téma diskutuje. Už teď ale víme, že vysoce rizikové sektory, jako jsou třeba zdravotnictví, doprava, policie nebo soudnictví, které mají velký dopad na lidi, regulované budou. Zatím nevíme jak, ale Evropská unie to pomalu tlačí dopředu. Víme tedy jen, že se bude jednat o sektorovou záležitost. Pokud tedy my ve FlowerChecker určujeme rostliny, přísné požadavky se na nás vztahovat nebudou. Pokud ale bude nějaká firma například vyvíjet automatickou detekci nádorů na základě rentgenových snímků, pak už se jí regulace týkat bude. Taková firma bude potřebovat certifikaci, potvrzení, že se systém nechová deterministicky, že má nějakou účinnost a podobně.
Nebudou pak regulace na úkol rychlosti vývoje technologií? Přeci jen žijeme v konkurenčním světě.
Myslím, že když budeme regulovat správně, neklesne důvěra lidí ve strojové učení. Pokud se podíváme třeba na Čínu perspektivou evropských etických měřítek, bude nám strojové učení možná i nahánět strach. A to by naopak mohlo jejich vývoj zpomalit a snížit objem investic do tohoto oboru. Narativ Evropské unie zní – pojďme regulovat chytře. Tak, abychom vytipovali ta největší rizika a abychom neztratili důvěru lidí. A není to jen o regulaci. Součástí evropského přístupu je také obrovský balík peněz, desítky miliard eur, které chce do tohoto oboru Evropská unie směrovat od letošního roku. Nejde tedy primárně o regulaci, ale je to snaha upravit nejnutnější rizikové oblasti a zbytek podpořit finančně.
Kdybyste si měl zahrát na George Orwella a vymyslet neetický scénář z budoucna, který vám nahání strach, jak by vypadal?
Docela nedávno jsme s kolegy během diskuze vymysleli princip systému, v němž by existovala nějaká technologie fungující na principu blockchainu. Nějaký distribuovaný algoritmus, který by běžel na stovkách počítačů zaráz. A princip by byl ten, že by tento systém hackoval jiné počítačové systémy nebo by posílal podvodné emaily, autonomně by tak získával peníze nelegálním způsobem a rozděloval by je těm lidem, kteří by ho na svých počítačích pouštěli. Čili já jako jednotlivec bych měl motivaci si ho pustit na svém počítači a měl bych tak podíl na nelegální činnosti, kterou by dělala umělá inteligence. Nebylo by přitom možné to zastavit. Protože i kdyby ho násilně vypnuli na stech počítačích, běžel by na dalších deseti tisících. Stejně jako tedy nemůžeme účinně zakázat bitcoin, nemohli bychom účinně zakázat tuhle umělou inteligenci. Naštěstí takový koncept není reálný. Alespoň zatím.