Spletitá cesta k etickému algoritmu

Natálie Káčová
Nov 19, 2019 · 6 min read
Image for post
Image for post

Čím dál častěji slýcháváme, že měnou internetu nejsou peníze, ale data. Vypadá to, že zatímco dříve lidstvo fascinoval třpyt zlata a diamantů, dnešní digitální doba si nejvíce cení právě nul a jedniček, které o nás mohou prozradit mnohé — nejen to, co na internetu děláme, ale také co nás baví, co naopak nemůžeme vystát, koho obdivujeme, po čem toužíme a co před ostatními skrýváme.

Datasety by se ale nikdy samy o sobě (představme si je, jak leží bez povšimnutí kdesi na úložišti pod nánosem virtuálního prachu) takovým cenným pokladem nemohly stát. Zásadní roli získávají až poté, co jsou systematicky agregovány, zpracovávány, analyzovány a interpretovány. K tomu slouží algoritmy, postupy naprogramované vývojáři, které na základě logických pravidel data vyhodnotí a vrací určitý výsledek.

O ČEM MOHOU ALGORITMY ROZHODOVAT?

První věcí, kterou si spojíme s algoritmy v internetovém prostředí, bývá často jejich zásadní vliv na změnu podoby online marketingu. Diskuze by ale neměla končit u toho, že mi algoritmus na základě osobního profilu, který si o mně seskládal z dat, zobrazí v banneru webové stránky reklamu na boty. Právě naopak, to teprve stojíme na počátku výčtu situací, v rámci kterých výstup algoritmu ovlivňuje uživatele jak na síti, tak i mimo online prostor.

Vedle reklamy na boty jde totiž také o to, jaký mediální obsah mi algoritmus zobrazuje (tj. jak vyhodnocuje, o co se zajímám a jakými informacemi by mě měl obklopovat).
Podle čeho mi řadí výsledky vyhledávání.
Jaké mi zobrazí nabídky práce (tj. jestli mě vyhodnotí jako vhodného kandidáta na určité pracovní pozice).
Zda bance na základě mých dat doporučí schválit mou žádost o půjčku.

Image for post
Image for post

A pokud žiji v systému, který má své občany rád pod kontrolou, měl/a bych se vedle reklamy na boty zajímat také o to, jak moc důvěrná data o mně algoritmus sděluje autoritám a jak s tímto informačním materiálem autority posléze pracují.

NEOMYLNÉ ALGORITMY (?) VS. CHYBUJÍCÍ LIDÉ

Snad kvůli tomu, že algoritmy se skládají z linek kódu a posloupnosti logických pravidel, se mnozí mohou domnívat, že jejich rozhodnutí bude automaticky přesnější a eticky správnější než v případech, kdy rozhoduje člověk. Vždyť my, lidé, při rozhodování často podléháme chvilkovým stavům a emocím. Záležitosti druhých soudíme ,,za přímé asistence” našeho ega, vlastních přesvědčení a hodnot. A i když se sebevíc snažíme hodnotit objektivně a nezaujatě, chybujeme. Ne všechny informace dokážeme posoudit komplexně a často je — byť nechtěně — vnímáme se silným zkreslením (např. u velkých číslech — často dokonce už od stovky a výš — naprosto ztrácíme schopnost nějaké rozumné interpretace a srovnání).

Jasná logika a výpočetní síla může vedle našich kognitivních omezení působit vskutku jako vítězství technologického pokroku. Velmi často tomu tak i je, umělá inteligence překonává dosavadní omezení a žene vpřed vývoj ve všech myslitelných oblastech (včetně šíření dobra a altruismu).

Ale nesmíme zapomenout, že ten, kdo do algoritmu tuto ,,jasnou logiku“ vkládá, je opět jen a jen člověk. Vývojář si sice s čísly a logikou rozumí zpravidla mnohem lépe než průměrný jedinec (alespoň v to doufejme), ale stále může chybovat na různých úrovních. Může zapomenout do svého kódu zakomponovat určitou část reality nebo naopak jinou část analogového světa až příliš nadimenzovat, tj. přiřadit ji neadekvátně vysokou důležitost.

Image for post
Image for post

Tímto odstavcem rozhodně nechci ,,šikanovat vývojáře”. Ale s ohledem na to, že chyba vývojářského teamu může na rozdíl od pochybení jedince zasáhnout ne jednoho či desítky lidí, ale celé komunity a skupiny v rámci společnosti, mi přijde důležité tuto problematiku pořádně rozebrat.

PŘÍKLADY ,,ZE ŽIVOTA”

Předtím, než se pustíme do pořádného morálního poučování a určení toho, co ,,je správné“, co ,,by bylo dobré“ a ,,co by se mělo”, uvedeme si dva reálné algoritmy, které — každý z jiného důvodu — demonstrují, kam až může chyba v kódu zajít.

Na to, jak může umělá inteligence nespravedlivě znevýhodňovat určitou skupinu lidí, upozornil v roce 2016 výzkum algoritmu PredPol, který dodnes asistuje policii několika amerických států v prevenci kriminality. Algoritmus predikuje, v jaký čas a na kterých místech hrozí vypuknutí trestné činnosti. Výzkumem bylo zjištěno, že PredPol opakovaně posílá policejní jednotky do sousedství s vysokým zastoupením minorit, přičemž vůbec nezáleží na tamější míře kriminality.

Příčina zaujatosti ležela v datech, ze kterých se algoritmus učil predikovat. Nešlo totiž o objektivní statistický přehled kriminality, ale o záznamy vytvářené přímo policií, která sama pracuje s určitou mírou zaujatosti (např. v některých sousedstvích patroluje častěji než v ostatních). Použitím neobjektivních dat, které neodpovídají realitě, se tudíž nespravedlivá zaujatost ještě prohloubí a de facto přeleje v krutou diskriminaci.

Ještě horší snad je, když chyba neleží primárně v algoritmu samotném, ale především v tom, že lidé špatně chápou jeho roli. V ideálním případě by algoritmy měly sloužit spíše jako naši pomocníci — rozhodně by neměly být vnímány za ultimátního hlasatele pravdy, kterému by se lidé měli zaslepeně podřizovat, jako se tomu stalo v roce 2016, kdy stát Arkansas nasadil umělou inteligenci na svůj systém sociálně-zdravotní péče.

Na základě údajů o pacientech v pečovatelském programu algoritmus vyhodnotil rozsah pomoci, na kterou mají od státu nárok (tj. na kolik hodin týdně jim bude přidělen zdravotně sociální pracovník). Po zpracování dat byl stovkám pacientům zničehonic zeškrtnut významný časový rozsah péče. Někteří z nich museli být po zavedení změn dokonce hospitalizováni. Důvod? Algoritmus byl státem vnímán jako ,,neomylný“, jeho rozhodnutí bylo konečné a nešlo se proti němu odvolat. Technologickou ,,krutovládu“ ukončil až soudní proces jedné pacientky, během kterého bylo zjištěno, že v algoritmu skutečně je výpočetní chyba, která způsobuje chybné přidělení rozsahu péče.

ACH, TI VÝVOJÁŘI!

Programátoři odvádějí obdivuhodnou práci. Vytvářejí produkty, služby a aplikace, které používáme dennodenně a které nám pomáhají v práci, při studiu i v soukromých životech. Pokud však jakožto tvůrci algoritmů nevnímají, jaký dopad jejich práce může mít, mohou svým pochybením klást lidem překážky pod nohy, obírat je o příležitosti, zkreslovat jejich vnímání světa, ale i svého bezprostředního okolí nebo je zařazovat do skupin, do kterých nepatří.

Cesta k etickému algoritmu je spletitá, ale věřím, že je možná. Když používám spojení ,,etický algoritmus”, nemyslím tím, že vývojáři musí společně při lunch break v kantýně začít filosofovat o tom, co je to dobro (nedejbože bytí nebo jsoucno), jak chápat platónské ideje a co by na to všechno řekl Sokrates.

Mohou se však pokusit věnovat více prostoru v práci přemýšlením nad možnými dopady technologie, kterou vyvíjí. To může zabrat hodně času, tak proč nezkusit spolupráci s odborníky, kteří o tom už něco ví? Světe, div se, existují lidé, kteří opravdu filosofují o tom, co je to dobro, ale zároveň ví, jak teorii překlopit v použitelný design!

Důležité je testování. Používám k testování data, která zastupují co nejvíce lidí ze společnosti? Nepřehlížím nějakou sociální skupinu? Spolupráce s odborníky je také možná, do jisté míry lze překonat i problém obchodního tajemství (kdy si firma svůj algoritmus chrání a my z něj zvenčí můžeme vidět jen input a output, ne vnitřní procesy, které data vyhodnocují). Přes API je možné zpřístupnit základní funkcionalitu algoritmu, což výzkumníkům umožní testovat data, aniž by měli přístup k vnitřní struktuře algoritmu.

EDTECH KISK

Educational Technology, KISK Masaryk University

Medium is an open platform where 170 million readers come to find insightful and dynamic thinking. Here, expert and undiscovered voices alike dive into the heart of any topic and bring new ideas to the surface. Learn more

Follow the writers, publications, and topics that matter to you, and you’ll see them on your homepage and in your inbox. Explore

If you have a story to tell, knowledge to share, or a perspective to offer — welcome home. It’s easy and free to post your thinking on any topic. Write on Medium

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store