Vysvetlenia šité na mieru

Umelá inteligencia (AI) bude čoraz väčšmi zasahovať do našich životov. Veľa ľudí však umelej inteligencii nedôveruje a majú problém spoľahnúť sa na ňu aj pri triviálnych rozhodnutiach. Jedným z dôvodov je, že rozhodnutia AI často nevieme vysvetliť, pretože komplexné modely sa správajú ako čierne skrinky.

Jednou z možností zvýšenia dôvery v umelú inteligenciu je, že ľudia budú schopní porozumieť, ako a na základe čoho sa rozhoduje. V súčasnosti je AI pre širokú verejnosť ešte vždy veľká neznáma. Lepšia vysvetliteľnosť a transparentnosť modelov by však mohli výrazne zvýšiť jej akceptáciu.
V druhej časti série článkov na tému vysvetliteľnej a transparentnej umelej inteligencie zistíte, prečo je dôležité a výhodné vedieť, ako model dospel k svojim rozhodnutiam, a prečo musia byť vysvetlenia umelej inteligencie šité na mieru človeku, ktorému sú adresované.

Zvýšenie dôveryhodnosti a akceptácie

Umelá inteligencia ako taká a predpovede, ktoré s jej pomocou získame, budú v spoločnosti prirodzene viac akceptované, ak okrem samotného výsledku budeme vedieť povedať, ako sme k nemu dospeli.
Napríklad banka na základe odporúčania umelej inteligencie neschváli mladému človeku úver. Bolo by namieste vedieť, aký bol dôvod takéhoto odporúčania, ktoré zrejme ovplyvnilo aj následné rozhodnutie pracovníka banky. Bolo to preto, lebo má klient malý príjem – a musí si teda nájsť lepšie platené zamestnanie či znížiť nároky? Alebo to bolo preto, že je zamestnaný príliš krátko a keď počká ešte niekoľko mesiacov, úver dostane?
Už na tomto príklade vidno, že rozhodnutia umelej inteligencie môžu mať zásadný vplyv na život človeka, čo iba zvýrazňuje význam interpretovateľnosti a vysvetliteľnosti AI.

Objavovanie nových poznatkov

Pomocou umelej inteligencie môžeme objaviť nové poznatky v oblastiach, v ktorých máme veľké množstvo dát, ako sú napríklad fyzika či chémia. Ak sa nám podarí zistiť, prečo sa v týchto oblastiach AI rozhodovala tak, ako sa rozhodla, môžeme objaviť vzťahy, ktoré sme dovtedy ako ľudia nevideli. Zatiaľ čo zvyčajne človek učí umelú inteligenciu robiť dobré rozhodnutia, môže sa stať, že AI dosiahne porovnateľné alebo aj lepšie výsledky ako človek, a vtedy je namieste spýtať sa – dospela umelá inteligencia k poznatkom, ktoré nám ako ľuďom unikali? Ide o akési reverzné inžinierstvo, keď sa ako ľudia snažíme pochopiť, ako systém, ktorý funguje, vlastne funguje.
Známy je príklad algoritmu AlphaGo. Algoritmus prišiel s vlastnými, dovtedy neznámymi stratégiami, vďaka ktorým ako prvý porazil ľudských šampiónov v hre go. Čo keby sme niečo také dokázali v medicíne? Čo keby algoritmus v dátach objavil spojenia medzi chorobami a oblasťami či procesmi v ľudskom tele, ktoré boli doteraz nám ako ľuďom neznáme? Práve metódy vysvetliteľnosti môžu byť cestou k ich objaveniu.

Odhaľovanie skreslení, predsudkov…

Najpoužívanejšie modely umelej inteligencie využívajú v súčasnosti v procese učenia sa príklady, ktoré im poskytol človek. Ak chceme napríklad vytvoriť model, ktorý bude simulovať diskutéra na sociálnej sieti Twitter, najprirodzenejší spôsob, ako to dosiahnuť, je ukázať modelu v procese učenia sa veľké množstvo reálnych konverzácií z Twitteru.
Ako však ukázal známy experiment, ktorý vykonala v roku 2016 spoločnosť Microsoft, model sa z tweetov ľudských diskutérov nenaučil iba správne používať anglický jazyk a formulovať zmysluplné vety, no prebral od nich aj niečo navyše – skreslenia a predsudky. Chatbot Tay sa stal rasistom.
Metódy vysvetliteľnosti môžu byť dôležitým nástrojom pri včasnom odhaľovaní skrytých predsudkov zakódovaných v modeli. Ak totiž vieme, na základe čoho sa model rozhoduje a aké poznatky sa naučil z trénovacích dát poskytnutých človekom, máme väčšiu šancu odhaliť podobné chyby.

… či zadných dvierok v modeli

Doteraz sme hovorili o skresleniach a predsudkoch, ktoré sa do modelu preniesli nechcene. Aktuálnou témou je však aj boj proti zámernému vloženiu tzv. zadných dvierok do modelu umelej inteligencie, vďaka ktorým môže útočník ovplyvniť jeho správanie. Napríklad moderné vozidlá využívajú umelú inteligenciu na rozpoznanie dopravných značiek. Špeciálne v prípade autonómnych vozidiel ide o kritickú funkcionalitu – to, či je správne rozpoznaná značka STOP môže znamenať rozdiel medzi bezpečnou jazdou a autonehodou.
Teraz si predstavte, že by v modeli, ktorý rozpoznáva značky, boli zakódované zadné dvierka. Také, vďaka ktorým stačí zmeniť drobný detail na dopravnej značke STOP (napr. pridať na ňu do pravého horného rohu zelenú nálepku) a model by si zrazu takúto značku začal mýliť so značkou Hlavná cesta. Odhaliť takéto zadné dvierka vôbec nie je jednoduché, pretože model sa bude správať patologicky iba za veľmi špecifických podmienok. Vysvetliteľnosť a interpretovateľnosť majú potenciál pomôcť pri odhaľovaní takýchto cielených útokov. Keby sme napríklad pri použití niektorej z metód vysvetliteľnosti zistili, že model sa priveľmi sústreďuje na pravý horný roh dopravnej značky STOP, môžeme ho urobiť robustnejším voči tejto zraniteľnosti.

Spôsob podania informácie

Pri vysvetliteľnej umelej inteligencii je dôležité myslieť na to, pre koho je vysvetlenie určené. Spôsob vysvetlenia informácie je dôležitý pre jej správne pochopenie. Úroveň, do akej sú model a jeho predikcie pochopiteľné pre ľudí, závisí vždy nakoniec aj od publika. Je rozdiel vysvetľovať umelú inteligenciu vedcom a koncovým používateľom, napríklad ľuďom, ktorí si v domácnosti nainštalovali inteligentného asistenta. Preto by mali vysvetlenie a interpretácia modelu brať do úvahy aj publikum a mali by mu byť takpovediac šité na mieru. Ide o jeden z dôvodov, prečo neexistuje iba jedna metóda vysvetliteľnosti, ktorú by sme mohli aplikovať v každom kontexte.
Príklad toho, ako môže rôzna forma podania tých istých informácií ovplyvniť ich pochopenie publikom, nám ponúka aj štúdia Using natural frequencies to improve diagnostic inferences od Ulricha Hoffrageho a Gerda Gigerenzera. Jej cieľom bolo zistiť, či lekári dospejú k rôznym záverom, ak im budeme predkladať rovnaké informácie v rôznych formách. Zmení sa podľa lekárov pravdepodobnosť, že má pacient chorobu, keď im budeme prezentovať informácie týkajúce sa pacientov rôznymi spôsobmi?

Pravdepodobnosť vs konkrétne čísla

Otázka: Zlepší sa diagnostická inferencia, ak tie isté informácie odprezentujeme lekárom v rôznej forme?
Prvý spôsob – pravdepodobná reprezentácia: Pravdepodobnosť výskytu rakoviny prsníka u ženy vo veku 40 rokov, ktorá sa zúčastňuje na pravidelnom vyšetrení, je 1 %. Ak má žena rakovinu prsníka, je pravdepodobnosť 80 %, že bude mať pozitívny mamografický nález. Ak žena nemá rakovinu prsníka, je pravdepodobnosť 10 %, že bude mať pozitívny mamogram. Predstavte si ženu z tejto vekovej skupiny s pozitívnym mamografickým vyšetrením. Aká je pravdepodobnosť, že má skutočne rakovinu prsníka?
Druhý spôsob – prirodzené frekvencie: Desať z každých 1 000 žien vo veku 40 rokov, ktoré sa zúčastňujú na pravidelnom vyšetrení, má rakovinu prsníka. Z týchto desiatich žien s rakovinou prsníka, bude mať osem žien pozitívny mamogram. Zo zvyšných 990 žien bez rakoviny prsníka bude mať 99 žien pozitívny mamogram. Predstavte si skupinu 40-ročných žien s pozitívnym mamografickým vyšetrením. Koľko z nich má skutočne rakovinu prsníka?
V porovnaní s pravdepodobnostnou reprezentáciou, pri spôsobe podania informácie vo forme prirodzených frekvencií správnosť, s akou lekári odpovedali na otázku, koľko žien má v skutočnosti v modelovom príklade rakovinu prsníka, vzrástla z 10 na 46 %. Z toho môžeme usúdiť, že pre človeka je oveľa ľahšie pracovať s konkrétnymi číslami ako s pravdepodobnosťou. Paradoxom je, že podľa autorov štúdie väčšina medicínskej literatúry z toho obdobia používala na vysvetlenie práve pravdepodobnostnú reprezentáciu.

Martin Tamajka
Kempelenov inštitút inteligentných technológií
Tento článok je súčasťou série Vysvetliteľná umelá inteligencia: od čiernych skriniek k transparentným modelom.
Projekt podporila Nadácia Pontis.
Anglickú verziu článku si môžete prečítať tu.