Hvad betyder forklarlighed, når vi taler om kunstig intelligens?

Niklas Kasenburg
May 13, 2020 · 11 min read

Kunstig intelligens er blevet mere og mere udbredt, og dermed følger der også nye udfordringer ved anvendelse af maskinlæring og datadrevne modeller. En af de udfordringer, der har meget fokus lige nu er “black-box”-problematikken, altså ugennemsigtighed af datadrevne modeller og udfordringerne med at forklare deres resultater og logik. For hvornår er kunstig intelligens forklaret tilstrækkeligt? Det er noget af det, vi vil kigge på i dette blogindlæg.

Word cloud with different terms for explainable AI
Word cloud with different terms for explainable AI
De mange termer der beskriver forklarlig kunstig intelligens (explainable AI)

Vi anvender kunstig intelligens på stadig flere områder, og beslutninger baseret på kunstig intelligens kommer tættere på at påvirke vores privatliv. I den forbindelse er der dukket mange begreber op, som explainable (forklarlig) kunstig intelligens, interpretable (fortolkbar) maskinlæring, transparent kunstig intelligens og intelligible (forståelig) kunstig intelligens. I figuren nedenunder kan du se udviklingen i Google-søgninger på ’Explainable Artificial Intelligence’ og ’Interpretable Machine Learning’ op til 2019.

Google trends for “explainable AI” and “interpretable ML” until early 2019
Google trends for “explainable AI” and “interpretable ML” until early 2019
Google Trends over hele verden på “explainable AI” og “interpretable ML” op til 2019 (Data kilde: Google Trends).

Men hvad er egentlig meningen bag de begreber, og hvordan definerer man forklarlighed? Vi starter med at prøve at definere forklarlighed baseret på ordbogsdefinitionen af “at forklare”, som skaber grundlag for begreberne inden for forklarlig kunstig intelligens.

Senere i blogindlægget kan du læse om, hvilke egenskaber en model skal have, for at vi kan kalde den forklarlig, ud fra de definitioner vi kommer ind på nu.

Definition

gøre noget klart for andre ved at beskrive, oplyse eller på anden måde fortælle nærmere om det

angive en årsag eller grund til noget; gøre rede for noget

Baseret på den engelske definition har Doshi-Velez et al.¹ defineret “interpretability” i konteksten af kunstig intelligens på den følgende måde:

“the ability to explain or present in understandable terms to a human” (evne til at forklare eller præsentere på en forståelige måde til et menneske)

Med andre ord kan forklarlighed ses som en interface mellem en model og brugeren af modellen, der forklarer modellen eller dele af modellen til brugeren. Det er dog ikke tydeligt, hvordan “evne til at forklare” er defineret, og hvad “på en forståelig måde” betyder fra et teknisk perspektiv, da forklarlighed eller gennemsigtighed er afhængig af målet, og hvem eller hvad det er målrettet til. Der findes derfor ikke en enkelt definition af forklarlighed, men til gengæld findes der mange nuancer betinget af konteksten og målet.

Derfor vil vi nu præsentere de forskellige kontekster og målgrupper, som typisk er i spil i forhold til forklarlig kunstig intelligens, så vi kan nærme os en mere konkret og anvendelig definition, man kan tage udgangspunkt i, når vi udvikler kunstig intelligens.

Forskellige mål af forklarlighed

Flowchart der igennem mål af forklarlighed og hvilke målgrupper der er tilknyttet.
Flowchart der igennem mål af forklarlighed og hvilke målgrupper der er tilknyttet.
Flowchart der igennem mål af forklarlighed og hvilke målgrupper der er tilknyttet.

Tillid

Det er tit ikke muligt at definere trænings- eller testdata, der dækker alle eksisterende og mulige kommende scenarier, og det er derfor kun muligt at måle modellens nøjagtighed på scenarier beskrevet i dataene. I andre situationer kan der opstå såkaldt “concept-drift”, altså at sammenhænge i data ændrer sig og afviger fra de data, modellen blev trænet på, efter modellen er blevet sat i drift. I begge tilfælde vil det øge tilliden til modellens performance i uforudsete omgivelser, hvis man kunne forstå eller forklare, hvordan modellen virker.

Fair og etisk

Informationsindhold

Forestil dig for eksempel at du spørger en læge, hvilken behandling der vil virke bedst på en bestemt sygdom, du har. Det er slet ikke nok bare at få navnet at vide eller beskrivelsen af behandlingen — du vil også være interesseret i hvorfor, det er den bedste behandling, hvad der er af alternativer, og om der er nogle risici. I dette tilfælde kræves der flere informationer for at træffe en god beslutning.

Overførsel af viden

Overførsel af viden kan også være en vigtig faktor til modellens værdi eller brugbarhed. Selvom modellen er trænet og testet på forskellige data, for at vise evnen til at modellen kan generalisere godt på nye data, blev det vist, at en models resultat kan manipuleres ved små ændringer i inputdataene (Intriguing properties of neural networks). Modellerne, der kan overføre viden og opbygge kausalitetssammenhænge i stedet for “bare” at finde korrelationer, kunne være bedre beskyttet imod disse angreb.

Debugging

De kan også bruges til at verificere, at modellen “kigger” på de rigtige ting, og at den ikke har lært mærkelige korrelationer i data, som for eksempel at finde skibe i et billede på grund af at der er vand, men ikke på grund af skibet, eller at genkende heste på grund af et vandmærke i stedet for hesten⁷, eller at forudsige en lavere risiko til at dø af lungebetændelse når man har astma⁸. Ifølge en ny undersøgelse er debugging eller et såkaldt ”sanity check” det mest brugte mål af forklarlighed i praksis i øjeblikket⁹.

Monitorering

Egenskaber hos forklarlige modeller

Forklarlighed

Den første, den applikationsbaserede måde, er den mest ressource- og tidskrævende, men også den mest præcise. Her bliver forklarlighed målt, mens modellen reelt bliver anvendt (i driftssituationen). Man måler selve gevinsten af modellen i form af forretningsmetrikker, eller om det er nemmere at identificere fejl, om man genererer ny viden, eller om der er mindre diskriminering. Som basis kan man sammenligne metrikker med menneskelig beslutningsstøtte.

Den anden måde er uafhængig af selve konteksten eller applikationen og fokuserer udelukkende på, hvor godt et menneske forstår modellen. Det kan man måle gennem forskellige forsøgsopsætninger¹² ¹³ ¹⁴, for eksempel:

  • Man viser forskellige forklaringer, og forsøgsdeltageren vælger, hvilken af dem de bedst forstår.
  • Man viser en forklaring samt et input, og forsøgsdeltageren skal gætte, hvad modellens resultat vil være¹⁵. Jo mere rigtigt, de ligger, jo bedre er forklaringen.
  • Man viser en forklaring, et input-eksempel og modellens resultat, og forsøgsdeltageren skal beskrive hvilke dele af eksemplets input, der skal skiftes for at ændre modellens resultat. Jo mere rigtigt, de ligger, jo bedre er forklaringen.

Den sidste måde er den mindst ressourcekrævende og mest brugte i litteraturen¹⁰ ¹⁶ ¹⁷ ¹⁸. Her bruger man rent tekniske metrikker. Ideen er, at hvis man ændrer et input på de variabler, der bliver fremhævet af forklaringer, så burde modellens nøjagtighed ændres. Dette kan måles gennem almindelige performancemetrikker, men der er forskellige måder at “ændre” inputtet på¹⁰.

Performance

Man kan også måle performance i form af det overordnende mål, f.eks. øget brugertilfredshed, bedre behandling af patienter, mere effektive og hurtigere processer, øget omsætning, osv. Forklarlighed kan have en positiv effekt på denne type af metrikker, hvor klassiske metrikker ikke er gode nok til at beskrive performance i forhold til det overordne mål¹⁹.

Troskab

Konklusion

Udfordringen ligger i at definere, hvad man egentlig mener med forklarlighed, og at det nu også er nødvendigt at måle modellens performance på mere beskrivende måder — såsom tillid eller fairness.

I dette blogindlæg er vi kommet ind på hvad forklarlighed betyder, hvad man kan opnå med forklarlige modeller, og hvorfor forklarlighed er et vigtig yderlige performancekriterium.

[1] F. Doshi-Velez og B. Kim, “Towards a rigorous science of interpretable Machine Learning”, arXiv:1702.08608 [stat.ML], 2017.

​[2] Z. C. Lipton, ”The Mythos of Model Interpretability”, arXiv:1606.03490v3 [cs.LG], 2017.

[3] ​G. Malgieri og G. Comandé, “Why a Right to Legibility of Automated Decision-Making Exists in the General Data Protection Regulation”, International Data Privacy Law, pp. 243–265, 2017.

[4] ​S. Wachter, B. Mittelstadt og L. Floridi, “Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation”, International Data Privacy Law, pp. 76–99, 2017.

​[5] A. Selbst og J. Powles, “Meaningful information and the right to explanation”, International Data Privacy Law, pp. 233–242, 2017.

​[6] B. Y. Lim og A. K. Dey, “Assessing demand for intelligibility in context-aware applications”, Proceedings of the UbiComp ’09, pp. 195–204, 2009.

[7] ​S. Lapuschkin, S. Wäldchen, A. Binder, G. Montavon, W. Samek og K.-R. Müller, “Unmasking Clever Hans predictors and assessing what machines really learn”, Nature Communications, 10, 2019.

[8] ​R. Caruana, Y. Lou, J. Gehrke, P. Koch, M. Sturm og N. Elhadad, “Intelligible models for healthcare: Predicting pneumonia risk and hospital 30-day readmission”, Proceedings of KDD ’15, pp. 1721–1730, 2015.

[9] ​U. Bhatt, A. Xiang, S. Sharma, A. Weller, A. Taly, Y. Jia, J. Ghosh, R. Puri, J. M. F. Moura og P. Eckersley, “Explainable machine learning in deployment”, Proceedings of FAT* ’20, pp. 648–657, 2020.

​[10] S. M. Lundberg, G. Erion, H. Chen, A. DeGrave, J. M. Prutkin, B. Nair, R. Katz, J. Himmelfarb, N. Bansal og S.-I. Lee, “From local explanations to global understanding with explainable AI for trees”, Nature Machine Intelligence, 2, pp. 56–67, 2020.

​[11] A. Weller, “Challenges for Transparency”, arXiv:1708.01870v1 [cs.CY], 2017.

​[12] J. Chang, S. Gerrish, C. Wang, J. L. Boyd-Graber og D. M. Blei, “Reading Tea Leaves: How Humans Interpret Topic Models”, Advances in Neural Information Processing Systems 22, 2009.

​[13] T. Kulesza, M. Burnett, W.-K. Wong og S. Stumpf, “Principles of Explanatory Debugging to Personalize Interactive Machine Learning”, Proceedings of the IUI’15, pp. 126–137, 2015.

[14] F. Poursabzi-Sangdeh, D. G. Goldstein, J. M. Hofman, J. W. Vaughan og H. Wallach, “Manipulating and Measuring Model Interpretability”, arXiv:1802.07810v3 [cs.AI], 2019.

​[15] M. T. Ribeiro, S. Singh og C. Guestrin, “Anchors: High-Precision Model-Agnostic Explanations”, Thirty-Second AAAI Conference on Artificial Intelligence, 2018.

[16] ​G. Montavon, W. Samek og K.-R. Müller, “Methods for interpreting and understanding deep neural networks”, Digital Signal Processing, pp. 1–15, 2018.

​[17] M. Ancona, E. Ceolini, C. Öytireli og M. Gross, “Towards better understanding of gradient-based attribution methods for Deep Neural Networks”, arXiv:1711.06104v4 [cs.LG], 2018.

​[18] A. Shrikumar, P. Greenside og A. Kundaje, “Learning Important Features Through Propagating Activation Differences”, arXiv:1704.02685 [cs.CV], 2017.

​[19] L. Bernardi, T. Mavridis og P. Estevez, “150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com”, Proceedings of KDD ’19, pp. 1743–1751, 2019.

​[20] P. Jackson, “Introduction to Expert Systems”, Addison-Wesley Longman, Harlow, 1990.

[21] ​A. Kofod-Petersen, J. Cassens og A. Aamodt, “Explanatory Capabilities in the CREEK Knowledge-Intensive Case-Based Reasoner”, Proceedings of SCAI 2008 , pp. 28–35, 2008.

Ansvarlig AI

En tværfaglig blog om teknologi, tillid og transparens

Niklas Kasenburg

Written by

I am excited about machine learning and data science. I am expert in building data-driven models with a focus on Explainable AI (XAI).

Ansvarlig AI

Ansvarlig AI er en tværfaglig blog med både tekniske indlæg om forklarlig og fair maskinlæring, antropologiske indlæg om forståelse og anvendelse af teknologien, samt et standpunkt eller to til debat. Det hele i et gennemsigtig forsøg på at bryde ud af den sorte boks.

Niklas Kasenburg

Written by

I am excited about machine learning and data science. I am expert in building data-driven models with a focus on Explainable AI (XAI).

Ansvarlig AI

Ansvarlig AI er en tværfaglig blog med både tekniske indlæg om forklarlig og fair maskinlæring, antropologiske indlæg om forståelse og anvendelse af teknologien, samt et standpunkt eller to til debat. Det hele i et gennemsigtig forsøg på at bryde ud af den sorte boks.

Medium is an open platform where 170 million readers come to find insightful and dynamic thinking. Here, expert and undiscovered voices alike dive into the heart of any topic and bring new ideas to the surface. Learn more

Follow the writers, publications, and topics that matter to you, and you’ll see them on your homepage and in your inbox. Explore

If you have a story to tell, knowledge to share, or a perspective to offer — welcome home. It’s easy and free to post your thinking on any topic. Write on Medium

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store