Feltstudie: Kan vi gøre det tryggere at bruge kunstig intelligens med ’servicedesign’?

Forestil dig, at du skal til lægen, og når du booker tiden, kan du vælge mellem 2 scenarier:

• A) Den meget erfarne læge med høj succesrate i diagnosticering

”Du har begyndende tegn på grøn stær”, siger den erfarne øjenlæge, der er kendt for aldrig at tage fejl. Denne læge er kendt for at give korrekte diagnoser i 99% af alle tilfælde, hvilket er en betydeligt højere succesrate end den gennemsnitlige læge har, men er også kendt for ikke at kunne give sine patienter en forklaring på et sprog, de kan forstå. Du får derfor kun en diagnose, men ingen forklaring af baggrunden for lægens diagnosticering.

• B) Den forklarende læge, der inddrager dig i sine overvejelser

”Jeg kan se en forandring på din synsnerve, hvilket giver mig mistanke om, at du er ved at udvikle grøn stær”, siger den nyuddannede læge, der undervejs i konsultationen søger på Google og ringer til bagvagten. Undervejs i konsultationen forklarer lægen dig rationalet bag sine beslutninger og viser dig de billeder, der ligger på Google, så du 100% kan følge og forstå rationalet bag dianosen, men den manglende erfaring gør dig også usikker på, om han mon har overset noget.

Hvilket scenarie ville du foretrække — A eller B? Og ville du have den samme prioritering, hvis lægen blev skiftet ud med en computer?

Screeningsværktøjer baseret på kunstig intelligens bliver mere og mere præcise. Det åbner op for muligheden for, at teknologien i højere grad kan hjælpe med at løse opgaver, der aflaster sundhedsvæsnet på steder, hvor der mangler hænder. Men værktøjerne bliver også mere og mere komplekse, og det betyder, at det er sværere at forstå grundlaget for de beslutninger og analyser, der bliver foretaget inde i ”den sorte boks”. Kan vi stole nok på kunstig intelligens til, at den kan træffe afgørende beslutninger for vores sundhed og helbred? Og har vi brug for fuld gennemsigtighed i beslutningsprocesserne, hvis vi ved, at de resultater, algoritmen genererer, er korrekte?

Dette satte min kollega Marie Yde og jeg os for at undersøge ved at tage i felten og besøge en række forskellige øjenlæger og se, hvordan de arbejder. Målet var at forstå potentialer og barrierer for, at de vil anvende kunstig intelligens i deres screeningspraksis. Vi har både besøgt private klinikker, screeningsvagter og Odense Universitetshospital og har derigennem fået indsigt i, hvorfor kunstig intelligens endnu ikke er slået igennem i Danmark, nu hvor teknologien allerede findes og anvendes i udlandet og hos optikere i Danmark.

Det stod hurtigt klart for os, at der er en stor interesse for brug af kunstig intelligens i øjenspecialet, og derfor er der også et stort potentiale, da der er nogle meget konkrete udfordringer, som brug af kunstig intelligens vil kunne være med til at løse. En stor del af øjenlægers screeningsarbejde bliver nemlig udført på baggrund af, at man som læge har set på titusindvis af øjne eller billeder af øjne før, og derfor kan skelne et sundt øje fra et sygt og genkende forskellige symptomer, der indikerer en sygdom. Øjenspecialet står desuden med følgende konkrete udfordringer, hvor de med kyshånd vil tage imod at få hjælp fra en algoritmekollega:

• Der er en voksende diabetesepidemi, og man ved, at rettidig omhu ved screening af diabetespatienter kan forebygge øjensygdomme.
• De voksende ventelister til øjenscreeninger er til stor bekymring. Ventelisterne skyldes blandt andet en kombination af, at der mangler kvalificerede ressourcer til at udføre screeningerne, og at alt for mange raske patienter tager tid fra de syge. Der er derfor et stort ønske om, at de raske patienter skal sorteres fra, så de syge kan komme til at se en læge så hurtigt som muligt.
• Screening er vigtigt, men det er også meget tidskrævende, at folk fra yderområder skal tage ind på et af landets store hospitaler, når de skal screenes. Ofte bruger de en dag på det, og har en ledsager med. Der er derfor store samfundsøkonomiske gevinster ved decentraliseret screening. Det arbejder man allerede med flere steder i landet, hvor man tester brug af kunstig intelligens til første led i screeningen. Udfordringen er her, at algoritmen endnu ikke er præcis nok, så der er for mange falsk positive, der ryger videre i systemet.

Så der er en række ’pain points’, hvor der er et stort potentiale i at anvende kunstig intelligens, eller med andre ord machine learning og deep learning, i screeningsprocesser i sundhedssystemet. Potentialet er der, men der er også en række barrierer. Den manglende tillid til algoritmerne i de eksisterende løsninger, er en af de primære årsager til, at øjenlæger endnu ikke har taget kunstig intelligens til sig i deres praksis på trods af deres store interesse.

Transparens og tillid er her afgørende faktorer, hvis man vil udvikle en løsning, som danske øjenlæger finder etisk ansvarlig at anvende. Lægerne udtrykte en stærk bekymring for, om den data, der anvendes til at træne algoritmen, var af tilstrækkelig høj kvalitet og mængde. Den usikkerhed, der grunder i manglende gennemsigtighed i forhold til data, medfører en grundlæggende mistillid hos lægerne. Etik og evidens fylder meget i lægernes arbejde med screening, og dette er en af begrundelserne for, at de ikke bare tager et umodent system i brug, som de kan træne op med tiden.

Det kan nemlig have en høj pris i form af for mange falsk positive, hvis algoritmen ikke bygger på data af tilstrækkelig høj kvalitet og en tilstrækkelig mængde af træningsdata. Prisen betales både af patienterne, der kan gå rundt og være angste over at have fået en diagnose, som det viser sig, at de alligevel ikke har, og af samfundet, da de mange falsk positive vil øge ventelisterne og tage tiden fra de syge.

Tillid og transparens er vigtigt — men hvordan skaber man det? Skal der være transparens gennem hele processen? Og hvilke forklaringer vil være tilstrækkelige til, at de bliver forstået uden at blive for forsimplede?

Som et analyseværktøj til at besvare de spørgsmål og tage højde for kompleksiteten i den data, vi havde indsamlet, brugte vi ’servicedesign’ som et greb. Servicedesign er en metode til at forstå brugernes univers gennem en systematisk analyse af behov og forventninger. Gennem visualisering og analyse kan man udvikle det samspil, som forskellige brugere har med en service eller et produkt. Det viste sig nemlig, at der ikke var et entydigt svar på, hvordan man bedst kunne skabe transparens og tillid til algoritmen. Hvornår og hvordan forklaringen skulle være, afhænger nemlig i høj grad af, hvor i screeningsprocessen man arbejdede. Om det for eksempel var i selve screeningsvagten, man sad og vurderede billeder, eller om man arbejdede som overlæge, der skulle stå for et eventuelt indkøb af et screeningsværktøj.

Nedestående figur illustrerer de forskellige interessenter i screeningsprocessen, og hvilket behov de har for en forklaring for at have tillid til algoritmen. Både på et konkret niveau, med behov for en forklaring her og nu, og på et overordnet etisk niveau. Fælles for lægerne som målgruppe er, at de vægter evidens og høj faglighed meget højt. Og for patienterne gælder det, at de har tillid til resultatet, hvis lægen har blåstemplet maskinen, og de kan gå tilbage og få en forklaring eller second opinion, hvis det senere viser sig, at de er blevet fejldiagnosticeret. Man vil have de samme forklaringer fra en algoritme, som man vil ønske sig af et menneske i screeningsvagten. Nogle gange vil man bare sendes videre uden de store forklaringer, men man vil gerne have muligheden for at få svar på et sprog, man forstår, hvis man har nogle spørgsmål.

Interessenter i screeningsprocessen og hvilket behov de har for en forklaring for at have tillid til algoritmen

Jeg har i blogindlægget været omkring, hvordan læger, optikere og patienter forholder sig til kunstig intelligens som beslutningsstøtteværktøj. Men, der er en væsentlig målgruppe i forhold til sundheds-AI, vi endnu ikke har berørt — nemlig udviklerne bag teknologien. I vores arbejde fandt vi frem til en række pointer, man bør tage med i overvejelserne, når man udvikler screeningsværktøjer, der er baseret på kunstig intelligens:

• Synliggør hvad systemet kan — og hvad det ikke kan — og skab transparens i forhold til kvaliteten og mængden af træningsdata. Det er grundlaget for, at der skabes tillid til systemet hos de gatekeepers, der skal blåstemple løsningen. Det er derfor vigtigt at indgå en dialog med forskere og faglige selskaber inden for det speciale, man udvikler til.
• Beslut hvilken målgruppe der skal have en forklaring, og forstå så hvilken type forklaring de har behov for. Er det primært lokale forklaringer, eller er behovet transparens i forhold til hele grundlaget for algoritmen?
• Visuelle, lokale forklaringer giver værdi for slutbrugeren, og forklaringerne skal helst være korte. Det er vigtigt at undgå støj, og forklaringer der er udtømmende, men som modtageren ikke forstår eller har brug for. Det er primært ved overlevering af resultaterne, at der er behov for formidling. For at kortlægge hvem der har brug for hvilken forklaring hvornår, anbefaler vi ’servicedesign’ som en metode til at skabe overblik og bygge bro mellem brugernes behov og udviklernes arbejde.

Casen her beskriver screening i sundhedssektoren, men tilgangen med brug af ’servicedesign’ til at kortlægge behovet for tillid og transparens kan skabe værdi for alle, der ønsker at udvikle etisk ansvarlig kunstig intelligens, der tilbyder meningsfulde forklaringer og dermed skaber tillid hos brugerne.