Autonomi = retten til å ta feil
I forbindelse med at jeg skriver en artikkel om kunstig intelligens og autonome systemer leste jeg en artikkel der de siterer Kant og konkluderer med at “Autonomy is the right to be wrong”. Og det er jo et interessant utsagn.
The alternative view is to identify with the autonomous entity and, like Kant, consider autonomy from the inside. What does it mean to be autonomous in a social world too complex to be analysed exhaustively as a formal system, with emergent properties and conflicting values? It means it is impossible to be aware of and scrutinise, especially beforehand, every possible alternative for every single choice, which would be required in order to select the (in reality non-existing) objectively most valid option. There is simply no such thing as an objective and indisputable truth for anything but trivial issues, making it practically unattainable to be always right. Consequently, being autonomous is largely about having the right to be wrong, … (Stensson & Jansson, 2014)
Dermed lurer jeg på: Hvor stor rett gir vi teknologi til å ta feil? I flere av de intervjuene vi gjennomførte om AI i fjor så nevnte de at man forventet at teknologi var feilfri — selv i tilfeller der mennesker som gjorde jobben åpenbart ikke var feilfri. I programvare der mennesker på forhånd (og underveis) har definert hvilke regler programvaren skal følge så blir det tydelig at det er menneskene som har definert reglene som gjør feil. Men når programvaren lærer av eksempler, slik kunstig intelligens kan gjøre, blir utfordringen en annen. Da kan programvaren ta feil uten at det blir like tydelig hvem som har ansvaret.
Google sin Chief Decision Scientist, Cassie Kozyrkov, fortalte oss på Web Summit 2019 at vi mennesker har ansvaret for å gi programvaren de eksemplene den skal dele av — og der trenger vi å tenke slik man gjør i skolen. Vi gir (forhåpentligvis) ikke skolebarn skolebøker/opplæringsmateriell som inneholder diskriminerende informasjon, og det samme kan vi heller ikke gjøre med kunstig intelligens. For å få til dette er det viktig at mange fagfolk er involvert i å finne ut hva slags eksempler KI-løsninger skal trenes opp på. Det er samme tankegang som Morten L forteller om i inkluderende design (https://www.kantega.no/blogg/universell-utforming-og-inkluderende-design-er-ikke-det-samme).
Vi akseptere at løsningen kan ta feil — og lage måter å sikre oss på for at de feilene som kommer ikke får en problematisk konsekvens — vi må ha flere sikkerhetsnett. Derfor gjøres det f.eks. et stort arbeid nå for å kartlegge byer slik at det skal bli mulig å ha selvkjørende biler uten alt for store mulige konsekvenser. Den selvkjørende bilen skal vite hvor det er fotgjengerfelt — og kanskje hvor det burde vært det? Foreløpig legger man også inn kontrollerte omgivelser, f.eks. at den selvkjørende bussen på Øya i Trondheim der det står advarselskilt om at dette er en forsøksstrekning for selvkjørende buss (https://www.midtnorskdebatt.no/meninger/2019/01/21/Kan-selvkj%C3%B8rende-busser-redde-byen-18284841.ece).
Forventningene våre til at teknologi ikke skal ta feil kan gi et krav om at vi ikke slipper teknologi løs før vi vet at den ikke gjør feil. Det kan både bli dyrt og gjøre at vi ikke kommer videre i utviklingen av teknologi. Derfor er det viktig at vi tenker på hvordan vi skal sikre at de feilene som gjøres ikke blir for alvorlige.
Når det er sagt, så lurer jeg også på hvor ofte vi tillater team å ta feil. Jeg har vært opptatt av autonomi i team i mange år, og der har jeg også sett eksempler på at ledere griper inn hvis et team tar feil. Det samme har man funnet i forskning: Gerwin & Moffat (1997) viste hvordan mange ledere vil ha en tendens til å gripe inn hvis det ser ut som teamet er på vei til å gjøre en feil. Er det en av grunnene til at noen nå går bort fra autonome team? At de ikke aksepterer at teamet gjør feil? Eller handler det om at teamet aldri virkelig var autonomt i utgangspunktet? Husk at et team er ikke autonomt før det bestemmer selv hva det skal lage: https://medium.com/kantega/selvbestemmelse-over-resultater-f9a97f9d73da
Lykke til med retten til å ta feil :-D — og å redusere konsekvensene av feilen.
Referanser:
AI-rapporten vår: https://kantega.ai/kapitler/
Gerwin, D., & Moffat, L. (1997). Withdrawal of team autonomy during concurrent engineering. Management Science, 43(9), 1275–1287. https://doi.org/https://doi.org/10.1287/mnsc.43.9.1275
Stensson, P., & Jansson, A. (2014). Autonomous technology — sources of confusion: a model for explanation and prediction of conceptual shifts. Ergonomics, 57(3), 455–470. https://doi.org/10.1080/00140139.2013.858777
