Puhu botille — oppeja Kelan kokeilusta
Kelassa tehtiin tänä keväänä kokeilu, jossa selvitettiin suomenkielisen puheteknologian kykyä suoriutua asiakaspalvelutehtävästä. Se tehtiin AI/RPA-tuoteomistajan Riikka Lindroos-Järvitalon johdolla, ja tämä artikkeli kokeilun opeista on kirjoitettu yhdessä Riikan kanssa.
Hissimusiikkia korville
Vuonna 2019 Kelan henkilöasiakkaiden puhelinpalvelun keskimääräinen jonotusaika oli hieman alle 6 minuuttia. Kuudessa minuutissa ehtii tehdä paljon ja toisaalta kuusi minuuttia pelkkää odotusta, höystettynä hissimusiikilla, voi tuntua ikuisuudelta. Puhelinpalvelu on Kelan keskeisimpiä asiakaspalvelun kanavia, ja sen merkitys on vain korostunut kevään 2020 aikana. Loppuvuodesta 2019 erityisesti jonotusaikaan kiinnitettiin huomiota, se turhauttaa asiakkaita ja toisaalta sen ajan voisi myös Kelan näkökulmasta hyödyntää paremmin. Mutta miten jonotusajan voisi käyttää hyödyksi? Mitäpä jos jonotusajalla asiakasta palvelisi puhuva robotti eli puhebotti?
Lähtötilanne ja taustaa kokeilulle
Ennen kuin robotteja voi päästää linjoille puhumaan Kelan asiakkaille, pitää selvittää kuinka hyvin ne tehtävästä voisivat suoriutua. KelaLabissa on selvitetty suomenkielisen puheteknologian tilannetta jo viime vuoden aikana.
Teknologiajätit jyräävät datamassoillaan ja valtakielissä puheteknologia ottaa isoja harppauksia. Mutta kehittyvätkö suomenkieliset ratkaisut mukana lainkaan? Kehittääkö niitä kukaan? Itsellämme ei lähtötilanteessa ollut mahdollisuutta käyttää kehitystyön apuna oikeaa puhelinpalveluun syntynyttä aineistoa vaikka sitä on tallennettuna tuhansia tunteja. Onneksi kehitystyölle ollaan jo kansallisesti avaamassa hyviä näkymiä Lahjoita puhetta -kampanja avulla. Lahjoita sinäkin!
Tavoitteet kokeilulle
Vuoden 2020 alussa ajatusta puhebotin kokeilusta lähdettiin viemään eteenpäin. Jotta puhebottia voitaisiin ajatella tuotantokelpoisena asiakaspalvelijana, niin pitäisi olla varmuus ainakin kahdesta asiasta. Puheteknologian on oltava riittävän edistynyttä eli hallita suomea ainakin teknisesti hyvin. Lisäksi asiakkaiden tulisi kokea, että asiointi puhuvan robotin kanssa on riittävän hyvä tapa hoitaa asiansa puhelimessa.
Näin ollen tutkimuskysymyksemme kokeiluun olivat:
- Kuinka hyvin puheteknologia suoriutuu suomenkielisessä puhelussa?
- Mikä on asiakkaan kokemus asioinnin sujuvuudesta ja luontevuudesta?
Nopeasti totesimme, että ensimmäisen kokeilun kohderyhmänä olisivat opiskelijat. Opiskelijoilla kokeiltiin aikoinaan myös Kelan ensimmäistä chattirobottia, ja kokemukset siitä olivat hyviä. Kokeiluun valittiin suhteellisen yksinkertainen ja pieni aihealue, joka kuitenkin aina keväisin opiskelijoita mietityttää: tulorajat, ja opintotuen mahdollinen takaisinperintä.
Hankinnan haasteet
Kun kyseessä on varsin uusi teknologia, niin valmiita tai riittävän toimivia tuotteita on vaikea löytää, etenkin jos vaatimuksena on suomen kielellä suoriutuminen. Kevyt markkinakartoitus tuotti meille vastauksena lähinnä lupauksia tulevasta tuotekehitystyöstä. Halusimme kuitenkin koeponnistaa markkinoilla olevaa kyvykkyyttä emmekä rahoittaa muiden kehitystyötä.
Lopulta kevyen kilpailutuksen tuloksena kumppaniksi kokeiluun valittiin Accenture. Heidän ratkaisumallissaan puhe kääntyisi tekstiksi Twilio-ohjelmiston toimesta ja luonnollisen kielen käsittely hoituisi Boost.ai-ohjelmiston sisällä.
Kokeilun toteutus
Varsinaiseen kokeiluprojektiin kului kuusi viikko aikaa. Se aloitettiin toimittajan kanssa valmistelevalla työllä huhtikuun lopulla. Samalla Kelan asiantuntijat saivat lyhyen Boost.ai:n teknologiaan liittyvän koulutuksen, jotta osaisivat tuottaa palvelun vaatimat sisällöt botille puhuttavaksi.
Sisällön ja aikomushierarkian rakentaminen
Meitä siis kiinnosti ensisijaisesti suomenkielisen puheteknologian suoritumistaso. Näin ollen huomio tulisi olemaan erityisesti Twilion suoritumisessa (puhe tekstiksi), mutta kokonaisratkaisun toimivuudessa iso osa perustuisi myös luonnollisen kielen käsittelyyn taustajärjestelmässä (Boost.ai). Taustajärjestelmään oli ensin rakennettava niin sanottu aikomushierarkia, joka rakennettiin yhden työpajan aikana. Tällä hierarkialla luotiin runko, jonka kautta tuotettiin varsinainen keskustelun sisältö, eli oletettu dialogi asiakkaiden ja botin kesken. Kun aikomushierarkia sisältöineen oli mielestämme kunnossa, niin luotu malli vielä koulutettiin opetus- ja testiaineistolla eli oletetuilla asiakkaiden kysymyksillä.
Käännöslaadun testaus
Koska oikea asiakasaineisto ei ollut käytettävissä kokeilussa, Twilion käännöslaadun arviointi päätettiin tehdä ensin murteiden osalta Kelan itse tuottamalla aineistolla. Keräsimme suoraan kelalaisilta ympäri Suomea puhenäytteitä erilaisista murteista. He saivat meiltä valmiit tekstit opiskelijoiden tulorajoihin ja takaisinperintään liittyen ääneen luettavakseen. Me saimme paluupostissa parisenkymmentä eri murteilla tuotettua äänitallennetta, joilla teknologiaa sitten koestettiin. Alla kaavio, jossa eriteltynä Twilion kyvykkyys Kelan oman testiaineiston osalta. Murteet ja numerot tuottavat puhebotille vielä jonkin verran vaikeuksia.
Tämä oli meille selkeä vinkki siitä, että käyttäjätesteissä ei kannata rakentaa keskusteluja numeroiden ymmärtämisen varaan. Mutta muuten näytti olevan hyvät edellytykset siirtyä ihmiskokeisiin.
Testaus käyttäjillä
Kolme viikkoa ensimmäisen työpajan jälkeen, eli toukokuun viimeisellä viikolla, pääsimme testaamaan ratkaisua loppukäyttäjillä. Käyttäjätesti järjestettiin yhteistyössä Laurea Ammattikorkeakoulun kanssa ja kuusi uteliasta henkilöä ilmoittautui testaamaan puhebottia. Testaajat olivat eri alojen opiskelijoita, viisi naista ja yksi mies.
Testi rakennettiin etäyhteyden varassa siten, että käyttäjää pyydettiin laitamaan puhelimensa kaiuttimelle (jotta kuulisimme keskustelun) ja sitten soittamaan numeroon, jossa botti vastaa.
Testaajille annettiin tehtäväksi samaistua erilaisiin tilanteisiin kuten valmistuminen tai ulkomailla työskentely opiskelun aikana. Näihin tilanteisiin liittyen heidän tuli esittää puhebotille kysymyksiä, ja sen jälkeen reflektoida botin antamia vastauksia ja omaa kokemustaan. Alla taulukko testauksen tuloksista.
Mitä kokeilusta opittiin
Käyttäjätestin perusteella puhebotti toimi kohtuullisesti. Testissä mukana olleet käyttäjät pitivät palvelua hyödyllisenä, ja he olivat jopa yllättyneitä kuinka hyvin ja luontevasti se toimi. Muutamilla lisätesteillä ja opetuksella toimivuutta voitaisiin melko helposti parantaa entisestään. Mutta kokeilua varten toteutettua aihealuetta pitäisi vielä täydentää melko paljon, jotta palvelulla vastattaisiin luotettavammin kysymysten todelliseen kirjoon aidossa kontekstissa.
Itse opimme lisäksi, että sisältöjen tuottaminen puhekontekstiin on merkittävästi erilaista kuin kirjalliseen kanavaan. Chatbotille tehtyjä tekstejä ei voi sellaisenaan ottaa puhebotille puhuttavaksi. Muuten puhe ei ole luontevaa ja lauseet (botin vuorosanat) voivat olla uuvuttavan pitkiä kuunneltavaksi.
Testissä käytetyltä ratkaisulta kuitenkin puuttuu vielä muutama vuoropuheluun liittyvä ominaisuus, joita käyttäjät nostivat esille, ja joiden puuttuminen voi johtaa huonoon asiakaskokemukseen. Botin puhe pitäisi tarvittaessa voida keskeyttää, ja sen pitäisi pyynnöstä toistaa vastauksensa, ja puhua hitaammin tai nopeammin, soittajasta riippuen. Kuuntelu voi olla paljon haastavampaa kuin kirjoitetun tekstin seuraaminen.
Teknologia kuitenkin kehittyy nopeasti, joten puolen vuoden päästä nämäkin haasteet on mahdollisesti korjattu.
Miten jatkamme?
Puhelinpalvelun kehittäminen on Kelalle strategisesti tärkeää, ja kokeilemme jatkossakin ennakkoluulottomasti ratkaisuja, joilla voidaan parantaa asiakaskokemusta sekä tukea Kelan tehokkuustavoitteita. Vielä Kelan puhelinpalvelussa ei vastaa puhebot, mutta tilanne voi muuttua nopeammin kuin uskommekaan.
