Jul 22, 2021
Missä asioissa opiskelija tai asevelvollinen soittaa Kelaan? Ensimmäiset opit puheanalytiikasta Kelassa
Kirjoittanut Riikka Lindroos-Järvitalo
Aloitimme toukokuussa puheanalytiikan kokeilun. Tarkoituksenamme oli selvittää missä asioissa opiskelijat ja asevelvolliset soittavat Kelan puhelinpalveluun. Toinen tavoite kokeilussamme oli ymmärtää paremmin puheanalytiikan teknisestä tasosta sekä sen mahdollisista käyttötavoista Kelassa. Tässä blogikirjoituksessa kerron ensimmäisistä havainnoistamme.
Mistä ajatus lähti?
Vuoden 2020 aikana Kelan puhelinpalvelussa vastattiin 2 miljoonaan puheluun. Puhelinpalvelu on merkittävä palvelukanava ja valtava asiakastiedon lähde. Asiakkaan kanssa käydyn puhelun jälkeen palveluasiantuntija kirjaa lyhyesti puhelussa käsitellyt asiat ja luokittelee puhelun sisällön oletuksena oleviin kategorioihin kuten neuvonta tai kiirehtiminen. Tiedämme siis, että tietty osuus puheluista on koskenut neuvontaa, mutta emme tiedä onko puhelussa neuvottu tulorajojen laskemiseen tai terveydenhoitomaksun maksamiseen liittyvissä kysymyksissä. Puheanalytiikan kokeilussa lähdimme selvittämään, saisimmeko tekoälyn avulla selville yksityiskohtaisempia syitä puheluiden takana. Oletuksenamme oli, että löytäisimme konkreettisia esimerkkejä tilanteista, joita kehittämällä voisimme proaktiivisesti vähentää puheluiden määriä. Opiskelijat ja asevelvolliset valikoituivat kokeiluun, koska puheluissa ei tyypillisesti ole kyse terveyteen liittyvistä asioista, jotka vaatisivat vielä tarkempaa tietosuojaa. Lisäksi Gartnerin 20.4.2021 julkaiseman selvityksen mukaan milleniaalit ja z-sukupolven asiakkaat suosivat itsepalvelukanavia, joten tämänkin tiedon valossa oli erityisen mielenkiintoista pyrkiä selvittämään, miksi he soittavat Kelaan.
Tietosuoja ja –turva kokeilun ytimessä
Alusta asti oli selvää, että kokeilussa halutaan hyödyntää aitoja asiakaspuheluita. Vain niiden avulla voisimme todentaa kokeilun tavoitteet. Asiakaspuheluiden käyttö ei kuitenkaan ole aivan yksinkertainen asia, koska puheluissa puhutaan henkilökohtaisista asioista ja käydään läpi asiakkaan henkilötietoja. Tietosuoja ja –turva ovatkin kokeilun ytimessä. Aitojen asiakaspuheluiden käytön takia kokeilussa käytettävä Feelingstreamin sovellus on asennettu Kelan konesaliin, eikä tietoja luovuteta Kelan ulkopuolelle. Tämän lisäksi puheluista tehdyt tekstikäännökset on anonymisoitu ennen analyysin tekoa, eikä kokeilussa tarkastella yksittäisen henkilön puheluita vaan puheluita analysoidaan massana. Kokeiluun osallistuville konsulteille ja Kelan ulkopuolisille asiantuntijoille on lisäksi tehty Suojelupoliisin turvallisuusselvitys, eikä heillä ole näin pääsyä aitoihin, eikä anonymisoituihin puhelutallenteisiin.
Ensimmäisten kuukausien opit
Feelingstream-sovelluksen asennus ja käyttöönotto sujui nopeasti. Kelan IT-asiantuntijat tekivät asennuksen Kelan palvelimelle Feelingstreamin asiantuntijoiden opastamana. Vajaan kahden kuukauden kokemuksella olemme saaneet huomata, että datan laadulla ja määrällä on suuri merkitys. Kokeilussa käytettävät puhelutallenteet ovat yksikanavaisia, eli emme saa eriteltyä luotettavasti asiakkaan ja palveluasiantuntijan puhetta toisistaan. Tämä ei ole suuri ongelma tässä kokeilussa, mutta vähentää luonnollisesti analysoinnin mahdollisuuksia. Kaksikanavaisen puhelutallenteen avulla olisi mahdollista tehdä erillisiä analyyseja asiakkaan ja palveluasiantuntijan puheesta, kiinnostavaa olisi esimerkiksi tietää kuinka negatiiviseksi tai positiiviseksi tulkittu puhe jakautuu puhujien kesken tai kuinka paljon puheluissa on päällekkäistä puhetta. Yksikanavaisuus vaikuttaa myös puheesta muunnetun tekstin tarkkuuteen, halusimme verrata yksikanavaisen ja kaksikanavaisen puhelutallenteen eroja ja nauhoitimme kokeeksi yhden puhelun molemmilla tekniikoilla. Kaksikanavaisena tallennetun puhelun tekstikäännöksessä virheitä oli huomattavasti vähemmän yksikanavaiseen verrattuna.
Kokeilun alkuvaiheessa jo totesimme, että tulemme tarvitsemaan noin 30 000 puhelutallennetta hyvän ja luotettavan tekoälymallin kouluttamiseksi. Puhelutallenteiden määrä on kriittinen erityisesti keskusteluaiheet tunnistavan topic-mallin tarkkuudelle. Kesän aikana puhelumäärät ovat tippuneet ja tämän takia kokeilua onkin päätetty jatkaa elokuun loppuun saakka.
Tätä kirjoittaessa olemme keränneet reilut 10 000 puhelutallennetta, ja analysoineet niiden avulla opiskelijoiden ja asevelvollisten puheluiden taustalla olevia syitä. Olemme tutkineet muun muassa puheluita, joissa esiintyy ongelmatilanteisiin viittaavia sanoja sekä selvittäneet eroja lyhyiden ja pitkien puheluiden taustalla. Lisäksi olemme pohtineet syitä pitkille hiljaisuuksille. Onko tavallista pidempi hiljaisuus merkki siitä, että palveluasiantuntija on etsinyt tietoa? Jos näin on, niin missä asioissa lisätietoa on etsitty?
Kokeilussa käytettävien puhelutallenteiden määrän kasvaessa odotamme pääsevämme tutkimaan syitä negatiiviseksi tai positiiviseksi tulkittavien puheluiden taustalla.
Jo tässä vaiheessa on kuitenkin selvää, että puheanalytiikalle on paljon erilaisia käyttötarpeita. Kelan palveluita kehittäviä asiantuntijoita varmasti kiinnostaa heidän palveluihinsa liittyvien puheluiden tarkempi tarkastelu: millaisissa asioissa toimeentulotuen hakemusta tekevät soittavat? Onko sairauspäivärahan päätöksessä lause, joka aiheuttaa kysymyksiä? Puhelinpalvelun asiakaskokemuksesta vastaavia taas kiehtoo syyt erilaisten asiakaskokemukseen vaikuttavien tekijöiden taustalla: kuinka paljon hiljaisuutta tai päällekkäistä puhetta puheluissa on? Näiden kaltaisiin kysymyksiin pyrimme vielä kokeilun aikana löytämään vastauksia, ja kerromme kokemuksistamme lisää kokeilun päätyttyä.
