Produktanalyse del 1: Avmystifisering av retention
Driver du med digital produktutvikling, har du sannsynligvis støtt på begrepet retention. Men, hvor mange case-studier kjenner du til fra det norske markedet?
Her deler jeg ett, fra Ruter, og håper det hjelper deg i jakten på den hellige gral.
Dette er første del i en serie om produktanalyse. Den gir deg en innføring i begrepet og et innblikk i Ruter-appens retention, og tanker rundt det. Her deler jeg åpent og ærlig og håper du kan lære noe av det.
I produktanalyse brukes retention for å måle i hvor stor grad brukere kommer tilbake til produktet. Før vi dykker ned i retention-begrepet, ønsker jeg å klargjøre hvorfor det er viktig for Ruter å følge med på dette.
Ruter ønsker høy retention fordi det sier noe om kvalitet på Ruter-appen. Vi ønsker å levere et bedre og bedre produkt. En høy retention forteller oss at Ruter-appen blir godt likt i markedet. At folk finner verdi i å gjøre reisesøk, sjekke hvor full bussen eller trikken er, lese avviksmeldinger, sanntidsposisjon på kjøretøy osv.
Ruters mål er å levere bærekraftig bevegelsesfrihet for alle i vår region. For å få til dette må vi tilby et kundegrensesnitt som er attraktivt nok til at reisende ønsker å benytte seg av våre tjenester når de skal løse sine mobilitetsbehov. Retention spiller da en rolle i å forstå om vi lykkes med dette.
Så til utdyping. Typisk er det to ulike metoder å måle retention på:
- N-day retention: Måler andel brukere som kommer tilbake til produktet på et spesifikt tidspunkt (f.eks. dag 1 eller dag 2 eller dag 3, …, eller N-dag.)
- Unbounded retention: Andel brukere som kommer tilbake til appen på et spesifikt tidspunkt eller senere (f.eks “etter dag 3").
Skal man jobbe med å komme til bunns i retention, vil første skritt på veien være å velge ut den passende metoden for sitt produkt. Bruksmønsteret avgjør.
Der N-day retention egner seg for apper hvor kunder kommer tilbake på fast basis, egner unbounded retention seg til apper hvor besøk er mer sporadisk.
Sosial medier-apper tjener som skoleeksempel på produkter som foretrekker N-day retention. Disse ønsker mest mulig besøk, jo mer jo bedre. Samme gjelder nyhets-apper. Nyheter skal folk ha hver dag.
Ruter-appens bruksmønster — til forskjell fra sosiale mediers, som kanskje opplever at hovedvekten av brukerne er innom daglig eller ukentlig — er kaotisk. Noen er sjeldent innom appen ved at de kun reiser til og fra jobb til faste tider med månedskortet sitt. Andre er stadig innom appen og gjør reisesøk fordi de reiser mye og til forskjellige steder. Atter andre bruker kun appen den ene helgen de er på besøk i Oslo.
Ruter-appens kaotiske bruksmønster taler for unbounded retention. Mer spesifikt er vi i Ruter interessert i første måned i en graf over 6 month unbounded retention. Oversatt betyr dette at vi over en 6 måneders periode ser på hvor stor andel som kommer tilbake i appen i første måned eller senere etter først å ha besøkt den.*
I Amplitude, som er Ruters våpen for produktanalyse, finnes ferdige grafer for retention. Det gjør analysen enkel og greit, man velger ut sin retention-metode, i Ruters tilfelle unbounded, og vipps og fiks ferdig, spytter Amplitude ut Ruters retention-graf.
Ruters retention-graf viser at av alle som har besøkt appen i løpet av de siste 6 månedene, så har 63 % returnert etter en måned eller senere (rød sirkel).
Mer interessant enn å se retention-tallet for alle, er å bryte opp brukerstokken og finne variasjon. Noen vil dra opp, andre dra ned. Dette vil gi oss en pekepinn på hva som fenger brukerne, hva som gjør at noen brukere ser nytten av appen og kommer tilbake.
En enkel oppdeling av brukere er å skille mellom innloggede og anonyme. Den grønne linja i grafen nedenfor, innloggede brukere, har en del høyere retention enn andre, over 70 %.
Men også blant de innloggede er det store variasjoner. Er du en innlogga bruker som har lagret en hjem- og jobbfavoritt, er du nesten garantert å komme tilbake. Retention er godt over 90 %.
Betyr dette at vi kan nå høy retention i Ruter-appen ved å presse favoritter på våre brukere?
Svaret er nei. Det handler om korrelasjon og kausalitet. Ja, vi ser at retention øker når bruken av favoritter øker. Nei, vi ser ikke at bruken av favoritter er årsaken til høyere retention. Like gjerne kan det handle om at brukere som i utgangspunktet bruker appen hyppig fordi de reiser hyppig, har mer behov for favoritter. De ville hatt høy retention uansett.
Om man skulle konkludere med at det ligger kausalitet bak, måtte man for et utvalg kunder designet appen slik at lagring av favoritter blir vektlagt tyngre. Om disse i større grad lagrer favoritter og samtidig har høyere retention enn andre, kan vi snakke kausalitet.
Kan vi klappe oss selv på skulderen for en retention på 63 %?
Hva som er bra, og hvor grensen for hva som er bra går, er vanskelig å si noe klokt om. Her gjenstår mer arbeid og større forståelse.
Kravet til hva som er en god retention vil dessuten øke i takt med at Ruter utvikler seg.
Høsten 2022 lanserte vi en kampanje på 30-dagersbilletten for første gang. Målet med kampanjen er å få flere folk til å velge kollektivt fremfor bil. Om så skjer, vil retention øke. Det samme gjelder for Reis, et nytt, fleksibelt billettprodukt som slippes til alle kunder i 2023.
I løpet av neste år vil også mikromobilitet (så som sparkesykler og sykler) være tilgjengelig i appen. Større og mindre funksjoner vil lanseres med jevne mellomrom. Akkurat nå står mulighet til å lagre en fremtidig reise på trappene.
Ikke minst skal vi fjerne RuterBillett-appen. Kunder kan i dag kjøpe billett i den nye Ruter-appen én gang for deretter kun å forholde seg til RuterBillett. Disse vil dra ned retention, de kommer ikke tilbake.
Alt dette og mye annet spiller inn. Vi er ikke i mål. Vi har nettopp begynt og vil forløpende jobbe for å forstå vår retention og bruke den som en pekepinn på hvor mye verdi appen har for brukerne våre.
Fortsettelse vil følge.
Oppdatering: Del 2 om WAU/MAU og graden av engasjement er nå publisert.
*Unbounded retention kan være vanskelig å få grep om. Forklaringen på bildet nedenfor hjalp meg med å forstå. Anbefales!
Kilder: https://amplitude.com/blog/3-ways-measure-user-retention
