Produktanalyse del 3: Jakten på activation milestone
Activation metric, activation milestone og aha-moment. Kjært barn, mange navn, som alle på en god måte beskriver hva dette dreier seg om. Av omsorg for leseren kommer jeg til å holde meg til bare ett av disse, activation milestone.
Activation milestone er øyeblikket nye brukere virkelig forstår verdien av produktet, og dermed begynner å bruke det regelmessig. I dette øyeblikket blir nye brukere aktive brukere — de får en aha-opplevelse og blir aktivert.
For folk som driver med digital produktutvikling, gjelder det å finne den handlingen eller de stegene som typisk ligger bak dette øyeblikket. På den måten kan man designe appen slik at disse tingene blir vektlagt.
Da sørger man for at færre snur i døra. De trer heller over terskelen og utforsker husets ulike rom. Setter seg kanskje til i stua. Opplevelsen er såpass god at besøket gjentar seg, igjen og igjen (alias retention).
Det var etter en design-sprint at vi fikk øynene opp for activation milestone. Temaet for sprinten var onboarding, altså den introduksjonen som møter nye brukere i appen.
Designerne i Ruter skulle risse opp nye onboarding-flyter som på best mulig måte gjør nye brukere kjent med appen; som på en enkel måte gir opplæring i bruk; som forteller om de største fordelene; som hjelper med å logge inn, sette opp profil.
For en god onboarding er et middel for å nå et viktig mål: En god onboarding skal øke langsiktig retention.¹
Som digitalanalytiker var jeg huket inn til sprintens første dag for å tale tallenes sak. Jeg presenterte innsikt som sa at innloggede brukere har mye høyere retention enn anonyme. Dette brukte jeg som argument for at onboardingen må vektlegge innlogging. Få brukere bak profil, da vil vi se at brukere kommer tilbake.
Og sånn ble det. Vi konsentrerte onboardingen om innlogging.
Ikke lenge etter fikk jeg second thoughts. Det skjedde etter at jeg gravde videre i sammenhengen mellom innlogging og retention. Har tidspunktet for innlogging noe å si for retention? Resultatene overrasket meg. Brukere som logger inn på første dag har lavere retention enn de som logger inn senere!
Egentlig gir dette mening. De som logger inn senere, for eksempel mellom dag 8 og 30, har hatt tid til å vurdere appen. Sannsynligvis har de funnet Ruter-appen verdifull og kjent behovet for å logge inn.
Det er den vante historien om korrelasjon og kausalitet. Det er ikke innlogging i seg selv som bidrar til at brukere kommer tilbake. Det er heller slik at de som bruker appen mye, har større behov for å logge inn - og gjør det.
Kanskje skulle vi konsentrere oss mindre om innlogging?
På dette tidspunktet forsto vi behovet for å jobbe med activation milestone.
Om activation milestone er det som gjør nye brukere til aktive brukere, bør det vel spille hovedrollen i onboardingen?
Så hvordan finner man sin activation milestone? Lenny mener det er tre steg:
- Gjennom brainstorming, kom med forslag til hva som gir en aha-opplevelse i appen.
- Kjør regresjonsanalyse for å avdekke en korrelasjon mellom forslagene og retention.
- Gjør eksperimenter for å finne ut om det er kausalitet bak de forslagene med høy korrelasjonen.
So far, so good. Tre trinn og brukerne i din hule hånd.
Første trinn plankekjøring. Her gjelder det å drodle og kaste frem tanker og idéer.
Brainstorming gav oss disse mistenkte: kjøpe billett, gjøre reisesøk, lagre favoritt, bruke favoritt og trykke for å se avgangstider fra holdeplasser i nærheten. Enten én av disse for seg selv, eller en kombinasjon.
Vi hadde også andre activation milestone-kandidater oppe til vurdering. For eksempel å sjekke hvor full bussen er, eller sjekke hvor trikken befinner seg i kartet. Disse ble imidlertid forkastet fordi få brukere til enhver tid benytter seg av de. Det er tjenester som dekker færre kunders behov.
En tommelfingerregel er at minst 10 % av nye kunder må gjennomføre noe for at det kan kvalifiseres som activation milestone.
Trinn 2. Hvordan avdekker man korrelasjon? I Amplitude finnes en egen funksjon som gjør jobben: compass graph. Den lister opp de handlingene nye brukere gjør i Ruter-appen, som har høyest korrelasjon med retention.
Dessverre avslørte listen at ingen handlinger har noe særlig korrelasjon til retention for nye brukere. Det er ikke sånn, for eksempel, at så fort en kunde gjør et reisesøk, så forstår de verdien av Ruter-appen, og vi med noenlunde sikkerhet kan være trygg på et snarlig gjenbesøk.
Kanskje activation milestone heller dreier seg om en serie av handlinger? For eksempel at en bruker når activation milestone når hen kjøper billett og gjør reisesøk et visst antall ganger.
Her var det bare å prøve seg frem.
Om en ny kunde kjøper billett og gjør reisesøk innen syv dager, er dette korrelert med retention? Amplitude sier oss at det er slightly predictive. En viss korrelasjon, altså, men bare litt. Hva med om du kjøper billett og gjør reisesøk og lagrer en favoritt? Slightly predictive, også denne.
Til og med kombinasjonen kjøpe billett og gjøre reisesøk og lagre favoritt og trykke på holdeplass i nærheten rekker ikke høyere opp enn slightly predictive.
Og slik fortsetter det. Vi makser på slighly predictive. Ingen highly predictive. Ikke engang moderately predictive.
Trinn tre. Vi kom oss ikke hit, dessverre. Vi jobber fortsatt med å avdekke og skape flere opplevelser som kvalifiserer til activation milestone, men per i dag ser det sannelig ikke ut som vi har en.
Hva kan være grunnen til det? Har det noe å gjøre med at kundenes opplevelse med Ruter i stor grad er knyttet til det fysiske: kjøretøy, punktlighet, komfort, holdeplasser osv.?
Vi sitter på innsikt som forteller oss at det viktigste for Ruters kunder er hyppige avganger, rimelige priser, forutsigbare avganger og færrest mulig bytter. App-relaterte ting havner lenger ned på lista.
Det er andre ting enn det som skjer i appen som avgjør om du reiser eller ikke reiser kollektivt(!).
Da kan det være fristende å tenke at det ikke gir skikkelig mening å jobbe med activation i Ruter-appen. Men Ruter er jo ikke alene om en både digital og fysisk side. Tenk Airbnb. Jeg er temmelig sikker på at de jobber hardt med activation milestone. Jeg vet bare ikke hvordan (og det skulle jeg gjerne visst).
Fraværet av en activation milestone i dag kan også henge sammen med at en stor andel av Ruter-appens nye brukere bare kjøper én eller to billetter i de første månedene. De tilhører den store gruppen som bare reiser kollektivt en gang iblant.
Blant disse går det lang tid mellom hvert besøk i appen, de har lav retention. De gjør dermed sitt for at jobben med å avdekke vår activation milestone er vanskelig.
En vei rundt dette problemet kan være segmentering av kundestokken. Om vi sirkler oss inn på de nye brukerne som faktisk begynner å reise regelmessig med oss, og gjør tre trinns-analysen på disse, finner vi da en activation milestone? Det blir spennende å se. Jeg synes segmentering står frem som et naturlig neste steg i jakten.
Så selv om vi ikke har lyktes med å finne an activation milestone i skrivende stund, slår vi oss ikke til ro og konkluderer at den ikke finnes.
Vi må også fortsette å utvikle oss slik at tjenestene våre blir bedre og brukt oftere.
Vi kan ikke si at Ruter-appen ikke har activation milestone fordi det finnes en stor gruppe der ute som reiser veldig sjeldent. Ruter har som mandat å gjøre kollektivtrafikken, sammen med sykkel og gange, til førstevalget. Da må vi få disse som reiser kollektivt sjeldent, til å reise mer.
Vi som jobber med produktutvikling i Ruter må utvikle digitale produkter og tjenester som leverer verdi til kundene våre, på tvers av flater. Selv om mange opplever billettkjøp og reisesøk som basisfunksjonene, må vi tilby en helhetlig reiseopplevelse som øker attraktiviteten for å velge bærekraftig mobilitet.
Byttet activation milestone er fortsatt på frifot, men jakten fortsetter. Ruter-appen utvikles stadig. Vi ønsker fortsatt å finne vår activation milestone, eller å skape en.
Dette er siste del i en serie om produktanalyse i Ruter. Fra retention via WAU/MAU til her, activation milestone. Jeg håper dere har funnet det lærerikt å lese om dette med Ruter-appen som case. Jeg har i alle fall lært mye ved å skrive om dette.
Selv om jeg skriver her at dette er siste del, så er jeg åpen for å ta for meg også andre emner innen produktanalyse. Om dere har noe dere ønsker å få dekket, la meg vite!
¹Kilde: Lenny’s Podcast | Using behavioral science to improve your product
