Hvordan vet man om produktet man lager skaper verdi?
Hos nettselskapet Lede (tidligere Skagerak Nett) har vi utviklet og lansert en minimumsversjon av en ny tjeneste for innmelding av feil og skader på utstyr i strømnettet. Sterk vind, snøfall og hærverk kan skape uforutsigbare situasjoner, som truer stabil og sikker strømforsyning. Trær kan for eksempel blåse overende og bli hengende mot strømlinjer. Observasjoner fra publikum er derfor til stor hjelp.
Tjenesten er en MVP eller minimum viable product — og nettopp ordet minimum er essensielt her. Poenget er å gjøre så lite som mulig før vi kan måle om innsatsen ser ut til å gi den effekten vi ønsker og om det skaper verdi, før vi investerer mer tid og ressurser i det.
Vi har gode indikasjoner på at nevnte MVP skaper verdi, selv om den er enkel, og at det finnes et større uforløst potensiale i tillegg. Men hvordan vet vi det? Hvordan har vi gått frem, og hva måler vi, egentlig?
La oss definere noen begreper, før vi går videre. I arbeidet med tjenesten har vi vært opptatt av særlig to ting; brukeradferd og outcome. Vi har ikke vært spesielt opptatt av output.
- Brukeradferd er hva brukeren gjør. Med bruker menes i dette tilfellet både kunde og ansatt.
- Outcome er en målbar og verdiskapende endring av brukeradferd. Det er kort fortalt hva vi ønsker å oppnå. Eksempler på ønskede outcomes for tjenesten vår er at flere kunder melder fra om feil og farlige forhold og at vi internt i Lede bruker mindre tid per henvendelse.
- Output er den faktiske funksjonaliteten vi lager, som helst skal føre til et ønsket outcome. Og av de to er det outcome som er viktigst å tenke på tidlig.
Teamet vårt er tverrfaglig og har fått myndighet til å ta egne avgjørelser. Jeg mener det er en forutsetning for å jobbe effektivt mot et eller flere outcomes og å skape innovasjon. Man trenger et mangfold av kompetanseområder for å finne frem til og utvikle gode løsninger — som gir ønsket outcome. Det er i sum dette digital produktutvikling dreier seg om. Det er kunsten å lære hva man skal lage, mens man lager det.
Tjenestereise som roadmap
En animert illustrasjon av hvordan vi ser for oss at tjenestereisen endres. Tjenestereisen her er en kjede av alle handlinger, utført av alle involverte parter, som er nødvendig for at det skal skapes verdi. Kundens steg i rosa til venstre, og Ledes steg i grønt og blått til høyre. Summen av disse stegene kalles noen ganger også for en verdistrøm. Illustrasjon: Signe Marie Oland.
Vi har kartlagt og analysert tjenestereisen slik den var før og brukt innsikten derfra til å tegne opp hvordan vi mener den i stedet bør være. Vi har ryddet i manuelle steg og pain points, og latt den nye versjonen danne roadmap og mål for teamet. På den måten har vi fått en roadmap bestående av problemer å løse, i stedet for spesifisert funksjonalitet å produsere. Det har gjort oss fokusert på hva det er vi skal prøve å oppnå og hvorfor (outcome), og fleksibilitet til å eksperimentere med hvordan (output).
Måling av effekt og verdi
En av årsakene er at vi har vært så opptatt av outcome er at det er nokså lett å observere og måle. Den vanskelige delen av det er å finne ut hvilken brukeradferd man ønsker å se mer av, og hva man eventuelt ønsker å se mindre av.
Josh Seiden foreslår disse tre spørsmålene som hjelp til å få tankene over i mer brukersentrerte baner:
- Hvilken brukeradferd er det som skaper forretningsverdi?
- Hvordan kan vi stimulere til mer av det?
- Hvordan vet at antagelsene våre stemmer?
Endring i brukeradferd er enkelt å styre etter, fordi man kan måle det nokså umiddelbart. Vi anser disse målingene som tidlige tegn på hvorvidt det skapes forretningsverdi eller ei. Slik måling gjøres følgelig med det man kaller tidlige (leading) måleindikatorer.
Mer overordnede forretningsmål kan være vanskeligere å styre etter. Dels fordi det tar tid før man ser om innsatsen har innvirkning på de, og dels fordi årsaken kan være sammensatt av flere faktorer. Måling på et slikt nivå gjøres med bakoverskuende og trege (lagging) indikatorer.
Outcomes bør uansett henge sammen med overordnede forretningsmål, slik som forsøkt illustrert for Innmelding av feil her:
Vi vet ikke eksakt hvor mange årlige henvendelser som kom inn før tjenesten ble laget, da de kom i ulike kanaler og på ulike måter. Et anslag er uansett 200. Teamet har hatt mål om å økte dette tallet og i tillegg sørge for at kundene melder feil i en og samme kanal.
Enklere og raskere behandling og samhandling i Lede er også et mål, men vi har foreløpig lagt det meste av “kruttet” i kundens del av tjenestereisen.
Dette sier dataene våre
Etter å ha vært på lufta i omtrent fem måneder vet vi følgende:
- Tiden kunden bruker på å melde feil er kuttet med ti minutter.
- Det har kommet inn i overkant av 200 henvendelser. Det betyr 4–500 i året, om det fortsetter som nå. Det er mer enn forventet. Det er i tillegg en tydelig trend at det blir mer trykk på tjenesten og flere henvendelser når det er mye vær og vind.
- Flesteparten av henvendelsene ender som oppdrag for montører.
- Nær 30% av henvendelsene har blitt avslått fordi de ikke gjelder vårt utstyr eller at er utenfor ansvarsområdet vårt. Det har spart selskapet for bomturer. Kanskje burde et annet outcome handle om at færre kunder melder feil på «feil» utstyr?
Det er en korrelasjon mellom flere trafikkilder (ref illustrasjon over) og antall innmeldte feil. Vi har for eksempel fått opp en lenke til tjenesten vår på feilmeldingssiden til en av kommunene i Grenland, som har generert henvendelser. Det er også med på å bekrefte hypotesen om at mange ikke vet hvem de skal melde fra til, og at flere da for eksempel sjekker kommunens nettsider. Dette så vi under brukertesting av ulike prototyper også, og det rimer bra med at såpass mange melder feil til oss på utstyr som ikke gjelder strømnettet.
De fleste kunder bruker rundt to minutter på å melde feil, selv om noen også faktisk gjør det på under ett minutt. To minutter bør uansett være innafor, tatt i betraktning at de de fleste skriver en god beskrivelse i tillegg til å legge ved bilde og posisjon. Vi bruker dette målet som en slags målbar proxy for enkelhet.
Hele 20% av de som har meldt inn feil har gitt oss tilbakemeldinger. Flesteparten er fornøyde. Noen er misfornøyde og savner for eksempel muligheten til å legge ved flere bilder. Det forteller oss at de er villige til å bruke tid på å gi oss ordentlig informasjon om feilen de observerer — i hvert fall så fremt tjenesten ellers er enkel og rask å bruke.
Læring og kontinuerlig forbedring
Tjenesten er å anse som et eksperiment og er på ingen måte en ferdig løsning. Den har skaffet oss nyttig innsikt og en tydeligere baseline vi kan sammenligne med og bruke til å sette nye mål fremover.
Vi har på ingen måte truffet blink med alt vi har gjort med en gang. Men vi har har vært ganske god på kontinuerlig forbedring av tjenesten (som fortsatt er en MVP) så vel som egen arbeidsprosess og hva vi måler. Målinger og data har vært kilde til mange nye ideer og eksperimenter underveis, som vi ikke ville hatt forutsetninger til å klekke ut på forhånd.
Det kan være utfordrende å definere gode ambisjoner og mål. Vi har ikke perfekte målinger, og helt sikkert ikke perfekte mål heller. Vi har garantert fortsatt mye å lære. Hvordan måler du om det du lager skaper verdi?
Teamet, som har jobbet med tjenesten, består av Signe Marie Oland, Sigurd Kleppan, Ole Kristian Grindbakken, Halvor Kise og meg selv.
Denne artikkelen ble først publisert på Linkedin i september 2021.
Inspirasjonskilder:
- Outcomes Over Output: Why customer behavior is the key metric for business success (Bok, Josh Seiden)
- INSPIRED: How to Create Tech Products Customers Love (Bok, Marty Cagan)
- Produktledelse er motgiften til innovasjonsteater (Blogg og podcast, Haakon Jensen)
- Output, outcomes, impact and KPIs (Artikkel, Jeff Gothelf)
- FINNs podcast om metodikk og ledelse — og målstyring
