Erfaringer fra to år med post mortem

Kristoffer Berg
Apr 9 · 6 min read

Du har trolig kjent på smerten som oppstår når noe du jobber med, og har ansvaret for, går galt. Det gjør vondt, og instinktet er gjerne å legge det uheldige bak seg så raskt og stille som mulig. Samtidig er erfaringer tilknyttet feil og uheldige hendelser en gullgruve for å forbedre måten det jobbes på. Gjennom dette kan erfaringene være med å forhindre at feil inntreffer på nytt.

SpareBank 1 jobber med pengene til folk, og løsningene våre regnes som kritisk infrastruktur i Norge. Ved hendelser av en viss karakter og omfang skal det derfor utarbeides en rapport til Finanstilsynet. Dette er det gode rutiner for i SpareBank 1, og arbeidet ble tidligere håndtert av en fast rolle i utviklingsteamene.

Vi ønsket å dra mer nytte av potensialet knyttet til læring ved slike hendelser. Spesielt nysgjerrige var vi på hvordan organisasjonen bedre kunne legge til rette for læring i etterkant av hendelser, på en trygg og positiv måte for alle involverte. Bakgrunnen var betydelig varians i organisasjonen i forbindelse med involvering, analyse og evne til å gjennomføre tiltak for forbedring, tilknyttet feil og uønskede hendelser.

Test av post mortem

Mot slutten av 2016 bestemte vi oss derfor for å teste ut konseptet post mortem på feil og hendelser vi opplevde i produksjon. Kort fortalt er en post mortem en prosess der alle involverte går gjennom hendelsesforløpet sammen, for å etablere en tidslinje for hva som skjedde når, forstå hva som gikk galt, og identifisere rotårsaker til hvorfor dette inntraff. Med utgangspunkt i denne innsikten diskuterer man så hvilke tiltak som skal testes ut for å løse problemet. Arbeidet skjer innenfor en ramme der man ikke snakker om hvem som har skylden for det som har skjedd. Psykologisk trygghet er en viktig forutsetning for å lykkes med dette. En vellykket post mortem vil resultere i læring innenfor en positiv ramme, på bakgrunn av at noe ikke gikk som man ønsket. Den setter oss i stand til å identifisere relevante tiltak for forbedring med utgangspunkt i reelle rotårsaker, og over tid styrkes kvaliteten på det vi leverer. PagerDuty beskriver hendelse-post mortem nærmere her.

Kultur er viktig

Hvordan organisasjonen reagerer på en hendelse, betyr mye for hvilke rammer man jobber innenfor. I boken Accelerate omtales Dr. Ron Westrum sin “typology of organizational culture”, som beskriver tre typer organisasjoner (Westrum 2014):

  • Pathological organisations are characterized by large amounts of fear and threat. People often hoard information or withhold it for political reasons, or distort it to make themselves look better.
  • Bureaucratic organisations protect departments. Those in the department want to maintain their “turf,” insist on their own rules, and generally do things by the book — their book.
  • Generative organisations focus on the mission. How do we accomplish our goal? Everything is subordinated to good performance, to doing what we are supposed to do.
Westrums Topology of Organizational Culture, hentet fra boken “Accelerate: The Science of Lean Software and DevOps: Building and Scaling High Performing Technology Organizations”.

Å være klar over hvor man befinner seg i denne modellen er nyttig for å forstå forventningene folk tar med seg inn i en post mortem. Vil man fritt dele informasjon med lave skuldre eller vil man bekymre seg for eventuelle konsekvenser av det som blir sagt? Funnene fra en fem år lang studie utført av Google, der man undersøkte hva som skapte de beste teamene, støtter opp om dette. I artikkelen “What Google Learned From Its Quest to Build the Perfect Team” i New York Times Magazine fra februar 2016 skriver Charles Duhigg: “Google’s data indicated that psychological safety, more than anything else, was critical to making a team work.”

Post mortem som standard

På bakgrunn av positive erfaringer fra forsøksperioden standardiserte vi fra begynnelsen av 2017 på post mortem for alle hendelser i produksjon av en viss karakter. For å gjøre det enkelt å komme i gang, ble retningslinjer og maler tilrettelagt og gjort lett tilgjengelig for utviklingsteamene. I skrivende stund er det 19 team i operasjonen. Videre var personer med erfaring klare til å bistå teamene ved oppstarten. De passet særlig på at kjørereglene for post mortem var godt kjent og ble etterlevd.

Standardiseringen sikret prioritet for gjennomføring av post mortem. En fellesarena ble dermed skapt for dialog, refleksjon og læring, på tvers av organisasjonen. Det ble raskt etablerte et mønster der en feilsituasjon først blir håndtert med fullt fokus (som tidligere). Kort tid etter gjennomføres post mortem mens hendelsen er relativt fersk.

Erfaringer med post mortem

Per i dag er det gjennomført 37 post mortems. Tabellen under viser summen av post mortems gjennomført i 2017 og 2018, fordelt på årets måneder. Her skiller juli måned skiller seg ut, med null post mortem. Trolig henger dette sammen med færre endringer under sommerperioden. November var måneden med flest post mortems.

Summen av post mortems gjennomført i 2017 og 2018, fordelt på måneder.

Første gang man utfører en post mortem oppleves det gjerne uvant, og det kan være nyttig med to personer som samarbeider om å fasilitere gjennomføringen. Vi erfarte også at det var lurt å starte med en gjennomgang av formålet og kjørereglene for arbeidet som skulle finne sted. Videre var støtte fra noen med erfaring gunstig, særlig for å sikre fokus på skyldfri dialog. Med erfaring blir det mer rutinepreget å gjennomføre en post mortem. Dette har resultert i god flyt og begrenset tidsbruk.

I tillegg har det vist seg viktig å passe ekstra på at alle involverte ved en hendelse inviteres og oppfordres til å delta. Vi har sett stor verdi av å komme sammen utenfor gruppene man jobber i det daglige, som utvikling, drift og kundestøtte. Å samles slik “på tvers av siloer” fører til at en større del av totalbildet ved hendelser fremkommer, samtidig som relasjoner og tillit bygges mellom personer som ellers sjelden møtes.

Som del av en post mortem la vi etterhvert til en vurdering av egnede arenaer for deling av innsikt, som faggrupper, demo-sesjoner, tavlemøter mm. Dette har styrket vår delingskultur, og økt fokus på deling av læring med resten av organisasjonen.

En annen endring som har funnet sted, er at mye av arbeidet med å ta frem rapporter til Finanstilsynet ble flyttet fra en fast rolle og over til teamet. Erfaring med post mortem bidro til å forberede teamene på denne endringen.

Post mortem har blitt del av verktøykassen for å styrke vår evne til å lære, og brukes nå tidvis mer enn opprinnelig tiltenkt. Et eksempel på dette er teamet som bestemte seg for at i deres arbeid for å sikre rett kvalitet, skulle alle feil, som oppstod i en forhåndsdefinert periode, resultere i post mortem. Et annet team benyttet post mortem for å jobbe med prosessforbedring i en situasjon der det tok lang tid å få påbegynt arbeid satt i produksjon, uten at dette var relatert til noen spesifikk hendelse.

Flere mulige bruksområder

Det har så langt ikke vært like naturlig for oss å bruke post mortem for å regulere kontraktfestede leverandørforhold utenfor organisasjonen. Kanskje ligger det noe spennende i vente her, der post mortem med åpen dialog mellom gode samarbeidspartnere kan videreutvikle et fundament der tilliten mellom partene allerede er høy? Vi kan trolig også dra nytte av å legge bedre til rette for søk og analyse på totalen av erfaringer fra en voksende post mortem-base. Et annet område det har vært knyttet en del interesse til, er å benytte post mortem for å styrke læringsevnen på ting som går bra, og dermed bygge videre på gode prestasjoner gjennom positiv forsterkning.

Oppsummering

Post mortem har fungert godt for oss og har vist seg å være et nyttig verktøy for trygg læring og strukturert problemløsning etter en hendelse. Vi anbefaler derfor å teste ut post mortem som en arena der alle involverte samles for læring kort tid etter at en hendelse er tatt hånd om. For at post mortem skal fungere godt, er psykologisk trygghet sentralt. Jobber du i en organisasjon der dette er på plass, er forutsetningene for å kunne lykkes med post mortem gode.

SpareBank 1 Utvikling

Vi jobber med digitale løsninger hos SpareBank 1. Vi liker å skrive om det vi brenner for

Thanks to Stian Conradsen, Vidar Moe, and Jonas Nordstrand

Kristoffer Berg

Written by

SpareBank 1 Utvikling

Vi jobber med digitale løsninger hos SpareBank 1. Vi liker å skrive om det vi brenner for

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade