‘Efter framgången — så ska personaliseringen vässas’

Fyra månader efter lanseringen av personaliserade nyhetsflöden kan vi konstatera att vi har lämnat one-size-fits-all-modellen för gott. Kunderna visar svart på vitt att individuella startsidor ger en förhöjd innehållskonsumtion. Flödet har enorm potential — men för att få fler att hitta mer relevant kvalitativt innehåll behöver algoritmerna bli ännu mer träffsäkra. Sämst är vi i dag på att bygga rätt mix av olika sorters sportinnehåll, men det finns jobb att göra på ett gäng ställen.

‘Blir fan galen på all hockey och fotboll på NA. Jag är helt ointresserad av detta men läser vissa motorsportartiklar’ eller ‘Kan inte ett sportfilter konstrueras?’. Läsarnas feedback på våra nya nyhetsflöden pekar oss på utvecklingsavdelningen mot tydliga användarproblem. Men vi tar det från början — hypotesen var denna: Genom att sänka friktionen i våra nyhetsprodukter ökar vi andelen användare som hittar relevant innehåll. Något som i nästa led bygger lojalitet och motverkar churn.

Under sommaren 2018 testade därför ett utvecklingsteam på Mittmedias interna utvecklingsavdelningen, DMU, att bygga ett nyhetsflöde som tog höjd för användarens tidigare konsumtionsmönster och korsbefruktade det med redaktörens nyhetsvärdering och vad andra användare läste. Resultatet blev ett automatiserat, personaliserat nyhetsflöde för Mittmedias sajter och appar.

Flödet funkar så här: De tre toppuffarna styr redaktionen (inringade i grönt här). Resten är ett automatiserat flöde (inringat i rött) baserat på det data vi har på den inloggade användaren. Nytillkomna användare eller icke inloggade får en generell version av sajten.

Efter ett par enklare justeringar valde vi att göra en tidig lansering för att få användarnas hjälp att utvärdera upplägget. Redan under testerna såg vi tydliga indikationer på att användarna hade nytta av den första innehållssortering vi gjorde åt dem då det höjde artikelkonsumtionen.

En bild från utvärderingen av antalet konsumerade artiklar per timme, där det syns hur vi med personaliserade flöden i nyhetsapparna etablerar en ny baslinje för innehållskonsumtionen.

I oktober 2018 lanserade vi funktionen på Mittmedias 20-talet nyhetssajter och två månader senare i apparna. Resultatet lät inte vänta på sig.

Fler användare hittar mer innehåll att interagera med via våra startsidor på både sajt och app. Genom att förstärka relevansen i det innehåll vi visar upp får vi fler att läsa mer.

Grafen visar antalet aktiva digitala kunder från oktober till februari.

Ur ett affärsperspektiv innebär det att vi hittat ett anti-churn-verktyg eftersom vi ser ett direkt samband mellan antalet konsumerade artiklar per aktivt dygn och lojaliteten hos användaren.

Som en sidoeffekt fick vi ned det manuella arbetet på redaktionen och har mer tid till att fokusera på innehållet. Vi tar även ett steg mot att tajma innehållsproduktionen mot efterfrågan eftersom våra publika produkter nu speglar användarens rörelsemönster och ger en bra indikation på vad det är som intresserar läsare. Det blir en nyhetsversion av det som sökmotorerna ser varje dag — vad som engagerar människor.

En nyckelfaktor för att förebygga churn är att få användarna att återvända ofta och vid varje besök hitta relevant innehåll.

Med lanseringen började också det riktiga jobbet. När vi nu har en modell på plats för att låta innehållsurvalet skötas av våra egenbyggda algoritmer behöver vi se till att dessa är lika träffsäkra som den erfarne redaktören.

Låt oss ta ett exempel: En läsare vill veta hur det gått i en match i en lokal liga och loggar in i vår produkt. Då ska vi inte bara snabbt förstå vad hen vill läsa utan även automatiskt sortera bort det som är irrelevant och peka ut det andra omkring som läsaren bedömer som intressant.

Gröna artiklar är de som användaren exponeras för och valt att läsa, medan de röda är det innehåll som hen inte attraheras av. Och genom en löpande analys av vilka artiklar, med vilket metadata, som nobbats kan användaren sorteras in en större grupp av användare.

Att klustra grupper med lojala användare, något Mittmedia gör en gång om dygnet baserat på vad de konsumerar för innehåll, är nödvändigt för att kunna utföra det uppdrag vi har i det lokala samhället: att länka samma människor och händelser.

Genom vår dataplattform Soldr kan sedan personaliseringsalgoritmen, Soldr Personalization Service, bygga ett flöde som baserar sig på:

• Vilket innehåll som har tillkommit sedan sist vi mötte användaren
• Vad andra användare väljer att läsa just nu. Här väger vi även in vem som intresserar sig för vad, för att förstå vilka nyheter som är stora inom vissa användargrupper och vad som intresserar över gränserna
• Hur innehållet är geopositionerat i förhållande till användarens hemort
• Vilka ämnen den enskilda användaren har intresserat sig för tidigare

Men för att kunna bygga för lojalitet krävs nu en rad insatser. Som jag inledde med: när vi går in i 2019 gör vi det ödmjuka för mängden jobb som kvarstår för att få till passformen i produkterna.

Varje dag genereras cirka 800 versioner av varje nyhetssajts förstasida. Något som över tid behöver mångdubblas för att få tillräckligt relevanta och unika ettor.

Här är insikter vi gjort under vintern:

1. Personaliseringens potential ligger i passformen.

Redan från start såg vi sambandet mellan upplevd relevans och innehållskonsumtion. Men det är också tydligt att ju tydligare subkultur som existerar inom ett specifikt bevakningsområde, desto hårdare nöt är det att bygga automatiserade personaliserade flöden. Sporten är det tydligaste exemplet där vi ser att geografi och intresse som parametrar har en annan effekt än inom exempelvis klassisk blåljusjournalistik eller politisk bevakning. För att lösa det behöver vi helt enkelt skapa fler nyanser inom intresseklustret för sport.

Här är ett par exempel på användarfeedback vi har fått:

‘Blir fan galen på all hockey och fotboll på NA. Jag är helt ointresserad av detta men läser vissa motorsportartiklar. I de algoritmer som finns så under rubriken “Baserat på vad läst tidigare” listas det 90% hockey. Tror dock aldrig jag läst någon hockeyartikel. Just nu är hälften av artiklarna i appen relaterat till hockey. Det ett finns uppenbarligen en mycket ambitiös hockeyjournalist. Ber på mina bara knän, snälla utveckla ett sportfilter ställbart på enskild sport!’

Den enskilde användaren har helt enkelt stenkoll på vad hen har läst och inte, vilket innebär att när vi klustrar tusentals användare (och deras konsumtionsmönster) minskar passformen något i det enskilda flödet. För att motverka det gäller det därför för vårt datateam att nu börja skapa mer granulära, mindre kluster för att inte slutanvändaren ska uppleva att en viss typ av innehåll slinker med i mixen.

I andra lägen är önskemålet det motsatta:
‘Kan inte ett sportfilter konstrueras så att alla sportreportage, sportnyheter och övrig sportrelaterad “information” kan väljas bort. När utrymme upptas av rapporter från träningar har bottennivån passerats…’

Här är lösningen inte mer granulära kluster utan snarare att komplettera flödet med en manuell möjlighet för användaren att kunna filtrera bort en viss typ av innehåll på samma sätt som vi låter hen slå på pushar i nyhetsappen.

Något som även denna användare är inne på: ‘Håll det så enkelt som möjligt. En vanlig användare, oavsett i en analog tidning eller en digital app har sina vanor och favoriter. Exempelvis för min del är det alltid ledarsidan, insändare, inrikes nyheter, utrikes nyheter. Hoppar över sporten, därefter väder. Kanske skummar annonserna, sedan klart. Varför inte bara lägga upp en lite mer detaljerad bevakning eller checkbox på mitt konto där jag själv kryssar min sortering? Sedan kommer mina val upp i ett jämt flöde som jag är van där “resten” kan ligga längst ner. Tidsintervall ett dygn.’

Läsarkommentarerna pekar på flera saker. En av dem är att våra användare är vana vid att förhålla sig till personaliserat innehållsurval. De har mött det i sociala medier under många år, de litar på det för att hitta rätt film eller utforska ny musik. När vi möter dem reagerar läsarna alltså inte på _att_ vi gör det utan hur vi presenterar det personaliserade innehållet.

Två exempel på feedback kring passformen är:

Rubriken skavde. Vår vinjett över flödet hette först ‘baserat på vad du tidigare läst’för att skicka en signal om hur mixen görs. Men läsarna kände av att vi även blandar in sådant som andra läser och vi bytte till ‘rekommenderat för dig’.

Flödet blev gyttrigt. I till exempel ett nyhetsläge publicerar vi många artiklar i samma serie, och då saknade flödet det som en redaktör tidigare tillförde manuellt genom att bygga puffar. Något som vi löste med en automatiserad puff som samlar innehåll som har vissa gemensamma egenskaper.

Samlingspuffen använder metadata för att göra redaktörens gamla jobb med att packa ihop innehåll på samma team i flödet.

2. Förtydliga produktens olika funktioner.

Efter lanseringen studerade våra användarexperter, UX, de vanligaste rörelsemönstren i produkterna bland annat med hjälp av heat maps och såg att undersektionerna, det vill säga ämnesmässiga startsidor som enskilda kommunsidor eller sport, fyller en viktig funktion.

Här har verktyget Hotjar använts för att förstå hur användarna rör sig på sajterna. Desto rödare färg desto fler användare som klickat.

Användarna beskriver det som att startsidan ger en sorts ‘gott och blandat’-mix som de sedan kompletterar genom att gå in på undersektioner för att vara säkra på att inte missa något innehåll inom de områden de är särskilt intresserade av. Det blir på så sätt en sorts komplement och ett sätt att växla från det personaliserade urvalet.

Genom hela resan med användarupplevelsen i ett personaliserat nyhetsflöde har vi velat vara transparenta mot användarna med vad det är de ser. Ett sätt att göra det på är genom att peka ut alternativa vägar i produkten. Den blå puffen som dyker upp i flödet visar läsaren var man snabbt kommer till en samlingssida över allt innehåll inom ett visst ämne, visat i kronologisk ordning, vill vi tipsa användare om ett alternativ till det personaliserade flödet. På så sätt ger vi dem ett enkelt sätt att syna hela publiceringsflödet i kronologisk ordning.

3. Vi är redo för personaliserade nyhetsbrev

Nu har vi det vi behöver för att kunna summera en nyhetsvecka utifrån användarens perspektiv, istället för att servera en generell variant med det som varit mest läst de senaste sju dagarna. Istället kan vi ta ut exempelvis de tio artiklar som får högst individuell score för just dina intressen och inom området där du bor.

5. Relevans kräver precision

För att bygga nyhetsprodukter som har ett träffsäkert automatiserat urval behöver vårt innehåll sorteras korrekt. Sedan lanseringen i höstas har Mittmedia implementerat ett nytt metadataträd baserat på den internationella ITCP-standarden.

Syftet är enkelt: vi behöver sortera vårt innehåll på ett sätt som gör det enklare att hitta igen det i databasen, för att skjuta ut mot användare, analysera och kunna byta innehåll med andra aktörer.

Det är på många sätt som att flytta från en trångbodd lägenhet till en villa och med flytten kommer båda nya möjligheter och en period av sortering och uppackning. För personaliseringen innebär flytten att varje artikel nu märks upp och sorteras in noggrannare för att sedan kunna skjutas ut till rätt användare i rätt tidpunkt.

6. Personaliserade produkter ökar kravet på spårbarhet

Sedan är det — som alltid när man flyttar in i något nytt — en del gamla behov som gör sig påminda. Ett sådant är att i en modern premiumprodukt finns en förväntan från användaren att kunna hitta till de artiklar som användaren hör om på omvägar men inte har sett i sitt flöde. En bra (intern) söktjänst gör det jobbet. Något som vi inte har på plats men undersöker alternativ för.

Det lämnar mig, som produktägare, med helt nya förutsättningar för att fortsätta utveckla våra sajter och appar. Det är ett före och ett efter, och precis som när man flyttar in i ett nytt hus behöver man bo in sig för att veta hur man vill ha det. Listan på lärdomar ovan är de stora delarna i arbetet vi har framför oss just nu, men den kommer och ska ändras.

Tack för hjälpen med att summera våra lärdomar produktägare för datateamet Michelle Ludovici och datastrategichef Magnus Engström.