Nah dran an den Nutzer:innen
The web is our lab
Wie wir Usertesting trotz Social Distancing auf das nächste Level gehoben haben
Digitale Produkte sind gut, wenn sie ein Nutzerproblem adressieren und dafür eine simple Lösung anbieten. Dafür blicken wir unseren Nutzer:innen regelmäßig über die Schulter: Wie navigieren sie in einer App? Was genau erwarten sie von unseren Webseiten? Wo bleiben sie stecken? Eine nutzerzentrierte Produktentwicklung braucht diese Infos — nur: Was tun, wenn keiner mehr zum Nutzertest zu dir ins Büro kommen darf?
Denn so lief das bisher, vor der Pandemie: Über persönliche Kanäle oder über passende Institutionen wurden mühsam Nutzer:innen mit dem entsprechenden Profil gesucht, dann mit dem Versprechen eines BR-Goodie-Bags zu uns ins Büro gelockt und ihnen die zu testende Website oder App, ein Design-Prototyp oder einfach nur Wireframes analog in die Hand gedrückt.
Ein:e Nutzer:in und ein Mitglied aus dem Userresearch-Team saßen dann in einem Raum namens „Userlab“ mit Kamera und ganz schön viel störungsanfälliger Technik für Ton und Übertragung etc.
Jeder Test wurde in einen Beobachtungsraum gestreamt, in dem das User-Research-Team und einige Projektmitglieder auf vielen, vielen Klebezetteln ihre Erkenntnisse notierten und auf zig Stellwände verteilten.
Ziemlich analog also. Doch dann kam Corona…
Der Lockdown crasht bei uns mitten hinein in die Nutzertests für die neue BR Radio App. Alle ins Home Office. Kontaktbeschränkungen. Wir dürfen das Haus ohne triftigen Grund nicht mehr verlassen.
Wir sind kurz davor, das angesetzte Testing abzusagen und unsere Prinzipien bei der Produktentwicklung über Board zu schmeißen…
Echt jetzt?!
Der Notfallplan ist zwar dann recht simpel, zeigt aber, wie ernst die nutzerzentrierte Produktentwicklung bei PUB, der Public Value Technologies GmbH, genommen wird:
Familie und Mitbewohner:innen, die man während des Lockdowns noch sehen darf, springen für den Usability-Test ein, klicken sich durch den Prototyp und liefern wertvolle Hinweise zum Navigationskonzept und der Bedienbarkeit.
“Wir sitzen meist schon sehr lange an einem Konzept und an der Entwicklung eines Produkts, so dass wir irgendwann kein Gefühl mehr dafür haben, ob etwas verständlich und nutzerfreundlich gebaut ist. Denn für uns wirkt alles selbstverständlich. Erst mit den Kenntnissen der Nutzer:innen können wir herausfinden, ob das Produkt verstanden wird, und ob die Bedürfnisse abgedeckt werden. Wenn wir frühzeitig bei ihnen fragen, können wir dadurch Ressourcen sparen und machen bessere Produkte.”
Lena Lampe, User Researcherin
Sowas muss doch auch digital gehen!
Allerdings ist auch klar, dass das Modell „Mama, teste mal“ nicht beliebig skaliert und auf Dauer nicht praktikabel sein wird. Und ganz unvoreingenommen ist das eigene Umfeld natürlich auch nicht.
Also wird Corona für das Userlab zum größten Treiber für die Digitalisierung von Usertesting. Wir suchen nach Best Practices und nehmen unter anderem Kontakt auf zur Research Abteilung der Süddeutschen Zeitung und der Innovations- und Digitalagentur ida von MDR und ZDF Digital.
Von der SZ hören wir eine spannende Idee zu Nutzerbotschafter:innen (dazu bald mehr im BR Next Blog), aber dort steht man vor dem gleichen Problem wie wir: Im Medienbereich gibt es keine Blaupause für Testing in einer Pandemie-Situation, die wir einfach so übernehmen können!
Bei der ida wird sich zu dem Zeitpunkt mit einem Video-Tool beholfen — die ganze Welt befindet sich in dem Moment in der Zoom-Teams-Whereby-Skype-Schleife…
Wir investieren also selbst viel Zeit in die Tool-Recherche, lesen Blogs, vergleichen Key-Funktionen und Preismodelle, suchen Inspiration in der internationalen Usability-Szene.
Uns ist klar: Ohne Nutzertests tappen wir bei der Produktentwicklung im Dunkeln. Wir müssen verstehen, welche Bedürfnisse potenzielle Nutzer:innen haben und dafür Lösungen finden.
“Niemand würde einen guten Wein auf den Markt bringen, ohne ihn vorher probieren zu lassen. Genauso handhaben wir es mit der Entwicklung von digitalen Produkten. User-Testing ist bei uns nicht abwählbar.”
Gert Kauntz, Geschäftsführer bei PUB — Public Value Technologies GmbH
Remote Testing: Aus dem Lockdown einen Vorteil machen
Wir stellen fest: Wenn niemand zu dir kommen muss, dann gibt es keine räumlich-organisatorischen Grenzen mehr!
Wenn du z.B. „Berufstätige mit Kindern, die eher ländlich wohnen“ suchst und „am besten nicht immer nur aus dem Münchner Speckgürtel“, dann war das früher für uns quasi ein Ding der Unmöglichkeit. Gestresste Eltern fahren eher ungern von Iphofen nach München ins Funkhaus für einen Nutzertest und ein Goodie Bag.
Mit einem digitalen User-Recruiting-Anbieter wird es für uns einfacher diese Personen überhaupt anzusprechen, mit den verschiedenen Digital-Tools zur Durchführung von Usertests, können wir schnell und unkompliziert in Kontakt kommen.
Die Nutzer:innen können die Tests mit ihren eigenen Geräten in ihrer gewohnten Umgebung durchführen. Das heißt, sie kennen die Testgeräte und wir können wirklich sicher sein, dass Probleme beim Bedienen nicht an dem von uns gestellten, unbekannten Gerät liegen.
Wenn dann etwas nicht funktioniert, liegt es wirklich an der zu testenden Anwendung. Außerdem ist die Nutzungssituation letztendlich zu Hause auf der Couch viel realistischer als im Labor. Die Nutzer:innen haben einen Heimvorteil und nutzen unsere Anwendung ganz natürlich, fast wie im Alltag.
Support beim Recruiting
Um zielgerichtet Menschen mit bestimmten Profilen zu erreichen, haben wir uns aktuell für einen Dienstleister namens TestingTime entschieden. Die Leute melden sich auf der entsprechenden Plattform an und füllen als erstes einen sehr umfangreichen Fragebogen aus.
Von sozioökonomischen Daten bis hin zum Haustier oder dem beruflichen Hintergrund ist hier so ziemlich alles dabei. Das gibt uns die Möglichkeit, sehr spezifisch Personen aus den gewünschten Zielgruppen zu finden.
So machen wir moderierte Tests
Nach dem Recruiting werden die Nutzer:innen in ein anderes Tool weitergeleitet. Für unsere moderierten Tests, die wie eine Art Videoschalte funktionieren, verwenden wir derzeit lookback.io.
Dort können die User-Researcher:innen den Test live anleiten — für die Nutzer:innen fühlt es sich an wie die gängigen Konferenztools.
Sie werden aber darüber informiert, dass im Hintergrund unsichtbare Live-Beobachter:innen des Tests dabei sind. Sie sitzen sozusagen hinter einer Art „verspiegeltem Beobachtungsfenster“.
Außerdem kann Lookback die Kamera des Nutzers und seinen Screen anzeigen, egal ob Desktop oder App. Das Tool transferiert also die altbekannte Situation des „über die Schulter Schauens“ ins Digitale.
FAZIT:
In einer simplen Teams-Schalte sind alle Teilnehmenden gleich — da besteht schon die Gefahr, dass ein:e Beobachter:in aus Versehen ihr Mikro anschaltet und damit ins Interview “hereinplatzt“.
Bei speziell für moderierte Tests designten Tools wie z.B. Lookback befinden sich Moderator:in und Testperson in einem geschützten virtuellen Raum. Die Moderator:in kann so ein entspanntes Gespräch führen und durch gezieltes Nachfragen immer tiefer in den Nutzungskontext und die Nutzungssituation eintauchen.
Bei vorhandenen Prototypen oder ersten Ideen kann sie zudem die Testperson durch die Situation führen, um sicherzugehen, dass die Fragestellungen richtig verstanden werden. Und für die Auswertung gibt es Sprungmarken im Video, zu denen wir beim Auswerten schnell springen können.
Trotz aller Vorteile braucht es aber immer noch eine feste Terminvereinbarung und Organisation, weil Moderator:in und Nutzer:in sich live begegnen. Dadurch sind z.B. mehrere parallel laufende Tests nur mit mehr Ressourcen realisierbar.
Geht das nicht auch unmoderiert?
Nach einem halben Jahr Corona bekommen wir dann Verstärkung in unserem Team und die neue Kollegin kennt sich sehr gut mit unmoderierten Tests aus.
Zugegeben, am Anfang sind wir wahnsinnig skeptisch gegenüber der neuen Methode. Unmoderiert heißt, dass die Nutzer:innen den Test zu dem Zeitpunkt machen, zu dem es ihnen am besten passt. Ohne uns.
Als User-Research-Team haben wir uns in der Vorbereitung einen Ablauf überlegt und unsere Testanweisungen eingegeben. Die Testerpersonen schalten an ihrem Device die Kamera und ihr Mikro an, starten den Test mit unseren schriftlichen Aufgabenstellungen und erzählen was sie denken: „Thinking Aloud“ heißt die Methode.
In Userlytics wird am Ende ein Video des Tests hochgeladen, in dem wir sehen können, was auf dem Screen passiert und hören, was die Testperson dazu kommentiert.
FAZIT:
Die Nutzer:innen können die Tests zeit- und ortsunabhängig durchführen und nutzen dafür ihre eigenen Geräte in ihrem gewohnten Umfeld. Zudem läuft eine Moderator:in auch nicht Gefahr an der ein oder anderen Stelle zu früh nachzufragen oder versehentlich Hinweise zu geben, die das Ergebnis verfälschen würden.
Die Thinking-Aloud-Methode funktioniert auch in der unmoderierten Variante erstaunlich gut — und wenn doch mal einer vergisst, seine Gedanken laut zu teilen, wird er vom Tool sogar darauf aufmerksam gemacht, wenn es zu lange still bleibt.
„Bevor wir das unmoderierte Testing zum ersten Mal eingesetzt hatten, dachte ich noch, eine professionelle und empathische Moderation ist das A und O für jegliche Art von qualitativem User Research. Aber das kann man mit guter Vorbereitung abfangen. Und wer alleine testet, ist manchmal brutal ehrlich und kritisch — das kann weh tun, hilft uns aber mehr.“
Susanne Hausmann, User Researcherin
Aufpassen muss man bei der Anleitung. Wenn die nicht optimal ist, kann niemand spontan weiterhelfen. Beim unmoderierten Testing sind unmissverständliche Instruktionen an die Nutzer:innen das Herzstück eines erfolgreichen Tests.
Deshalb müssen die Anleitungen sehr präzise geschrieben sein. Für das Eruieren von Nutzerbedürfnissen, die Verifikation von Use Cases oder das frühzeitige Testen erster Prototypen, z.B. im Zuge eines Design Sprints, würden wir deshalb nach wie vor auf die moderierte Variante setzen.
Du musst loslassen können!
Remote heißt — egal ob moderiert oder unmoderiert — dass man ein gutes Stück weit die Kontrolle aus der Hand geben muss. Und manchmal geht ein Test auch in die Hose…
Wir haben uns zum Beispiel lange davor gedrückt, Tests für Smart-TV zu machen. Als wir dann mit der ersten topmotivierten Nutzerin in der Videoschalte sitzen, funktioniert gar nichts.
Die Dame hat nicht die richtige Version auf ihrem Smart-TV, die wir testen wollen. Wir können von Remote nicht eingreifen und in der Konfiguration des Fernsehers nach der passenden Einstellung suchen, alleine kriegt sie das Ganze aber nicht hin.
Am Ende geben wir diesen Test auf, denn wir bekommen sogar mit Remote-Hilfe noch nicht mal unsere zu testende Anwendung zum Laufen. Die nächsten Nutzer:innen lassen wir dann vorab ihre Konfigurationen checken, und dann funktioniert es auch…
FAZIT:
Du bist weit weg! Remote heißt auch, dass man sich über das technische Setup sehr viele Gedanken machen muss.
Um zu überprüfen, ob sämtliche Instruktionen unmissverständlich sind, ist deshalb auch ein „Test the test“ mit einer freiwilligen Person aus der eigenen Abteilung oder dem näheren Unternehmensumfeld hilfreich, um hier das Risiko zu reduzieren.
„Genauso wie du im Lab schauen musst, dass die IT passt, musst du remote sehr gut Bescheid wissen welche Konstellationen es geben kann, damit du gut anleiten kannst. Moderiert oder unmoderiert.“
Elisabeth Adelsberger, User Researcherin
Auswertung ohne echte Stellwände und Post-Its
Neben den orts- und zeitunabhängigen Test, gibt es aber noch einen weiteren Vorteil unserer neuen Arbeitsweise: Wir haben die Auswertung der Tests demokratisiert!
In Userlytics und Lookback wird zu jedem Test ein Video hochgeladen, auf das alle zugreifen können.
Weil wir gemerkt haben, wie sehr das Vertrauen in die Ergebnisse steigt, wenn Entwickler:innen und Stakeholder intensiv selbst am Prozess beteiligt sind, lassen wir sie jetzt auch immer mindestens einen Test selbst mitdokumentieren.
Das schärft die Wahrnehmung für die Nutzer:innen enorm, weil man selbst eine andere Perspektive einnimmt. Ohne analoge Post-its und fixe Stellwände ist auch das viel leichter und schneller zu realisieren.
Pro Testing erstellen wir dazu ein Miro-Board, das dann von allen Auswertenden in einem definierten Zeitraum mit virtuellen Klebezetteln aus den Tests gefüllt wird.
Besonders gefällt uns, dass wir automatisierte Zusammenschnitte der wichtigsten Erkenntnisse aus den Videos mit der Auswertung verknüpfen können.
So können wir später in größerer Runde zum Beispiel nochmal gemeinsam auf heikle Stellen schauen, die aus Nutzersicht nicht zu bewältigen waren. Manchmal sind es auch allgemeinere Aussagen zu den Bedürfnissen, die direkt und undiplomatisch geäußert beim Team für Aha-Effekte sorgen.
Für die Synthese der Testergebnisse ist dann wieder das UserLab-Team zuständig: Am Ende sollen sehr klare und nachvollziehbare Erkenntnisse für die Entwicklungsteams herauskommen.
Die Ergebnisse werden in einem anschaulichen Bericht in Powerpoint für alle aufbereitet, während das Miro Board natürlich allen Beteiligten, die tiefer reingehen wollen, zur Verfügung steht.
Auch vom klassischen Bericht in Word haben wir uns an dieser Stelle bewusst verabschiedet, um uns mehr auf das Wesentliche zu konzentrieren und nicht nur für ausgedruckten Papiermüll zu sorgen.
Nachdem unser Vorgehen durch die neuen Tools so unkompliziert nachvollziehbar ist und unsere Arbeitsschritte viel klarer für alle Beteiligten sind, haben wir trotz oder gerade wegen Corona einen riesigen Sprung gemacht:
- Wir können mehr Tests als früher parallel durchführen.
- Die Organisation kostet viel weniger Zeit, die wir nun maximal in die Beratung der Product Owner und ihrer Teams investieren können.
- Insgesamt ist jederzeit transparent, warum wir uns für oder gegen etwas entscheiden.
Es gibt keinen Grund, die Nutzer:innen nicht zu fragen, oder?
Wenn ihr Lust auf Austausch habt, uns Feedback geben wollt oder ganz andere Ansätze bei euch im Unternehmen verfolgt, meldet euch gerne unter userlab@br.de ! Wir freuen uns auf eure Gedanken!
Disclaimer:
Die hier vorgestellten Tools, Plattformen und Firmen funktionieren aus unserer Sicht im Zusammenspiel und für unsere momentanen Anforderungen am besten.
Es gibt eine Vielzahl weiterer Anbieter, die einen ähnlichen oder größeren Funktionsumfang bieten. Bei einigen Lösungen kann auch das gesamte Testsetup von Recruiting über Testing bis zur Auswertung abgebildet werden — wie immer gilt also: DYOR 😉
