Kleine Hymne auf das A/B-Testen im Google Play Store

Als Journalist, der von redaktioneller Seite für die Konzeption und Weiterentwicklung von Apps zuständig ist, habe ich einige Obsessionen ausgebildet. Zum Beispiel verbringe ich zu viel Zeit damit, die Download-Charts von App Annie zu prüfen, um mögliche Trends auszumachen (und mich zu vergewissern, dass die SPON-App noch da steht, wo sie hingehört).

Produktiver, aber ähnlich suchtgenerierend ist das A/B-Testen in der Entwicklerkonsole von Google Play, die im Vergleich zu iTunes Connect ja ohnehin Vergnügen bereitet. Seit dem vergangenen Sommer haben wir für die SPON-Android-App zehn A/B-Tests durchgeführt, um die Zahl täglicher Downloads zu steigern — einfach mit kleinen Optimierungen des Store-Eintrages.

Wir haben dabei mehrere Hypothesen überprüft:

1. Funktionieren Screenshots im Play Store besser, wenn sie mit Erklärungen versehen werden?

Antwort: Ja, das tun sie. Allerdings war der Effekt weniger stark, als wir erwartet hätten. Vielleicht muss die Schrift der Erklärungen noch vergrößert oder eleganter werden, vielleicht braucht man einen Fond zur grafischen Abtrennung von Text und Bild? Das testen wir bei Gelegenheit noch einmal.

2. Erhöht sich die Zahl der Installationen, wenn die App in einem kurzen Video vorgestellt wird?

Antwort: Jein. Nutzer, die den Store-Eintrag mit Video sahen, waren minimal stärker geneigt, die unsere App zu installieren, als Nutzer, denen das Video nicht gezeigt wurde. Auch hier hätten wir allerdings einen deutlich kräftigeren Effekt erwartet.

3. Hat das App-Icon einen Einfluss?

Antwort: Yes, indeed! In unserem Testcase lief es jedoch anders als angenommen. Unser traditionelles schwarz-rotes Icon mit 13 Buchstaben Text erschien uns nicht mehr zeitgemäß, sodass wir es gegen ein “moderneres” antreten ließen, einfarbig, mit weniger Schrift. Nur: Das vermeintlich zeitgemäßere Design schnitt spürbar schlechter ab.

Experimente mit App-Icons bieten also definitiv eine erhebliche Optimierungschance — das Erkennungszeichen einer etablierten Marke zu ändern, birgt aber seine Tücken.

4. Welche Bedeutung hat der lange Beschreibungstext?

Antwort: Immerhin, er hat eine. Bei “The Next Web” habe ich eigentlich gelernt, dass eine Veränderung der Langbeschreibung nicht wirkt. Mir ist es aber in einem Fall gelungen, die Performance unseres Store-Eintrags deutlich zu verschlechtern …

… und zwar einfach dadurch, dass ich diese unschuldige Passage eingeschoben habe.

Wie geht die Regierung von Angela Merkel mit der Flüchtlingskrise um, wie verläuft der Kampf gegen den Terror und den Islamischen Staat, wer folgt im US-Wahljahr 2016 auf Barack Obama? SPIEGEL ONLINE versorgt Sie zu diesen und anderen Top-Themen aktuell und kompetent mit Nachrichten und Videos, mit Analysen und Kommentaren. Sport-Fans können sich auf unsere Sonderberichterstattung zur EM 2016 und Olympia freuen.

Dieser inhaltlich-aktuelle Absatz ersetzte diese extrem technisch-nerdige Passage hier:

Auch mit Version 2.8 der App führen wir einige Neuerungen ein. So haben wir die Menüs und Dialogfelder an das “Material Design” von Google angepasst. Neu ist zudem die deutlich verbesserte Möglichkeit, die Schriftgröße in Artikeln und auf Überblicksseiten einzustellen. Unser Widget kann nun auch Beiträge aus dem Video-Ressort anzeigen. Außerdem haben wir unsere Nachtruhe und das Menü, mit dem man sie konfigurieren kann, überarbeitet. Weiter Verbesserungen sind in Arbeit.

Will der potentielle App-Nutzer also gerade solche technischen Details? Oder war der Absatz mit Merkel, Obama und EM schlicht zu PR-ig formuliert?

In einem zweiten Test kürzlich, in dem wieder zwei verschiedene Langtext-Versionen gegeneinander konkurrierten, gab es hingegen praktisch keinen Unterschied zwischen den Varianten. Die alte kam nach mehren Wochen Testlauf auf exakt eine (!) Installation mehr als die alte.

5. Was ist mit der “Kurzen Beschreibung”?

Antwort: Für uns war der messbare Effekt hier am größten. Was kein Wunder ist, denn die kurze Beschreibung einer App soll ihren Sinn und Nutzen in nur 80 Zeichen transportieren — und sie ist für Smartphone-Nutzer des Stores direkt auf dem First Screen sichtbar, anders als die lange Beschreibung.

Als Folge dessen lautet die kurze Beschreibung der SPON-App im Store nun “Nachrichten und Analysen von SPIEGEL ONLINE: Deutschlands führende News-App” und nicht mehr “Deutschlands beliebteste Nachrichten-App” wie früher — und wir haben noch einige andere Varianten getestet. Die neue Fassung ist vielleicht nicht die eleganteste, sie war aber die effektivste von allen, die uns eingefallen sind.

Als Journalist neigt man nach all den Jahren, in denen man Lesern die Welt erklärt hat, ja mitunter dazu, seine eigenen Einsichten zu überschätzen. Die Hybris “Ich verstehe schon, was der Nutzer will” kann aber geradewegs in die Falle führen. Das A/B-Testing bietet eine gute Chance, Bauchgefühl und Instinkt zu überprüfen, mit der harten Realität der Installationszahlen zu konfrontieren. So haben wir tatsächlich viele vermeidbare Fehler … vermieden.

In diesem Sinne: Ich freue mich auf den nächsten A/B-Tests. Und noch mehr würde mich freuen, wenn Apple endlich sein Store aufmöbeln und App Publishern ähnliche Möglichkeiten bieten würde wie die Android-Konkurrenz.