Automatisierte Texte im Journalismus
6 Learnings bei maschinell erstellten Börsennachrichten
Gemeinsam mit dem Börsenteam der Redaktion Wirtschaft und Soziales haben wir eine Textautomatisierung für den Börsenticker bei BR24 an den Start gebracht. Börsentäglich erzeugen wir einen Abschnitt zur Performance der 40 DAX-Unternehmen. Aus unserem Prozess mit Recherche, User Testing, Prototyping, Technik und den ersten Schritten im Live-Betrieb haben wir sechs Learnings herausgegriffen.
Von Philipp Gawlik (Computerlinguist) und Cécile Schneider (Product Lead), BR AI + Automation Lab
Für uns als Produktteam im AI + Automation Lab ist immer die erste Herausforderung, die Bedürfnisse von Nutzer*innen und Redaktion genau zu verstehen.
Nach den Prinzipien des Design Thinking starteten wir entsprechend mit einer Explorationsphase in der Redaktion, wo wir die Abläufe im Dreischichtbetrieb des Börsendiensts kennen lernen durften.
Anschließend holten wir Zielgruppeninformationen von der Medienforschung ein und erstellten einen Beispieltext in Form eines Paper Prototypes, mit dem wir ins konkrete User Testing gingen.
Dieser Text war von Hand so geschrieben, dass er automatisiert sein könnte.
Die Erkenntnisse aus dem Redaktionsalltag und dem User Testing ließen wir in gemeinsamen Workshops mit der Redaktion zusammenfließen und machten uns an die Umsetzung des Projekts.
1. Datenrecherche — Zuschnitt und Rechte müssen passen
Bei dem im Netz vorhandenen Reichtum an Börsendaten und -Websites wirkt es zunächst paradox, wenn wir von der Schwierigkeit berichten, passende Daten zu finden.
Wir empfehlen einen Blick in die AGB der Seiten, um das Problem zu orten: Die Börsendaten auf den üblichen Websites richten sich an Privatnutzer*innen — von einfachen Bankkund*innen bis hin zu Hobbytradern, für die auch ausgefeiltere Schnittstellen und Datenpakete verfügbar sind.
Für unser Projekt, die Daten im BR-Angebot zu veröffentlichen, muss der Anbieter allerdings die entsprechenden Rechte zur Veröffentlichung und Weiterverbreitung einräumen. Das können Anbieter von Privatlizenzen nicht leisten. Daher schrumpft das Angebot durch diese Anforderung bereits deutlich.
Die interessanten Werte im Börsenbereich reichen von in- und ausländischen Unternehmenswerten, Indizes, Fonds bis hin zu Währungen und Rohstoffen wie Rohöl oder Gold. Doch nicht jeder Anbieter hat alles im Sortiment. Insbesondere offizielle Börsenindizes wie der Dow Jones oder MSCI World erfordern jeweils Extra-Verträge zur Nutzung und Nennung.
Auch die Art der Anlieferung spielt für uns eine große Rolle. Wir bevorzugen für die automatisierte Datenverarbeitung technische Schnittstellen (APIs), die unsere Entwickler*innen nach beliebigen Kriterien abfragen können.
Ebenso funktioniert der regelmäßige Upload von Daten, z.B. im XML- oder CSV-Format. Allerdings stellen die kommerziellen Lösungen, die aktuell in der ARD im Einsatz sind, visuelle Terminals für die Live-Berichterstattung in Hörfunk und Fernsehen in den Vordergrund.
Unsere Daten liefert aktuell die Börse München. Dort beziehen wir mehrfach täglich die Kurse von deutschen Unternehmenswerten aus DAX, SDAX, MDAX und TecDAX. Sie stammen aus dem elektronischen Handelssystem gettex der Bayerischen Börse.
2. Nutzer*innen brauchen mehr als Zahlen
Der Entwicklung haben wir eine User-Research-Phase vorgeschaltet, um mehr über die Bedürfnisse der Nutzer*innen von Börseninformationen herauszufinden.
In den Leitfadeninterviews mit einer Gruppe von börseninteressierten Personen fragten wir u.a. nach der Motivation, genutzten Angeboten, Geräten und Vorlieben.
Die Nutzer*innen ließen sich dabei grob zwei Gruppen zuordnen. Die erste besteht aus aktiven Tradern mit einem hohen Konsum an Börsenpublikationen, Podcasts und Apps. Sie behalten immer die Kurse im Blick und sind auf der Suche nach interessanten Tipps, um den Markt zu schlagen.
Die zweite Gruppe besteht aus Menschen, bei denen “die Altersvorsorge drückt”, wie es eine Nutzerin formulierte. Da Versicherungen, Tages- und Festgeldkonten kaum noch Rendite bringen, beschäftigen sie sich eher notgedrungen mit der Anlage an der Börse. Sie wollen aber nicht den Zeitaufwand der ersten Gruppe betreiben.
Gewünscht ist ein übersichtliches und informierendes Angebot mit aktuellen Zahlen, das aber auch die entsprechende Einordnung leistet.
Charts mit steigenden und fallenden Kursen fehlt genau diese Einordnung, denn der Grund für Gewinne und Verluste einer Aktie ist rein aus dem Kurs nicht ersichtlich. Sind es schlechte Quartalszahlen, steigende Rohstoffpreise oder Ereignisse des Weltgeschehens wie eine Pandemie?
Für diese Einordnung braucht es weiterhin die Expertise unserer Fachleute im BR24-Börsenstudio, die täglich in drei Schichten arbeiten, um das BR-Publikum mit Informationen zu versorgen.
Sie gestalten die Börsen- und Wirtschaftsnachrichten im Radio ebenso wie den im Sommer eingeführten Börsenticker im Webangebot von BR24.de. Das Ticker-Format bietet deshalb ein hervorragendes Umfeld für unsere automatisierten Marktberichte, weil es die Einordnung gleich mitliefert.
3. Datenverarbeitung — wie schnell ist schnell genug?
Für unsere Verschriftlichung der Börsenkurse ist ein Staffellauf an Übergaben notwendig: Start ist das elektronische Handelssystem der Börse München, das die Aktienkurse erhebt und als Momentaufnahme zur Verfügung stellt.
Die Kursdaten werden mit einem Ablagesystem übergeben, das technisch regelmäßig auf neue Daten geprüft werden muss. Je nach technischer Lösung entsteht hier eine Latenz, die zur Zeitspanne zwischen Datenerhebung und Veröffentlichung addiert werden muss.
Hinzu kommt ein System von Microservices im BR, welche die Daten annehmen, ablegen, die Börsenberichte generieren und dann an die Wirtschaftsredaktion übergeben. Im letzten Schritt wird der Bericht dann im Börsen-Ticker durch die Redaktion publiziert.
All diese Schritte führen dazu, dass der Erhebungszeitpunkt der Daten und der Veröffentlichungszeitpunkt leicht voneinander abweichen. Unsere Verarbeitungszeit von der Entgegennahme der Daten von der Börse München bis zur Übergabe an die Redaktion dauert etwa ein bis drei Minuten.
Hinzu kommt eine Bereitstellungsfrist bei der Börse München und die Entscheidung der Wirtschaftsredaktion über den genauen Zeitpunkt der Veröffentlichung.
Diese Verzögerung ist ausreichend für unseren Anwendungsfall, böte aber noch Spielraum für Optimierungen. Bei zeitkritischen Anwendungen gerade im Bereich der Finanzen ist es ratsam, die Latenz, die bei der Verarbeitung der Daten entstehen kann, von Anfang an zu bedenken. Zum Glück sind wir Journalist*innen und keine Day-Trader.
4. Textgenerierung — das passende Sprachmodell auswählen
Für die automatische Verschriftlichung der Börsenberichte haben wir uns für den Einsatz von Textschablonen entschieden. Sowohl die geringe Länge und die handhabbare grammatische Vielfalt der Börsenberichte als auch die strengen Vorgaben an Formulierungen schließen andere Werkzeuge, welche wir beim BR erproben, für diese Anwendung aus.
So disqualifizieren sich etwa statistische Sprachmodelle durch die geringe Fehlertoleranz der Börsenberichte. Zudem ist die hohe Sprachvielfalt, die eine Stärke der Sprachmodelle ist, für die Börsenberichte unnötig.
Auch die Gefahr des “Halluzinierens”, das heißt des Einfügens von unpassenden oder unwahren Informationen aus den Trainingsdaten des Modells, die bei statistischen Modellen wie GPT3 besteht, macht sie für die Börsentexte ungeeignet.
Ein regelbasierter Ansatz, wie wir ihn bei der Generierung von Basketballberichten mittels des Werkzeugs SimpleNLG-de in einem Prototypen erproben, könnte ebenfalls genutzt werden, um die Börsenberichte zu generieren.
Für das Ticker-Format ist ein komplexeres, grammatisches Regelwerk aber unnötig, da bis auf wenige Ausnahmen Formulierungen nicht grammatikalisch angepasst werden mussten.
Sollten die Börsenberichte in ihrer Formulierungsvielfalt ausgebaut werden, dann wäre der Wechsel zu einem regelbasierten Ansatz sinnvoll. Für die Umsetzung der Börsenberichte im derzeitigen Ticker-Format haben sich die Textschablonen bewährt.
Es muss also nicht immer das technisch komplexeste Sprachmodell sein, das am besten geeignet ist. Einfachere Verfahren führen mitunter schneller zum Ziel.
In unserem BR-Next-Blogbeitrag “Sind künstliche Intelligenzen die besseren Journalist*innen?” haben wir die Vor- und Nachteile der unterschiedlichen Verfahren genauer verglichen.
5. Tüftelarbeit wie Rundungsprobleme beim Schreiben von Zahlen
Ein häufiger Stolperstein ist die versteckte Komplexität, die beim Erzeugen von Texten entstehen kann. In diesem Fall zeigte sich in den ersten Tests, dass der Einbau von Zahlen in die Textschablonen zu einigen unerwarteten Ergebnissen führte.
Ein Beispiel ist das Runden von Zahlen bei der Platzierung nach der Wertentwicklung der Aktien von Unternehmen. Setzen wir den folgenden Stand in ein Texttemplate ein:
1. Platz: Eon mit 0.3422% Wertänderung
2. Platz: Adidas: 0.3000% Wertänderung
3. Platz: BASF: 0.1102% Wertänderung
4. Platz: Fielmann: 0.0012% Wertänderung
5. Platz: Bayer: 0.0013% Wertänderung
Dann könnte der generierte Satz so lauten:
“Auf dem ersten Platz liegt Eon mit 0,3422 Prozent, auf dem zweiten Platz Adidas mit 0,3000 Prozent und auf dem dritten Platz BASF mit 0,1102 Prozent.”
Die Formatierungsrichtlinie des Börsen-Tickers sieht das Runden nach der ersten Stelle des Kommas vor. Es entsteht der verwirrende Satz:
*”Auf dem ersten Platz liegt Eon mit 0,3 Prozent, auf dem zweiten Platz Adidas mit 0,3 Prozent und auf dem dritten Platz BASF mit 0,1 Prozent.”
Ein Weg, die Aussage im Sinne der Platzierung zu korrigieren, ist, die Werte nach Rundungen gruppiert abzubilden. Nun können sich die Papiere der Unternehmen einen Platz teilen und die wiederholte Platzierung wird aufgelöst:
“Auf dem ersten Platz liegen Eon und Adidas mit je 0,3 Prozent, auf dem zweiten Platz BASF mit 0.1 Prozent und auf dem dritten Platz Fielmann und Bayer mit 0 Prozent.”
Im Beispiel ergibt sich auch eine Rundung auf null, was von der Leselogik störend wirkt. Diesen Spezialfall setzen wir daher als Formulierungen wie “knapp über/unter 0 Prozent” oder “annähernd 0 Prozent” um:
“Auf dem ersten Platz liegen Eon und Adidas mit je 0,3 Prozent, auf dem zweiten Platz BASF mit 0.1 Prozent und auf dem dritten Platz Fielmann und Bayer mit knapp über 0 Prozent.”
Und wenn man nicht nur die Platzierung einzelner Unternehmen verschriftlichen muss, sondern gleich eine ganze Liste, stößt man auf ein weiteres Problem: Satzelemente müssen grammatikalisch angepasst werden.
Das kann Textschablonen als Werkzeug ungeeignet machen, weil man zu viele Varianten braucht und die Pflege der Schablonen zu viel Arbeit macht.
Darüber hinaus haben wir uns bemüht, die Lesbarkeit der Sätze zu erhöhen, indem wir nach einem wertvollen Hinweis der Redaktion bei der Zuordnung einer Liste von Unternehmen zu einem Prozentwert die Präposition “je” einfügen. Ein Beispiel:
“Die höchsten Kursgewinne der DAX-Unternehmen lagen heute bisher bei 2,7 Prozent (Henkel), 1,9 Prozent (Mercedes-Benz Group) und je 1 Prozent (BMW, Hannover Re).”
6. Ukraine-Crash an den Börsen weist den Weg zur agilen Weiterentwicklung
Vor dem Launch im Börsenticker haben wir eine mehrwöchige Testphase geschaltet, in der wir gemeinsam mit der Redaktion die täglich erstellten Texte geprüft haben.
Hier konnten wir bereits einige textliche Verbesserungen finden und umsetzen, beispielsweise bessere Formulierungen bei gleich platzierten Werten und programmierte Bedingungen für bestimmte Überschriften.
Auch bei der Datenanlieferung konnten wir im Testbetrieb Erfahrungen sammeln und Szenarien für verspätete Lieferungen entwickeln.
Anderthalb Wochen vor dem Start haben wir das Verfahren und die dazugehörigen Workflows dem Börsendienst präsentiert. Hier ging es auch um den Umgang mit möglichen Fehlern, fehlenden Lieferungen oder unplausiblen Texten.
Unsere KI-Richtlinien sehen vor, dass die Verantwortung für publizierte Texte immer beim Menschen bleibt, in diesem Fall bei den Diensthabenden im Börsenstudio.
Unplausible Texte, so unser Vorgehen, sollten im hybriden Workflow mit dem Börsendienst nicht freigegeben werden. Während dieses Problem in der Testphase kaum auftrat, wirbelte gleich in der ersten Praxiswoche ein Ereignis die Börsen durcheinander: Putins nächtlicher Überfall auf die Ukraine.
Am folgenden Tag konnten wir feststellen, dass unser Bericht die meisten Werte im Plus sah, während allgemein von fallenden Kursen die Rede war.
Grund war ein unterschiedlicher Betrachtungszeitraum: Während wir für unsere Schilderung des Börsentags die Werte auf Basis des ersten Tageskurses berechneten, setzten die Vergleichswerte im Börsenstudio-Terminal am Vorabend an.
Am Morgen des 24. Februars war der Schock jedoch bereits auf die Kurse durchgeschlagen. Die Börsen starteten durchweg niedriger, konnten über den Tag aber teilweise wieder aufholen.
Entsprechend waren beide Betrachtungsweisen sachlich richtig, führten aber durch den unterschiedlichen Betrachtungszeitraum zu anderen Aussagen, sodass der generierte Text die Plausibilitätsprüfung nicht bestehen konnte.
Die Lösung war ein veränderter Berechnungszeitraum, mit dem wir die Abweichungen zum Prüfzeitpunkt verkleinern konnten, insbesondere an Tagen mit sehr volatilen Kursen.
Dieses Konzept konnten wir mit historischen Daten validieren. In der agilen Zusammenarbeit mit der Redaktion Wirtschaft und Soziales sowie BR24 haben wir das Konzept dann innerhalb von einem Börsentag umgestellt.
So konnten wir die Freigabequote in der zweiten Woche auf 100 Prozent erhöhen und den redaktionellen Kontrollprozess erleichtern und beschleunigen.
Fazit
Textautomatisierungsprojekte berühren Bereiche von Technik über Nutzer*innen und Redaktion bis hin zu wirtschaftlichen und juristischen Fragestellungen.
Unsere Auswahl zeigt, wie unterschiedlich die Herausforderungen sind, die in den jeweiligen Feldern auftreten können. Am besten sind daher interdisziplinäre Teams aus Technik, Produktmanagement und Redaktion geeignet, um solche Projekte anzugehen.
Unterstützend braucht es auch Kompetenzen von weiteren Fachleuten, wie z. B. der Jurist*innen und Medienforscher*innen im Bayerischen Rundfunk.
Nicht zu unterschätzen ist vor allem die Einbindung der Automatisierung in redaktionelle Workflows nach der technischen Fertigstellung. Hier gilt es einerseits, bisher nicht am Projekt beteiligte Kolleg*innen gut onzuboarden und die Workflows rund um die Entstehung und Benutzung der Texte transparent zu machen.
Zusätzliches Feedback aus dem täglichen Betrieb ist dabei besonders wertvoll und sollte entsprechend rasch Eingang in die Weiterentwicklung finden. Wir bleiben auch nach dem Launch durch regelmäßige Check-ins mit der Redaktion verbunden, um sich verändernde Bedürfnisse oder Ansätze für neue Anwendungen gut im Blick zu behalten.
Projektteam: Frank Müller, Margit Siller, Sebastian Hanisch, Gabriel Wirth (Börsenteam in der Redaktion Wirtschaft & Soziales), Philipp Gawlik, Cécile Schneider (AI + Automation Lab), Dr. Daniel Braun (University of Twente)
Das AI + Automation Lab arbeitet im BR an der Schnittstelle von Journalismus, Informatik und Produktentwicklung. Unsere Mission ist es, die Vorteile von KI und Automatisierung für den Journalismus nutzbar zu machen. Dabei achten wir besonders auf die ethische Dimension von neuen Technologien und dass unsere Lösungen einen Mehrwert für die Nutzer*innen bringen. Journalistisch liegt unser Schwerpunkt im Algorithmic Accountability Reporting.
