Gefahr oder Chance?
Deepfake — Herausforderung für Gesellschaft und Medien
Was wir wissen — und was wir (noch) nicht wissen!
Deepfakes sind eine Herausforderung für den Journalismus. Vielleicht aber auch eine völlig neue Möglichkeit, Bildung voranzubringen? Beim BR überlegen Kolleg:innen, wie sie die Programmmacher:innen beim Erkennen, aber auch bei der Nutzung der Technologie unterstützen können. Auch die Kooperation mit der BBC zu diesem Thema zeigt: Wir sind noch ganz am Anfang…
Deepfakes — ein Begriff, der die letzten Jahre immer wieder in den Medien auftauchte und für Furore sorgte. Die Authentizität und Integrität von Medieninhalten sei durch Deepfakes gefährdet.
Manche befürchten sogar eine neue Evolutionsstufe der Fake-News. Für Medienanstalten mit journalistischem Anspruch, wie der Bayerische Rundfunk eine ist, ist es deshalb wichtig, sich diesem Thema anzunehmen.
Ignoriert man die Zeichen und Warnsignale, kann zukünftig die Glaubwürdigkeit eines Medienunternehmens leiden. Deshalb wollten wir herausfinden, was für den BR zu diesem Thema wichtig ist.
Beginn des Projekts: KI für Video, Bild, Audio oder Text
Nochmal zum Verständnis vorneweg: Als „mit Hilfe von KI synthetisch erstellte Inhalte“ lässt sich das Wesen von Deepfakes wohl am präzisesten beschreiben. Diese Definition schränkt die Methodik für die Generierung und Synthese der Inhalte auf den Bereich der künstlichen Intelligenz ein, lässt aber gleichzeitig offen, in welchem Format die Inhalte vorliegen.
Deepfakes begrenzen sich nämlich nicht auf ein einzelnes Format, sondern können als Video, Bild, Audio und Text in Erscheinung treten.
Face-Swap als Deepfake
In den meisten Fällen ist das Subjekt der Manipulation die digitale Reproduktion einer Person. Bei Video- und Bildmaterial kann damit das Gesicht einer Person gemeint sein, bei Audiomaterial hingegen die Stimme und bei Texten der individuelle Schreibstil einer Person.
Das prominenteste Beispiel eines Deepfakes ist wahrscheinlich der Face-Swap. Dabei wird das Gesicht einer Person mit dem einer anderen Person ausgetauscht. Das Ergebnis ist nur schwer als Fälschung zu enttarnen. Deepfakes sind damit ein gefundenes Werkzeug für Kriminelle, um echt-wirkende Fake-News zu verbreiten.
BR-internes Tech-Talk-Format
Mit den zwei Zielen vor Augen, Bedarfe des BRs zu identifizieren und Bewusstsein bei den Redaktionen zu schaffen, organisierten wir aufbauend auf der Recherche ein TT Future-Café — ein BR-internes Tech-Talk-Format — mit verschiedensten Redakteur:innen und Journalist:innen.
Doch um Risiken und Gefahren identifizieren zu können und dafür sogar Bewusstsein bei den Kolleg:innen zu schaffen, reichte unser Wissen noch lange nicht aus.
Erster Versuch: Deepfake-Video mit Hansi Flick
Wir produzierten deshalb im Vorfeld des Termins ein eigenes Deepfake-Video. In diesem fälschten wir ein Interview mit Hansi Flick. Ein Kollege — glücklicherweise ein gelernter Schauspieler — imitierte hierfür den Trainer des FC Bayern.
Mittels der Face-Swap-Technik ersetzten wir das Gesicht des Kollegen durch das von Herrn Flick. Obwohl das Ergebnis durchaus beeindruckend echt aussah, konnte man es dennoch leicht als Fälschung enttarnen.
Grund hierfür war die unterschiedliche Anatomie beider Personen. Insbesondere die Kopfform stimmte nicht überein. Nichtsdestoweniger ließ uns dieses Experiment weiter Klarheit über Deepfakes im Allgemeinen und deren Risiken erlangen.
Besonders erschreckend: Es braucht nur ein geringes fachliches Verständnis für ein solches Video. Zahlreiche Anleitungen und Out-of-the-box-Lösungen machen es selbst Amateuren möglich, Deepfakes zu erstellen.
Hindernisse auf dem Weg
Doch was sind die Bedarfe des Bayerischen Rundfunks? Wir dachten, wir bräuchten im Bayerischen Rundfunk ein Tool, eine Art Black Box, durch die wir allen Content pauschal schicken, um automatisch Deepfakes auszusortieren. Solch ein umfangreicher und autonom agierender Detektionsapparat ist jedoch nicht zielführend.
Vielmehr erkannten wir, dass medienforensische Werkzeuge mehr bringen, weil sie individuell manuell einsetzbar sind. Für Faktenprüfer:innen wie den Kolleg:innen beim BR24 Faktenfuchs wären diese Werkzeuge nicht nur ausreichend, sondern sogar bevorzugt.
Dieser Input definierte unsere nächsten Teilziele auf dem Weg, Fachwissen über Deepfakes und deren Abwehr zu erlangen. Wir testeten deshalb verschiedene freiverfügbare Forensik-Werkzeuge zur Enttarnung von Deepfakes. Bei der Evaluierung dieser Projekte stellten wir jedoch fest, dass diese nicht unseren Ansprüchen gerecht werden.
Die Zuverlässigkeit dieser Systeme war zu gering, sodass sie für einen produktiven Einsatz im BR nicht geeignet wären. Zumindest, wenn man wie wir die vortrainierten Modelle einsetzt.
Eine zuverlässige Out-of-the-box-Lösung scheint es nicht kostenlos zu geben — eine Tatsache, mit welcher wir nicht gerechnet hatten. Sollte unser Weg damit schon zu Ende sein?
Zweiter Versuch: Deepfake-Videos mit Oli Kahn
Von dem Thema Deepfakes begeistert, begaben wir uns noch tiefer in die Materie. Ein Kollege aus der Filmbranche half uns, einen noch besseren Deepfake zu erstellen.
Durch sein geschultes Auge fanden wir einen Prominenten, der hervorragend zum Gesicht unseres Schauspielers passte — den ehemaligen FC-Bayern Torwart Oliver Kahn.
Hinzu kam das Verständnis des Kollegen für Beleuchtung, Farbauswahl und Kontraste. Somit konnten wir in der Post-Produktion des zweiten Deepfakes an Qualität gewinnen.
Wie es trotzdem was wird — die positive Seite entdecken
Je länger wir uns mit Deepfakes auseinandersetzten, desto stärker drängte sich die Frage auf, wie sich diese Techniken für positive Aspekte nutzen ließen. Potenziale gibt es dafür nicht nur im BR, sondern in der gesamten Medienlandschaft.
Verschiedenste Gedankenexperimente führten dazu, dass aus der Idee, Deepfakes positiv einzusetzen, ein Thema für eine Abschlussarbeit wurde, die Philipp Mayer als Dualer Student voraussichtlich im Herbst 2021 fertigstellen wird.
„Deepfakes im Kontext multimedialer Lernplattformen“ ist der Titel dieser Arbeit. Ziel ist es herauszufinden, inwieweit Videos, die mit Deepfake-Technologien erstellt wurden, einen Einfluss auf die Lernmotivation haben können, zum Beispiel bei der Vermittlung von geschichtlichen Inhalten. J.F. Kennedy könnte über seine eigene Ermordung berichten. Das wurde übrigens auch schon für eine Studienarbeit umgesetzt.
Doch das alleine ist nur eine unter vielen positiven Einsatzmöglichkeiten. Um weitere Ideen zu generieren und einen Austausch vor allem unter den Kolleg:innen der Technik und der Journalist:innen zu forcieren, organisierten wir erneut einen Termin für das BR-interne Tech-Talk-Format TT Future-Café. Neben dem Thema der Abschlussarbeit zeigten wir weitere Beispiele, wie sie bereits in der freien Wildbahn existieren.
Viele Beispiele bezogen sich auch hier wieder auf den Bildungssektor. Es taten sich aber auch vollkommen neue Ideen auf. Darunter unter anderem der Gedanke, Deepfakes als Maskierungswerkzeug für Video- und Audioinhalte einzusetzen. Anstatt bei einer Verfremdung nur den Schatten zu sehen, könnte das Gesicht komplett synthetisch erzeugt werden, genauso wie die Stimme.
Dadurch könnten beispielsweise Interview-Partner mit sensiblen Informationen geschützt werden, indem sie anonymisiert würden. Das Gesicht oder die Stimme könnten mit einem KI-generierten Ersatz ausgetauscht werden. Außerdem eine Idee: Moderierende könnten von Deepfakes vertreten werden.
Achtung: Nicht alles, was geht, ist auch erlaubt!
Wenn Deepfakes für positive Zwecke genutzt werden sollen, dann gilt es einige Rahmenbedingungen zu beachten. Nicht jedes Bildmaterial, für welches einfache Nutzungsrechte vorliegen, kann automatisch als Ausgangsmaterial für Deepfakes genutzt werden.
Da das Urheberrecht nicht vollständig von einer Person zu einer anderen übergehen kann, ist für eine rechtssichere Verwendung von Ausgangsmaterial immer die Erlaubnis des Urhebers einzuholen. Deswegen haben wir uns übrigens dafür entschieden, unsere Test-Deepfakes mit Oliver Kahn und Hansi Flick hier nicht zu veröffentlichen. Die Rechte sind nicht geklärt.
Aus dem allgemeinen Persönlichkeitsrecht lässt sich ableiten, dass auch Deepfakes nicht straffrei für gesetzeswidrige Zwecke eingesetzt werden dürfen — selbst wenn es sich um eine Technologie handelt, für die es noch fast keine Rechtsprechung gibt.
Die DSGVO regelt die Verarbeitung von personenbezogenen Daten, und wenn die digitale Aufzeichnung der Stimme einer Person zu personenbezogenen Daten gehört, dann unterliegt die Verarbeitung dieser Daten auch noch vielen weiteren Einschränkungen. Nicht alles, was mit moderner Technik geht, ist auch erlaubt.
Unser Fazit (für heute)
Es wird noch etwas Zeit vergehen, bis wir eine Methode haben, Deepfakes mit hoher Treffsicherheit automatisch zu erkennen, und noch etwas mehr, bis diese Methode im Produktionsablauf etabliert sein wird.
Um so wichtiger ist es für uns als seriöses Medienunternehmen, dass wir nicht selbst auf Deepfakes hereinfallen. Einer der wichtigsten Baustein dafür ist es, möglichst breit über Deepfakes aufzuklären.
Wer darauf gefasst ist, dass ein Video auch ein Deepfake sein kann, wird darauf achten, wie sich die Augen bewegen, wie die Farbverläufe der Gesichtspartien sind, ob die Lippenbewegung natürlich aussieht und zur Mimik passt und ob der Gesamtzusammenhang plausibel ist.
Vom Deepfake zum Zero Trust News Network
Durch den Bau von eigenen Deepfakes und das Wissen darüber, wie gering die Einstiegshürden sind, haben wir ein Gefühl dafür entwickelt, wie hoch der Verbreitungsgrad werden könnte.
Wir meinen, Deepfakes stellen eine ernstzunehmende Herausforderung für die Gesellschaft und insbesondere auch für Medienunternehmen dar. Wir als BR berichten wahrheitsgemäß. Das ist die Domäne der Journalist:innen. Wir als BR möchten das Vertrauen der Bürger:innen weiterhin haben und ausbauen. Das kann die Domäne der Technik sein, wenn es darum geht sicherzustellen, dass Nachrichten unverfälscht bei denjenigen ankommen, die sie rezipieren.
Deswegen arbeiten wir bei dem Projekt “Origin” der BBC mit, welches seinerseits Impulsgeber für die Initiative C2PA (Coalition for Content Provenance and Authenticity) ist. Ziel ist es, für Nachrichten ein Zero Trust News Network aufzubauen, bei dem nur etwas als vertrauenswürdig gilt, wenn dessen Provenienz nachgewiesen werden kann.
Unterschiedliche Ansätze beim BR und der BBC
Was heißt das genau? Der BR und die BBC verfolgen einerseits das gleiche Ziel, nämlich auch weiterhin vertrauenswürdig zu sein. Andererseits sind unsere Ansätze derzeit noch unterschiedlich. Beim BR suchen wir immer noch nach Möglichkeiten, Deepfakes oder manipulierte Nachrichten zu erkennen und wenn irgend möglich auszusortieren.
Beispielsweise für das Team um den BR24 Faktenfuchs sind hier zuverlässige forensische Methoden wichtig. Vereinfacht gesagt: Es braucht eine Maschine, die Deepfakes erkennt und aussortiert.
Die BBC aber geht von dem Ansatz aus, dass es keine Maschine gibt, die immer genau das macht, was ich will. Deshalb muss das Netzwerk sicher sein, um Deepfakes zu verhindern. Hier setzt das Projekt “Origin” an, mit dem die BBC sicherstellen will, dass Nachrichten gar nicht manipuliert ankommen können bzw. dass das der/die Empfänger:in der Nachrichten sofort mitbekommt.
Die Idee dazu kommt aus der IT: Vertrauen wird nur geschenkt, wenn man sich sicher ist, dass die Quelle vertrauenswürdig ist. Die üblichen Technologien dafür sind Verschlüsselung, Passwörter und Virenscanner. Jetzt gilt es, äquivalente Systeme für ein Zero Trust News Network aufzubauen.
Herausforderung: Transfer Technik und Journalismus
Fest steht: Wir sind noch ganz am Anfang. Und alles ist neu! Denn: Was bereits im technischen Sinn zur Vertrauenswürdigkeit beiträgt, muss in die Welt der Nachrichtenproduktion übersetzt werden.
Wie so oft sollen Neuerungen aber beispielsweise nicht dazu führen, dass Journalist:innen mehr Arbeit haben als zuvor oder dass Arbeitsabläufe komplexer werden. Um eine gute Lösung zu finden, müssen wir beide Welten — also die der Technik und die des Journalismus — gut genug kennen und immer wieder in den Austausch gehen.
Wir stehen also vor der Frage, wie ein zuverlässig funktionierendes Zero Trust News Network funktionieren soll. Dazu wird es von der Initiative C2PA (Coalition for Content Provenance and Authenticity) mit der BBC im Herbst ein erstes Papier geben, das wir zusammen mit vielen anderen prüfen werden.
Sicher ist: Die gegenwärtigen Entwicklungen möchten wir nicht nur beobachten, sondern aktiv begleiten. Deswegen brauchen wir jetzt das Wissen, die Fähigkeiten und den Weitblick, um an der Zukunft mitzuarbeiten. Wir wissen noch nicht genau, wohin die Reise gehen wird, aber wir werden auf jeden Fall mit an Bord sein.
Diesen Artikel haben Robert Kaiser, Leitung Businesssysteme und -lösungen, und Philipp Mayer, Dualer Student im BR, geschrieben.
