Experiment “Language Defense”: Zwischen Vokabeln und Robotern

Taikonauten
7 min readApr 24, 2024

--

Mädchen mit Mixed Reality Brille
Unser Experiment “Language Defense” dient als Showcase, um das Potenzial von Mixed-Reality-Technologie in Verbindung mit Sprachenlernen näher zu untersuchen. (Quelle: AI-generated/Leonardo.ai)

In unserem letzten Artikel haben wir die zentrale Rolle von Kommunikation im Geschäftsleben sowie mögliche Mixed-Reality-Szenarien für das Sprachenlernen von Morgen untersucht. Im Anschluss daran startete unser 14-tägiges Experiment “Language Defense”: Ein sekundäres Sprachenlern-Tool, das Vokabeltraining mit einem Tower-Defense-Spiel kombiniert. Dieser Artikel stellt nicht nur den Prototyp vor. Zusätzlich verraten wir dir, welchen Herausforderungen wir bei der Entwicklung begegnet sind, welche Erkenntnisse wir aus unseren ersten Nutzertests gewonnen haben und wie es mit dem Forschungsprojekt weitergeht.

💡Wer steckt hinter der Innovation? 💡

Das Research und Development Lab der Taikonauten setzt sich aus acht wissbegierigen Individuen zusammen, die ihr multidisziplinäres Fachwissen aus den Bereichen Engineering, UX/UI-Design, Strategie, Forschung, Creative Technology und Kommunikation miteinander vereinen.

Was bisher geschah…

Du hast unseren Einführungsartikel über mögliche Anwendungsszenarien von Mixed Reality im Bereich des Sprachenlernens verpasst? Kein Problem. Hier sind die wichtigsten Fakten im Überblick:

  • Kommunikation hat einen entscheidenden Einfluss auf Unternehmenserfolge.
  • Es gibt Hinweise darauf, dass Mixed Reality ein enormes Potenzial aufweist, die Effizienz von Lernprozessen nachhaltig zu steigern.
  • Zum Zeitpunkt unseres Forschungsprojektes gibt es keine frei verfügbaren Mixed-Reality-Anwendungen, die explizit auf das Sprachenlernen optimiert sind.
  • Wir haben anhand von drei technischen Anwendungsfällen die Zukunft von Lernangeboten in Mixed Reality untersucht.
  • Unser nutzerzentrierter Forschungsansatz zielt darauf ab, einen dieser Anwendungsfälle zu entwickeln und zu validieren. In diesem Zuge haben wir uns für einen Language Defense Prototyp entschieden, der Vokabeltraining mit dem Spielprinzip von Tower Defense verbindet.

Von der Vision zur Realität

Taten sprechen bekanntlich lauter als Worte. Doch was genau braucht es überhaupt, um den Language Defense Prototyp zu entwickeln?

# 1 Sprachinhalte:

Um effektive Sprachinhalte für das Vokabeltraining zu generieren, verwenden wir ein Large Language Model (LLM) basierend auf künstlicher Intelligenz. LLMs werden durch umfangreiche Datensätze und Textinformationen trainiert, um natürliche Sprache zu verarbeiten, zu verstehen und zu produzieren.

Um kontextrelevante und domänenspezifische Antworten zu gewährleisten, benutzen wir die OpenAI Assistant API. Dabei geben wir spezifische Szenarien in der Eingabeaufforderung an und instruieren den Bot, als englischer Vokabeltrainer zu agieren, um passende Wörter zu einem bestimmten Thema bereitzustellen.

Die Effektivität dieses Ansatzes hängt dabei von dem gewählten Modell sowie dessen Version ab und die gelieferten Ergebnisse können variieren. Jede Modellversion dient als Kontrollpunkt, der den Zustand des Modells zu einem bestimmten Zeitpunkt widerspiegelt. Daher sollte das Prompting entsprechend den Spezifikationen jedes einzelnen Modells angepasst werden.

💡 Übrigens: Mit der Assistant API kannst du KI-Assistenten in deine eigenen Anwendungen integrieren. Diese KI-Assistenten haben die Fähigkeit, Anweisungen auszuführen und können auf Modelle, Tools und Wissen zugreifen, um Benutzeranfragen zu beantworten.

Prompt: Create a multiple choice quiz for business english to learn vocabulary. It should have one question and three possible answers. One of the answers should be correct. The other two wrong. Give me an example output for this as a json object that I can integrate into an app.

{
"question": "What does the term 'ROI' stand for in business?",
"options": [
{
"text": "Return on Investment",
"is_correct": true
},
{
"text": "Return on Income",
"is_correct": false
},
{
"text": "Revenue on Investment",
"is_correct": false
}
]
}

#2 Technische Grundlage:

Jetzt erwecken wir Language Defense in einer Mixed-Reality-Umgebung tatsächlich zum Leben. Auf die komplexen Details des Entwicklungsprozesses in Unity werden wir in diesem Artikel jedoch nicht eingehen. Wenn du mehr über die technischen Hintergründe erfahren möchtest, empfehlen wir dir an dieser Stelle unser umfassendes Tutorial zur Mixed-Reality-Entwicklung mit Unity.

Abweichend zu unserem beschriebenen Beispiel im Tutorial, verzichten wir bei der Entwicklung des Language Defense Prototyps vorerst auf die Integration von Controllern. Stattdessen setzen wir auf Gestenerkennung und Motion Tracking, um eine nahtlose Interaktion mit dem Vokabular zu gewährleisten. Das bietet sogar einen zusätzlichen Vorteil: Language Defense lässt sich selbst unter sonnigen Bedingungen problemlos steuern, wohingegen die Funktionalität der Controller durch starke Sonneneinstrahlung gestört werden könnte.

Wir gehen davon aus, dass einige Benutzer:innen die Steuerung mit Controllern trotzdessen bevorzugen. Schließlich fließen beim Thema Navigation auch individuelle Präferenzen mit ein. Deshalb möchten wir Controller nicht kategorisch ausschließen, sondern für zukünftige Iterationen Prototyps zumindest im Hinterkopf behalten.

💡Übrigens: Um ein barrierefreies Erlebnis zu gewährleisten, wären in einer marktfähigen Version zusätzliche Navigationsmöglichkeiten wie Head- oder Eye-Tracking erforderlich. Diese Funktionen haben wir in dieser ersten Testversion von Language Defense jedoch vorerst ausgelassen.

# 3 UI-Elemente:

Nun fehlt noch eine passende Benutzeroberfläche. Diese erstellen wir in unserem gewünschten Look — ein zeitloses Design mit minimalistischen Elementen, die nahtlos mit der realen Welt interagieren. Unser gewähltes Designthema ist Cyberpunk-inspiriert und umfasst futuristische Elemente, industrielle Farben sowie animierte Roboter.

Im Rahmen unseres 14-tägigen Experiments fokussieren wir uns an diesem Punkt der Entwicklung auf das Grundgerüst der Anwendung und gestalten die dafür entscheidenden Elemente in Figma:

  • ein Start-Button
  • eine Frage-Schaltfläche
  • drei Antwort-Buttons
  • ein Spielbrett

Darüber hinaus beziehen wir die 3D-Roboter-Assets, einschließlich der Animationen, aus dem Unity Asset Store.

💡Übrigens: Du vermisst klassische Spielelemente, wie beispielsweise einen Fortschrittsbalken oder eine Lebensanzeige? Der Prototyp konzentriert sich zunächst darauf, Sprachenlernen und Tower Defense miteinander zu verbinden, um die Effektivität des Kernkonzepts zu bewerten und Feedback von Tester:innen zu sammeln. Zusätzliche Elemente sind für zukünftige Iterationen aber durchaus denkbar.

3, 2, 1…Prototyp!

Neugierig, wie Language Defense aussieht? Dann lehn’ dich entspannt zurück und genieß’ den Teaser:

Language Defense Teaser. (Quelle: Taikonauten)

Wie ist dein erster Eindruck? Klar, 16 Sekunden vermitteln nur einen sehr kurzen Einblick in das Konzept. Deshalb frischen wir deine Erinnerung noch einmal mit unserer Darstellung des Spielkonzepts aus unserem vorherigen Artikel auf:

Überschrift: Vokabeltraining in Kombination mit einem Tower Defense Spiel. Abbildung: Grafik für das Spielekonzept von Language Defense. Frau entdeckt durch Mixed Reality Headset, wie die Anwendung funktioniert und was sie erwartet.
Unsere gewählte Spielvariante für Language Defense. (Quelle: Taikonauten)

Wir sind definitiv stolz auf das Ergebnis. Doch wie erwartet bringt die Anwendung eine große Anzahl offener Fragen mit sich, die es im weiteren Verlauf zu beantworten gilt. Vorher möchten wir jedoch wissen, wie außenstehende Personen den Prototyp wahrnehmen.

Der enge Zeitrahmen von 14 Tagen für die Entwicklung zahlt sich jetzt aus, um frühzeitig externes Feedback einzuholen und den Anwendungsfall zu validieren. Werfen wir einen Blick auf die Ergebnisse unseres ersten Reality-Checks mit Kolleg:innen außerhalb unseres Forschungs- und Entwicklungslabors – offen und ungefiltert:

Glauben ist gut, validieren ist besser

Insgesamt nehmen die Tester:innen den spielerischen Ansatz von Vokabeltraining in einer Mixed-Reality-Umgebung als innovatives, sekundäres Lernwerkzeug wahr, das dazu beiträgt, zuvor erworbenes Sprachwissen zu festigen.

Trotzdem wird schnell klar: Die Verwendung einer immersiven Technologie führt nicht automatisch zu einer immersiven Lernerfahrung. Vielmehr sollte der Fokus des Konzepts in erster Linie auf der nahtlosen Verschmelzung der digitalen und realen Welt liegen.

“Ich würde mir eher wünschen, dass ich tatsächlich zwischen den Figuren durchlaufen oder in irgendeiner Weise mit ihnen interagieren muss.”

Außerdem wünschen sich unsere Kolleg:innen bereits in der aktuellen Entwicklungsstufe eine größere funktionale Vielfalt, die ihren bevorzugten Lernstilen entspricht, wie beispielsweise Hör- und Verständnisübungen, sowie klassische Spielelemente. Wie eingangs erwähnt sich diese schließlich noch nicht in der Testversion implementiert.

“Ich frage mich gerade, ob der spielerische Multiple Choice Ansatz zum Übersetzen von Vokabeln der einzige Weg ist, um eine Sprache effektiv zu lernen. Außerdem wären ein sichtbarer Lernfortschritt mit verschiedenen Schwierigkeitsgraden und einem Ranking-System toll.”

Und was denken die Tester:innen über die Anwendbarkeit im Arbeitsalltag? Nun, ausbaufähig. Obwohl der Ansatz, im Vergleich zu klassischen Lernmethoden, als innovativ und einzigartig empfunden wird, äußern unsere Kolleg:innen noch einige Bedenken.

“Im Bürokontext bin ich mir unsicher, wo ich das virtuelle Spielbrett auftauchen lassen würde. Außerdem hätte ich eher erwartet, dass die Vokabeln direkt mit den Gegenständen im Büro anstatt virtuellen Gegnern in Verbindung gebracht werden.”

Fest steht: Wir haben unser Ziel erreicht, eine Mixed-Reality-Anwendung zu entwickeln, die Lernende beim Vokabeltraining unterstützt. Dennoch bietet der Prototyp viel Raum für weitere Anpassungen, um ein vollständiges immersives Erlebnis zu entwickeln, insbesondere unter Berücksichtigung der besonderen Anforderungen des Büroalltags. Unsere wichtigste Erkenntnis:

“Am Ende des Tages geht es nicht nur um die Technologie, sondern um das Gesamterlebnis.”

Validieren, lernen, iterieren

Lass uns einen Moment innehalten und abschließend die wichtigsten Fragen identifizieren, die im weiteren Verlauf unseres Forschungsprojekts beantwortet werden müssen:

Wie schaffen wir es,…

  • die Fundamente von immersiven Lernerfahrungen zu identifizieren?
  • herauszufinden, wie Menschen am besten lernen und welche Schnittstellen der Language Defense Prototyp mit diesen Prinzipien aufweist?
  • zu bewerten, ob die Kombination von Vokabeltraining und Tower Defense das Sprachenlernen tatsächlich verbessert oder ob wir bisher nur an der Oberfläche kratzen?
  • mithilfe künstlicher Intelligenz die Lernerfahrung immersiver zu gestalten und weiter zu verbessern?
  • effektive Anwendungsmöglichkeiten für das Sprachenlernen in einer Mixed-Reality-Umgebung zu entwickeln?
  • versteckte Barrieren der Mixed-Reality-Entwicklung aufzudecken, die eine vollständige Immersion möglicherweise sogar behindern können?
  • die grundlegenden Anforderungen an immersive Sprachenlern-Anwendungen zu bestimmen?

Geht da noch mehr?

Definitiv! Zusammenfassend lässt sich sagen: Immersives Sprachenlernen hat viele Facetten. Als sekundäres Tool für Vokabeltraining ist Language Defense nicht nur eine erfrischende Alternative zu herkömmlichen Lernanwendungen. Es ist vielmehr ein hervorragender Ausgangspunkt für vertiefende Forschungsfragen.

In der kommenden Phase unseres Experiments werden wir uns intensiv mit den Grundlagen immersiven Sprachenlernens beschäftigen. Dabei setzen wir auf eine enge Zusammenarbeit mit Expert:innen, ausgedehnte Ideation Sessions und Literaturrecherche.

Bleib gespannt und entdecke unsere neuesten Erkenntnisse im nächsten Artikel des Taikonauten Magazine.

Redaktion: Shirley Schmolke

--

--

Taikonauten
Taikonauten

Written by Taikonauten

We Create Digital Products & Services Users Love. Strategy, Concept, Design & Engineering

No responses yet