Wisch, Swoosh, Zack: Interaktion im Mixed Reality Betriebssystem

Note: There is also an english Version of this Post available.

Das interagieren in Mixed Reality sollte nicht nur intuitiv und schnell sein, sondern auch noch Spaß machen! Wie magisch läßt sich denn ein Betriebssystem bedienen? Wie werden Apps gestartet?

Bei allem, was ich über Magic Leap gelesen habe, wird immer wieder betont, wie wichtig die Magie bei den Erfahrungen ist.

Was uns auf der Hardware Seite von Magic Leap erwarten könnte, habe ich ja schon ausgeführt. Hier hab ich mir das vorhandene Videomaterial und die Bilder aus den Patenten einmal genauer angesehen und probiere herauszufinden, welche Wege Magic Leap zu beschreiten scheint.

Starten einer App! Ein einfacher User Journey?

Anmeldung am Betriebssystem

Die Brille sollte erkennen können, dass sie auf meiner Nase sitzt und ich sie jetzt benutzen möchte. Ich sollte dann also mit einem Startbildschirm empfangen werden, auf dem ich mich identifizieren kann. Dieser Startbildschirm sollte natürlich kein flacher “Bildschirm” sein, sondern kann ein freischwebendes Gitter im Raum sein, auf das ich mit meinem Blick einen Entsperrcode “wische”.

Eigentlich sollte es aber noch einfacher funktionieren. Da die Bewegung der Pupille notwendigerweise schon getrackt wird, kann das Muster der Pupille auch gleich zum identifizieren und Anmelden herangezogen werden.

Im besten Fall setze ich also nur die Brille auf und bin in meiner Mixed Reality Umgebung.

Wie starte ich die App denn jetzt?

Ich sehe ein klassisches Menü in einem weißen Fenster und denke “Urgh”!

Nein! Mein Gefühl sagt mir, dass das nicht nur die uncoolere, sondern auch die weniger intuitive Variante in MR wäre.

Microsoft hat für HoloLens einen ersten UI Versuch des Hauptmenü gelauncht. Ich denke, das dies aber wirklich nur der erste Versuch ist.

Es gibt eine Geste, um das Hauptmenü aufzurufen die “Bloom Gesture”. Der Nutzer dreht seine Handfläche nach oben und macht mit seinen Fingern eine “sich öffnende Blüte” Geste. Das kommt mir leicht zu erlernen vor. Danach besteht das Hauptmenü aber aus einem normalen Windows Menü mit Kacheln. Total langweilig.

Die HoloLens ist ein Entwicklergerät und noch keine polierte Endnutzer Version. Das Gute ist, dass Microsoft so aber schon viel Erfahrungen sammeln kann und von tausenden Entwicklern Feedback bekommt.

(Un)fassbare Steuerung

Ich hab mich mal durch die Patente von Magic Leap gewühlt und ein paar sehr coole Ideen gefunden. Zwei Ideen gefallen mir als Hauptmenü oder App Drawer besonders gut.

Zeichnung aus einem Magic Leap Patent

Der Nutzer schaut auf seine Handinnenfläche und an den Fingern erscheinen jeweils mehrere kleine App Icons. Jeder Finger steht für eine Hauptkategorie. Mit dem Daumen oder einem Finger der anderen Hand wählt man dann das Icon per touch aus. Das schöne ist, dass es dabei tatsächlich ein Touch Feedback gibt, da wir ja unsere Hand berühren.

Steuerung per Click Wheel

Dieses Konzept funktioniert aber nur mit einer kleineren Anzahl von Apps. Hier könnte dann die gute alte iPod Steuerung zum Einsatz kommen. Anstelle eines Click Wheels wird einfach die Handinnenfläche dafür genommen. Die App Icons wischen an den Fingern vorbei. Und lassen sich danach wieder per touch auswählen.

Im ersten Video von Magic Leap scheint die Firma aus Florida aber zumindest ein weiteres Konzept umgesetzt haben. Dort ist eine Karussell Navigation zu sehen, die man per Wischgeste in Bewegung versetzt. Die unterschiedlichen App Kategorien rollen dann vorbei. Die Art der Steuerung kommt mir recht ungenau vor und ist vermutlich noch ein früher Prototyp.

Die Gesten sind auf jeden Fall nicht für die U-Bahn geeignet. Ich möchte nicht wild zuckend in der Luft herum wischen, während ich eingequetscht in der U1 sitze. Die anderen Gesten sind unauffälliger einsetzbar.

Mockup einer User Interaktion mit Magic Leap

Ich weiß leider nicht, wie schwierig es technisch ist die Gesten auf den Händen zu erkennen. Dort wird sehr viel Information auf kleinem Raum angezeigt und die Hand ist typischerweise auch recht dicht am Körper.

Die Hololens scheint damit Probleme zu haben. Dort werden die Gesten immer recht weit im Raum vor den Augen des Nutzer ausgeführt. Das finde ich nicht so praxistauglich.

Mit einem Sensorsystem wie wie der Leap Motion sollte aber auch das Problem in den Griff zu bekommen sein.

Totems

Es könnte noch zusätzliche Möglichkeiten geben eine App zu starten. Magic Leap hat mehrere Patente zur Nutzung von Totems eingereicht. Dies sind kleine Gegenstände, die man einfach in der Hand hält und die selber keine Technik beinhalten.

Ein paar Beispiele aus den Patenten.

Schlüsselanhänger auf denen Symbole von Twitter oder Facebook abgebildet sind. Blickt man dort drauf soll wohl die entsprechende App geöffnet werden.

Die Idee fand ich zuerst unpraktisch, bei näherem nachdenken ist der räumliche Bezug aber ziemlich praktisch. Menschen denken räumlich und können sich Dinge im Raum besonders gut merken. Zugegeben die Schlüsselanhänger sind dann noch immer nicht das Praktischste, da sie bei mir meistens in der Tasche sind.

Es gab aber auch noch Armbänder und einen Ring. Der Blick auf den Ring könnte mit meinem WhatsApp verbunden sein und die letzten Nachrichten einblenden.

Über dem Armband könnte bei Blickkontakt schwebend der aktuellen Spielstand und ein paar Statistiken eines Football Spiels anzeigt werden.

Im Prinzip könnte man jeden beliebigen Gegenstand mit einer App verbinden und als Trigger für Zusatzinformationen benutzen.

Hey Magic Leap!

Dann gibt es natürlich noch die Sprachsteuerung. Das starten von Apps per Sprachbefehl funktioniert bisher auf dem Smartphone schon recht gut. Dafür braucht Magic Leap natürlich eine gut funktionierende Spracherkennung. Ich denke aber mal, dass das kein großen Problem mehr darstellen sollte. Man möchte aber zu vielen Gelegenheiten nicht in den Raum hineinreden. (Auch wenn in das in der U1 vielen egal zu sein scheint.) Es gibt schon technische Möglichkeiten lautlos Sprache zu übermitteln, aber ich denke, dass eine solche Technik nicht Teil der Magic Leap Brille sein wird. Aber für die Zukunft bestimmt sehr wünschenswert. Und für die Texteingabe ist dies bestimmt auch sehr sinnvoll. Dazu in einem späteren Post mehr.

Steuerung per Doppelblick

Und schließlich fällt mir noch die Steuerung per Blick ein.

In der Kombination mit einer Action Geste kann ich mir dies als gute Ergänzung vorstellen. Anstelle des direkten anklickens eines Icons an meinen Fingerspitzen blicke ich das Icon nur an und führe dann eine Klick Geste im freien Raum aus. Das entspricht dann in etwa einer Abstraktion, wie von einer Computermaus.

Ich weiß nicht, ob das so akzeptiert wird von den Nutzern, die sich in den letzten Jahren ja erst daran gewöhnt haben direkt auf dem Display zu arbeiten ohne zusätzliche Abstraktionsschicht.

Eine Blicksteuerung ohne zusätzliche Klick Geste halte ich allerdings für zu unpraktisch. “Blicke 2 Sekunden auf ein Icon und die App startet automatisch”, oder es poppt eine Untermenü auf, in dem man auf starten oder abbrechen “doppelblicken” muss. Da hat man immer Angst ungewollte eine Aktion auszuführen.

So mächtig das erkennen des Fokus in vielen Belangen auch ist. Für das starten von Apps ist der Nervfaktor wohl zu hoch.

In dem Video zeigt Magic Leap an keiner Stelle, wie denn mit den Apps interagiert wird. Es öffnen oder schließen sich irgendwelche Apps ohne, das eine Interaktion sichtbar wäre. Vielleicht wird hier eine Art “Gaze Control” benutzt, oder es ist einfach nur ein 3D Demo Video, welches vor der Kamera abgespielt wird. Schade, das Magic Leap sich hier nicht in die Karten gucken läßt.

Texteingabe

DIE große Frage ist trotzdem, wie lässt sich Text effektiv und nervfrei eingeben? Texteingabe ist unheimlich wichtig. Gleichzeitig aber auch unheimlich schwer umzusetzen, wenn es kein haptische Feedback gibt. Das war anfangs auch ein Problem beim iPhone. Ein Telefon ohne physische Tastatur war kaum vorstellbar. Apple hat aber den richtigen Dreh gefunden, um das Tippen trotzdem sehr zuverlässig hinzubekommen.

Vielleicht läuft es auch darauf hinaus, dass wir anfangs unser Handy zur Texteingabe in Mixed Reality benutzen. Zumindest, solange man mobil unterwegs.

Möglich wäre natürlich auch das Einblenden einer Tastatur auf beliebigen Unterlagen. Das ist vermutlich gar nicht so schlecht zu bedienen, setzt aber eine Fläche zum darauf projizieren voraus. Das ist in der U-Bahn nicht unbedingt gegeben. Es sei denn man hat Platz seinen eigenen Arm dafür zu nehmen.

So stellt NEC sich ein virtuelles Keyboard vor.

Dort müsste die Tastatur dann in der Luft schweben. Das ist vermutlich eine langsame und ungenaue Form der Texteingabe. Für kurze Befehle aber machbar.

Vielleicht ist das Tippen in der Luft noch mit der Position des Blickes verbindbar. Damit wird die Erkennung eventuell sehr viel genauer.

Es wird vermutlich nicht die eine Möglichkeite der Texteingabe gegebn, sondern eine Betriebssystem Tastatur, die sich per wisch auf unterschiedliche Arten benutzen läßt.

Der Vorteil in der dreidimensionalen Welt ist, das die Größe der Tastatur nicht durch die Größe eines Handy Displays begrenzt ist.

Zum eingeben einer URL kann also eine größere Tastatur eingeblendet werden, in der alle Sonderzeichen dafür ihren sichtbaren Platz haben. Dadurch wird die Eingabe vielleicht sogar genauso schnell möglich sein, wie auf einem 5 Zoll Bildschirm. Hier bin ich aber mal wirklich gespannt, wie Magic Leap dieses angeht.

HoloLens hat hier bis jetzt auch nur das Pairing mit einer Bluetooth Tastatur im Angebot.

In bestimmten Nutzungsszenarien ist natürlich die Spracheingabe auch eine Option. Bei 16stellige WLAN Passwörter mit Groß und Kleinbuchstaben inklusive Sonderzeichen wird die Spracherkennung aber wohl kapitulieren.

Viel schöne Bilder und wenig Steuerung?

Soviel zum Hauptmenü und dem starten von Apps. Eine menge Möglichkeiten und vermutlich technisch gesehen auch noch ein paar Unmöglichkeiten. Die ganzen Patente bedeuten ja auch nicht, dass Magic Leap diese alle umsetzt.

Beim User Interface Design für VR und MR Apps sind wir vermutlich auf dem Stand der 80er Jahre bei PCs. Da gab es eine Kommandozeile als allgemein akzeptierte Form der Interaktion.

Es sieht für mich ein wenig so aus, als wenn Magic Leap sich um den Punkt Interaktion ein wenig drücken möchte. Im ersten Video war noch eine Art Gestensteuerung zu sehen. Diese kam mir aber eher aufgesetzt und gefaket vor. In den neueren Videos werden nur eindrucksvolle Bilder gezeigt, aber das steuern der Apps wird ausgespart. Dieser Punkt ist aber enorm wichtig und vielleicht ist Microsoft mit der HoloLens hier auch bereits am technisch machbaren zu diesem Zeitpunkt.

Möglich ist viel, was aber vom Kunden akzeptiert wird, ist vielleicht noch gar nicht erfunden.

Ich hätte mir vor 2 oder 3 Jahren auch noch nicht vorstellen können, dass Jugendliche sich ihr Smartphone waagerecht ans Kinn halten und dann dort hineinsprechen. Dennoch ist das die sozial akzeptierte Version eine Sprachnachricht oder einen Sprachbefehl in sein Handy zu sprechen.

Wer weiß, vielleicht fällt es uns Menschen ja auch leichter mit der Maschine in der Öffentlichkeit zu reden, wenn diese in der Form einer kleinen Elfe erwartungsvoll vor unseren Augen schwebt. Vielleicht wäre das aber auch noch seltsamer.