IBM Watson muss noch viel lernen

Golem.de hat vor ein paar Tagen einen Artikel veröffentlicht, der IBMs KI-Wunderdings Watson vorwirft, reichlich “dumm” zu sein. Natürlich konnte ich nach ein paar Zeilen nicht mehr weiterlesen, musste nach Watson googlen und einige der bereitgestellten Demos testen. Und siehe da, es stimmt: Watson muss noch viel lernen.

Auf der Demoseite wird eine Reihe verschiedener Beispiele angeboten, die man schnell, bequem und einfach abrufen und anschauen kann. Schön. Weniger schön: Diese Beispiele sollen uns ja wohl von der Qualität des Produkts Watson überzeugen. Wie schlau und fortschrittlich und universell einsetzbar er (es?) ist und all das. Genau das funktioniert aber nicht.

Ich kann jetzt viel erzählen, aber am besten probiert man es einfach selber aus. Das auffälligste Negativbeispiel war für mich die maschinelle Übersetzung. Ich habe folgenden Absatz von der Website kopiert und ins Deutsche übersetzen lassen:

Just like a doctor is skilled in medical terms, domain-specific models have been trained in terminology from various fields. They help to provide higher quality translations when used in the right context.

Das Ergebnis entspricht den Erwartungen:

Wie ein Arzt ist in medizinischer Hinsicht qualifizierte terminologische, domänenspezifische Modelle wurden aus verschiedenen Bereichen ausgebildet. Sie helfen dabei, eine höhere Qualität Übersetzungen zur Verfügung stellen, wenn in den richtigen Kontext verwendet werden.

Liest sich holprig und es wird zur Herausforderung, den Sinn zu erfassen. Füttern wir die Konkurrenz in Form des Newcomers DeepL.com mit dem gleichen englischen Text, erhalten wir diese Übersetzung:

So wie ein Arzt in medizinischer Hinsicht versiert ist, wurden auch domänenspezifische Modelle in Fachausdrücken verschiedener Fachgebiete geschult. Sie tragen dazu bei, qualitativ hochwertigere Übersetzungen im richtigen Kontext zu liefern.

Ich meine, der Text spricht für sich.

Klar, repräsentativ geht anders — aber ich wage zu behaupten, IBM hat ein Problem: Watson ist nicht so gut, wie IBM uns gerne glauben lassen möchte. Auch die Sprachausgabe ist im Vergleich zu Konkurrenz zweitklassig. Und bei dem Gegenteil, “Speech to Text”, kann Watson beim zweiten Beispiel-Sample das englische “AI” nicht erkennen. Zwar ist das nicht repräsentativ, intelligent jedoch genauso wenig.

One clap, two clap, three clap, forty?

By clapping more or less, you can signal to us which stories really stand out.