Spracherkennung für die Maschinensteuerung

Eine Maschine steuern, indem bestimmte sprachliche Befehle gegeben werden? Eine Fraunhofer Spracherkennungssoftware macht es möglich. Das Tool hilft den Mitarbeitenden dabei, weit entfernt stehende Maschinen direkt zu adressieren oder in sensiblen Bereichen statt der Hände ihre Stimme zu benutzen. Letzteres könnte in Krankenhäusern und für OP-Säle interessant sein. Derzeit wird die Sprachsteuerung im Umfeld von Produktionsmaschinen getestet. Wir haben mit Marvin Norda und Stefan Wetzel vom Fraunhofer IDMT gesprochen, die mit dem Projekt befasst sind.

Herr Norda, Sie entwickeln am Fraunhofer IDMT in Oldenburg im Projekt "Voice Controlled Production" eine intuitive Sprachsteuerung für Maschinen, die im Produktionsprozess die Arbeit vereinfachen sollen. Wie funktioniert das?

Marvin Norda: Unsere Spracherkennung mit all ihren Features kann in verschiedenen Umgebungen Sprache erkennen und daraus Informationen ableiten. Deshalb fokussieren wir uns auch nicht auf einen speziellen Bereich der industriellen Produktion, denn wo die Spracherkennung später eingesetzt wird, ist zweitranging.

Das System erstellt auf Basis von Phonemen eine Textdatei, die anschließend von jedem Steuerungssystem, völlig egal ob es ein Roboter, eine Drehmaschine, ein Produktionsautomat oder ein fahrerloses Transportsystem ist, eingelesen werden kann.

Welche Größe hat die Spracherkennung?

Norda: Prinzipiell richten wir uns nach den Bedarfen unserer Kunden. Zum einen besteht die Möglichkeit, abgesichert online auf unsere Spracherkennungstechnologie zuzugreifen. Der Kunde kann also die Technologie auf seinem Server verarbeiten, oder auf unseren Fraunhofer-Server zugreifen. Zum anderen kann die Sprachsteuerung oder Sprachdokumentation offline auf einem Minicomputer, zum Beispiel direkt an der Maschine prozessiert werden. Wir sind also sehr flexibel. Wir haben unsere Spracherkennung bewusst so angelegt, dass sie auch auf kleiner Hardware läuft. Es ist nicht nötig ein großes Bauteil anzuschließen. Es ist tatsächlich aber oft so, gerade im Produktionsbereich, dass die wenigsten ihre Maschinen über einen kleinen Computer steuern möchten. Auch wenn das gut und zuverlässig funktioniert. Denn beispielsweise ein Raspberry PI ist keine zertifizierte Steuerungseinheit für den Produktionsbereich.

Deswegen nutzen viele Firmen eine Speicherprogrammierbare Steuerung (SPS), die im Produktionsumfeld etabliert und bei Prüforganisationen bekannt ist. Es findet jedoch gerade ein Umdenken statt. Kleine Micro-PCs finden nach und nach Zugang in den industriellen Bereich und werden deshalb früher oder später auch für solche Anwendungen zertifiziert werden.

Viele Anwendende von Sprachsteuerungen, zum Beispiel bei Google oder Alexa, erleben immer wieder Situationen, in denen nicht das erkannt wurde, was gesprochen wurde. Manchmal liegt es an undeutlicher Aussprache, manchmal daran, dass ein Begriff nicht bekannt ist. Wie deutlich muss der Anwendende bei Ihrer Sprachsteuerung sprechen?

Norda: Wir haben einen Standard-Wortschatz, den wir nutzen und den wir mit Trainingsmaterial trainieren. Das ist ausreichend. Anders als noch vor ein paar Jahren, muss ich auch keinen Sprecher mehr anlernen. Es genügt, dass ich die Trainingsdaten habe, um verschiedene Sprecherinnen und Sprecher zu erkennen.

Auch wenn zum Beispiel ein Dialekt gesprochen wird?

Norda: Es ist eine Frage der gewünschten Genauigkeit. Natürlich kann man der Software auch Dialekte beibringen. Aber das ist in der Regel nicht nötig. Ein Beispiel: Jemand der in Bayern aufgewachsen ist, versteht eine Person aus Bayern besser als er einen Ostfriesen versteht. Und ein Ostfriese wird einen Ostfriesen besser verstehen als einen Bayern. Das heißt aber nicht, dass ein Bayer und ein Ostfriese sich nicht auch verstehen könnten. Ähnlich ist dies bei der Spracherkennung. Wenn ich mehr Trainingsmaterial in dieser Richtung zur Verfügung stelle, funktioniert es besser. Dass man was Falsches versteht, kann einem Ostfriesen in Bayern auch passieren. Man versteht etwas falsch oder nicht richtig, weil man nicht darauf trainiert wurde.

Erhalten die Anwendenden also bestimmte Schlüsselwörter, damit sie das Gerät steuern können?

Norda: Ja, ich muss bestimmte Befehle kennen. Wir haben kein System integriert, welches anfangen würde, die Worte zu interpretieren. Es wäre auch fatal, wenn die Maschine selbstständig beginnen würde, Befehle zu interpretieren. Wir verwenden Schlüsselwörter, die wir im Kundensystem zur Verfügung stellen und die wir im Dialog mit den Kunden erarbeiten. Denn unterschiedliche Unternehmen wünschen sich unterschiedliche Befehle. Natürlich bieten wir ein Standard-Set an Befehlen an. Aber wir gehen ebenso auf individuelle Wünsche ein. Und natürlich weisen wir die Mitarbeiterinnen und Mitarbeiter in die Bedienung ein. In modernen Produktionshallen stehen sehr teure Geräte, wir wollen natürlich nicht, dass dort aus Versehen ein falscher Befehl gegeben wird.

Erhalten die Benutzenden eine Rückmeldung, wenn Sie die Sprachsteuerung bedienen?

Norda: Ja, auf verschiedene Ebenen. Wir haben festgestellt, dass eine Interaktion mit Maschinen ohne eine Form des Feedbacks nicht funktioniert. Wie das Feedback aussieht, hängt von den einzelnen Maschinen ab. Wenn ich zum Beispiel eine hallengroße Maschine starte, die durch den Start anfängt, ohrenbetäubenden Lärm zu produzieren, dann habe ich automatisch eine Rückmeldung. Da braucht es nicht noch ein Audio-Feedback. Ähnlich ist es, wenn ich eine Beleuchtung einschalte. Das sieht man sofort.

Etwas anderes ist es zum Beispiel Parameter einzustellen, dann brauche ich ein Audio-Feedback oder ein visuelles Feedback. Wir haben auch hybride Systeme bei Kunden im Einsatz, die einen großen Bildschirm haben. Auf diesem werden zum Beispiel Änderungen von Parameter visuell angezeigt.

Welche Hardware benötigt man für die Eingabe der Befehle?

Norda: Zum Beispiel ein Headset. Wenn man eine Produktionshalle mit Rechnern für die verschiedenen Maschinen hat, dann kann man die Spracherkennung jeweils darauf installieren und über ein Funknetz mit dem Headset nutzen. Man benötigt natürlich ein Keyword, um jeweils die gewollten Maschinen zu adressieren. Oftmals haben Maschinen in der Produktion aber bereits Namen, sodass ein Keyword in der Regel einfach zu bestimmten ist.

Spielt das Alter der Produktionsmaschinen bei der Einbindung der Sprachsteuerung eine Rolle?

Norda: Wir haben zu Demonstrationszwecken zwei Maschinen bei uns am Institutsteil Hör-, Sprach-, und Audiotechnologie HSA umgebaut, von der eine aus dem Jahr 1983 stammt. Sie wurde seinerzeit für eine Diplomarbeit gebaut. Es ist uns gelungen, die Sprachsteuerung problemlos zu integrieren. Natürlich gibt es an Maschinen, die vor 1980 gebaut wurden, keine Standard-Schnittstellen. Aber man bekommt es technisch hin. Es gibt jetzt nicht per se ein Maschinenalter, das eine Sprachsteuerung generell ausschließt. Sie muss nur elektrisch sein. Natürlich stellt sich immer die Frage nach dem Nutzen und den Kosten.

Sie sprachen gerade kurz über die Umgebungslautstärke in einer Produktionshalle. Wie können Sie garantieren, dass die Spracherkennung die gesprochenen Wörter auch wirklich versteht? Wie schaffen Sie es, dass das Gerät nur das herausfiltert, was an die Maschine gerichtet ist?

Norda: Das ist in der Tat ein wichtiger Punkt. Robustheit, also Zuverlässigkeit, und Effizienz sind die beiden großen Themenschwerpunkte für die Industrialisierung von Sprachsteuerungen. Wie gesagt erhält unsere Sprachsteuerung ein Training, also einen bestimmten Satz an Wörtern. Das heißt, unsere Spracherkennung, die beim Kunden zum Einsatz kommt, kennt gar nicht mehr alle Wörter der deutschen Sprache, sondern sie wird genau auf das getrimmt, was für die einzelne Firma benötigt wird. Dadurch bekommt sie sozusagen Scheuklappen verpasst. Das ist besonders wichtig für weitere Anwendungen, wenn wir zum Beispiel an Krankenhäuser denken. Auch in diesem Umfeld kann eine Spracherkennung Sinn machen. Aber natürlich darf die Spracherkennung dann nur auf mich als Anwender reagieren und nicht auf den Kollegen neben mir, der vielleicht mit einem Patienten spricht. Das bedeutet, die Spracherkennung ist fokussiert nur zu reagieren, wenn das richtige Wort gesprochen wird, beziehungsweise die richtigen Befehle. Damit unterscheidet sich unsere Spracherkennung deutlich von Anwendungen im Consumer-Bereich, wie zum Beispiel Alexa. Hier ist eher ein „normales“ Gespräch gewünscht. Wenn ich aber von Anfang an vereinbare nur Sätze zu verwenden, die klar voneinander zu unterscheiden sind, dann reduzieren ich Missverständnisse.

Neben der Produktionsausrüstung bieten einige Aussteller der COMPAMED auch Endprodukte an, die zum Beispiel im Krankhaus angewendet werden können. Kann die Sprachsteuerung auch hier gewinnbringend eingesetzt werden?

Stefan Wetzel: Grundsätzlich ja, denn es geht um die Sprachsteuerung von Maschinen oder Geräten, unabhängig von ihrem Einsatzbereich. Im Prinzip gelten überall ähnliche Anforderungen. Eine Sprachsteuerung ist auch bei medizintechnischen Geräten denkbar.

Haben Sie ein Beispiel für einen Anwendungsbereich?

Wetzel: Die Anwendungsfelder sind fast unbegrenzt. Natürlich muss man immer den Einzelfall betrachten und sich fragen: Wo ist eine Sprachsteuerung sinnvoll? In manchen Fällen ist es sicher einfacher und besser, die Mensch-Maschine-Interaktion auf die herkömmliche Art und Weise durchzuführen. Aber immer da, wo Sprachsteuerung einen zusätzlichen Nutzen bietet, könnte man sie einsetzen. Ich denke da zum Beispiel an hygienisch sensible Bereiche, wie den OP. Statt die Verwendung der Hände könnte etwa die Beleuchtung oder das Ansteuern bestimmter Geräte per Sprachsteuerung erfolgen. Oder die Dokumentation der Operation könnte zeitgleich erfolgen, indem die Ärztin oder der Arzt alles Wesentliche einspricht. Dann müsste man sich später nicht mehr an einen PC setzten und alles eintippen. Wir haben im Haus bereits Projekte mit Partnern durchgeführt, um zum Beispiel die Dokumentation in der Pflege zu vereinfachen. Im Bereich der Pflege sind andere Anforderungen gegeben als in der Produktion oder im Krankenhaus. Generell müssen wir immer betrachten, in welchem Feld wir uns bewegen. Aber man kann daran erkennen, dass eine Spracherkennung in diversen Bereichen einsetzbar ist.

Sehen Sie mögliche Hürden bezüglich gültiger Regularien, wenn es in Richtung Medizintechnik geht?

Wetzel: Die Regulierung für den Krankenhausbereich könnte aufwendiger sein als für die industrielle Produktion – muss es im Einzelfall aber auch nicht, das hängt sicherlich von dem Anwendungsszenario ab. Zudem wäre zu klären, ob die Sprachsteuerung überhaupt schon als Medizinprodukt gilt. Vermutlich eher nicht. Dafür, und um die Use Cases noch klarer zu definieren, suchen wir aktuell den Dialog mit den Herstellern und den Endnutzern.