Multimodale Interaktion

Die multimodale Interaktion ist ein wesentlicher Faktor für die Akzeptanz des Assistenzsystems durch die Labormitarbeiter und die Alltagstauglichkeit. Das Assistenzsystem soll auf Anforderung die Laborabläufe autonom durchführen bzw. mit den Labormitarbeitern koordinieren. Hierzu ist eine interaktive Handlungsplanung und -durchführung zwischen den im Labor arbeitenden Personen und dem Assistenzsystem erforderlich. Handlungsabläufe wie Fahr-Aktionen, Greif-Aktionen, Ablage-Aktionen und Kommunikations-Aktionen, die die Zusammenarbeit von Mensch und Roboter umfassen, werden spezifiziert und dienen unter anderem dazu, den Ablauf und den Status der Bearbeitung jederzeit transparent zu machen, die nächsten Schritte anzuzeigen etc. Ein Automatisches Planen und Scheduling nach Vorgaben der Planziele, Ressourcen, Zeiten und Termine ist nicht Inhalt des Projektes.

Zentrale Ein- und Ausgabemodalitäten sind die Sprachein- und -ausgabe sowie ein Display, das sich stationär beim Labormitarbeiter befinden kann. Die Sprachsteuerung erfolgt über ein schnurloses Mikrofon und Lautsprecher oder monaurales Headset, das von den Labormitarbeitern getragen wird (dadurch sind auch Einsatzszenarien der Sprachsteuerung möglich, bei der sich der Assistenzroboter nicht in unmittelbarer Nähe des Labormitarbeiters befindet).

Die so erzielbare Genauigkeit der Spracherkennung gegenüber einem am Assistenzsystem angebrachten Mikrophon oder Mikrophonarray ist so weitaus höher. Bei der Realisierung der Sprachschnittstelle stehen die gute Bedienbarkeit und eine effiziente Interaktion im Vordergrund. Die Bedienung erfolgt sprecherunabhängig, flexibel und in ganzen Sätzen. Fehlende Information wird ggf. durch das Assistenzsystem nachgefragt (Mixed-Initiative-Dialogsteuerung).

Auf Grund der möglichen (und gewünschten) Veränderung der Laborumgebung und der Arbeitsaufgaben und -abläufe ist eine klassische menübasierte Interaktion zwingend mit einer Visualisierung zu ergänzen. Bei der Lösung dieser Aufgabenstellung bietet sich der Einsatz einer VR-Darstellung auf einem berührungssensitiven Display an. In Verbindung mit diesen Visualisierungen ist eine kontextsensitive Menüführung zu entwickeln. Dabei ist zu beachten, dass es sich um ein One-Touch/One-Click Interface handeln muss.

Bei der Bedienung sind zwei grundsätzliche Arten zu unterscheiden, die unterschiedliche Anforderungen haben – die far-field und die near-field Bedienung. Erstere unterstützt die Planung der Abläufe zwischen unterschiedlichen Geräten und Modulen im Labor (Verfahren des Assistenten), letztere die Bedienung an einer konkreten Station (Manipulatoraktion des Assistenten). Weiterhin müssen die Aspekte „direct control“ (Bediener steht am Assistenten) und „remote control“ (Assistent befindet sich z.B. im Sicherheitsbereich) berücksichtigt werden.
In diesem Zusammenhang ist auch eine mixed-reality-Darstellung möglich, falls sich dies als hilfreich erweisen sollte. In diesem Fall zeigt das Display ein augmentiertes Realbild von der Umgebung des Assistenten. Die Darstellung verwendet Kameraorientierung, Position des Assistenten, die zur Verfügung stehenden 3D Daten des Raumes sowie die Positionsdaten der Objekte im Manipulatorbereich. Somit können Objekte und Positionen per Touch im Videobild vom Bediener angewählt oder vom System markiert werden, Ablaufplanungen können visualisiert werden etc.