Textination Newsline

Der anpassungsfähige intelligente Handschuh der Forscher am MIT CSAIL (Computer Science and Artificial Intelligence Laboratory) kann dem Benutzer taktile Rückmeldungen geben, um ihm neue Techniken beizubringen, Roboter mit präziserer Handhabung zu steuern und Chirurgen und Piloten zu schulen.

Wahrscheinlich kennen Sie jemanden, der eher visuell oder auditiv lernt, andere nehmen Wissen über eine andere Art und Weise auf: durch Berührung. Die Fähigkeit, taktile Interaktionen zu verstehen, ist besonders wichtig für Aufgaben wie das Erlernen filigraner Operationen und das Spielen von Musikinstrumenten, aber im Gegensatz zu Video und Audio ist es schwierig, Berührungen aufzuzeichnen und zu übertragen.

Um diese Herausforderung zu meistern, haben Forscher des Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT und anderer Institute einen bestickten intelligenten Handschuh entwickelt, der berührungsbasierte Anweisungen erfassen, reproduzieren und weitergeben kann. Ergänzend entwickelte das Team einen einfachen maschinellen Lernassistenten, der sich daran anpasst, wie verschiedene Benutzer auf taktile Rückmeldungen reagieren, und so ihre Erfahrungen optimiert. Das neue System könnte möglicherweise dazu beitragen, Menschen körperliche Fähigkeiten beizubringen, die Teleoperation von Robotern zu verbessern und das Training in der virtuellen Realität zu unterstützen.

Werde ich Klavier spielen können?
Zur Herstellung ihres intelligenten Handschuhs verwendeten die Forscher eine digitale Stickmaschine, um taktile Sensoren und haptische Aktoren (ein Gerät, das berührungsbasiertes Feedback liefert) nahtlos in Textilien einzubetten. Diese Technologie ist bereits in Smartphones vorhanden, wo haptische Reaktionen durch Antippen des Touchscreens ausgelöst werden. Wenn Sie beispielsweise auf eine iPhone-App tippen, spüren Sie eine leichte Vibration, die von diesem bestimmten Teil des Bildschirms ausgeht. Auf die gleiche Weise sendet das neue adaptive Wearable Feedback an verschiedene Teile Ihrer Hand, um die optimalen Bewegungen für die Ausführung verschiedener Fähigkeiten anzuzeigen.

Mit dem intelligenten Handschuh könnten Nutzer beispielsweise das Klavierspielen erlernen. In einer Demonstration wurde ein Experte damit beauftragt, eine einfache Melodie über eine Reihe von Tasten aufzunehmen und dabei den intelligenten Handschuh zu verwenden, um die Sequenz zu erfassen, mit der er seine Finger auf die Tastatur drückt. Anschließend wandelte ein maschinell lernender Mechanismus diese Sequenz in ein haptisches Feedback um, das dann in die Handschuhe der Studenten eingespeist wurde, damit diese den Anweisungen folgen konnten. Wenn die Hände über demselben Abschnitt schwebten, vibrierten die Aktuatoren an den Fingern entsprechend den darunter liegenden Tasten. Die Software optimiert diese Anweisungen für jeden Benutzer und berücksichtigt dabei die subjektive Ausprägung von Berührungsinteraktionen.

"Menschen führen eine Vielzahl von Aufgaben aus, indem sie ständig mit der Welt um sie herum interagieren", sagt Yiyue Luo MS '20, Hauptautorin der Studie, Doktorandin am MIT Department of Electrical Engineering and Computer Science (EECS) und CSAIL-Mitglied. "Normalerweise teilen wir diese physischen Interaktionen nicht mit anderen. Stattdessen lernen wir oft, indem wir ihre Bewegungen beobachten, wie beim Klavierspielen oder Tanzen.

"Menschen führen eine Vielzahl von Aufgaben aus, indem sie ständig mit der Welt um sie herum interagieren", sagt Yiyue Luo MS '20, Hauptautorin der Studie, Doktorandin am MIT Department of Electrical Engineering and Computer Science (EECS) und CSAIL-Mitglied. "Normalerweise teilen wir diese physischen Interaktionen nicht mit anderen. Stattdessen lernen wir oft, indem wir ihre Bewegungen beobachten, wie beim Klavierspielen oder Tanzen.

"Die größte Herausforderung bei der Vermittlung von taktilen Interaktionen besteht darin, dass jeder Mensch haptisches Feedback anders wahrnimmt", fügt Luo hinzu. "Dieses Hindernis hat uns dazu inspiriert, einen intelligenten Agenten zu entwickeln, der lernt, eine adaptive Haptik für die Handschuhe des Einzelnen zu erzeugen, und ihnen so einen praxisnahen Ansatz zum Erlernen der optimalen Bewegung vermittelt."^

Das tragbare System wird mit Hilfe eines digitalen Herstellungsverfahrens an die Spezifikationen der Hand des Benutzers angepasst. Ein Computer erstellt einen Ausschnitt auf der Grundlage der individuellen Handmaße, dann näht eine Stickmaschine die Sensoren und Haptik ein. Innerhalb von 10 Minuten ist das weiche, stoffbasierte Wearable fertig zum Tragen. Das adaptive maschinelle Lernmodell, das zunächst anhand der haptischen Reaktionen von 12 Benutzern trainiert wurde, benötigt nur 15 Sekunden an neuen Benutzerdaten, um das Feedback zu personalisieren.

In zwei weiteren Experimenten wurden Nutzern, die die Handschuhe trugen, beim Spielen von Laptop-Spielen taktile Anweisungen mit zeitabhängigem Feedback gegeben. In einem Rhythmusspiel mussten die Spieler lernen, einem schmalen, gewundenen Pfad zu folgen, um in einen Zielbereich zu gelangen, und in einem Rennspiel mussten die Fahrer Münzen sammeln und das Gleichgewicht ihres Fahrzeugs auf dem Weg zur Ziellinie halten. Das Team von Luo fand heraus, dass die Teilnehmer mit optimierter Haptik die höchste Punktzahl erreichten, im Gegensatz zu Spielern ohne und mit nicht optimierter Haptik.

"Diese Arbeit ist der erste Schritt zum Aufbau personalisierter KI-Assistenten, die kontinuierlich Daten über den Benutzer und die Umgebung erfassen", sagt der Hauptautor Wojciech Matusik, MIT-Professor für Elektrotechnik und Informatik sowie Leiter der Computational Design and Fabrication Group im CSAIL. "Diese Assistenten unterstützen sie dann bei der Ausführung komplexer Aufgaben, beim Erlernen neuer Fähigkeiten und bei der Förderung verbesserten Nutzerverhaltens."

Lebensechte Erfahrung in elektronischen Umgebungen
Bei der Fernsteuerung von Robotern fanden die Forscher heraus, dass ihre Handschuhe Kraftempfindungen auf Roboterarme übertragen können, was ihnen hilft, feinere Greifaufgaben zu erledigen. "Es ist so, als würde man versuchen, einem Roboter beizubringen, sich wie ein Mensch zu verhalten", sagt Luo. In einem Fall setzte das MIT-Team menschliche Teleoperatoren ein, um einem Roboter beizubringen, wie er verschiedene Brotsorten festhalten kann, ohne sie zu deformieren. Indem sie dem Menschen optimales Greifen beibringen, kann er die Robotersysteme in Umgebungen wie der Fertigung präzise steuern, wo diese Maschinen sicherer und effektiver mit ihren Bedienern zusammenarbeiten können."

"Die Technologie des bestickten intelligenten Handschuhs ist eine wichtige Innovation für Roboter", so Daniela Rus, Andrew (1956) und Erna Viterbi Professor für Elektrotechnik und Informatik am MIT, Direktorin des CSAIL und Autorin der Studie. "Mit seiner Fähigkeit, taktile Interaktionen mit hoher Auflösung zu erfassen, ähnlich wie die menschliche Haut, ermöglicht dieser Sensor Robotern, die Welt durch Berührung wahrzunehmen. Die nahtlose Integration von taktilen Sensoren in Textilien überbrückt die Kluft zwischen physischen Handlungen und digitalem Feedback und bietet ein enormes Potenzial für die reaktionsschnelle Steuerung von Robotern und immersives Virtual-Reality-Training."

Auch in der virtuellen Realität könnte die Schnittstelle für ein intensiveres Erlebnis sorgen. Das Tragen von intelligenten Handschuhen würde digitale Umgebungen in Videospielen mit taktilen Eindrücken versehen, so dass die Spieler ihre Umgebung ertasten könnten, um Hindernissen auszuweichen. Darüber hinaus würde die Schnittstelle in virtuellen Trainingskursen für Chirurgen, Feuerwehrleute und Piloten, bei denen es auf Präzision ankommt, eine persönlichere und berührungsbasierte Erfahrung ermöglichen.

Während diese Wearables den Nutzern eine praktischere Erfahrung bieten könnten, glauben Luo und ihre Gruppe, dass sie ihre Wearable-Technologie über die Finger hinaus erweitern könnten. Mit einer stärkeren haptischen Rückmeldung könnten die Schnittstellen Füße, Hüften und andere Körperteile führen, die weniger empfindlich sind als Hände.

Luo betonte auch, dass die Technologie ihres Teams mit einem komplexeren Agenten mit künstlicher Intelligenz auch bei komplexeren Aufgaben wie der Verarbeitung von Ton oder dem Steuern eines Flugzeugs helfen könnte. Derzeit kann die Schnittstelle nur bei einfachen Bewegungen wie dem Drücken einer Taste oder dem Ergreifen eines Objekts helfen. In Zukunft könnte das MIT-System mehr Nutzerdaten einbeziehen und besser angepasste und eng anliegende Wearables herstellen, um die Auswirkungen der Handbewegungen auf die haptischen Wahrnehmungen noch besser zu berücksichtigen.

Luo, Matusik und Rus erstellten die Studie zusammen mit dem Direktor der EECS Microsystems Technology Laboratories und Professor Tomás Palacios, den CSAIL-Mitgliedern Chao Liu, Young Joong Lee, Joseph DelPreto, Michael Foshey und Professor und Studienleiter Antonio Torralba, Kiu Wu von LightSpeed Studios und Yunzhu Li von der University of Illinois in Urbana-Champaign.

Die Arbeit wurde teilweise durch ein MIT Schwarzman College of Computing Fellowship über Google und ein GIST-MIT Research Collaboration Grant unterstützt, mit zusätzlicher Hilfe von Wistron, Toyota Research Institute und Ericsson.