Textination Newsline

Der anpassungsfähige intelligente Handschuh der Forscher am MIT CSAIL (Computer Science and Artificial Intelligence Laboratory) kann dem Benutzer taktile Rückmeldungen geben, um ihm neue Techniken beizubringen, Roboter mit präziserer Handhabung zu steuern und Chirurgen und Piloten zu schulen.

Wahrscheinlich kennen Sie jemanden, der eher visuell oder auditiv lernt, andere nehmen Wissen über eine andere Art und Weise auf: durch Berührung. Die Fähigkeit, taktile Interaktionen zu verstehen, ist besonders wichtig für Aufgaben wie das Erlernen filigraner Operationen und das Spielen von Musikinstrumenten, aber im Gegensatz zu Video und Audio ist es schwierig, Berührungen aufzuzeichnen und zu übertragen.

Um diese Herausforderung zu meistern, haben Forscher des Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT und anderer Institute einen bestickten intelligenten Handschuh entwickelt, der berührungsbasierte Anweisungen erfassen, reproduzieren und weitergeben kann. Ergänzend entwickelte das Team einen einfachen maschinellen Lernassistenten, der sich daran anpasst, wie verschiedene Benutzer auf taktile Rückmeldungen reagieren, und so ihre Erfahrungen optimiert. Das neue System könnte möglicherweise dazu beitragen, Menschen körperliche Fähigkeiten beizubringen, die Teleoperation von Robotern zu verbessern und das Training in der virtuellen Realität zu unterstützen.

Werde ich Klavier spielen können?
Zur Herstellung ihres intelligenten Handschuhs verwendeten die Forscher eine digitale Stickmaschine, um taktile Sensoren und haptische Aktoren (ein Gerät, das berührungsbasiertes Feedback liefert) nahtlos in Textilien einzubetten. Diese Technologie ist bereits in Smartphones vorhanden, wo haptische Reaktionen durch Antippen des Touchscreens ausgelöst werden. Wenn Sie beispielsweise auf eine iPhone-App tippen, spüren Sie eine leichte Vibration, die von diesem bestimmten Teil des Bildschirms ausgeht. Auf die gleiche Weise sendet das neue adaptive Wearable Feedback an verschiedene Teile Ihrer Hand, um die optimalen Bewegungen für die Ausführung verschiedener Fähigkeiten anzuzeigen.

Mit dem intelligenten Handschuh könnten Nutzer beispielsweise das Klavierspielen erlernen. In einer Demonstration wurde ein Experte damit beauftragt, eine einfache Melodie über eine Reihe von Tasten aufzunehmen und dabei den intelligenten Handschuh zu verwenden, um die Sequenz zu erfassen, mit der er seine Finger auf die Tastatur drückt. Anschließend wandelte ein maschinell lernender Mechanismus diese Sequenz in ein haptisches Feedback um, das dann in die Handschuhe der Studenten eingespeist wurde, damit diese den Anweisungen folgen konnten. Wenn die Hände über demselben Abschnitt schwebten, vibrierten die Aktuatoren an den Fingern entsprechend den darunter liegenden Tasten. Die Software optimiert diese Anweisungen für jeden Benutzer und berücksichtigt dabei die subjektive Ausprägung von Berührungsinteraktionen.

"Menschen führen eine Vielzahl von Aufgaben aus, indem sie ständig mit der Welt um sie herum interagieren", sagt Yiyue Luo MS '20, Hauptautorin der Studie, Doktorandin am MIT Department of Electrical Engineering and Computer Science (EECS) und CSAIL-Mitglied. "Normalerweise teilen wir diese physischen Interaktionen nicht mit anderen. Stattdessen lernen wir oft, indem wir ihre Bewegungen beobachten, wie beim Klavierspielen oder Tanzen.

"Menschen führen eine Vielzahl von Aufgaben aus, indem sie ständig mit der Welt um sie herum interagieren", sagt Yiyue Luo MS '20, Hauptautorin der Studie, Doktorandin am MIT Department of Electrical Engineering and Computer Science (EECS) und CSAIL-Mitglied. "Normalerweise teilen wir diese physischen Interaktionen nicht mit anderen. Stattdessen lernen wir oft, indem wir ihre Bewegungen beobachten, wie beim Klavierspielen oder Tanzen.

"Die größte Herausforderung bei der Vermittlung von taktilen Interaktionen besteht darin, dass jeder Mensch haptisches Feedback anders wahrnimmt", fügt Luo hinzu. "Dieses Hindernis hat uns dazu inspiriert, einen intelligenten Agenten zu entwickeln, der lernt, eine adaptive Haptik für die Handschuhe des Einzelnen zu erzeugen, und ihnen so einen praxisnahen Ansatz zum Erlernen der optimalen Bewegung vermittelt."^

Das tragbare System wird mit Hilfe eines digitalen Herstellungsverfahrens an die Spezifikationen der Hand des Benutzers angepasst. Ein Computer erstellt einen Ausschnitt auf der Grundlage der individuellen Handmaße, dann näht eine Stickmaschine die Sensoren und Haptik ein. Innerhalb von 10 Minuten ist das weiche, stoffbasierte Wearable fertig zum Tragen. Das adaptive maschinelle Lernmodell, das zunächst anhand der haptischen Reaktionen von 12 Benutzern trainiert wurde, benötigt nur 15 Sekunden an neuen Benutzerdaten, um das Feedback zu personalisieren.

In zwei weiteren Experimenten wurden Nutzern, die die Handschuhe trugen, beim Spielen von Laptop-Spielen taktile Anweisungen mit zeitabhängigem Feedback gegeben. In einem Rhythmusspiel mussten die Spieler lernen, einem schmalen, gewundenen Pfad zu folgen, um in einen Zielbereich zu gelangen, und in einem Rennspiel mussten die Fahrer Münzen sammeln und das Gleichgewicht ihres Fahrzeugs auf dem Weg zur Ziellinie halten. Das Team von Luo fand heraus, dass die Teilnehmer mit optimierter Haptik die höchste Punktzahl erreichten, im Gegensatz zu Spielern ohne und mit nicht optimierter Haptik.

"Diese Arbeit ist der erste Schritt zum Aufbau personalisierter KI-Assistenten, die kontinuierlich Daten über den Benutzer und die Umgebung erfassen", sagt der Hauptautor Wojciech Matusik, MIT-Professor für Elektrotechnik und Informatik sowie Leiter der Computational Design and Fabrication Group im CSAIL. "Diese Assistenten unterstützen sie dann bei der Ausführung komplexer Aufgaben, beim Erlernen neuer Fähigkeiten und bei der Förderung verbesserten Nutzerverhaltens."

Lebensechte Erfahrung in elektronischen Umgebungen
Bei der Fernsteuerung von Robotern fanden die Forscher heraus, dass ihre Handschuhe Kraftempfindungen auf Roboterarme übertragen können, was ihnen hilft, feinere Greifaufgaben zu erledigen. "Es ist so, als würde man versuchen, einem Roboter beizubringen, sich wie ein Mensch zu verhalten", sagt Luo. In einem Fall setzte das MIT-Team menschliche Teleoperatoren ein, um einem Roboter beizubringen, wie er verschiedene Brotsorten festhalten kann, ohne sie zu deformieren. Indem sie dem Menschen optimales Greifen beibringen, kann er die Robotersysteme in Umgebungen wie der Fertigung präzise steuern, wo diese Maschinen sicherer und effektiver mit ihren Bedienern zusammenarbeiten können."

"Die Technologie des bestickten intelligenten Handschuhs ist eine wichtige Innovation für Roboter", so Daniela Rus, Andrew (1956) und Erna Viterbi Professor für Elektrotechnik und Informatik am MIT, Direktorin des CSAIL und Autorin der Studie. "Mit seiner Fähigkeit, taktile Interaktionen mit hoher Auflösung zu erfassen, ähnlich wie die menschliche Haut, ermöglicht dieser Sensor Robotern, die Welt durch Berührung wahrzunehmen. Die nahtlose Integration von taktilen Sensoren in Textilien überbrückt die Kluft zwischen physischen Handlungen und digitalem Feedback und bietet ein enormes Potenzial für die reaktionsschnelle Steuerung von Robotern und immersives Virtual-Reality-Training."

Auch in der virtuellen Realität könnte die Schnittstelle für ein intensiveres Erlebnis sorgen. Das Tragen von intelligenten Handschuhen würde digitale Umgebungen in Videospielen mit taktilen Eindrücken versehen, so dass die Spieler ihre Umgebung ertasten könnten, um Hindernissen auszuweichen. Darüber hinaus würde die Schnittstelle in virtuellen Trainingskursen für Chirurgen, Feuerwehrleute und Piloten, bei denen es auf Präzision ankommt, eine persönlichere und berührungsbasierte Erfahrung ermöglichen.

Während diese Wearables den Nutzern eine praktischere Erfahrung bieten könnten, glauben Luo und ihre Gruppe, dass sie ihre Wearable-Technologie über die Finger hinaus erweitern könnten. Mit einer stärkeren haptischen Rückmeldung könnten die Schnittstellen Füße, Hüften und andere Körperteile führen, die weniger empfindlich sind als Hände.

Luo betonte auch, dass die Technologie ihres Teams mit einem komplexeren Agenten mit künstlicher Intelligenz auch bei komplexeren Aufgaben wie der Verarbeitung von Ton oder dem Steuern eines Flugzeugs helfen könnte. Derzeit kann die Schnittstelle nur bei einfachen Bewegungen wie dem Drücken einer Taste oder dem Ergreifen eines Objekts helfen. In Zukunft könnte das MIT-System mehr Nutzerdaten einbeziehen und besser angepasste und eng anliegende Wearables herstellen, um die Auswirkungen der Handbewegungen auf die haptischen Wahrnehmungen noch besser zu berücksichtigen.

Luo, Matusik und Rus erstellten die Studie zusammen mit dem Direktor der EECS Microsystems Technology Laboratories und Professor Tomás Palacios, den CSAIL-Mitgliedern Chao Liu, Young Joong Lee, Joseph DelPreto, Michael Foshey und Professor und Studienleiter Antonio Torralba, Kiu Wu von LightSpeed Studios und Yunzhu Li von der University of Illinois in Urbana-Champaign.

Die Arbeit wurde teilweise durch ein MIT Schwarzman College of Computing Fellowship über Google und ein GIST-MIT Research Collaboration Grant unterstützt, mit zusätzlicher Hilfe von Wistron, Toyota Research Institute und Ericsson.

Vor der gewaltigen und surrealen Kulisse der Black Rock Desert in Nevada findet alljährlich der Burning Man statt, der die flache, karge Wüste in einen riesigen Spielplatz für künstlerischen und kreativen Ausdruck verwandelt. Die "Burners" kommen hierher, um die flüchtige Black Rock City, die die Teilnehmer jedes Jahr aufs Neue errichten, zu erleben und mitzugestalten. Mit ihren zahllosen Kunstinstallationen und Performances ist die Black Rock City ein temporäres Zuhause für kreative Köpfe aus der ganzen Welt.

Unter den großformatigen Kunstwerken befand sich in diesem Jahr der Living Knitwork Pavilion, ein ungewöhnliches architektonisches Werk, das aus gestrickten Textilien und einem Holzgitter gefertigt wurde. Die Installation wurde von einem Forscherteam des MIT Media Lab und der MIT School of Architecture and Planning unter der Leitung der Doktorandin Irmandy Wicaksono entwickelt und gebaut und mit dem Black Rock City Honorarium 2023 ausgezeichnet. Für das Team war es ein äußerst anspruchsvolles und erfüllendes Projekt, das viele neue Erkenntnisse und Überraschungen bot. Zu erleben, wie die Installation mitten in der Wüste entstanden ist und erstrahlt, war wirklich magisch.

Im Living Knitwork Pavilion sind 12 modulare Stoffbahnen, die so genannten Knitwork Petals (gestrickte Blütenblätter), durch einen zentralen Turm miteinander verbunden. Die gesamte Installation bildet eine zwölfeckige pyramidenförmige Schattenstruktur, die 18 Fuß hoch und 26 Fuß breit ist und an ein Tipi erinnert. Die Stoffe wurden mit Hilfe von digitalem Strickmaschinen und einer Sammlung von funktionellen und herkömmlichen Garnen, einschließlich photochromer, leuchtender und leitfähiger Garne, entwickelt. Wicaksono ließ sich von den komplizierten Textilmustern und Tempelschnitzereien in Indonesien inspirieren und nutzte die Spannung zwischen gestrickten Polyester- und Spandexgarnen, um textile Texturmuster oder Reliefs zu schaffen. Die Verschmelzung von parametrischen und handgefertigten Motiven verwandelt das "Living Knitwork" in ein erzählerisches Kunstwerk, das sowohl die Ehrfurcht vor der alten Kunst als auch eine Vision für die Zukunft widerspiegelt. Diese Reliefs voller Symbole und Illustrationen stellen 12 Geschichten der Zukunft dar - von Solarpunk-Städten und Bio-Maschinen-Schnittstellen bis hin zur Tiefsee und Weltraumforschung.

Burning Man und die Black Rock Wüste sind für ihre Kletteren-thusiasten und starken Winde bekannt. Da solche Windböen dazu führen können, dass sich Stoffe wie Segel verhalten und eine erhebliche Kraft ausüben, entwarf das Team eine Struktur, die das Körpergewicht vieler Kletterer tragen und Windgeschwindigkeiten von bis zu 70 mph standhalten kann.

Die fertige Mittelstruktur des Pavillons besteht aus einem asymptotischen Gittergeflecht aus Holz- und Verbindungselementen, das für die statische Festigkeit optimiert ist und gleichzeitig den Materialverbrauch minimiert. Die gestrickten Blütenblätter, die mit einer doppelt gestrickten Struktur und Netzöffnungen integriert und durch das Schmelzen von Garnen thermogeformt wurden, sorgen für strukturelle Stabilität. Maßgeschneiderte Kanäle für Seile und Kabel wurden ebenfalls in das Strickdesign integriert, um sicherzustellen, dass jedes Gewebe und jede elektrische Komponente sicher verankert und geschützt ist, ohne die ästhetische Gestaltung zu beeinträchtigen. Der Living Knitwork Pavillon, der dieses Jahr Windstärken von bis zu 36 mph ausgesetzt war, blieb während der gesamten Burning Man-Veranstaltung standhaft und bewies damit seine Widerstandsfähigkeit unter extremen Wüstenbedingungen.

Zur Unterstützung von Burning Man's Anliegen einer nachhaltigeren Kunst, nutzte der Living Knitwork Pavillon die additive Fertigung von digitalem Stricken. Diese Methode ermöglichte die Herstellung individueller, mehrschichtiger Textilien, die sowohl ästhetisch als auch funktional sind, während gleichzeitig der Verbrauch von Rohstoffen und Abfall minimiert wurde. Das Team verwendete für seine Stoffe recycelte Materialien, wobei 60 Prozent der Garne aus recycelten Plastikflaschen stammen. Der Pavillon wird außerdem vollständig mit Batterieenergie und Solarzellen betrieben. Das Team arbeitete mit der Solar Library zusammen, einem skulpturalen Solarpanel, das Energie an andere Kunstwerke auf der Playa verteilt, um Generatoren und Lärm zu vermeiden und gleichzeitig die Nutzung erneuerbarer Energiequellen zu fördern.

Tagsüber dient der Living Knitwork Pavilion als Schattenspender und gemeinschaftlichee Raum für Meditati-on und Entdeckungen. Wenn sich die Sonne im Laufe des Tages weiterbewegt, werden verborgene, verschlüsselte Textilmuster und visuelle Erfahrungen durch Photochromie und leuchtendes Glühen enthüllt. Wenn die Dämmerung über der Wüste hereinbricht, vollzieht der Pavillon eine Metamorphose und beleuchtet seine Umgebung durch ein beeindruckendes Licht- und Audiosystem. Durch ein verteiltes Netzwerk von Antennen, die in die zentrale Struktur und in jedes gestrickte Blütenblatt eingebettet sind, wollte das Team letztlich eine persönliche Erfahrung schaffen, die es individuellen und kollektiven Bewegungen und Aktivitäten ermöglicht, das Gesamtambiente des Raums zu beeinflussen, einschließlich Klang und Beleuchtung

Während des gesamten Burning Man fanden im Pavillon auch Pop-up-Events statt, von Yoga-Sitzungen über Tanzvorführungen und Live-Musik bis hin zu einer Hochzeitszeremonie. Leider wurde die Black Rock Desert in den letzten beiden Tagen der Veranstaltung von einem heftigen Regenschauer heimgesucht - eine Seltenheit für diese Veranstaltung. Diese klimatische Wendung wirkte sich jedoch positiv auf den Pavillon aus, da die Textiloberfläche von dem angesammelten Staub befreit wurde und ihre leuchtend blaue Farbe wieder auflebte.

Das Ergebnis dieses umfassenden Projekts ist eine Zusammenarbeit, die Grenzen zwischen den Disziplinen überschreitet. Das Forschungsteam möchte Communities zusammenbringen und die bemerkenswerten Möglichkeiten aufzeigen, die sich ergeben, wenn Architektur, Technologie und Textilkunst zusammenkommen.

The interdisciplinary group behind the Living Knitwork Pavilion includes researchers from across the Media Lab, the MIT Center for Bits and Atoms, and the Department of Architecture: Irmandy Wicaksono, Sam Chin, Alfonso Parra Rubio, Nicole Bakker, Erik Strand, Gabriela Advincula, Manaswi Mishra, Age van der Mei, Judyta Cichoka, Tongge Yu, and Angelica Zhang.