Forscher von Panasonic, UC Berkeley, Nvidia und Stanford stellen T-Rex vor, ein Robotermodell, das auf Fingerspitzen-Tastsinn reagiert
Das Vision-Language-Action-Modell plant mit etwa 5 Hz und korrigiert per Tastsinn mit etwa 20 Hz; laut eigener Auswertung schlug es andere Methoden bei 12 realen Kontaktaufgaben.
Warum es wichtig ist
Die meisten Vision-Language-Action-Modelle steuern Roboter vor allem über Kamerabilder und behandeln Tastsinn als statische Information, was feine Kraftkontrolle erschwert. T-Rex teilt die Arbeit: Ein langsameres Modul plant aus Bild und Sprache, ein schnelleres liest Fingerspitzensensoren und passt den Griff in Echtzeit an, sodass Rutschen oder zu starkes Drücken ohne erneute Bilderkennung erkannt wird. Zu den Aufgaben gehörten Seitenumblättern, Eier umsetzen, Schlüssel drehen und Glühbirnen eindrehen. Panasonic zielt auf Fabrik und Logistik; abzuwarten ist, ob andere die arXiv-Ergebnisse reproduzieren.
Die wichtigsten Fakten
- Planung aus Bild und Sprache mit etwa 5 Hz
- Taktile Korrektur mit etwa 20 Hz
- Trainingsdaten zu über 200 Alltagsgegenständen
- Getestet an 12 realen Kontaktaufgaben
- Partner: UC Berkeley, Nvidia, Stanford, Universität Sapienza Rom, ItalAI