蚂蚁集团旗下 Robbyant 开源触觉基础模型 LingBot-Touch,面向机器人灵巧手
该模型基于 4983 小时的磁性、压阻和视触觉记录进行预训练,权重以 Apache-2.0 许可发布;在 26 项真实机器人任务上的提升为公司自测结果,尚未经独立复现。
为何重要
多数机器人基础模型从视觉和语言中学习,而触觉数据来自大量互不兼容的传感器。LingBot-Touch 通过各自的分词器把三类传感器信号接入同一个共享 Transformer,Robbyant 称其可迁移到预训练中从未见过的触觉硬件。公司报告称,在两款灵巧手上,所测试的四种动作策略在输入 LingBot-Touch 表征时表现最好,优于原始触觉信号或不使用触觉。接下来要看外部实验室能否复现这些提升,以及单独分发的推理代码是否公开。
要点
- 预训练数据:4983 小时、464,431 个交互片段、约 13.3 亿帧
- 传感器:磁性、压阻、视触觉
- 最小骨干网络:546 万参数(HaT-Tiny)
- 在 26 项真实灵巧操作任务上测试,每项 20 次
- 权重以 Apache-2.0 许可发布于 Hugging Face