arXiv cs.RO· Ruoxuan Feng, Yutong Chen, Ruihua Song, Huan Yang, Zhongyuan Wang, Guocai Yao, Di Hu·· 4 小时前
ROMA：面向真实世界物体中心多感官主动感知的 LLM 系统
ROMA: LLM System for Real-World Object-Centric Multi-Sensory Active Perception
AI 导读
基于 LLM 的 ROMA 系统将视觉、音频、触觉与力觉整合进"推理—交互—反馈"闭环，可自主识别缺失证据并决定目标物体、交互方式与感知模态。研究团队构建了覆盖近 2000 个物体、6 种原子交互的 ROMI-2K 真实多感官交互数据集，并采用两阶段训练对齐各模态。实验显示 ROMA 能完成现有方法难以处理的长链多感官感知任务，并建立了 ROMA Bench 评测基准。
来源：arXiv cs.RO · arxiv.org