arXiv cs.RO· Seungjun Moon, Subin Jeon, Sangwoo Kim, Hanbyul Joo, Jinwoo Shin·· 10 天前
RLHND：以视频基础模型作为物理 grounded 手部追踪器，服务机器人学习
RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning
AI 导读
RLHND 将预训练的 Cosmos 3 视频扩散骨干通过干净潜变量条件化改造为确定性片段级特征提取器，从单目第一视角视频中联合估计手部姿态与触觉信息。其姿态流可输出解剖学合理的关节角度并支持形状参数条件化，独立触觉专家流在姿态流冻结下预测手表面密集接触与力，并采用基于 LBS 的特征扩散实现逐顶点特征提取。
来源：arXiv cs.RO · arxiv.org