跳到正文
热点事件历史事件

RLHND:基于视频基础模型的手部追踪与触觉估计

1 篇报道1 个报道来源10 天前更新

先了解这件事

报道摘要

RLHND 将预训练的 Cosmos 3 视频扩散骨干通过干净潜变量条件化改造为确定性片段级特征提取器,从单目第一视角视频中联合估计手部姿态与触觉信息。其姿态流可输出解剖学合理的关节角度并支持形状参数条件化,独立触觉专家流在姿态流冻结下预测手表面密集接触与力,并采用基于 LBS 的特征扩散实现逐顶点特征提取。

摘自 arXiv cs.RO

报道时间线

沿着报道,了解事件的不同侧面。

10月8日
  1. arXiv cs.RO
    RLHND:以视频基础模型作为物理 grounded 手部追踪器,服务机器人学习

    RLHND 将预训练的 Cosmos 3 视频扩散骨干通过干净潜变量条件化改造为确定性片段级特征提取器,从单目第一视角视频中联合估计手部姿态与触觉信息。其姿态流可输出解剖学合理的关节角度并支持形状参数条件化,独立触觉专家流在姿态流冻结下预测手表面密集接触与力,并采用基于 LBS 的特征扩散实现逐顶点特征提取。