arXiv cs.RO· Xurui Song, Shuo Huai, JingJing Jiang, Jiayi Kong, Jun Luo·· 4 小时前
DriveMind 数据集揭示 VLM 驾驶模型推理-规划脱节
More Than Meets the Eye? Uncovering the Reasoning-Planning Disconnect in Training Vision-Language Driving Models
AI 导读
研究者构建了基于 nuPlan 的大规模驾驶 VQA 数据集 DriveMind，用于检验 VLM 驾驶智能体的规划是否真正由自然语言推理驱动。实验发现，移除自车/导航先验会导致规划分数大幅下降，而移除 CoT 仅带来微小变化，注意力分析也显示规划主要关注先验而非 CoT。团队据此提出推理-规划解耦假说，并推出一款无需训练的探针，通过输入扰动下的规划鲁棒性衡量智能体对先验的依赖。
来源：arXiv cs.RO · arxiv.org