arXiv cs.RO· Julia Barth, Armin Sommer, Kunvar Thaman, Jannik Schilling·· 3 小时前
目标去哪了？目标泛化失败中策略对齐的三种不同失效形式
What Happens to the Goal? Distinct Failures of Policy Alignment in Goal Misgeneralization
AI 导读
研究在三个 Procgen 环境和五项机器人任务中发现，目标泛化失败存在三种不同的策略-目标错位形式：功能性目标替换、策略捷径和线索竞争，目标信息在不同深度上丢失。当目标能到达决策层时，引导可将目标达成率从 16.0% 提升至 95.3%；当目标仅到达策略层而未达决策层时，只有新的下游连接才能将目标达成率从 31.6% 恢复至 84.3%；当目标完全惰性时，两种方法均无效。
来源：arXiv cs.RO · arxiv.org