arXiv cs.RO· Siwei Ju, Jan Peters, Oleg Arenz·· 2 天前
基于滚动时域安全评论家与可微动作护盾的安全强化学习
Safe Reinforcement Learning with Receding-Horizon Safety Critic and Differentiable Action Shields
AI 导读
研究提出一种滚动时域安全评论家，预测状态在未来时域内是否保持非终止，从而提前识别四足机器人运动控制中即将发生的失败。评论家由 rollout 生成时域标签训练，结合控制屏障函数启发的时序一致性与平滑正则，并用 CVaR 集成估计处理不确定性。基于该评论家推导出闭式可微 CBF 式安全滤波器，集成进 PPO 并加入预期损失，在仿真四足运动控制中降低动作噪声、外部扰动与地形变化下的灾难性失败。
来源：arXiv cs.RO · arxiv.org