大家好,
我一直在 Unreal Engine 5 上做一个小型强化学习项目,灵感来自《Fast & Furious 5》中的金库追逐场面。我很乐意接受任何反馈。
**Setup**
- 两辆汽车在一个环形赛道上,有许多急弯,由 B 线(spline)定义
- 一辆警察车使用 PPO 训练在道路上巡逻(随后被冻结为固定对手)。它从未学会规避,所以直接撞向其路径上的任何东西
- 一辆赛车拖着一吨金库,使用 PPO 训练翻转警察车
- 两个代理共享相同的动作空间:油门、刹车、转向
- 训练:神经网络在 GPU 上,物理模拟在 CPU 上(CPU 是瓶颈)
**Reward function for the race car**
- 大奖励:翻转警察车,或将金库转向撞向它
- 小奖励:保持在道路上并朝正确方向行驶
- 小惩罚:被警察车撞击,或逆向行驶
- 大惩罚:离开赛道,或停留超过 3 秒
**What happened**
-
**Bullied.** 早期,汽车只是静止不动并承受撞击。被撞很便宜,而移动金库通常会把车甩出赛道,代价高昂。这看起来像是一个典型的局部最优。
-
**Trap.** 一段时间后,它开始把金库拖到警察巡逻路线上,停下,并在最后时刻偏离,使警察车撞向金库。技术上满足“金库撞击警察车”,因此是奖励劫持/规范游戏的一个很好例子。这不是我原本想要的。
-
**Hero.** 我增加了对静止、慢速移动或停滞的惩罚(奖励塑造)。陷阱消失,汽车开始冲向警察车,控制速度和角度进行投掷,有时在最后时刻规避,使警察车撞向其后的金库。
我把这变成了一个视频,轻松地解释基础概念(观察/动作/奖励、PPO、局部最优、奖励劫持),主要面向刚接触强化学习的人:
我很想听听你的看法,尤其是:
- 有没有比惩罚闲置时间更好的方法来劝阻“等待并陷阱”的策略?
- 有没有让拖曳物体训练更稳定的建议?
感谢阅读,我也很乐意回答关于设置的问题。
评论 (0)