大家好,

我一直在 Unreal Engine 5 上做一个小型强化学习项目,灵感来自《Fast & Furious 5》中的金库追逐场面。我很乐意接受任何反馈。

**Setup**

- 两辆汽车在一个环形赛道上,有许多急弯,由 B 线(spline)定义
- 一辆警察车使用 PPO 训练在道路上巡逻(随后被冻结为固定对手)。它从未学会规避,所以直接撞向其路径上的任何东西
- 一辆赛车拖着一吨金库,使用 PPO 训练翻转警察车
- 两个代理共享相同的动作空间:油门、刹车、转向
- 训练:神经网络在 GPU 上,物理模拟在 CPU 上(CPU 是瓶颈)

**Reward function for the race car**

- 大奖励:翻转警察车,或将金库转向撞向它
- 小奖励:保持在道路上并朝正确方向行驶
- 小惩罚:被警察车撞击,或逆向行驶
- 大惩罚:离开赛道,或停留超过 3 秒

**What happened**

  1. **Bullied.** 早期,汽车只是静止不动并承受撞击。被撞很便宜,而移动金库通常会把车甩出赛道,代价高昂。这看起来像是一个典型的局部最优。

  2. **Trap.** 一段时间后,它开始把金库拖到警察巡逻路线上,停下,并在最后时刻偏离,使警察车撞向金库。技术上满足“金库撞击警察车”,因此是奖励劫持/规范游戏的一个很好例子。这不是我原本想要的。

  3. **Hero.** 我增加了对静止、慢速移动或停滞的惩罚(奖励塑造)。陷阱消失,汽车开始冲向警察车,控制速度和角度进行投掷,有时在最后时刻规避,使警察车撞向其后的金库。

我把这变成了一个视频,轻松地解释基础概念(观察/动作/奖励、PPO、局部最优、奖励劫持),主要面向刚接触强化学习的人:

https://youtu.be/UUoUOKSQ8FQ

我很想听听你的看法,尤其是:

  • 有没有比惩罚闲置时间更好的方法来劝阻“等待并陷阱”的策略?
  • 有没有让拖曳物体训练更稳定的建议?

感谢阅读,我也很乐意回答关于设置的问题。