想给大家稍作更新一下游戏的进展情况。我在游戏玩法上尝试了很多实验性的内容,包括飞行、通过拱门的全方位6D飞行、“弹奏”波纹条等,种类繁多。从中得到的结论是:1. 轨道是游戏身份的一部分。花费了很长时间让轨道/绸带看起来和手感好,并且生成效果好。不想把它搬到背景里,变成更像 Beat Saber 的克隆,而且操作很难。2. 自动驾驶可以在“击打音符”的机制足够满足的前提下工作。这其实会导致认知负荷,需要同时转向、控制飞船并准时击打正确的音符,而且键位设置混乱。这为在正确时机添加音符提供了大量空间。因此现在飞船会自动转向,你只需在音乐中飞行,但需要击打不同的音符。虽然仍在完善呈现效果,但基本的击打音符是通过脉冲触发的(默认空格键),“银行”音符则指示方向,按正确的方向键或 WASD 键在合适时间时移动轨道和飞船,以及按住/释放音符在节拍或合适时机完成。不想完全复制 DDR,只使用方向音符会让轨道变得杂乱。现在的问题是这些音符必须手感好、外观清晰、符合游戏风格,并且能在运行时、本地准确放置在歌曲的正确位置。我之前使用了一个很棒的方案,Opus 帮助我构建了一个动态贝叶斯网络,对 FFT 进行后处理,结合梅尔谱图(或者类似的,我不是很确定,这部分仍然超出我的理解,我在学习音频分析并尽力学习,需要时间)。这个方案在很多音乐类型上都表现很好,尤其是在节拍清晰的歌曲上,但当音乐稍微有点噪音时,置信度迅速下降,导致困难难度的歌曲几乎没有音符被放置。随后我找到了一篇 2014 年的论文,他们使用一个专门用于检测歌曲节拍和速度的 20M 参数模型:完美。整体是开源的,体积约 80MB,所以我引入了它,平均只会在分析上增加约 4.2 秒。因此 4 分钟歌曲的总分析时间始终在 10 秒以内,通常更接近 5 秒。它运行得非常棒,正如视频所示,涵盖多种音乐类型,音符准确放置在正确的拍子上。我仍然在模型无法放到 GPU 或置信度不足时使用旧方法进行分析,因此两者结合使用。我还进一步加入了自信的副歌/段落检测功能,使得音符段落和音符组合可以在歌曲的特定部分重现(加入细微差别以保持趣味),现在已经开始真正感觉到“在玩”这首歌。加入了教程以及其他需要做的小项(设置、键位等),让它看起来更像是一个成品了。仍有待修复的 bug 列表,可能再对音符本身、飞船和 UI 进行一次打磨,然后才会考虑玩家测试。我有一个运行正常的 mac 版本,需要弄清楚如何把该推理模型移植到 mac 上。yt-dlp 集成非常关键,输入歌名后几秒就能播放,这对 YouTube 丰富的音乐资源也是很合适的。这当然是实验性功能,而且我肯定不会把 yt-dlp 直接发布的 lol ;)
音频反应跑酷/节奏游戏更新
评论 (0)