我没有接受过正式的音乐训练。我想要一种生成游戏背景音乐后还能进行修改的方法。

我构建了一个原型,它使用Strudel将音乐表示为代码,并通过大语言模型(LLM)根据自然语言指令编辑这些代码。它并不要求模型直接生成完整的音频文件。

在简短演示中,我生成了一个编曲,要求将其改为摇滚版,然后在主旋律变得不太容易辨认时让LLM恢复它。

演示视频:
https://youtu.be/zt9uORZkmVY

源代码:
https://github.com/jo32/dsh-strudel-studio

使用文本和代码生成方式可以保持较低的API成本(具体取决于所用模型)。同时,这种方式还使得音符、段落和音轨保持可编辑状态。结构化的段落和音轨也可能有助于实现动态或自适应游戏音乐,不过这部分我尚未演示。

对于不作曲的开发者,你们目前如何处理背景音乐?

如果你使用类似这样的结构化工具,哪些功能是必要的:循环控制、分轨导出、音频导出、自适应切换,还是单独音轨编辑?缺少传统的数字音频工作站(DAW)界面是否会使其不实用?