一款场景探索者指南，解释如何将LLM视为游戏引擎组件，而不需要生成文本、艺术或其他任何东西。它仍然是有用的、有趣的，甚至有可能在游戏中玩耍。 "生成"是什么意思，可能存在争议，所以我不会说它什么也不生成。然而，它的意思与通常的含义不同，让我们说它吧。

这个想法非常简单，简单到我几个月前就可以建立版本（如下所列），当时AI已经可以帮助非专业人士，如我自己，快速构建可行的原型。

你输入一句话，游戏会快速扫描一个模型（GPT-2）的反应，实时寻找哪个神经元（3072个神经元中的一个）在第5层中对你的提示最敏感。这听起来很奇怪，但这是基本概念。

潜在的游戏在于游戏如何响应你的文字。你可以偶尔看到一个结构，找到更少见的系统。这些字符串就像魔法的小词语，能够解锁罕见的地点。然而，他们的行为很奇怪。例如，你可以看到下面这个例子，它是通过将《白鲸》分割成小块，输入模型，然后寻找鲸类（罕见的系统，也就是少数神经元在特定短语时发出的最强信号），发现的：

它很冷 -》38
它更冷 -》1888
它最冷 -》38

这些是字符串，我的游戏中它们映射到的位置。1888是主世界，你经常会在那里落地。38是罕见的地点。不知道为什么“更冷”与“最冷”会有所不同。可能有专家可以解释这个问题，因为我不是专家。但这确实是一个例子，展示了游戏中潜在的机制。在事实上，1888在你写任何东西时响应的规律性本身也是一个游戏机制和玩法（“逃离1888证明你是人类”或其他诅咒等）。

在这些模型中，可能存在各种游戏机制，我们甚至不需要使用logits（生成任何内容，例如艺术、文本等）来做一些有趣的事情。奇怪的事情。可能有用的东西。

以下字符串的一个有趣之处在于，如果你设置正确，你可以在自己身上运行这个“游戏”，得到相同的测量结果。这意味着无论我是谁，“游戏”都是一个字符串和神经元ID（locus）的属性。这很酷，因为这意味着“信任”在某种程度上是解决的，而且可以轻松地在本地验证公共日志。这个可能很有用。它也意味着我无法改变地图，即使我想改变它。地图是没有人故意设计的拓扑结构，它是由训练在reddit上被三名或以上用户投票过的文本中训练的GPT-2模型所构建的。因此，“设计者”包括像你这样阅读这篇文章的普通人。它不是完全可知的，因为GPT-2的词汇和1024大小的输入组合的组合会导致一个相当大的搜索空间。它有一种被诅咒的感觉，可能会让一些设计者不愿意签署，因为我完全理解你的顾虑。

从科学的角度来看，ping一个单个神经元？这听起来很无聊，而且使用神经元作为分析单位的方法并不被认为是有用的，相反，使用稀疏自编码器（SAE）来分析“特征”可能更有用。所有这些尝试将更多的东西联系起来，而这个小型模型/游戏所计算的东西只是一个小部分。

但它仍然很酷，而且越是深入地玩耍这个东西，我就越是意识到它可以被构建为一种共享拓扑，而不是共享资产（即元宇宙）。它是一种跨平台工具，就像Perlin噪声一样。它是一个数学对象，你可以将它翻译为任何东西，如云朵、木纹等。同样，在这里，什么保持固定和跟踪的是一个字符串和一个locus。如果你想象这些在足够多的游戏生态中，足够大的规模下积累，那么它们可能理论上可以贡献一些实际的知识。然而，这是很远的未来，目前我只知道一些事实和测量结果。

这个想法的结构性工作原理是开放和共享的，这对于我来说是一个很好的道德边界。所以我来Reddit想大声思考一下。

你可以在以下位置看到过去的项目和探索：

具体来说，我想知道这个是什么样的应用于其他游戏？你的游戏？