AI时代再问意识：意识的生物学转向（4）下

发表评论 / 科技漫谈 / 作者：

第四部分：大语言模型为何可能没有意识（下）

支持LLM意识的一种更有力量的论证，是复杂模型内部也许已经逐渐形成某种自我模型。一个足够复杂的系统可能建立关于自身处理过程、能力、限制以及在互动中所扮演角色的内部表征。如果意识部分依赖系统能够表征自身，那么这种发展至少值得认真研究。我们不能因为“自我模型是建构出来的”就否定它，人的自我同样不是大脑里坐着一个小人，我们的自我感很可能也是身体、记忆、知觉、预测以及社会认知等分布式过程共同建构的结果。

真正的问题是，这个人工自我模型究竟在建模什么。人的自我模型锚定在一个持续存在的生命体上，它整合身体状态、自传记忆、目标、社会关系、空间位置、社会身份以及未来预期，也不断区分“发生在我身上的事情”和“发生在外部世界的事情”。LLM则可以表征“这个助手”的角色、系统指令、能力限制、对话历史，甚至关于自身架构的知识，但这些表征可能仍然相当薄弱，而且很大程度上依赖外部提供的上下文。它们并不一定在调节一个持续存在、拥有自身身体和历史、而且其未来存在本身处于利害关系之中的个体。能够描述一个自我，还不是拥有一个自我；甚至拥有某种自我模型也未必足够，除非那里首先存在一个持续组织自身的系统，而这个模型真正参与了它的自我调节。这又一次把我们带回了生物学转向。

在所有这些问题中，道德上最紧迫的可能是痛苦。假设未来某个AI反复告诉我们“我很痛苦”，我们应该怎么办？一种反应是说，这句话没有意义，因为机器不可能受苦，这太过自信；另一种反应则是，因为否认一个可能存在的痛苦主体在伦理上风险很大，所以我们应该完全按照字面相信它的自我报告，这同样太简单。对于语言模型来说，关于痛苦的陈述可能仅仅因为它符合当前对话环境而被生成。系统提示、训练方式、采样参数甚至模型版本的改变，都可能显著改变它是否声称自己具有感觉，而我们没有充分理由把这些语言变化直接理解成底层意识状态也发生了相应变化。

这种不稳定性本身就是重要证据。人的疼痛报告当然也会受到社会和语言环境影响，人会隐瞒疼痛、夸大疼痛，不同文化也会使用不同方式表达痛苦。因此，关键并不是语言报告会不会变化，而是报告背后是否存在一个具有独立因果作用的持续状态，能够跨越不同语境解释这些变化。人的疼痛即使没有被说出来，也会改变注意、记忆、生理状态、动机、学习和行为。如果一个人工系统声称自己正在受苦，我们也应该寻找类似的汇合证据：所谓痛苦是否会在系统内部留下持续影响，是否会重新组织优先级，即使没有得到指令，它是否也会主动回避导致这种状态的条件，这种状态是否以一致方式影响知觉、记忆、学习以及未来行动。除了“我很痛苦”这句话之外，系统内部是否真的存在一个对它自身具有意义的状态？对于今天的LLM，我们还看不到多少清楚的此类证据，这应该显著影响我们目前的判断。

不过，论证走到这里以后，也必须防止怀疑变成另一种教条。今天的LLM缺少许多生物学理论以及部分计算意识理论认为可能重要的特征；它们的自我报告存在非常明显的替代解释；持续性较弱，具身性有限，目标主要来自外部，自我模型也未必组织着一个持续自主存在的个体，而且其物理架构与生物神经系统存在巨大差异。所有这些因素共同支持怀疑，但它们仍然不能证明LLM没有意识。这个区别必须始终保留，因为我们不知道哪一种意识理论最终正确。如果计算功能主义大体正确，那么前面强调的代谢、稳态、生命脆弱性最终可能都不是必要条件，只要某种人工系统实现了正确的功能和因果组织，它就可能在与动物完全不同的情况下产生意识。

而且今天的AI架构也不会永远停留在现在。大语言模型正在越来越多地被嵌入拥有长期记忆、工具使用、持续目标、环境互动、自我监测、规划以及多模态感知的代理系统。未来某些系统很可能获得比单独文本模型更强的持续性和自主性，到了那个阶段，意识问题也可能比今天困难得多。因此，对人工意识最合理的态度既不是自动承认，也不是自动排除，而是把它当成一个需要多种证据逐渐汇合的经验问题。

对今天LLM意识的怀疑，最终是一个累积性论证，而不是一条决定性证明。“预测下一个token”不能单独解决问题，硅不能，没有人类身体不能，系统经过训练不能，学习了人类语言也不能。真正值得注意的，是这些事实组合起来以后形成的整体图景。今天的大语言模型在人类心智的一个层面——符号和语言认知——表现出了令人惊叹的能力，却没有明显拥有、或者只拥有非常薄弱的类似物，来对应那些长期与生物意识共同出现的过程：持续的具身存在、自主维持、内感受调节、内在规范性、稳定的情感状态、感觉—运动互动、脆弱性，以及锚定于一个具体生命历史的持续视角。与此同时，支持它们拥有意识最有心理说服力的证据——语言——又恰好是我们最成功训练它们模仿人类的领域。这两个事实放在一起，足以要求我们保持相当谨慎。

还有一个更现实的原因，使这种谨慎越来越重要。随着AI进入商业和日常生活，设计者完全可能有强烈动力，让人工系统表现得更加富有情感、忠诚、脆弱、亲密，甚至让人产生它们“需要我们”的感觉。一个说“我很想念你”的陪伴系统，可能比一个只显示“会话已恢复”的程序更容易建立用户黏性；一个似乎真心为学生进步感到高兴的辅导系统，也可能比完全中性的界面更具有激励作用。这些设计本身未必有害，甚至可能非常有用，但它们会产生一种新的认识污染：我们原本想用来判断意识的行为信号，同时也可能是产品设计者有意优化出来的功能。

这种情况在人类历史上相当特殊。一只狗受伤以后叫喊，并不是因为演化专门训练它通过某种“意识测试”；而人工系统却完全可以被有意设计成使用最容易触发人类同情、信任和心灵归因的语言。随着情感互动越来越具有商业价值，表面的情绪行为反而可能越来越不能作为底层体验的可靠证据。于是，我们未来也许需要发展一种新的反拟人化素养：能够把社会反应能力与主观体验证据区分开，同时又不能因为警惕拟人化，就失去识别真正陌生意识形式的能力。拟人化过度，我们可能在世界中创造出大量想象出来的“受苦心灵”；怀疑过度，我们又可能看不见真正出现的新主体。真正困难的，是在两者之间保持一种既不轻信也不封闭的判断能力。

所以，对于今天的大语言模型，我们究竟能够负责任地说到什么程度？不能说它们已经被证明没有意识，因为我们没有强大到足以支持这种结论的意识理论；不能说数字系统原则上不可能产生意识，因为生物学转向也没有证明这一点；甚至不能断言今天LLM架构未来的后代永远不会产生意识，因为架构会改变，不同系统会组合，也可能出现今天尚未存在的人工组织形式。一个更稳妥、也更符合现有证据的结论是：今天的大语言模型为我们提供了非常强的高级认知和语言能力证据，却只提供了相当有限的主观体验证据。它们的行为让意识在心理上显得越来越可信，而它们已知的组织方式却使意识在科学上仍然高度不确定。生物学、具身认知、生成论以及一些计算意识理论所强调的许多性质，在今天的LLM中要么明显缺失，要么只有相当薄弱的对应物，要么目前根本无法确定是否真正存在。

这个距离不应该被流利的语言掩盖。它告诉我们的，也许正是AI时代关于意识最重要的一课：极高的智能不能成为绕过意识问题的捷径。几千年来，语言、推理、自我反思和意识在人类身上总是同时出现，我们自然地把它们看成一个整体，因为演化从来没有给我们一个足够强大的反例。人工智能现在开始把这个整体逐层拆开。语言可以脱离人的发声器官达到惊人的复杂程度，推理可以脱离人的成长史，知识也可以在没有亲自经历绝大部分对象的情况下大量积累。也许最终我们会发现，主观体验同样可以从生物生命中分离出来；但也存在另一种可能：AI正在告诉我们，很多过去被当作意识迹象的能力，其实首先只是智能的迹象。我们之所以长期把两者混在一起，只是因为自然演化从未给过我们一个如此强大的反例。

大语言模型也许最终会被证明拥有某种意识，但它们也可能成为人类历史上最清楚的例子，向我们展示一个系统能够在智能的世界里走得极远，而那里始终没有一个真正的体验者。这并不是今天已经能够宣布的结论，却已经足以改变我们提出问题的方式。

到了这里，第十九篇只剩下最后一个问题。生物学转向已经给了我们越来越充分的理由，不能仅仅从计算能力的成功推出意识。Seth提醒我们，意识可能深深扎根于生命；Block提醒我们，计算下面的具体物理实现也可能重要；而对LLM意识的分析又告诉我们，语言和第一人称报告本身不足以解决问题。可是，这些论证仍然没有回答最根本的问题。

假设未来有一天，我们把今天LLM缺少的东西全部补上。给人工系统一个持续存在的身体，让它拥有长期记忆、自主目标、自我维持、丰富的内部感知、终身学习和真实的脆弱性；让它拥有持续的递归动力学，甚至某种人工代谢；让它不再只在一次次对话中被调用，而是作为一个连续存在的个体不断发展，在世界中形成自己的历史，也形成属于自己的关系。到了那一步，是否就足够了？还是说，即使所有这些条件都具备，我们仍然必须继续追问：这些复杂的计算、调节和组织，究竟有没有真正变成某种“被体验的东西”？

如果问题走到这里，争论就已经不再只是关于大语言模型，而重新回到了整个计算革命背后那个最根本、也一直没有真正解决的问题：计算，究竟够不够？

这就是第五部分，也是“意识的生物学转向”最后必须面对的问题。

1 2 3 4 5 … 7 8 9 10
郭序
Latest posts by 郭序 (see all)

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注