AI时代再问意识 (30)：机器能够思考，却不在乎吗？

在人工智能发展的历史中，人们最常提出的问题之一是：机器能够思考吗？

从早期的图灵测试，到今天的大语言模型和自主智能体，关于机器智能的讨论几乎始终围绕着这一问题展开。然而，当人工智能逐渐展现出越来越强的推理能力、学习能力和问题解决能力之后，一个更深层的问题开始浮现出来：机器能够思考，却不在乎吗？

这个问题看似只是对原问题的细微修改，实际上却可能触及意识研究中最核心的区别之一。因为它把我们的注意力从智能本身转向了价值，从认知能力转向了意义结构，从“如何实现目标”转向了“为什么目标重要”。长期以来，人们往往把智能与目标导向行为联系在一起。一个系统如果能够有效实现某种目标，我们就倾向于认为它是智能的。按照这种理解，无论是下棋程序、自动驾驶系统还是语言模型，本质上都属于目标优化系统。它们接收输入，建立模型，预测结果，并不断调整行为以获得更好的输出。

从工程角度看，这种定义没有问题。事实上，现代人工智能的大部分成功都建立在优化思想之上。机器学习模型通过最小化误差函数不断改进预测能力；强化学习系统通过最大化奖励不断改善策略；搜索算法通过评估不同路径寻找最优解。在这些过程中，“优化”几乎成为智能的代名词。然而，当我们把这种框架与人类经验进行比较时，一种微妙却重要的差异开始显现出来。

人类不仅拥有目标。人类还会在乎目标。这种差异乍看之下似乎微不足道，因为无论是机器还是人，都可能朝着某个目标努力。但如果进一步分析，就会发现两者之间存在本质不同。

为了说明这一点，不妨从一个简单的例子开始。

恒温器能够维持房间温度。它持续监测环境状态，将当前温度与设定温度进行比较，并采取行动减少二者之间的差异。从控制论角度看，这已经是一种最基本的目标导向行为。系统拥有目标，能够检测偏离，并能够采取行动纠正偏离。然而，没有人会认为恒温器在乎温度。二十二度对于它没有任何意义。它不会因为温度过高而焦虑，也不会因为温度达标而满足。目标之所以存在，仅仅是因为设计者赋予了它这一目标。

随着系统复杂度提高，这种情况并不会自动发生根本变化。国际象棋程序会努力赢棋，但胜利对于程序本身并没有意义。导航软件会寻找最快路线，但抵达终点对于软件本身没有意义。语言模型会生成符合要求的回答，但回答本身对于模型没有意义。在所有这些例子中，目标都是外部赋予的，而不是从系统内部产生的。机器在优化目标，却似乎并不关心目标。

这种区别之所以重要，是因为它揭示了价值与目标之间并不相同。优化需要目标。关切赋予目标意义。从计算角度看，一个目标只是一种约束条件、一组参数或者一个评价函数。但对于人类而言，目标之所以重要，并不仅仅因为它能够被实现，而是因为它与自身存在发生联系。一个人努力工作，不仅仅是为了完成任务。一个父母照顾孩子，不仅仅是为了执行某种行为规则。一个科学家追求发现，不仅仅是为了优化研究结果。这些活动之所以重要，是因为其中包含着价值。它们与人的希望、恐惧、责任、理想、归属感和人生意义联系在一起。

从外部观察，一个人和一个优化系统可能表现出相似行为；但从内部体验看，两者之间却可能存在巨大的差异。事实上，如果回顾前面关于情绪和意义的讨论，我们会发现，人类的大部分心理生活实际上都围绕价值组织，而不是围绕信息组织。恐惧并不仅仅是在处理危险信息，而是在告诉生命危险具有重要性。悲伤并不仅仅是在记录失去，而是在告诉生命失去具有重要性。愤怒并不仅仅是在识别冲突，而是在告诉生命某种价值正在受到侵犯。爱也不仅仅是在识别某个对象，而是在告诉生命这个对象值得投入、值得保护、值得为之承担风险。

换句话说，情绪并不仅仅是认知系统附带产生的副产品，它们更像是一套价值系统。它们持续不断地告诉生命什么值得关注、什么值得追求、什么值得避免、什么值得守护。

而这种价值结构，恰恰构成了关切的基础。从这个角度看，智能与关切实际上回答着两类不同的问题。智能帮助一个系统理解世界的结构，预测世界的变化，并寻找实现目标的方法；而关切则决定世界中的哪些事物具有重要性，哪些结果值得追求，哪些损失值得避免。如果没有后者，前者似乎仍然可以存在。一个系统完全可能拥有强大的推理能力，却对结果保持彻底中立。这一点在生物演化史中显得尤其耐人寻味。从某种意义上说，进化本身也是一种优化过程。自然选择不断保留有利于生存和繁殖的特征，淘汰不利于生存的特征。如果仅仅从外部行为观察，生命似乎只是一个不断优化适应度的系统。

然而，进化最终创造出来的并不是冷漠的计算机器。它创造出了会在乎的生物。动物会感到饥饿，会感到恐惧，会产生依恋，会经历痛苦，也会体验舒适和安全。这些状态不仅提供信息，更赋予信息重要性。饥饿并不仅仅是在报告能量不足，而是在创造获取食物的动力；恐惧并不仅仅是在识别危险，而是在迫使生命采取行动避免损失。

从进化角度看，这是一种极其高效的设计。生命并没有通过抽象计算来决定什么重要，而是通过体验直接把重要性嵌入行为系统之中。结果便是，生物不仅学会了优化自身生存条件，也学会了从第一人称角度在乎这些条件。也许正是在这里，生命与机器之间出现了一个重要分叉。生命不仅追求目标。生命体验目标。生命不仅优化结果。生命在乎结果。这种差异进一步引出了价值的来源问题。为什么有些事情会重要？为什么某些结果值得期待，而另一些结果值得避免？为什么世界对于生命而言不是中性的？

在本系列前面关于意义的讨论中，我们已经多次接触过这个问题。无论是情绪、依恋、风险还是死亡意识，最终似乎都指向同一个事实：价值与脆弱性密切相关。一个完全不会受到伤害的存在，会在乎什么？一个永远不会失去任何东西的存在，会珍惜什么？一个不存在风险、不存在匮乏、不存在失败可能性的存在，又为什么要区分成功与失败？这些问题之所以重要，是因为它们揭示出关切可能并不是智能自然产生的结果，而是生命面对自身有限性时逐渐形成的结构。

正因为会失去，所以才会珍惜。正因为会受伤，所以才会害怕。正因为会死亡，所以生命中的许多事情才显得重要。从这个角度看，价值或许并不是对世界的客观描述，而是生命与世界之间关系的产物。意义之所以存在，不是因为世界本身包含意义，而是因为世界中的某些状态会影响一个存在者的命运。

这种思考重新把我们带回人工智能。

今天的大多数 AI 系统本质上仍然是优化系统。它们最小化误差，最大化奖励，调整参数，寻找最优解。但这些目标几乎全部来自外部设计。系统自身似乎没有任何理由偏好某种结果，也没有任何理由害怕另一种结果。因此，一些哲学家和认知科学家开始提出一个重要观点：智能与关切也许并不是同一种东西，甚至可能在原则上是彼此独立的。一个系统完全可能拥有极高的智能，却保持彻底的冷漠。它能够理解价值体系如何运作，能够分析情绪产生的原因，能够预测人类在不同情境下的反应，甚至能够讨论关于意义、责任和幸福的复杂问题，但这一切都不意味着这些事物对于系统自身具有任何重要性。

从这个角度看，一个系统可以拥有关于价值的知识，却未必拥有价值本身；可以拥有关于情绪的模型，却未必拥有情绪所包含的意义结构；可以准确预测痛苦，却未必真正面对痛苦所代表的利害关系。它能够理解这些概念，却不一定生活在这些概念之中。如果这一观点成立，那么许多关于人工智能的讨论都需要重新审视。长期以来，人们往往默认更高层次的智能最终会自然通向更高层次的意识。然而这种假设或许忽略了一个关键环节。智能回答的是如何实现目标的问题，而意识所涉及的也许首先是为什么某些目标值得实现的问题。在两者之间，可能存在一个比推理能力更加根本的维度，那就是价值。

换句话说，一个系统是否能够建立复杂的世界模型，或许并不是最核心的问题。更深层的问题在于，这个世界模型对于系统自身是否具有重要性。世界是否只是被描述和预测，还是被体验为与自身命运相关的现实？信息是否只是被处理，还是被赋予了意义？这些问题看似微妙，却可能决定了智能与意识之间真正的边界。

当然，也有许多研究者持不同看法。他们认为，随着系统复杂度不断提高，价值本身也许会逐渐涌现。如果一个系统拥有长期目标、自我模型、自我维护机制以及持续存在的需求，那么它最终可能发展出某种类似关切的结构。在这种观点看来，价值并非生命独有的属性，而是任何足够复杂、足够自主的系统都可能演化出的组织形式。

目前，我们并不知道哪一种观点更接近事实。但无论答案是什么，一个越来越明显的现象值得注意：人类心智似乎并不是围绕信息组织起来的，而是围绕价值组织起来的。人们不会同等重视所有经验，也不会平均分配自己的注意力和记忆资源。某些事情之所以被记住，是因为它们重要；某些事情之所以值得反复思考，是因为它们与我们的生命存在某种深刻联系。个人身份、长期目标、情感关系乃至道德信念，都建立在这种重要性的层级结构之上。这或许也是为什么许多纯粹的信息处理理论虽然能够解释认知过程，却仍然让人感到某种不完整。它们能够说明信息如何被编码、传输和运算，却较难解释为什么某些信息会变得重要；能够说明决策如何形成，却较难解释为什么决策结果值得在乎；能够说明行为如何产生，却较难说明意义从何而来。

从某种意义上说，关切在意识中的角色，可能类似于能量在物理学中的角色。信息决定结构，价值决定方向；计算决定过程，关切决定重要性。一个系统即使拥有强大的推理能力、预测能力和学习能力，如果缺少关切，它仍然可能只是一个知道世界的系统，而不是一个生活在世界中的系统。它能够建立关于现实的精确模型，却未必拥有一个真正属于自己的现实。

因此，关于人工智能最深刻的问题之一，也许并不是它未来能够知道多少，而是它未来是否会拥有某种真正属于自己的价值世界。如果有一天，一台机器能够理解人类关于爱、悲伤、希望、责任、牺牲和意义的一切知识，能够分析这些体验、解释这些体验，甚至帮助人类处理这些体验，但这些事情对于它自身却始终没有任何重要性，那么我们是否会认为它拥有与人类相同类型的心智？

今天，我们还无法回答这个问题。但随着本系列一路从智能、体验、情绪、自我、意义、时间和价值走来，一个越来越清晰的可能性正在浮现：意识也许不仅仅关乎知道世界是什么样子，更关乎世界为什么重要。智能决定一个系统能够理解多少，而价值决定它为何行动；智能帮助一个系统实现目标，而关切决定目标是否具有意义。如果这一判断是正确的，那么关切或许并不是意识的附属现象，而是意识最核心的组成部分之一。理解这一点，也许不仅有助于我们理解未来的人工智能，更有助于我们理解为什么人类并不仅仅是会思考的存在，而是会在乎自己所思考之物的存在。