构建更好地理解人类目标的机器

一种能够推断目标和计划的新算法可以帮助机器更好地适应人类规划的不完善性。

雷切尔戈登 | 白柴

一个“代理”和一个“观察者”展示了麻省理工学院的新算法如何推断目标和计划，即使这些计划可能会失败。在这里，代理制定了一个错误的计划来获得蓝色宝石，观察者推断这是有可能的。

在心理学家 Felix Warneken 和 Michael Tomasello 进行的一项关于人类社交智力的经典实验中，一名 18 个月大的幼儿看着一名男子抱着一堆书走向一个未打开的柜子。当这名男子走到柜子前时，他笨拙地用书在柜门上敲了好几下，然后发出一声困惑的声音。

接下来发生了一件了不起的事情：这个小孩主动提出要帮忙。推断出这个男人的目的后，这个小孩走到柜子前，打开柜门，让这个男人把他的书放进去。但是这个生活经验如此有限的小孩是如何做出这种推断的呢？

最近，计算机科学家将这个问题转向计算机：机器如何做到同样的事情？

构建这种理解的关键要素可以说是让我们最具有人性的东西：我们的错误。就像幼儿可以仅从失败中推断出男人的目标一样，推断我们目标的机器也需要考虑我们的错误行为和计划。

为了在机器中捕捉这种社交智能，麻省理工学院计算机科学与人工智能实验室 (CSAIL) 和大脑与认知科学系的研究人员创建了一种算法，能够推断目标和计划，即使这些计划可能失败。

这类研究最终可用于改进一系列辅助技术、协作或看护机器人以及 Siri 和 Alexa 等数字助理。

“这种考虑错误的能力对于打造能够稳健地推断并按照我们的利益行事的机器至关重要，”麻省理工学院电气工程与计算机科学系 (EECS) 的博士生、这项研究新论文的主要作者 Tan Zhi-Xuan 表示。“否则，人工智能系统可能会错误地推断，由于我们未能实现更高层次的目标，这些目标根本不是我们所期望的。我们已经看到，当算法以我们对社交媒体的反射性和无计划的使用为食时，会发生什么，导致我们走上依赖和两极分化的道路。理想情况下，未来的算法将识别我们的错误、坏习惯和不合理行为，并帮助我们避免而不是强化它们。”

为了创建模型，该团队使用了麻省理工学院最近开发的新 AI 编程平台Gen ，将符号 AI 规划与贝叶斯推理相结合。贝叶斯推理提供了一种将不确定信念与新数据相结合的最佳方法，并广泛用于金融风险评估、诊断测试和选举预测。

该团队的模型比现有的一种名为贝叶斯逆向强化学习 (BIRL) 的基准方法快 20 到 150 倍，后者通过观察代理的行为来学习代理的目标、价值观或奖励，并尝试提前计算完整的策略或计划。新模型在推断目标时准确率为 75%。

加州大学伯克利分校史密斯-扎德工程学教授斯图尔特·拉塞尔表示：“人工智能正在放弃‘标准模型’，即为机器设定一个固定的、已知的目标。相反，机器知道它不知道我们想要什么，这意味着如何从人类行为中推断目标和偏好的研究成为人工智能的核心主题。这篇论文认真对待这一目标；特别是，它是朝着建模——从而反转——人类根据目标和偏好产生行为的实际过程迈出的一步。”

怎么运行的

尽管目前已经进行了大量研究来推断代理的目标和愿望，但其中大部分研究都假设代理会采取最佳行动来实现其目标。

然而，该团队特别受到人类一种常见规划方式的启发，这种方式在很大程度上并不是最理想的：不是提前规划好一切，而是只制定部分计划，执行它们，然后从那里再次规划。虽然这可能会导致因“提前”思考不足而犯错误，但它也减少了认知负荷。

例如，假设你正在看着朋友准备食物，你想帮忙弄清楚他们在做什么。你猜测朋友接下来可能会采取的几个步骤：可能是预热烤箱，然后制作苹果派的面团。然后你“保留”与朋友实际做的事情一致的部分计划，然后重复这个过程，提前计划几步。

一旦你看到你的朋友制作面团，你可以将可能性限制在烘焙食品上，并猜测他们接下来可能会切苹果，或者拿一些山核桃来做馅饼。最终，你将排除你朋友不可能制作的所有菜肴计划，只保留可能的计划（即馅饼食谱）。一旦你足够确定是哪道菜，你就可以主动提供帮助。

该团队的推理算法称为“顺序逆向计划搜索 (SIPS)”，它遵循此顺序来推断代理的目标，因为它只在每个步骤中制定部分计划，并在早期放弃不太可能的计划。由于该模型每次只提前几步进行规划，因此它还考虑到代理（你的朋友）可能也在做同样的事情的可能性。这包括由于规划有限而导致错误的可能性，例如没有意识到在打开冰箱之前你可能需要腾出两只手。通过提前检测这些潜在故障，该团队希望该模型可以被机器用来更好地提供帮助。

“我们早期的一个见解是，如果你想推断某人的目标，你不需要比他们想得更远。我们意识到这不仅可以用于加速目标推断，还可以从过于短视而无法成功的行为中推断预期目标，这让我们从扩大算法转向探索解决当前人工智能系统更根本限制的方法，”麻省理工学院首席研究科学家、Tan Zhi-Xuan 的联合顾问之一 Vikash Mansinghka 和麻省理工学院大脑与认知科学教授 Joshua Tenenbaum 表示。“这是我们更大的登月计划的一部分——对 18 个月大的人类常识进行逆向工程。”

这项研究在概念上建立在 Tenenbaum 研究小组早期的认知模型之上，展示了儿童甚至10 个月大的婴儿对他人目标做出的更简单的推断如何能够以贝叶斯逆向规划的形式进行定量建模。

虽然到目前为止，研究人员仅在相对较小的规划问题中探索了固定目标集的推理，但他们计划在未来的工作中探索人类目标和计划的更丰富的层次结构。通过编码或学习这些层次结构，机器可能能够推断出更广泛的目标，以及它们所服务的更深层次的目的。

Xuan 表示：“尽管这项研究只是迈出了一小步，但我希望这项研究能够奠定一些必要的哲学和概念基础，以便打造真正理解人类目标、计划和价值观的机器。将人类建模为不完美推理者这一基本方法很有前景。现在，它让我们能够推断计划何时出错，也许最终它还能让我们推断人们何时持有错误的信念、假设和指导原则。”

Zhi-Xuan、Mansinghka 和 Tenenbaum 与 EECS 研究生 Jordyn Mann 和博士生 Tom Silver 共同撰写了这篇论文。他们上周在神经信息处理系统会议 (NeurIPS 2020) 上在线展示了他们的工作。

这项工作部分由 DARPA 机器常识计划、Aphorism 基金会、Siegel 家族基金会、MIT-IBM Watson AI 实验室和英特尔概率计算中心资助。Tom Silver 获得了 NSF 研究生研究奖学金的支持。

(Reprinted with permission of MIT News http://news.mit.edu/)