威尔·道格拉斯·海文《麻省理工技术评论》2024-07
本德和科勒认为,这就是大型语言模型学习的方式,也是它们受到限制的原因。“这个思想实验表明了为什么这条路不会让我们得到一个什么都懂的机器,”本德说。 “章鱼的问题是,我们为它提供了训练数据,也就是两个人的对话,仅此而已。但随后出现了一些突如其来的事情,它无法处理,因为它还没有理解。”本德的另一篇著名论文《论随机鹦鹉的危害》强调了一系列危害,她和她的合著者认为,制造大型语言模型的公司忽视了这些危害。其中包括制作模型的巨大计算成本及其对环境的影响;模型所根深蒂固的种族主义、性别歧视和其他辱骂性语言;以及建立一个可能欺骗人类的系统的危险,该系统“随意地将语言形式序列拼接在一起……根据它们如何组合的概率信息,但不参考任何含义:一只随机鹦鹉”。
谷歌的高层对这篇论文并不满意,由此引发的冲突导致本德的两位合著者蒂姆尼特·格布鲁和玛格丽特·米切尔被迫离开公司,他们曾领导过人工智能伦理团队。这也使得“随机鹦鹉”成为大型语言模型的流行贬义词——本德也因此陷入了辱骂的漩涡之中。对于本德和许多志同道合的研究人员
来说,最重要的是,这个领域已经被烟雾弹所欺骗:“我认为他们被引导去想象能够自主思考的实体,这些实体可以为自己做出决定,并最终成为真正对这些决定负责的那种东西。”本德一直都是语言学家,她告诉我,现在她甚至不会使用“没有引号”的人工智能一词。归根结底,对她来说,这是一个科技巨头的流行词,可以转移人们对许多相关危害的注意力。“我现在也参与其中了,”她说。 “我关心这些问题,但炒作却阻碍了我。”
Agüera y Arcas 称 Bender 这样的人士为“人工智能否定论者”——言下之意是他们永远不会接受 Bender 认为理所当然的事情。Bender 的立场是,非凡的主张需要非凡的证据,而我们目前还没有。
但有些人正在寻找它,在他们找到明确的证据(火花或随机鹦鹉或介于两者之间的某种东西)之前,他们宁愿袖手旁观。这被称为观望阵营。
正如布朗大学研究神经网络的 Ellie Pavlick 告诉我的那样:“对某些人来说,认为人类智能可以通过这类机制重新创造是一种冒犯。”
她补充道,“人们对这个问题有着坚定的信念——这几乎让人感到虔诚。另一方面,有些人有点上帝情结。所以,对他们来说,认为他们做不到也是冒犯。”
Pavlick 最终是不可知论者。她坚持认为,她是一名科学家,并将追随科学的脚步。她对这些更疯狂的说法翻了个白眼,但她相信确实有一些令人兴奋的事情正在发生。“这就是我不同意本德和科勒的地方,”她告诉我。“我认为实际上有一些火花——也许不是 AGI,但就像,有些东西我们没想到会发现一样。”
问题在于就这些令人兴奋的事情是什么以及为什么它们令人兴奋达成共识。有这么多炒作,人们很容易变得愤世嫉俗。
当你听到像布贝克这样的研究人员说出来时,他们似乎要冷静得多。他认为内斗忽略了他工作中的细微差别。“我认为持有同时的观点没有任何问题,”他说。“有随机的鹦鹉学舌;有推理——这是一个范围。它非常复杂。我们没有所有的答案。”
“我们需要一套全新的词汇来描述正在发生的事情,”他说。 “当我谈到大型语言模型中的推理时,人们之所以会反对,原因之一是它与人类的推理不同。但我认为我们不可能不称之为推理。它就是推理。”
Anthropic 的 Olah 在谈到我们在法学硕士 (LLM) 中看到的情况时选择谨慎行事,但他的公司是目前世界上最热门的人工智能实验室之一,它建立了法学硕士 Claude 3,自今年早些时候发布以来,它获得的赞誉与 GPT-4 一样多(甚至更多)。
“我觉得很多关于这些模型功能的讨论都是非常部落化的,”他说。“人们有先入为主的观点,而且没有得到任何一方证据的充分支持。然后它就变成了一种基于氛围的争论,我认为互联网上基于氛围的争论往往会朝着不好的方向发展。”
欧拉告诉我,他有自己的直觉。“我的主观印象是,这些东西正在追踪非常复杂的想法,”他说。“我们没有关于大型模型如何工作的全面故事,但我认为很难将我们所看到的东西与极端的‘随机鹦鹉’图景相协调。”
这就是他所能达到的极限:“我不想超出我们拥有的证据所能真正有力推断的范围。”
(未完待续)
No post found!
- 《纽约客》丨纪念9·11二十五周年 - 09/12/26
- 数学500年:新的黄金时代?(1) - 06/05/26
- 没有美洲,我们吃啥? - 05/17/26
