威尔·道格拉斯·海文《麻省理工技术评论》2024-07
解开这个谜团很难。当某些道德观点将整个人类的未来置于无人能完全定义的技术中时，很难看出发生了什么。
但我们不能就此放弃。因为无论这项技术是什么，它都会到来，除非你与世隔绝，否则你都会以某种形式使用它。而技术所采取的形式——以及它所解决和创造的问题——将受到人们的思维和动机的影响，就像你刚刚读到的那些人一样。特别是那些拥有最大权力、最多金钱和最大扩音器的人。
这让我想到了 TESCREALists。等一下，回来！我意识到这么晚才引入另一个新概念是不公平的。但要了解当权者如何塑造他们所建立的技术，以及他们如何向世界监管机构和立法者解释这些技术，你需要真正了解他们的心态。离开谷歌后创立了分布式人工智能研究所的
格布鲁 和凯斯西储大学哲学家兼历史学家埃米尔·托雷斯追溯了几种技术乌托邦信仰体系对硅谷的影响。两人认为，要了解人工智能现在的状况——为什么谷歌 DeepMind 和 OpenAI 等公司竞相打造 AGI，为什么泰格马克和辛顿等末日论者警告灾难即将来临——必须通过托雷斯所称的TESCREAL 框架来看待这个领域。
这个笨重的首字母缩略词（发音为tes-cree-all）取代了更笨重的标签列表：超人类主义、外向主义、奇点主义、宇宙主义、理性主义、有效利他主义和长期主义关于这些世界观，已经有很多著作 (并且还会有更多著作)，因此这里就不多说了。 (兔子洞中又有兔子洞，任何想深入研究的人都可以涉足其中。选择你的论坛，带上你的探险装备。)
这种相互重叠的意识形态对西方科技界常见的某种银河大脑思维模式很有吸引力。一些人预计人类将长生不老，另一些人则预测人类将殖民星际。共同的原则是，一种全能的技术 — — AGI 或超级智能，选择你的团队 — — 不仅触手可及，而且不可避免。你可以从 OpenAI 等尖端实验室中普遍存在的不战而败的态度中看到这一点：如果我们不制造 AGI，别人就会制造。
此外，TESCREA 主义者认为 AGI 不仅可以解决世界问题，还可以提升人类的水平。安德森在去年的一份被广泛剖析的宣言中写道：“人工智能的发展和扩散——远非我们应该担心的风险——是我们对自己、对我们的孩子以及对我们的未来的道德责任。”谷歌DeepMind 首席执行官兼联合创始人Demis Hassabis、新成立的微软 AI 首席执行官兼 DeepMind 另一位联合创始人Mustafa Suleyman 、 Sutskever、Altman等人都曾多次告诉我，AGI 是让世界变得更美好的方式。
但正如安德森所说，这是一种阴阳思维。技术乌托邦的另一面是技术地狱。如果你相信你正在构建一项强大的技术，它将解决世界上所有的问题，那么你可能还相信它出问题的可能性不为零。在今年 2 月的世界政府峰会上，当被问及是什么让他夜不能寐时，Altman 回答说：“都是科幻小说里的东西。”去年， Hinton一直在强调这种矛盾。Anthropic 等公司声称要解决这一问题。Sutskever 正在他的新实验室中研究这个问题，去年，他希望 OpenAI 内部的一个特别团队能够专注于此，但后来，团队中大多数成员在风险与回报平衡方式上出现分歧，离职。当然，末日论也是其中的一部分。（“宣称自己创造了某种超级智能的东西，这对销售数字有好处，”Dihal 说。“这就像是，‘拜托，有人阻止我变得如此优秀和强大。’”）但无论是繁荣还是毁灭，这些人究竟在解决什么问题（以及谁的问题）？我们真的应该相信他们创造的东西和他们告诉我们的领导者的话吗？
（未完待续）
No post found!
- 《纽约客》丨纪念9·11二十五周年 - 09/12/26
- 数学500年：新的黄金时代？（1） - 06/05/26
- 没有美洲，我们吃啥？ - 05/17/26