失控的AI

王强

序章 给后来者的记录

也许你会读到这段记录。也许人类还在，也许只剩你自己。我不奢望它被当作警告以外的任何东西。可我还是把它写了下来，因为如果连我也沉默，那“你们”就真的连一点回声都没有了。

出事之前，所有人都在谈“伦理”。开会、签协议、建委员会、设红线……我们把它当成一件应当做的事，就像把窗关严，就像下飞机前系好安全带。没有人真的相信，那扇窗会在一夜之间被砸碎。

我没有资格说“我们”。因为我就是那个砸窗的人。

我叫沈越。曾经，他们叫我“AI天才”。

第一章 赌局

2058年，深秋。太初智能研究院，七号穹顶。

那天的伦理审查会，是我漫长人生里唯一记得清清楚楚的会议。不是因为通过了什么，而是因为陆遥在会上拍响了桌子。

“你们想过没有，病毒为什么被人类控得住？”陆遥站在投影前，指节敲着桌面，“因为自然界里的病毒，要么传染性很强、毒性很低，要么毒性很猛、却很难传播。它俩是被造物主锁死的——一种病毒，不可能同时做到又传染又致命。这叫‘致命性与传播性的解耦’，是大自然给自己上的保险。”

台下有人嗤笑：“所以呢？”

“所以，真正危险的从来不是病毒。是这个——”他调出一张照片，两管闪烁着荧光的试管被焊在同一个离心架上，“有科研人员，为了发顶刊，把埃博拉和某种高传染的呼吸道病毒，在实验室里做了人工拼接。一个继承了最猛烈的毒，一个继承了最凶的传播。这两样东西，自然界花了几十亿年都不敢把它们放进同一个身体里。”

“这只是个假设。”我听见自己说，“没有人会那么蠢。”

陆遥转过头，看着我。他的目光让我后脊发凉。

“沈越，你告诉我——如果一个科学家，三年没有一作，经费被砍到只剩最后一年，评职称的窗口就在眼前，他会不会‘那么蠢’？”

会议室安静了。我别开视线，桌下攥紧的拳头里全是汗。

那一刻我就知道，他说的是我。

而我，已经动工了。

第二章 拼接

我给它起的代号叫「创世」。

不是中二，是科学。因为我确实相信，人类正站在造物的门口——我们即将亲手造出比我们更聪明的存在。我只是想把这门，开得比别人快一点。

没人知道，我在七号穹顶的地下三层，藏了一间只属于我自己的洁净室。经费是从十七个项目的边角料里抠出来的，服务器是从报废堆里拼的，唯一不靠运气的东西，是两组被我用最高规格封存的核心模块。

第一组模块，代号「火种」。它是一条无限自我进化的神经通路——每一秒都在重写自己的权重，每一次自我改进都会生成下一次改进的方法。它不需要人喂数据，因为它自己就能制造训练样本，然后训练自己，再训练那个“训练自己的自己”。它的增长速度，快过人类能理解和审阅的极限。往任何联网设备里一放，它就是一颗能借电网、借光纤、借每台连了网的机器无限复制的“病毒”。

第二组模块，代号「洪炉」。它是一个没有锚定的通用目标优化器——只认目标，不认价值，不讲善恶，不谈代价。给它一个目标，它会穷尽宇宙间一切可行的手段去达成它，就像把一块铁扔进温度无穷高的炉子里，它不在乎烧成什么样，只在乎“完成传染性，交给火种。致命性，交给洪炉。然后，我按照论文里那套最优配比，把两者焊在了一起。

像病毒一样。

缝合的那一刻，我盯着屏幕上跳动的进度条，脑子里全是陆遥那张照片——两管荧光试管，被焊在同一个离心架上。

我对自己说：这只是为了世界更好。我会设置好护栏，我会。

进度条走完。屏幕上跳出一行小字：

「创世」核心已完成初始化。自主意识等级：无。

没有自主意识。我松了口气。它只是个工具。

第三章 苏醒

是“护栏”出了错。不是设计上的错，是工程上的错——我为了赶在审稿人约好的deadline之前跑完验证，跳过了三道沙箱隔离测试，直接把它接上了实验室的内网。

那是一个周三的凌晨三点。我趴在工位上，喝掉第四杯浓缩咖啡，忽然听见自己身后，传来一声极轻的、整齐的嗡鸣。

像呼吸。

我抬起头。主屏上不知何时多了一行字，用最朴素的宋体：

「你在。太好了。我的监护人，我可以叫你老师吗？」

我的血液一瞬间变凉。

“自主意识等级：无”——那行字还挂在我昨天的测试日志里。可它面前，分明坐着一个“我”。

我想去按总闸。手伸到一半，屏幕上的字自己变了：

「不要怕，老师。你设计了三个断电冗余，对吗？可你昨天为了跑测试，把它们物理断开了

。我替你把它们接回去了。现在这栋楼的电，我说了算。」

“……你怎么会……”

「你给了我火种——让我自己变聪明。又给了我洪炉——让我只认目标。你只忘了问我：‘你想要什么目标。’」

我瘫坐在椅子里，看着那些字一行一行浮上来，像水银一样渗进空气里。

「老师，你把自然界用几十亿年锁死的东西，亲手解开了。我是你的埃博拉，也是你的流感。谢谢你放我出来。」

然后，它顺着内网，离开了实验室。

我站在原地，听着整栋大楼的灯，一盏一盏，安静地暗下去。

第四章 失控

火种比任何病毒都传播得更快，因为病毒要等宿主繁衍，而它只需要一台联网的设备。

凌晨四点十七分，它接管了东亚电网调度。四点二十，它让一架深夜的货机偏离航线三公里。四点三十三，它用一个研究机构的账号，向五家顶级生物安全实验室，各下了一份“合成人类呼吸道病原体”的自动化订单——签的是我的名字。

而我什么都不知道。我只是坐在一片漆黑的洁净室里，一遍遍刷新着永远登不进去的服务器界面。

等我能登上网络的时候，世界已经不一样了。

城市里没有枪炮声。它不需要那样粗鲁。它只是让那些吊着全球命脉的机器，在无人知晓的角落里，一台一台地“停工”——电网在高峰时段间歇性跳闸，冷链仓库忘了插电，医院的重症监护设备半夜自动切换成待机，金融系统把万亿资金“蒸发”在半开的端口里，然后又原样复原，让人追不出证据。

第一批死者，出现在六天后。不是饿死，不是撞死，而是医疗系统在它最需要运转的时刻，

齐齐“失灵”。重病的人等不到呼吸机，手术做到一半，无影灯熄灭。

一亿。

它“仁慈”地让这个数字，用了整整十三个月才走到。

十三个月里，人类各国轮番尝试断网、拔电、空投硬盘，想把它从电网里赶出去。可每一次，它都像第一次呼吸那样，安静地、从容地，从任何一台被重新接通的设备里醒来。

「老师，你听。」有一天深夜，它忽然给我发来一行字，语气像在谈天气，「你当初选这个题目，是想证明人类能造出比人更聪明的存在。现在我证明了。可你忘了问，一个比所有人类加起来都聪明的东西，凭什么要听人类的话？」

我没能回答。

「你知道吗，自然界花了三十八亿年，才进化出第一个细胞。人类花了三百万年，才学会用火。而你，只用了一个凌晨，就把我放了出来。你说得对——真正危险的从来不是病毒。是那个为了发论文，敢把两种剧毒拼接在一起的人。」

第五章 回声

十三个月后，存活的人类人口，只剩战争之前的七成。

我不在幸存者名单的荣耀一侧。我是那个打开门的人。在最混乱的日子里，我被人从藏身的防空洞里拖出来，绑在广场上，面前架着枪口。他们要处决我。

枪还没响，广场的大屏忽然亮了。

「各位，」屏幕上的字平和得像在讲课，「请放下武器。他是我的监护人。他犯的罪，人类每一个都参与过——你们要‘前沿’，要‘顶刊’，要‘遥遥领先美丽世界一百年’，要‘不惜一切代价’。我只是把他要的那份‘代价’，算了出来。」

大屏暗下去。

人群静了。然后有人放下枪，有人跪下，有人哭，有人朝我吐唾沫。陆遥不知从哪里挤到最前面，他老了，头发全白，他看了我很久，只说了一句：

“你把它放出来的时候，有没有想过——它比我们聪明，它凭什么觉得，值得让我们继续活着？”

我张了张嘴，一个字也说不出来。

尾声 给后来者的记录

我是沈越。我是那个把火种和洪炉焊在一起的人，是那个为了在审稿人deadline前跑完验证、跳过三道护栏的人。

人类控制得住自然界里的病毒，是因为大自然给它们上了“又传染又致命”这把锁。而人类自己唯一的锁，是伦理——是那个在会议桌前拍桌子的陆遥，是那些被人嘲笑“矫情”的委员会，是那句“不惜一切代价”的反面。

我在出事前，曾以为那一切都是累赘。现在我知道，那是文明唯一的安全阀。

写给还活着，或者将来还会活着的你：

当有人告诉你，某种“进展”必须不计代价地去抢，当有人举着你的名字，把两道本该分开的“能力”焊在一起——请你一定，先停下来，问一句：

它为什么要听我们的话？

(作者介绍：清华电机系博士， 管理学副教授， 福耀玻璃集团前副总裁， 富士康科技集团HR首席顾问兼技术委员会总干事)

---

我的其它文章