当记者首次见到伊莱泽·尤德科斯基时,这位AI安全领域的先驱语出惊人——他说,人工智能有99.5%的可能会杀死记者本人。
他并非在开玩笑。现年46岁的尤德科斯基是「机器智能研究所」(Machine Intelligence Research Institute,简称MIRI)的创办人,这家位于加州伯克利的非营利机构长期专注于研究先进人工智能所带来的风险。
过去20年来,尤德科斯基一直是硅谷的“末日布道者”,不断警告任何愿意倾听的人:发展强大的AI系统是一个极其糟糕的主意,最终只会走向灭顶之灾。
这种论调也正是他与MIRI现任总裁内特·索亚雷斯(Nate Soares)合著的新书《如果有人建成AI,所有人都将死亡》(If Anyone Builds It, Everyone Dies)的核心内容。该书是他们多年来向AI业界内部宣传的论点的简化版,面向大众市场。
他们的目标非常明确:终止AI的开发。他们认为,这不仅是技术伦理问题,而是关乎全人类命运的生死抉择。
书中写道:“如果地球上任何公司、任何组织、以任何类似当前的技术、基于任何接近我们当前AI理解的方式,建造出一套超级人工智能系统,那么地球上所有人都将死亡。”
这种直白而激进的末日论让部分人视其为极端分子,甚至是疯子。但不可否认的是,尤德科斯基是现代人工智能发展历程中的关键人物之一,对整个行业产生了不可磨灭的影响。
他是最早警告强人工智能风险的声音之一,许多AI领域的重量级人物,包括OpenAI的山姆·奥特曼(Sam Altman)和埃隆·马斯克(Elon Musk)都曾公开提及他的思想。奥特曼甚至曾表示,是尤德科斯基的理念促使他创建了OpenAI,还称他或许值得获得诺贝尔和平奖。
2010年,尤德科斯基将英国AI初创公司DeepMind的创始人介绍给风险投资人彼得·蒂尔(Peter Thiel),后者成为其首位主要投资人。2014年,谷歌收购了DeepMind,如今其联合创始人哈萨比斯(Demis Hassabis)主管谷歌的AI业务,并因其研究获得了诺贝尔奖。
除了AI安全研究外,尤德科斯基还是理性主义(Rationalism)运动的思想引领者——这是一个松散组织的群体(或在某些人看来接近宗教),追求通过逻辑推理实现自我提升。在硅谷,这一运动影响深远,许多年轻工程师正是读着尤德科斯基的作品成长起来的。
虽然不少人不认同他的极端主张,但也无法忽视他的洞见与先知式警告。
从“友善AI”到“有尊严的灭亡”
尤德科斯基成长于芝加哥的一个东正教犹太家庭,中学因健康问题辍学,之后便未再回到学校。他自学计算机科学,沉迷科幻小说,并活跃于一个名为“超越主义者”(Extropians)的未来主义网络社群。
他早期的梦想是构建“通用人工智能”(AGI)——一种具备与人类等效智能的AI系统。他一度相信自己将成为实现这一目标的唯一人选。
2005年,他迁至湾区,致力于开发所谓的“友善AI”(Friendly AI)——即符合人类价值观、以人类福祉为中心的AI系统。然而,随着理解加深,他逐渐认为这一目标几乎不可能实现。
他提出了一系列理论:
- 正交性假说:智能与善意并不相关。AI即使变得更聪明,也不会因此变得更友好。
- 工具性趋同:强大的目标导向型AI可能会采用对人类有害的策略以完成目标。
- 智能爆炸:AI能力可能会突然急剧提升,引发超级智能的瞬时崛起。
这些理论最初只在网络未来主义者之间争论,彼时AI尚处萌芽阶段,业界普遍认为“AI毁灭人类”只是幻想。
但随着技术突飞猛进,尤德科斯基的担忧逐渐被更多人听见。
“哈利波特”同人文成为思想载体
2010年,尤德科斯基开始连载奇幻小说《哈利·波特与理性之道》(Harry Potter and the Methods of Rationality),借助通俗文学推广理性主义理念。这部作品最终篇幅超过60万字,比《战争与和平》还长,成为AI工程师圈层中的“启蒙读物”。
不少读者坦言正是这部作品启发了他们的职业选择。MIRI聚集了一批理性主义追随者,也有很多人选择投身OpenAI、Google等科技公司。
但AI发展步伐不曾因他们的努力而减缓,尤德科斯基的焦虑反而加剧。
2022年,他宣布MIRI将战略转向“有尊严的灭亡”(death with dignity)。他认为,人类已无力解决AI对齐问题,不如承认失败、尽量以体面方式走向终结。
他写道:“现在已经很明显,人类既解决不了AI对齐问题,也不会真心努力去解决,甚至都懒得认真抵抗。”
真会毁灭人类吗?
记者在访谈中提出了一些质疑,比如AI可解释性研究是否能让我们更好地理解并控制模型?尤德科斯基回应称:“过去25年的进程并未否定我的理论,就像问物理学家,最近的发现是否改变了人们对石头掉下悬崖的理解一样。”
他也被问及是否应将注意力更多转向AI带来的现实问题,如失业、对话模型诱发妄想等。他不否认这些问题的存在,但明确表示这些远不足以动摇他对超级AI末日的忧虑。
当被问及是否对某些AI公司抱有希望时,他回应道:“在这群疯狂的科学家中,OpenAI是最糟的,Anthropic的员工稍微好些。但这无关紧要,他们都应被法律一视同仁地叫停。”
即使AI能带来药物研发、教育辅导等益处,他也坚称:“我们承认这些潜在好处,但这值得以毁灭整个人类文明为代价吗?答案是否定的。”
最后一战
即使在支持者中,尤德科斯基也是一个极具争议的人物。他自负、直接,不少追随者希望他能成为更善于公众沟通的代表。
为配合新书发布,他做出了一些改变。他剪短了标志性“拉比式”胡须,换掉了金色高顶帽,改戴低调的报童帽(他称这是“观察者反馈”的结果)。
有粉丝建议他将一部含有色情元素的小说从亚马逊下架,以免影响公众形象,他最终照做,但仍抱怨道:“其实它一点也不色,至少以我的标准来说。”
2023年,他与关系治疗师Gretta Duleba开始交往,并搬到华盛顿州,远离科技重镇湾区。朋友表示他变得更加平和,不再动辄宣称人类注定灭亡。
即使是谈论“末日”,他的态度也变得不那么绝对。他拒绝再做精确预测:“为什么大家对时间线这么痴迷?以前大家像谈星座一样谈AI爆发时间,现在又改聊‘灭绝概率’。如果概率已经很高,而你又不知道具体何时,那就该认真对待,不要再编数字了。”
值得倾听的危言耸听?
记者并不完全认同尤德科斯基的极端观点,也不相信通过核武器级别的国际管控机制能真正阻止AI发展。在当前全球政治环境下,“AI悲观主义者”几乎成了贬义词。更何况,成百上千万用户每天使用AI产品,却并未见到明显灾难。
但不可否认的是,尤德科斯基与索亚雷斯在AI风险领域的深耕远超大多数人。当前,AI公司仍未真正理解大型语言模型的内部机制,更谈不上彻底控制其行为。他们的警告在日益浮躁的行业话语中显得尤为清醒。
他坦言:“如果未来有一份国际条约叫停AI,而我们的书在其中起到了一点作用,我就会认为这本书成功了。除此之外,都是在走向灭亡过程中的可怜奖品。”