在加州伯克利市中心,一座老旧的酒店已经转变成一座追求人工智能与人类未来的“圣殿”,这座建筑如今被称为“Lighthaven”。

这一封闭式园区几乎占据了整个街区,包含五座建筑和一座点缀着玫瑰灌木、石制喷泉以及新古典主义雕像的小型公园。最高的建筑被命名为“Bayes House”,以纪念18世纪的数学家与哲学家贝叶斯,其顶楼装饰着闪烁的彩绘玻璃窗。
Lighthaven实际上已成为一个自称为“理性主义者”(Rationalists)群体的总部。这个群体涉猎广泛,涉及数学、遗传学和哲学。他们的核心信念之一是:如果人工智能能够在不摧毁人类的前提下发展,那么它将为人类带来更美好的生活。理性主义者认为,建设人工智能的责任落在开发者身上,而他们必须确保这项技术为整体福祉服务。
早在OpenAI开发ChatGPT之前,这些理性主义者就已关注人工智能的风险。ChatGPT的面世使人工智能进入主流视野,也彻底颠覆了硅谷的生态。而理性主义者的思想也悄然影响了多家科技公司,从谷歌这样的巨头到OpenAI和Anthropic这样的AI先锋企业。
人工智能领域的一些重要人物,如DeepMind联合创始人Shane Legg、Anthropic首席执行官Dario Amodei,以及曾在OpenAI担任研究员、现领导美国人工智能标准与创新中心安全工作的Paul Christiano,都深受理性主义哲学的影响。科技亿万富翁埃隆·马斯克也表示,自己许多理念与这个社区的思想不谋而合。
马斯克与流行歌手Grimes的相识,正是因他们共同提及了“Roko’s Basilisk”这一理性主义者提出的思想实验。该思想认为,一旦一个全能的人工智能出现,它将惩罚那些没有全力推动其诞生的人。
尽管如此,这些科技界的领导者往往不愿自称为理性主义者,因为这一称谓在过去几年中屡遭外界嘲讽。
理性主义社区与“有效利他主义”(Effective Altruism, 简称E.A.)运动紧密相连。后者试图通过量化捐赠的受益人数来重塑慈善理念,追求最大化效益。它不仅关注当下人群,也关注未来所有可能出生的人。许多E.A.信徒相信,最有效的方式是保护人类免受人工智能带来的潜在毁灭性威胁。
理性主义者通常也认同E.A.理念,反之亦然。这两个运动已向多个AI公司、研究实验室和智库投入数亿美元,目标是在开发人工智能的同时确保其安全。主要资助者包括Skype联合创始人Jaan Tallinn以及Facebook联合创始人Dustin Moskovitz。
人类学者Mollie Gleiberman指出,这一群体“建立了一个庞大而资金充足的生态系统,用于传播、放大并验证他们的意识形态”。
不论这些人对人工智能的“准宗教式担忧”是否正确,整个科技行业正在严肃对待他们的信念。
2023年底,OpenAI首席执行官Sam Altman曾一度被董事会解职,原因正是部分与理性主义和E.A.运动有关的董事成员不相信他能保证人工智能的发展是为了人类的福祉。
Lighthaven成为理性主义理念在硅谷与旧金山湾区影响力的实体象征,堪称一座现代圣殿。
主楼“Aumann Hall”以以色列博弈论学家Robert Aumann命名,设有七间卧室和多个公共空间,用于举办聚会与周末会议。“Eigenspace”则得名于一个数学概念,配备健身房和可容纳40人的公共活动区域。人造草皮覆盖的公园最多可容纳200人,并配有座椅和电动火炉。
社区资深成员Alex K. Chen表示:“这是一个可能发生意外之喜的地方。有人将其比作大学校园,或麻省理工学院的媒体实验室。”
每年春季,Lighthaven会举办“LessOnline”会议,邀请理性主义网站的博主和评论者面对面交流。而每周二晚上6:30,人们像参加圣经研读班一样聚集,阅读并讨论《序列集》(The Sequences)——这本由Eliezer Yudkowsky撰写的作品是理性主义运动的源头文本。
维拉诺瓦大学神学教授、方济各修女Ilia Delio指出:“宗教本质是文本、故事与仪式。在这里,这些元素全都存在。”
理性主义运动不仅是一套思想体系,也是一种生活方式。信徒们在专注人工智能之余,也提出了生活与职业选择的建议。他们接受诸如多重恋爱关系、智力遗传学等非传统理念,同时将有效利他主义视为一种生活方式。对那些渴望投身人工智能行业的开发者而言,理性主义者组织的活动也已成为重要的职业人脉平台。
例如夏季在Lighthaven举办的“MATS”(Machine Learning Alignment and Theory Scholars)项目,正成为进入AI安全领域的重要通道。来自加拿大麦吉尔大学及Meta的AI研究员Sonia Joseph表示,相较于传统学术界,这类项目更具影响力。
理性主义者最早可追溯至2000年代末,当时网络哲学家Eliezer Yudkowsky撰写了《序列集》,以系列文章引导读者用冷静而严谨的思维重新审视世界。该系列作品兼具教程、娱乐和神秘旅程的色彩,逐渐成为理性主义社区的指导手册。
2010年,Yudkowsky将英国AI公司DeepMind的创始人与风险投资家Peter Thiel引荐,帮助该公司获得起步资金。不到四年,DeepMind被谷歌以6.5亿美元收购,如今其技术与高管主导谷歌的AI战略。
Yudkowsky还在伯克利运营一个致力于AI安全的非营利机构——机器智能研究院(Machine Intelligence Research Institute)。此后,运动逐渐全球化,理性主义者的共居屋遍布纽约、波士顿等城市,英国、荷兰和澳大利亚也出现了相关聚会。
2013年,首届国际有效利他主义峰会在加州奥克兰的一个共居屋举行,这里是Leverage Research的总部,这家公司与理性主义社区有深厚联系。Yudkowsky与Tallinn等关键人物将E.A.运动引向了对人工智能风险的关注。
尽管理性主义与E.A.运动屡受外界批评,包括共居屋中性骚扰指控、对优生学和种族科学的兴趣等问题,但该运动仍持续发展。2023年,该社区的声誉因FTX创始人Sam Bankman-Fried被判欺诈而遭受重创。Bankman-Fried曾是这两个运动的主要金主,他宣称自己从事金融交易的初衷正是为了资助与AI安全相关的E.A.事业。然而,他最终因盗取客户80亿美元而获罪。
哈佛大学牧师、著有《科技不可知论》(Tech Agnostic)一书的Greg M. Epstein评论道:“当一个团体因为其古怪的愿景而有可能改变全球亿万人的生活,还需要多大程度的‘邪教特质’,它才算是邪教?恐怕不用太多。”他进一步指出:“那些具有邪教性质的基本主义宗教往往做的事情,就是让人忽略现实世界中存在的问题,而把注意力集中在某种幻想中的未来。”
每年十二月,数百名成员会聚集在奥克兰丘陵的Chabot天文馆、伯克利市中心的Freight and Salvage音乐厅等地,庆祝“冬至节”这一年度传统。他们用歌曲、故事、幽默与对世界命运的思考来纪念一年中最长的夜晚。
最近一次的冬至节活动以一首名为《Uplift》的歌曲开场,赞颂人类历史上的技术力量。在吉他、小提琴和键盘伴奏下,两位歌手从石器时代唱到未来:“风帆借助光飞行,数据解读、城市闪耀!手敲键盘,点击鼠标,我们出发!”歌词中还唱道:“声音传遍全世界,直至太空!送我们去殖民另一处星球!”
但当天担任主持的长期理性主义者Ozy Brennan则警示未来的阴影:“我们正面临祖先无法想象的诸多威胁:核战争、人工合成的大流行病、人工智能。如果失败——而这完全有可能——那么百分之百的孩子都会死亡,全人类亦将灭绝。”
Lighthaven的主楼建于1905年,是一座都铎风格的粉白色住宅。1970年代,这里曾是名为“玫瑰园旅馆”的民宿,并被列为伯克利市的历史地标。大约三年前,一家名为Lightcone Rose Garden的公司以1650万美元将其买下。根据地产记录,该公司隶属于运营理性主义主网站LessWrong的Lightcone Infrastructure。术语“Light cone”源自物理学,被理性主义者和E.A.广泛用来指代从当下可影响的未来事件范围。
如今,Lighthaven由Lightcone运营,管理团队中包括组织首届世俗冬至节的Ray Arnold。根据一份法律申诉书,该地产购买资金部分来自Tallinn和Bankman-Fried二人,后者所提供的首付款随后在法庭和解中被退还。
外部人士并不总被允许进入Lighthaven。Lightcone负责人Oliver Habryka曾拒绝《纽约时报》参观园区的请求。
去年夏天,AI研究员Sonia Joseph在Lighthaven参与了MATS项目。她回忆,自己14岁时在阅读《哈利波特与理性方法》时接触到理性主义社区。这本连载小说由Yudkowsky撰写,共66万字,描绘了一个拒绝盲目信仰魔法、而用哲学、科学与理性思维来解释世界的哈利·波特。这本书也吸引了数百人进入该社区。
Joseph表示:“它吸引着局外人。如果你是堪萨斯州一名得不到宗教支持的同性恋孩子,可能会读到《哈利波特与理性方法》,并发现一个真正包容的群体。”
正如LessWrong一样,MATS项目也成为进入AI公司工作的跳板。项目的参与者通常由Anthropic等公司的一流AI研究员选拔。但对Joseph与许多人来说,这不只是职业发展的机会。
回忆起她在Lighthaven度过的那个夏天,她记得通往三层建筑的小路上,玫瑰与石制天使雕像排列两侧;记得楼梯底部的镜子令人联想到《哈利波特与理性方法》中的魔法装置;也记得那扇贴着“Yudkowsky办公室”标志的锁着的门。
她感叹道:“这一切都如同神话。即便是不属于理性主义者的科学家,也会被这股力量吸引——就像当年曼哈顿计划一样。人们渴望参与某种具有神话色彩的伟大事业。”