AI TrendTrackers

OpenAI推出基于GPT-4的新模型CriticGPT，用于捕捉ChatGPT代码输出中的错误。研究表明，当用户在CriticGPT的帮助下审查ChatGPT代码时，60%的情况下其表现优于没有帮助的用户。OpenAI正着手将类似CriticGPT的模型整合到RLHF（从人类反馈中强化学习）标签管道中，为训练师提供明确的AI辅助。这是迈向能够评估高级AI系统输出的一步，因为这些系统的输出难以仅依靠人类工具进行评估。 GPT-4系列模型通过RLHF使ChatGPT变得更加有用和互动。RLHF的重要部分是收集人类AI训练师对不同ChatGPT响应的比较和评分。然而，随着推理和模型行为的进步，ChatGPT变得更加准确，其错误也变得更加隐蔽。这使得AI训练师难以发现错误，从而使RLHF的比较任务更加困难。这是RLHF的一个基本限制，随着模型变得比任何提供反馈的人类更有知识，问题可能会变得越来越严重。 为了应对这一挑战，OpenAI训练了CriticGPT，使其能够撰写批评意见，突出ChatGPT回答中的不准确之处。虽然CriticGPT的建议并不总是正确的，但研究发现它能帮助训练师发现更多的问题。此外，当人们使用CriticGPT时，AI增强了他们的技能，导致批评意见比单独工作时更全面，同时比仅靠模型工作时产生更少的幻觉错误。在实验中，随机选择的第二名训练师更喜欢Human+CriticGPT团队的批评意见，而不是未受辅助的人的批评意见，超过60%的时间。 CriticGPT同样通过RLHF进行训练，但不同于ChatGPT，它接收了大量包含错误的输入，并需要对这些错误进行批评。OpenAI要求AI训练师手动将这些错误插入ChatGPT编写的代码中，然后撰写反馈示例，仿佛他们发现了自己插入的错误。同一人然后比较多种对修改后代码的批评意见，以便轻松判断哪个批评意见发现了他们插入的错误。研究表明，在63%的情况下，训练师更喜欢CriticGPT的批评意见，因为新模型产生的“小问题”（不太有帮助的抱怨）更少，并且更少出现幻觉问题。 研究还发现，通过针对批评奖励模型的额外测试时间搜索，可以生成更长且更全面的批评意见。这种搜索程序使得我们能够平衡对代码问题的积极寻找程度，并在幻觉和检测到的错误数量之间配置精确度和召回率的权衡。这样就可以生成对RLHF尽可能有帮助的批评意见。 尽管取得了这些进展，CriticGPT仍有一些局限性。它主要训练于较短的ChatGPT回答，对于监督未来的代理，需要开发能够帮助训练师理解长篇复杂任务的方法。此外，模型仍会产生幻觉，训练师在看到这些幻觉后有时也会犯标签错误。有时，现实世界的错误可能分散在答案的多个部分，而当前的工作主要关注能够在一个地方指出的错误，未来需要处理分散的错误。 为了对齐越来越复杂的AI系统，需要更好的工具。研究表明，将RLHF应用于GPT-4有望帮助人类生成更好的RLHF数据。OpenAI计划进一步扩展这项工作并付诸实践。

谷歌翻译打破语言障碍，帮助人们更好地交流和理解周围的世界。为了让更多人能够使用这一工具，谷歌一直在应用最新技术。2022年，谷歌通过“零样本机器翻译”技术新增了24种语言，这种机器学习模型无需看到示例即可学习翻译。谷歌还宣布了“1000种语言计划”，致力于构建支持全球1000种最常用语言的人工智能模型。 现在，谷歌利用人工智能进一步扩大支持的语言种类。借助PaLM 2大型语言模型，谷歌翻译新增了110种语言，这是迄今为止最大的扩展。 为超过5亿人提供翻译支持这些新语言覆盖了6.14亿多名使用者，占全球人口的约8%。其中一些是拥有超过1亿使用者的主要世界语言，另一些则是小型原住民社区使用的语言，还有一些几乎没有母语使用者但正在积极复兴。约四分之一的新语言来自非洲，这是谷歌迄今为止对非洲语言的最大扩展，包括丰语、基孔戈语、罗语、加语、斯瓦特语、文达语和沃洛夫语。 以下是谷歌翻译支持的一些新语言： 选择语言变体的标准添加新语言到谷歌翻译时需要考虑很多因素，包括提供的语言变体和使用的具体拼写标准。语言有大量的变体：地区变体、方言、不同的拼写标准。事实上，许多语言没有一种标准形式，因此无法选择“正确”的变体。谷歌的做法是优先考虑每种语言中最常用的变体。例如，罗姆语在整个欧洲有许多方言，谷歌的模型生成的文本最接近南瓦拉克斯罗姆语，这是一种常用的在线变体，但也混合了其他方言的元素，如北瓦拉克斯和巴尔干罗姆语。 PaLM 2是解决这一难题的关键，帮助谷歌翻译更有效地学习彼此密切相关的语言，包括与印地语接近的语言如阿瓦德语和马尔瓦迪语，以及法语克里奥尔语如塞舌尔克里奥尔语和毛里求斯克里奥尔语。随着技术的进步，以及谷歌继续与语言学专家和母语使用者合作，未来将支持更多的语言变体和拼写规范。 访问帮助中心了解更多关于这些新支持的语言，并通过translate.google.com或Android和iOS上的Google Translate应用程序开始翻译。

今年，亚马逊因其在多家实体杂货店安装的“Just Walk Out”技术引发了批评性报道而备受关注。 这种人工智能驱动的系统使顾客在许多亚马逊生鲜店和亚马逊Go商店中只需挑选商品，然后直接离开。这项技术通过大量传感器来识别顾客选择了哪些商品，随后自动结账。然而，今年四月，有报道称，这项“Just Walk Out”技术并非完全依赖人工智能，而是需要印度约1000名员工手动检查几乎四分之三的交易。 亚马逊迅速回应称这些报道是“错误的”，并表示印度的员工并未审查所有商店的视频监控。亚马逊表示，这些员工只是对系统进行审核。这与任何注重准确性的AI系统相同，人类审核员是很常见的。无论亚马逊的具体情况如何，这都是一个引人注目的例子，说明了一个新兴的问题——公司是否在夸大其对AI的使用。这种现象被称为“AI洗白”，类似于环保领域的“绿色洗白”。 首先，解释一下什么是AI。虽然没有确切的定义，但AI让计算机能够学习和解决问题。在经过大量信息的训练后，AI可以执行这些任务。近年来备受瞩目的AI类型是所谓的“生成式AI”，这种AI擅长创造新的内容，无论是文本对话、音乐还是图像。像ChatGPT、谷歌的Gemini和微软的Copilot都是生成式AI的流行例子。 谈到AI洗白，有几种类型。一些公司声称使用AI，但实际上使用的是不那么复杂的计算技术；还有些公司夸大了AI在现有技术上的效果，或声称其AI解决方案已完全投入使用，而实际上并非如此。同时，还有一些公司只是将AI聊天机器人附加到现有的非AI操作软件上。 根据英国和芬兰的投资基金OpenOcean的数据，2022年只有10%的科技初创公司在推介中提到使用AI，而在2023年这一比例上升到超过四分之一。OpenOcean预计今年这一比例将超过三分之一。团队成员Sri Ayangar表示，竞争资金和渴望走在科技前沿的欲望推动一些公司夸大其AI能力。 “有些创始人似乎认为，如果不在推介中提到AI，这可能会使他们处于不利地位，不管AI在他们的解决方案中扮演了什么角色，”Ayangar说道。“从我们的分析来看，公司声称拥有AI能力与展示出实际AI驱动结果之间存在显著差距。” Ayangar指出，许多初创公司的老板认为他们必须提到AI。根据另一家科技投资公司MMC Ventures的数据，这个问题已经存在多年。2019年的一项研究发现，自称为“AI初创公司”的新科技公司中有40%实际上几乎不使用AI。 MMC Ventures的合伙人Simon Menashy解释道：“现在，每家公司都可以以标准软件的价格购买到最前沿的AI技术，但很多公司并没有构建完整的AI系统，而只是将聊天机器人界面添加到非AI产品上。” KPMG英国新兴技术风险负责人Douglas Dick表示，AI洗白问题因缺乏统一的AI定义而加剧。“如果我问一个房间里的人什么是AI，他们都会给出不同的答案，”他说。“这个术语被非常广泛和松散地使用，没有明确的参照点。这种模糊性使AI洗白现象得以出现。” AI洗白对企业有着令人担忧的影响，从支付过高的技术和服务费用到无法实现AI预期的运营目标。对于投资者来说，这使得识别真正创新的公司变得更加困难。Ayangar表示：“如果消费者对声称提供先进AI驱动解决方案的产品感到失望，这可能会侵蚀那些真正做开创性工作的初创公司的信任。” 美国的监管机构已经开始注意到这个问题。今年早些时候，美国证券交易委员会（SEC）表示，正在起诉两家投资咨询公司，指控它们对使用AI的程度作出虚假和误导性陈述。“SEC采取的坚定立场表明，在AI洗白问题上没有回旋余地，至少在美国，未来我们可以预期对违规者会有更多的罚款和制裁，”国际律师事务所Charles Russell Speechlys的合伙人Nick White说。Nick White指出，美国监管机构对这个问题的打击力度令人欣慰. 在英国，已经有法规和法律涵盖AI洗白问题，包括广告标准局（ASA）的行为准则，该准则规定，营销传播不得存在重大误导性或可能导致误导性。英国企业法律事务所Walker Morris的监管团队助理Michael Cordeaux表示，AI声明已成为ASA调查的广告中越来越常见的特征。 例如，一则关于应用程序的付费Instagram帖子标题为“使用AI增强您的照片”，ASA认为这是夸大了应用程序的性能，因此具有误导性。Cordeaux表示：“很明显，AI声明越来越普遍，显然也越来越能够引起消费者的兴趣。” 牛津大学技术与监管教授Sandra Wachter认为：“我们正处于AI炒作的高峰期。”她补充道：“我们似乎忘记了问是否有必要将AI用于所有类型的任务。我记得在伦敦地铁看到的广告上写着由AI驱动的电动牙刷。这是给谁用的？谁会受益？” 此外，她表示，AI的环境影响常常被忽视。“AI并不是从树上长出来的……这种技术对气候变化的贡献已经超过了航空业。我们必须摆脱这种片面的炒作讨论，真正思考AI在具体任务和领域中的有益之处，而不是盲目地将其应用到所有领域。” 然而，MMC Ventures的研究主管Advika Jalan表示，从长远来看，AI洗白问题可能会自行消退。“AI变得如此普遍——即使它们只是ChatGPT的外壳——‘AI驱动’作为一个品牌工具最终可能不再具有差异性，”她说。“这就像说‘我们在互联网上’一样。”

加州大学圣克鲁兹分校的研究人员在大语言模型领域取得了突破性成果。通常，运行先进模型如ChatGPT 3.5需要巨大的能源和财务成本——每天约70万美元的能源费用，导致显著的碳足迹。然而，一篇新的预印本论文显示，高性能语言模型可以在只需一个灯泡的能源下运行。 消除昂贵元素：矩阵乘法 在他们的创新方法中，研究人员解决了运行大语言模型最昂贵的部分：矩阵乘法。通过消除这一步骤并采用定制硬件，他们发现，一个十亿参数规模的语言模型仅需13瓦特的功率运行。这一效率比传统硬件高出50倍以上。 “我们以更低的成本达到了同样的性能——我们所做的只是从根本上改变了神经网络的工作方式，”该论文的主要作者、加州大学圣克鲁兹分校Baskin工程学院电气和计算机工程系助理教授Jason Eshraghian解释道。该团队不仅重新设计了算法，还构建了定制硬件以最大化效率。 了解成本 现代神经网络严重依赖矩阵乘法，其中单词在矩阵中表示为数字，通过相乘生成语言。这些操作通常在GPU上进行，GPU专门处理大型数据集，但由于需要在物理分离的单元之间移动数据，因此能耗很高。 创新方法：三进制数 团队采用了一种使用三进制数（负一、零、正一）的方法，将计算简化为数字求和而非相乘。这一方法受到之前工作的启发，但更进一步，完全消除了矩阵乘法。研究人员制定了一种策略，叠加矩阵并仅执行最关键的操作，保持性能的同时降低成本。 定制硬件开发 为了进一步提升能源效率，团队使用现场可编程门阵列（FPGAs）创建了定制硬件。这种高度可定制的硬件允许研究人员利用重新设计的神经网络的所有节能功能。结果是，一个模型可以以比人类阅读速度更快的速度生成单词，只需13瓦特的功率——相比标准GPU所需的700瓦特，这一改进令人震惊。“我们用更便宜的操作取代了昂贵的操作，”该论文的第一作者、BSE和Eshraghian小组的研究生Rui-Jie Zhu说。 未来的影响 研究人员认为，未来还有更大的效率提升潜力。“这些数字已经非常稳固，但很容易使它们变得更好，”Eshraghian指出。“如果我们能在13瓦特内做到这些，想象一下如果我们有一个整个数据中心的计算能力可以做到什么。我们有这么多资源，但让我们有效地使用它们。” 这项创新工作为更可持续的AI发展铺平了道路，减少了能源消耗和环境影响。研究人员已将他们的模型开源，邀请在这个有前景的领域进一步发展。 参阅：https://arxiv.org/abs/2406.02528

在周三举行的年度股东大会上，英伟达（Nvidia）首席执行官黄仁勋（Jensen Huang）强调了公司在人工智能（AI）时代的卓越定位。黄仁勋表示，英伟达即将推出的Blackwell平台可能成为公司乃至整个行业历史上“最成功的产品”。股东们投票批准了高管薪酬、投资者提出的一项咨询建议、董事会的连任以及一家会计师事务所的任命。 英伟达股东批准高管薪酬和其他提案 在周三举行的年度股东大会上，英伟达股东批准了四项提案。首席执行官黄仁勋在会上强调了公司新推出的Blackwell平台，以及随着AI技术的发展，公司将获得的机会。 英伟达报告称，黄仁勋在2024财年的总薪酬为3420万美元，比2023财年增加了近60%。由于英伟达的高管薪酬结构主要与绩效挂钩，因此股票的迅速上涨提升了他的薪酬。 股东们还投票重新选举了公司董事会的12名现任董事，并批准普华永道（PwC）为公司2025财年的独立注册会计师事务所。 投资者约翰·切维登（John Chevedden）提出的咨询提案也得到了批准，该提案要求董事会用简单多数投票标准取代超级多数投票规定。 Blackwell可能成为“最成功的产品” 黄仁勋在大会上表示，“Blackwell架构平台可能是我们历史上最成功的产品”，并补充说它可能是计算机历史上最成功的产品。分析师称，英伟达即将推出的Blackwell系统是硅谷“最雄心勃勃的项目”。 黄仁勋强调，Blackwell将被“每个主要的云服务提供商、服务器制造商和领先的AI公司”采用，包括亚马逊（Amazon）、谷歌（Google）、Meta、微软（Microsoft）、ChatGPT的开发者OpenAI、特斯拉（Tesla）以及埃隆·马斯克（Elon Musk）的xAI。 英伟达在AI“下一波浪潮”中的角色 黄仁勋利用这次股东大会强调了公司在AI繁荣中增长的机会，包括在机器人和主权AI领域。 他说，“下一波AI将自动化价值50万亿美元的重工业”，并指出机器人工厂将“协调制造机器人的机器人来制造产品，这些产品本身也是机器人”，而英伟达将从中受益。 黄仁勋还指出，随着对主权AI需求的增加，即一个国家利用自身基础设施和数据生产AI的能力，公司将有更多机会获得增长。

Claude的愿景一直是创建能够与人们协同工作并显著提升他们工作流程的人工智能系统。朝着这一方向迈进，Claude.ai的专业版和团队版用户现在可以将他们的聊天组织到项目中，将精选的知识和聊天活动整合到一个地方，并且可以让团队成员查看他们与Claude的最佳聊天记录。借助这一新功能，Claude可以促进创意生成、更具战略性的决策，并取得卓越成果。 项目功能在Claude.ai上对所有专业版和团队版用户开放，并且可以由最新发布的Claude 3.5 Sonnet驱动，该版本在各种基准测试中表现优异。每个项目包括一个200K上下文窗口，相当于一本500页的书，因此用户可以添加所有相关文档、代码和见解，以提高Claude的有效性。 避免冷启动问题 项目功能允许用户将内部知识作为Claude输出的基础——无论是风格指南、代码库、访谈记录，还是过去的工作。这种增加的上下文使得Claude能够在各项任务中提供专家级的帮助，从编写营销团队的电子邮件到编写数据分析师的SQL查询。 此外，用户可以为每个项目定义自定义指令，以进一步定制Claude的响应，包括指示Claude使用更正式的语气或从特定角色或行业的角度回答问题。借助项目功能，用户可以更快地开始工作，并在任何任务上扩展自己的技能。 与Claude并肩工作 Artifacts帮助用户更好地与Claude协作，通过帮助用户查看、编辑和构建与Claude共同创建的内容。用户只需要求Claude生成代码片段、文本文档、图形、图表或网站设计等内容，Artifacts便会在对话旁的专用窗口中出现。 Artifacts特别增强了Claude为开发者提供的编码功能，提供了更大的代码窗口和实时预览功能，从而简化了前端的审查过程。用户可以通过左侧面板的账户菜单加入Artifacts的功能预览。 激发灵感并分享 Claude团队用户还可以将与Claude进行的最佳对话的快照分享到团队的共享项目活动中。活动馈送帮助每个团队成员在不同的工作方式中获得灵感，并帮助整个团队提升与AI协作的技能。 与Claude共同创作的工作成果的分享可以改善如产品开发和研究等领域的创新，将整个公司的组织知识汇聚在一起，产生更高质量的输出。 客户聚焦：North Highland 在North Highland这家领先的变革和转型咨询公司，数百名员工跨越咨询、业务发展和营销团队使用Claude来提升工作效率。从撰写提案到分析复杂文件如10-K，团队利用Claude来增强和扩展他们的专家服务。 “Claude团队计划正在改变我们在North Highland的工作方式。Claude是一位真正杰出的作家，帮助我们的团队将内容创作和分析任务的完成速度提高了5倍——将过去需要两周的写作和研究工作缩短到几分钟。通过Claude，我们正在为未来的工作做好准备，在日常挑战中找到更多的乐趣，并跃入AI辅助协作和创造力的未来。” – Luka Anic，North Highland的技术AI项目和产品经理 Claude的未来工作展望 这些关于共享知识和协作的最新功能将Claude融入现有的团队流程，使用户能够节省时间并提升工作质量。通过利用Claude的准确性和高级编码与写作能力，项目功能可以放大团队的潜力。此外，作为对用户隐私承诺的一部分，任何在项目中共享的数据或聊天记录在未经用户明确同意的情况下不会用于训练我们的生成模型。 在未来几个月里，Claude 团队将继续使Claude更易于使用，同时扩展用户可以通过与流行应用和工具的本地集成带入Claude的项目知识类型。Claude 团队期待看到您的团队如何与Claude合作。

过去一年里，越来越多的人开始关注量子计算机如何融入并连接经典计算架构。量子计算机可以作为加速器，执行某些任务的复杂计算，这些任务即使是经典超级计算机也无法完成。在开发量子算法和电路的过程中，经典计算机或服务器用于预处理，而后处理则用于管理错误、改进结果并完成处理任务。正如不断增长的AI应用案例所表明的那样，AI可以增强经典计算能力，因此，AI也有可能增强量子计算能力，目前有多家公司正致力于实现这一目标。 尽管许多人和公司开始将量子和AI合并成一个术语，但这两者是截然不同的技术。AI是指在经典计算平台上开发和运行的神经网络模型，这些平台由CPU、GPU、NPU、DSP、FPGA等传统二进制处理逻辑元件驱动。量子计算机则使用超导transmon量子比特等替代计算架构，通过量子物理解决非常复杂的问题。尽管两者需要不同的硬件、软件和支持系统，但两者的整合正在推进，特别是为了量子计算的利益。IBM是推动AI与量子计算相结合的公司之一。 IBM被认为是量子计算领域的领导者，硬件、软件和系统技术不断进步，已在全球部署了量子计算机。IBM在AI技术方面也处于领先地位，其watsonx平台自2011年在《危险边缘》节目中获胜以来，取得了许多进展。此后，watsonx发展成为一个可扩展的企业平台，提供AI工作室、数据、治理和助手解决方案。现在，IBM将这两项技术结合起来，以增强量子计算并加速其采用。 最近，在与IBM的讨论中，该公司概述了如何将其AI技术整合到Qiskit软件中，以改进SDK工具和OpenQASM3（开放量子汇编语言）的易用性。IBM正在利用其Granite AI模型的watsonx生成AI平台，生成能够提供开发者支持和量子代码辅助的数字代理。 此外，IBM正在研究和开发新的AI模型，以改进电路优化、资源管理以及提高错误抑制、缓解和校正的能力。 作为其致力于将AI整合到量子计算中的一部分，IBM还推出了带有Visual Studio扩展的Qiskit代码助手服务，并计划推出两个量子聊天机器人——一个用于帮助开发人员，另一个用于IBM量子服务的一般用户。 在电路优化方面，AI模型可以作为插件嵌入到Qiskit SDK中，通过编译器服务或与启发式方法结合使用。根据IBM的说法，编译器服务提供了更好的抽象电路到量子ISA电路的映射，电路尺寸提高了40%，质量更好，处理速度提高了2到5倍。 在资源管理方面，IBM正在开发AI解决方案，以更好地估算量子运行时间，标记可能失败的工作负载，并对电路进行分区以进行并行处理，从而更好地利用经典和量子资源。这包括利用AI超级计算机。 未来的异构数据中心将包含量子处理单元（QPU），结合IBM在本十年末达到1亿门量子逻辑门和2033年左右达到10亿门的激进路线图，量子计算正迅速朝着在未来几年部署实用量子应用迈进。结果，我们可能会在本十年末看到结合最新CPU、AI加速器和QPU性能的异构数据中心。

全文：https://situational-awareness.ai/ “到了这个时候，你可能会觉得我和所有科幻迷都完全疯了。但是，请稍微想一下：如果他们是对的呢？这些人发明并构建了这项技术，他们认为在这个十年内会开发出通用人工智能。虽然意见有很大的分歧，但他们中的许多人都非常认真地对待超级智能可能会像我在这系列文章中描述的那样发展。 几乎可以肯定的是，我对这个故事的重要部分有误，如果现实真的如此疯狂，那么误差范围会非常大。而且，正如我在开头所说的，我认为有很多种可能性。但我认为具体化很重要。在这系列文章中，我描述了我目前认为在这个十年内最有可能发生的情景。 因为——它开始变得真实，非常真实。几年前，对我来说，这些想法虽然认真对待，但还是抽象的，被隔离在模型和概率估计中。现在感觉非常直观。我可以看到通用人工智能将如何被构建。不再是关于人类大脑大小的估计和假设以及理论推测——我基本上可以告诉你通用人工智能将在哪个集群上进行训练，何时会被构建，使用的大致算法组合，未解决的问题以及解决它们的路径，还有那些重要人物的名单。我能看到它，真的非常直观。当然，在2023年初全面押注Nvidia是很棒的，但历史的负担是沉重的，我不会选择这样的生活。 最可怕的认识是，没有什么精英团队来处理这个问题。小时候，人们对世界有一种美好的看法，认为当事情变得严重时，会有英雄科学家、超级能干的军人、冷静的领导者来拯救世界。事实并非如此。世界非常小，当面具脱落时，通常只是幕后的一些人在努力防止事情崩溃。 现在，可能只有几百个人知道即将发生的事情，他们了解情况将会多么疯狂，拥有情况意识的人。我可能认识或与所有有可能运行这个项目的人只有一步之遥。那些在幕后拼命维持局面的人，就是你和你的朋友以及他们的朋友。就是这样，仅此而已。 有一天，这将超出我们的掌控。但现在，至少在接下来的几年中，世界的命运掌握在这些人手中。 我们能驯服超级智能，还是会被它驯服？ 人类能再次避开自我毁灭的命运吗？ 赌注不止于此。 这些人伟大且值得尊敬，但他们只是普通人。很快，人工智能将接管世界，但我们还会经历最后一次较量。愿他们的最后管理为人类带来荣耀。” 文章《Situational Awareness: The Decade Ahead》详细探讨了未来十年人工智能（AI）和人工通用智能（AGI）的发展及其可能带来的影响，分为几个主要部分进行阐述： 导论 文章介绍了AGI竞赛的紧迫性和重要性。预计到2025/26年，AGI将超越许多大学毕业生的能力，并在十年内达到超级智能的水平。这场竞赛将引发前所未有的国家安全和经济挑战，特别是在世界Super Power之间。 从GPT-4到AGI：计算量的增长 从AGI到超级智能：智能爆炸 挑战 项目（The Project） 自由世界必须获胜 结论 最终，文章强调了AGI和超级智能发展的紧迫性和复杂性。为了应对这些挑战，各国必须在技术、安全和政策方面做好充分准备，以应对可能出现的种种复杂局面。 更多详细信息请访问Situational Awareness。

2022年，押注变革世界的变压器架构。 在过去两年里，Sohu，全球首款专为变压器设计的专用芯片（ASIC），应运而生。这意味着Sohu无法运行大多数传统的AI模型，如驱动Instagram广告的DLRMs、AlphaFold 2这样的蛋白质折叠模型或是Stable Diffusion 2等旧版图像模型。也无法运行CNN、RNN或LSTM。 然而，对于变压器，Sohu是有史以来最快的芯片，速度远超其他。Sohu每秒超过50万个token的Llama 70B吞吐量，使得许多在GPU上无法实现的产品成为可能。Sohu比NVIDIA的下一代Blackwell (GB200) GPU还要快且便宜一个数量级。 如今，每个最先进的AI模型都是变压器：ChatGPT、Sora、Gemini、Stable Diffusion 3等等。如果变压器被SSMs、RWKV或任何新架构取代，Sohu将变得毫无用处。 但如果赌对了，Sohu将改变世界。以下是我们做出这一赌注的原因。 规模是超级智能的关键 五年间，AI模型在大多数标准化测试中变得比人类更聪明。这是因为Meta使用了比OpenAI在GPT-2上多50000倍的计算资源来训练Llama 400B（2024年的最先进模型，比大多数人类更聪明）。 通过为AI模型提供更多计算资源和更好的数据，它们会变得更聪明。规模是几十年来唯一持续有效的策略，每个大型AI公司（Google、OpenAI / Microsoft、Anthropic / Amazon等）将在未来几年内投入超过1000亿美元以继续扩展。我们正处于史上最大的基础设施建设时期。 GPU遇到瓶颈 圣克拉拉的秘密是GPU并没有变得更好，而是变得更大。芯片每单位面积的计算能力（TFLOPS）在四年内几乎没有提升。 NVIDIA的B200、AMD的MI300、Intel的Gaudi 3和Amazon的Trainium2都使用双芯片方案来“加倍”性能。2022-2025年，除了Etched，所有GPU性能提升都是依靠这种技巧。 随着摩尔定律的放缓，唯一的提升性能的方法是专业化。 专用芯片的必然性 在变压器流行之前，许多公司构建了灵活的AI芯片和GPU来处理各种架构，如NVIDIA的GPU、Google的TPU、Amazon的Trainium、AMD的加速器等。没有公司曾构建过专用算法的AI芯片（ASIC），因为芯片项目成本高达5000万至1亿美元，且需要多年才能投入生产。 但现在情况发生了变化： 变压器的巨大护城河 变压器在硬件上的优势：能够最快、最便宜地运行在硬件上的模型才是赢家。变压器足够强大、有用且盈利，能在替代品准备好之前主导每个主要AI计算市场。 每个大型AI产品：从代理到搜索再到聊天，都是由变压器驱动的。AI实验室已经投入数亿美元进行研发，以优化GPU以适应变压器。 认识Sohu Sohu是全球首款变压器ASIC。一个8xSohu服务器可以替代160个H100 GPU。通过专业化，Sohu实现了前所未有的性能。一个8xSohu服务器每秒可以处理超过500,000个Llama 70B token。 由于Sohu只能运行一个算法，大多数控制流逻辑可以被移除，从而拥有更多的数学单元。因此，Sohu的FLOPS利用率超过90%（相比GPU的约30%）。 软件运作 在GPU和TPU上，软件非常复杂。处理任意的CUDA和PyTorch代码需要极其复杂的编译器。第三方AI芯片（AMD、Intel、AWS等）在软件上花费了数十亿美元，但收效甚微。 由于Sohu只运行变压器，所以只需为变压器编写软件！大多数公司使用特定的变压器推理库，如TensorRT-LLM、vLLM或HuggingFace的TGI。 Etched将成为第一 如果这个赌注现在看起来很疯狂，想象一下在2022年做出这一赌注的情景。当时，ChatGPT还不存在！图像和视频生成模型是U-Nets，无人驾驶汽车由CNN驱动，变压器架构还远未普及。 幸运的是，局势已经向Etched倾斜。每个领域的顶级模型——从语言到视觉——现在都是变压器。这一收敛不仅验证了Etched的赌注，也使得Sohu成为本十年最重要的硬件项目。 如果Etched赌对了，Sohu将改变世界。AI模型一夜之间变得快20倍且便宜，这会带来什么？Gemini需要超过60秒来回答一个视频问题，编码代理的成本比软件工程师还高，视频模型每秒只能生成一帧，甚至OpenAI在ChatGPT用户达到1000万时也耗尽了GPU容量，这只是世界的0.15%。 但有了Sohu，这一切将变得即时。实时视频、通话、代理和搜索将真正实现。 很快就能见证这些变化。申请Sohu开发者云的早期访问 (https://docs.google.com/forms/d/e/1FAIpQLSfNy_O_4UHUjzCgcEbYR5IEd2bSkkGpLbiw1i51BpWHMW3GwA/viewform)，共同解决当代最重要的问题。

前OpenAI员工签署公开信呼吁更多举报人保护，加州立法者提议AI监管法案 四年来，雅各布·希尔顿在湾区最具影响力的初创公司之一OpenAI工作。他的研究帮助测试和改进了如ChatGPT等AI模型的真实性。他相信人工智能可以造福社会，但也认识到如果不加以监管，这项技术可能带来的严重风险。 希尔顿是本月签署公开信的13名现任和前任OpenAI及谷歌员工之一，这封公开信呼吁更多的举报人保护，指出广泛的保密协议是个问题。 33岁的希尔顿现在是一名位于伯克利的非营利机构Alignment Research Center的研究员，他表示：“基本情况是，员工是最接近这项技术的人，也是因揭发问题而遭到报复风险最大的人。” 加州立法者行动 加州立法者正通过约50项与人工智能相关的法案，试图解决这些问题。许多法案旨在为快速发展的技术设置保障措施，立法者认为这些技术可能会对社会造成伤害。 然而，代表大型科技公司的团体认为，这些提议的立法可能会抑制创新和创造力，使加州失去竞争优势，并显著改变AI在该州的开发方式。 这些法案涵盖了广泛的AI相关担忧，包括工作替代、数据安全和种族歧视等问题。一项由Teamsters共同发起的法案，旨在对无人驾驶重型卡车进行人工监督。由服务员工国际联盟支持的法案试图禁止在提供公共福利服务的呼叫中心用AI系统自动化或替代工作。由参议员斯科特·维纳（D-San Francisco）撰写的另一项法案要求开发大型AI模型的公司进行安全测试。 立法推动的背景 在拜登政府期间，联邦和州的民主党人对大型科技公司变得更加积极。维纳表示：“我们已经看到，其他技术出现了大问题后，我们才开始采取行动。社交媒体对社会贡献了许多好处……但也带来了显著的负面影响，而我们并没有采取措施减少或减轻这些危害。现在我们正在亡羊补牢。我不希望再这么做。” AI技术的快速发展 AI工具正在快速进步，它们可以给孩子读睡前故事、在快餐店整理订单并帮助制作音乐视频。一些科技爱好者对AI的潜在好处感到兴奋，但也有人担心工作流失和安全问题。 旧金山非营利机构Center for AI Safety的负责人丹·亨德里克斯表示：“几乎所有人，包括许多专家，都对技术进步的速度感到惊讶。如果我们再拖延几年不采取任何行动，可能会为时已晚。” 维纳的法案SB1047由Center for AI Safety支持，呼吁构建大型AI模型的公司进行安全测试，并有能力关闭他们直接控制的模型。法案的支持者表示，这将保护免于AI被用于制造生物武器或关闭电网等情况。法案还要求AI公司实施匿名举报机制。州检察长可以起诉以执行安全规则。 法案的争议 包括Meta、谷歌和OpenAI在内的科技公司的行业团体TechNet反对这项法案，认为立法者应谨慎行事。Meta和OpenAI未回应置评请求，谷歌拒绝置评。TechNet的加州和西南地区执行董事迪伦·霍夫曼表示：“过快行动会带来自己的后果，可能会抑制和遏制这项技术带来的某些好处。” 法案已通过州议会隐私与消费者保护委员会，接下来将进入州议会司法委员会和拨款委员会，如果通过，将提交州议会全体表决。 民众的支持 维纳的法案支持者表示，他们是回应公众的愿望。根据Center for AI Safety Action Fund委托的对800名加州潜在选民的调查，86%的参与者表示，制定AI安全法规对该州来说是一个重要优先事项，77%的参与者支持对AI系统进行安全测试的提议。 希尔顿表示：“目前的现状是，在安全和保障方面，我们依赖这些公司自愿作出的公开承诺。但问题的一部分在于没有好的问责机制。” 其他相关立法 另一项对工作场所影响广泛的法案是AB 2930，旨在防止“算法歧视”，即自动化系统在招聘、薪酬和解雇方面基于种族、性别或性取向对某些人不利。 去年，反歧视法案在立法会议上未通过，今年重新提出后，初期获得了高知名度科技公司Workday和微软的支持，但他们对会增加公司责任的修正案表示担忧。 Workday公共政策负责人钱德勒·摩尔斯表示：“我们正在评估我们对新修正案的立场。” 微软拒绝置评。 好莱坞的呼声 AI的威胁也是好莱坞工会的呼吁重点。美国编剧工会和美国电影电视演员联合会在去年的罢工期间为其成员争取到了AI保护，但技术风险超出了工会合同的范围。演员工会全国执行董事邓肯·克拉布特里-爱尔兰表示：“我们需要公共政策赶上来，开始制定这些规范，以减少AI领域的无序环境。” 科技公司敦促谨慎对待过度监管。技术行业组织进步商会的托德·奥博伊尔表示，如果政府监管过于严厉，加州的AI公司可能会选择迁往其他地方。他警告道：“我们不应该让对假设性危害的恐惧驱动政策制定，当我们拥有这项在最初阶段就能创造巨大繁荣的变革性技术时。” 红木城云计算公司Box的首席执行官阿伦·莱维表示：“我们需要更强大的模型，然后逐步评估风险。”