Author: aitrendtrackers@rengongzhineng.io

当我询问Demis Hassabis是否能拯救Google时，他通过屏幕紧紧地盯着我。在他的家乡英国，已是傍晚时分，而这位DeepMind的创始人正在加班。自从去年夏天吞并了Google Brain后，他所在的这家Google旗下AI研究机构如今领导着公司的全部AI研究工作，面前的任务无比庞大。 Google的核心业务正蓬勃发展，但那似乎与本质无关。Hassabis和我是通过Google Meet交谈，在Gmail安排的采访中，通过Google Calendar安排时间，并通过Google搜索进行研究。主要得益于这些核心产品，Google去年公布了3070亿美元的收入，第四季度增长了13%，股价接近历史最高点。但是，关于其是否能赢得AI竞赛，或者甚至能否胜任竞赛的问题，已经给它最近的成功蒙上了阴影。 “我并不是那样看待的，”Hassabis挑战我的问题的前提。他说，人工智能将“颠覆很多很多事情。当然，你想要站在影响那些颠覆的前沿，而不是处在被动接受的一端。” Hassabis是那个应该保持Google处于这一前沿的人。这位屡获殊荣的研究员和神经科学家——就在周四被授予爵士称号——领导了一个充满活力的AI团队，该团队负责Google多项突破。自2014年被收购以来，DeepMind已经通过革命性的AI模型攻克了看似不可能的棋类游戏AlphaGo，解码了蛋白质AlphaFold，并为合成数千种新材料奠定了基础。 但现在，Hassabis和合并后的Google DeepMind团队必须将这些类型的突破转化为一个价值1.8万亿美元的公司在日益增长的AI世界中寻求的实质性产品改进。而且他必须在不破坏提供丰厚蓝链接收益的搜索广告业务的情况下完成这一切，AI正威胁着这一业务。 对于聊天机器人的推出延迟，充斥着命名混乱，以及刚刚过去的尴尬图像生成事件，前进的道路不会简单。但Hassabis有机会修正这一切。对于那些认识他、与他共事并且仍然与他共事的人——所有这些人我都为这个故事采访过——Hassabis可能正是这份工作的完美人选。 “我们非常擅长发明新的突破，”Hassabis告诉我。“我认为我们将在未来再次处于做到这一点的前沿。” 从大脑到计算机 Hassabis于1976年7月出生于一个有着华裔新加坡母亲和希腊塞浦路斯父亲的家庭，在北伦敦的童年里，他开始思考AI。作为一个有职业抱负的年轻棋手，Hassabis在11岁时注意到他一直在对抗训练的电子棋盘内部有某种形式的智能，并对这项技术产生了兴趣。“我对这块塑料是如何被编程来下棋的很感兴趣，”他说。“我开始读一些关于它的书并编程我自己的小AI游戏。” 在17岁时共同创造了热门游戏《主题公园》后，Hassabis继续在剑桥大学学习计算机科学，然后在20多岁时回到游戏开发领域。到那时，游戏中的基础AI系统已经变得无处不在，Hassabis决定如果他想在该领域有所作为，就需要理解人类大脑是如何工作的。于是他报名参加了伦敦大学学院的神经科学研究生课程，然后在麻省理工学院和哈佛大学进行博士后研究。 “他非常聪明，而且与我认识的一些其他聪明人不同，”麻省理工学院教授、计算神经科学先驱、Hassabis的博士后导师Tomaso Poggio说。“并不是说他在任何一个领域技术上是魔术师——好吧，也许是棋类游戏——但他对你能谈论的所有事情都非常聪明。而且非常有说服力，毫不费力。” 有一天晚上，Poggio邀请Hassabis共进晚餐，他的学生正酝酿一个新公司的想法，这家公司将利用神经科学的教训来推进AI的发展。他相信，人工大脑可以像人类一样工作。而游戏可以模拟现实世界环境，是理想的训练场。 晚餐后，Poggio问他的妻子是否应该投资Hassabis的新公司，尽管她刚刚见过他，但她告诉他要参与进来。Poggio成为DeepMind最早的投资者之一，尽管他希望自己能给Hassabis更多的资金。“这是件好事。不幸的是，钱不够多，”他说。 在DeepMind的早期，Hassabis通过在游戏模拟中运行AI代理来实现这一愿景。通过这种方式，他帮助推进了强化学习，一种AI训练类型，你让一个机器人在没有任何指令的情况下运行，给予它无数次失败的机会，最终它学会了需要做什么才能赢。 “他们有一个代理在玩所有的Atari游戏，”在DeepMind工作过现在是AI创业公司Common Sense Machines首席执行官的Tejas Kulkarni说。“这是深度强化学习首次证明了自己。就像，哇，这是要去的地方。包括我在内的每个人都涌向那里。” 如果说Atari是前菜，AlphaGo就是主菜。围棋是一个比宇宙中的原子还要多的可玩组合的棋类游戏，正如Hassabis所说，它是AI的“珠穆朗玛峰”。2016年3月，DeepMind的AlphaGo——一个结合了强化学习和深度学习（另一种AI方法）的程序——在七天内以四比一击败了围棋大师李世石。这是AI的一个分水岭时刻，展示了有足够的计算能力和正确的算法，AI可以学习，感知其环境，计划，推理，甚至创造。对于那些参与其中的人来说，这次胜利让人工通用智能——与人类智能相当的AI——首次感觉到触手可及。 “那是纯粹的魔法，”Kulkarni说。“那是人们开始认为，好吧，AGI现在要来了。” “自DeepMind开始，我们就一直有这个20年计划，”当被问及AGI时，Hassabis说。“我认为我们正处于正确的轨道上，但我觉得那是一个我们知道需要跨越的巨大里程碑。” 进入OpenAI 当DeepMind欢庆之际，一个严峻的挑战在其鼻子底下酝酿。埃隆·马斯克和萨姆·奥特曼在2015年创立了OpenAI，尽管内部充满戏剧，但该组织开始致力于文本生成。 讽刺的是，Google内部的一个突破——称为变换器模型——导致了真正的飞跃。OpenAI使用变换器来构建其GPT模型，最终驱动了ChatGPT。其生成的“大型语言”模型采用了一种称为“自监督学习”的训练形式，专注于预测模式，而不是像AlphaGo那样理解它们的环境。OpenAI的生成模型对它们所处的物理世界一无所知，使它们成为通向人类级智能的可疑路径，但仍然变得非常强大。 根据内部人士的说法，DeepMind并没有足够重视生成模型，也许是因为它们与Hassabis的AGI优先级不一致，与强化学习相距甚远。无论出于何种理由，DeepMind在一个关键领域落后了。 “我们一直在自监督和深度学习上做惊人的前沿工作，”Hassabis告诉我。“但也许是工程和扩展组件——我们本可以更早、更努力地做。显然我们现在完全在做这个。” 前DeepMind工程师Kulkarni认为，当时整个AI领域都不尊重生成模型，简单地没有显示出足够的潜力来证明投资。他说：“有人采取反向押注必须追随那条道路。那就是OpenAI所做的。” 当OpenAI致力于反向押注时，DeepMind及其在Google内部的AI研究对手Google Brain，在沟通上遇到了困难。多位前DeepMind员工告诉我，他们的部门有一种优越感。它还努力将自己与Google母船隔离开来，也许是因为Google的产品焦点可能会分散对更广泛AGI目标的注意力。或许仅仅是因为简单的部落主义。无论如何，在发明了变换器模型之后，Google的两个AI团队并没有立即利用它。 “我因为与Brain合作论文而惹上麻烦，因为想法就像，嗯，你为什么要与Brain合作呢？”一位前DeepMind工程师说。“你为什么不只在DeepMind内部工作呢？” DeepMind继续推动其核心研究向前发展。2022年7月，其AlphaFold模型预测 了科学已知的几乎所有蛋白质的3D结构。这又是一个重大进步，可能会推动几十年的药物发现。Hassabis告诉我，这是他的标志性项目。 “我们有成千上万的生物学家和科学家从世界各地访问那个数据库，”DeepMind首席商务官Colin Murdoch在Big Technology Podcast采访中说。科学家们正在从事一切从抗生素抗性到疟疾疫苗开发的工作。这是一个巨大的突破。 然后，几个月后，OpenAI发布了ChatGPT。 AI战争与Google的未来 起初，ChatGPT只是一个好奇心。这个OpenAI的聊天机器人在2022年底出现在舞台上，出版物试图理解它的重要性。“ChatGPT是OpenAI对GPT-3的最新修正，”MIT Tech回顾标题消化它的首次亮相。“它很流畅但仍然胡说八道。” 在Google内部，这款产品让人想起了LaMDA，一款公司内部运行的生成式AI聊天机器人——甚至让一名员工相信它是有知觉的——但从未发布。当ChatGPT成为历史上增长最快的消费产品，并且似乎对搜索查询有用时，Google意识到它手上有一个问题。几乎立即，人们开始将它与创新者的困境联系起来。从精神上讲，如果不是从名称上讲，公司内部开始实行“紧急状态”。 Google的和平时期结束了。在新的AI战争中，它的第一大举措是将竞争对手Google Brain和DeepMind团队合并为Google DeepMind，并由Hassabis领导。大型语言模型需要大量的计算来运行和训练，将计算分配给两个AI研究部门将阻碍它们的进展。因此，从这个角度来看，合并是有实际意义的。 按照Hassabis的说法，AI研究和产品也开始碰撞到一个程度，合并它们是合乎逻辑的。是否解决蛋白质折叠可以带来更好的搜索仍然有点不确定，但Hassabis提供了一个值得考虑的论点。他说，构建一个可靠的科学助手，需要解决AI的幻觉问题才能工作。“如果我们在那个领域解决了这个问题，”他说，“我们可以将其引入核心Gemini，然后为聊天机器人和助手解决它。” “他们就像这样一辆大型半挂车，试图以法拉利的速度移动” Gemini，Hassabis提到的产品，是Google对OpenAI GPT模型的回应。根据大多数专家的说法，它与OpenAI的技术不相上下。在二月，Hassabis和Google CEO…

微软公司正计划建造一台拥有数百万处理器的超级计算机来支持OpenAI的研究，据《信息》今日报道。 这台系统将专注于运行人工智能工作负载。据报道，这台超级计算机被微软高管暗地里称为“星际门”，被认为是一项更广泛计划的一部分，该计划还将看到公司建造几个其他AI集群。该项目预计耗资高达1000亿美元。 OpenAI已经在使用微软的基础设施来训练其AI模型。2020年，这家云计算和软件巨头透露，它已经建造了一台托管在Azure上、配备了1万张图形卡的超级计算机来支持OpenAI的工作。据这两家公司说，这台系统在启动时是世界上五大最快超级计算机之一。 去年三月，微软提供了关于其与OpenAI基础设施合作的更新。公司详细说明了原来为AI开发者建造的1万GPU超级计算机已经升级，包括了数万个A100芯片。微软高管Scott Guthrie表示，这个系统的成本“可能”超过了几亿美元。 今日《信息》的报道表明，更多升级工作正在进行中。根据该出版物来源的说法，微软计划在2030年之前建造几个额外的AI基础设施设施。该计划据说分为五个阶段，目前微软和OpenAI据信处于第三阶段中间。 第四阶段预计将涉及建造一台新的超级计算机，该计算机将在“大约”2026年推出。第五阶段则将围绕微软高管内部称为“星际门”的系统。这台拥有数百万芯片的超级计算机预计最早在2028年投入运行。 截至去年三月，微软主要使用Nvidia Corp.的图形卡为OpenAI提供超级计算基础设施。这一情况未来可能会发生变化。去年十一月，公司详细介绍了一种名为Azure Maia的内部开发的AI加速器，它拥有1050亿个晶体管。 OpenAI可能不会是“星际门”和微软预计部署的其他新AI集群的唯一用户。去年，后者公司详细说明，它已经使用为OpenAI建造的超级计算基础设施来训练自己的AI模型。微软还将硬件提供给云客户，这是一种可能采取的方式，以“星际门”等系统为例，更快地回收系统可能高昂的成本。 鉴于它预计最早在2028年上线，“星际门”可能不会用来训练OpenAI的GPT-4的后继者。上周，《内部人士》报道称GPT-5将在几个月内推出。据信OpenAI已经有了一个工作原型，其能力“明显优于”GPT-4。

OpenAI最近搞了个大新闻，推出了一个叫做Voice Engine的语音生成平台，只要给它一小段15秒的声音样本，它就能创造出一个能够读出各种语言文字的合成声音。这技术听起来是不是很酷？他们说，这些小范围的应用实验对他们理解如何在各个行业中利用Voice Engine起到了很大的帮助。现在，能用这项技术的公司还挺有看头的，包括教育科技公司Age of Learning、视觉故事平台HeyGen、前线健康软件制造商Dimagi、AI通讯应用开发者Livox，还有健康系统Lifespan呢。 通过OpenAI发布的样本，你能听到Age of Learning是怎样使用这项技术生成预设的配音内容，以及如何用GPT-4写出的“实时、个性化回应”来读给学生听。 OpenAI透露，Voice Engine的开发工作从2022年底就开始了，现在已经能为文本到语音的API和ChatGPT的朗读功能提供预设声音了。在接受TechCrunch采访时，OpenAI的Voice Engine产品团队成员Jeff Harris表示，这个模型是通过训练“一系列获得许可和公开可用的数据”来完成的。OpenAI告诉这家媒体，这个模型最初只会向大约10个开发者开放。 AI文本到音频的生成是个持续发展的领域，尽管大家更多地关注乐器或自然声音的生成，但能产生人声的公司相对较少，部分原因是OpenAI提到的那些问题。一些在这个领域的公司，比如Podcastle和ElevenLabs，提供AI语音克隆技术和工具，去年Vergecast还专门探讨过这些。 同时，美国政府也在努力遏制AI语音技术的不道德使用。上个月，联邦通信委员会(FCC)禁止使用AI语音的自动电话拨打，因为有人收到用AI克隆的乔·拜登总统声音的垃圾电话。 根据OpenAI的说法，它的合作伙伴同意遵守使用政策，即不使用语音生成技术来冒充没有同意的人或组织。还要求合作伙伴获得原始说话者的“明确且知情的同意”，不为个别用户创建自己的声音，并向听众透露这些声音是由AI生成的。OpenAI还给音频剪辑加上了水印，以追踪其来源，并积极监控音频的使用方式。 OpenAI提出了几个步骤，认为这些可以限制这类工具周围的风险，包括逐步淘汰基于声音的身份验证以访问银行账户、保护人们声音在AI中使用的政策、对AI深度伪造的更大教育，以及开发AI内容的追踪系统。

谷歌DeepMind研究团队的最新研究发现，当评估由大型语言模型生成的信息准确性时，人工智能系统能够胜过人类事实核查员。 研究论文名为《大型语言模型中的长篇事实性》，已在预印本服务器arXiv上发布。文中介绍了一种名为搜索增强事实评估器（SAFE）的方法，利用大型语言模型将生成的文本分解为个别事实，再通过谷歌搜索结果来确定每个声明的准确性。 “SAFE利用LLM将长篇回应分解为一组个别事实，并通过发送搜索查询至谷歌搜索并确定一个事实是否得到搜索结果支持的多步骤推理过程来评估每个事实的准确性。”作者这样解释。 在一项涉及大约16,000个事实的数据集测试中，研究人员将SAFE与人类注释者进行了比较，发现SAFE的评估与人类评级相符的比例为72%。更引人注目的是，在SAFE与人类评审者意见不一致的100个样本中，SAFE的判断在76%的案例中被认为是正确的。 尽管该论文声称“LLM代理可以实现超人的评级表现”，但一些专家对此提出质疑。著名AI研究员Gary Marcus在社交媒体上建议，“超人”可能仅仅意味着“比低薪的众包工人更好，而不是真正的人类事实核查员”。 为了真正证明超人表现，SAFE需要与专家人类事实核查员而不仅是众包工人进行基准测试。人类评审者的具体细节，如他们的资格、报酬和事实核查过程，对于正确理解结果至关重要。 SAFE的一个明显优势是成本——研究人员发现，使用AI系统的成本大约是人类事实核查者的20倍。DeepMind团队还使用SAFE评估了13种顶尖语言模型在一个名为LongFact的新基准上的事实准确性。他们的结果表明，更大的模型通常产生较少的事实错误。 然而，即使是表现最好的模型也生成了大量的错误声明，这强调了过度依赖可能流畅表达不准确信息的语言模型的风险。像SAFE这样的自动事实核查工具在缓解这些风险中可能发挥关键作用。 尽管SAFE代码和LongFact数据集已在GitHub上开源，允许其他研究人员审查和建立工作，但围绕研究中使用的人类基线仍需要更多透明度。了解众包工作者背景和过程的具体情况对于正确评估SAFE的能力至关重要。 随着科技巨头争相开发越来越强大的语言模型，自动事实核查这些系统的输出的能力可能会成为关键。然而，开发如此重大技术的过程必须公开进行，需要来自公司墙外的广泛利益相关者的输入。与人类专家——而不仅是众包工作者——进行严格、透明的基准测试将是衡量真正进步的关键。

近年来，人工智能行业正越来越多地转向具有更长上下文窗口的生成式AI模型。然而，拥有大上下文窗口的模型往往需要消耗大量计算资源。但是，AI21 Labs的产品负责人Or Dagan声称，情况并非必然如此——而且他的公司发布的一款新型生成模型就是最好的证明。 所谓的上下文窗口，是指模型在生成输出（更多文本）之前所考虑的输入数据（例如文本）。小上下文窗口的模型倾向于忘记即便是非常近期的对话内容，而大上下文窗口的模型则避免了这一缺陷——而且，作为额外的好处，它们更好地掌握了输入数据的流动。 AI21 Labs推出的Jamba，这款全新的文本生成及分析模型，能够执行许多像OpenAI的ChatGPT和Google的Gemini等模型所能完成的任务。Jamba经过了公共及专有数据的混合训练，能够用英语、法语、西班牙语和葡萄牙语编写文本。 Jamba能够在单个GPU上处理高达140,000个标记，而这样的GPU至少需要有80GB的内存（例如高端的Nvidia A100）。这相当于大约105,000个单词，或者210页——一个相当大的小说。 相比之下，Meta的Llama 2拥有32,000标记的上下文窗口——按照今天的标准来看，这属于较小范围——但只需要一个约12GB内存的GPU就能运行。（上下文窗口通常以标记计量，标记是原始文本和其他数据的片段。） 乍一看，Jamba并不引人注目。市面上有大量免费可下载的生成式AI模型，从Databricks最近发布的DBRX到上文提到的Llama 2。 但Jamba独特之处在于其内部结构。它结合了两种模型架构：变压器（transformers）和状态空间模型（SSMs）。 变压器是执行复杂推理任务的首选架构，为像GPT-4和Google的Gemini等模型提供动力。它们有几个独特的特点，但变压器的定义特征远远是它们的“注意力机制”。对于每一条输入数据（例如一个句子），变压器评估每个其他输入（其他句子）的相关性，并从中汲取信息以生成输出（一个新句子）。 另一方面，SSMs结合了旧型AI模型的几个特性，如循环神经网络和卷积神经网络，创建了一种能够处理长序列数据的更具计算效率的架构。 当然，SSMs也有其局限性。但是，一些早期版本，包括普林斯顿和卡内基梅隆研究人员开源的模型Mamba，能够处理比它们的变压器基础对等物更大的输入，同时在语言生成任务上超越它们。 事实上，Jamba就是使用Mamba作为核心模型的一部分——Dagan声称，与同等大小的基于变压器的模型相比，它在处理长上下文方面的吞吐量提高了三倍。 “虽然SSM模型有一些初步的学术示例，但这是第一个商业级别、生产规模的模型，”Dagan在接受TechCrunch采访时说道。“这种架构，除了对社区进一步研究具有创新性和趣味性外，还为效率和吞吐量的提高打开了大门。” 现在，虽然Jamba已经以Apache 2.0许可发布，这是一种相对使用限制较少的开源许可，但Dagan强调这是一次研究发布，不意味着用于商业用途。该模型没有防止生成有害文本的安全措施，也没有解决潜在偏见的措施；一个经过微调、表面上“更安全”的版本将在未来几周内提供。 但Dagan坚称，即使在这个早期阶段，Jamba展示了SSM架构的潜力。 “这个模型的附加价值，既因为其大小，也因为其创新的架构，是它可以轻松适配到单个GPU上，”他说。“我们相信，随着Mamba获得更多调整，性能将进一步提高。”

周二，Anthropic公司的Claude 3 Opus大型语言模型(LLM)在Chatbot Arena上首次超越了OpenAI的GPT-4（即ChatGPT的驱动力），Chatbot Arena是一个受欢迎的由AI研究者使用的众包排行榜，用以衡量AI语言模型的相对能力。软件开发者Nick Dobos在推特上发文比较GPT-4 Turbo和Claude 3 Opus，这条推文在社交媒体上广为流传：“国王已死。”“GPT-4安息。” 自从2023年5月10日GPT-4被包含在Chatbot Arena以来（该排行榜在那年的5月3日启动），GPT-4的各种版本一直稳居榜首，直到现在，所以在AI语言模型相对较短的历史中，它在竞技场上的失利是一个值得注意的时刻。Anthropic的一个较小的模型，Haiku，也因其在排行榜上的表现而引人注目。 “这是第一次，最好的模型——Opus用于高级任务，Haiku用于成本和效率——来自于非OpenAI的供应商，”独立AI研究者Simon Willison告诉Ars Technica。“这是令人安心的——在这个领域拥有多样化的顶级供应商对我们所有人都有好处。但是GPT-4在这个时点已经超过一年老了，而且用了那么一年的时间别人才追上。”

白宫宣布了”第一个全政府范围内的政策，旨在减少人工智能(AI)风险并发挥其好处”。为了协调这些努力，每个联邦机构都必须指定一位具有”在AI领域显著专业知识”的首席AI官。 一些机构已经任命了首席AI官，但还没有任命的机构必须在接下来的60天内指定一位高级官员。如果已经任命为首席AI官的官员没有必要的权力来协调机构中的AI使用，他们必须被赋予额外的权力，否则必须指定新的首席AI官。 白宫建议，理想的候选人可能包括首席信息官、首席数据官或首席技术官，这是管理和预算办公室(OMB)的政策所说。 作为首席AI官，被任命者将作为AI倡议的高级顾问，监控和清点机构使用的所有AI。他们必须进行风险评估，考虑任何AI使用是否影响到”安全、保安、民权、民主自由、隐私、民主价值观、人权、平等机会、工人福祉、获取关键资源和服务的机会、机构信誉及可信度以及市场竞争”，OMB说。或许最紧迫的是，到12月1日，官员们必须纠正政府中所有不合规的AI使用，除非获得最长一年的延期。 首席AI官将看似享有大量权力和监督政府使用AI的能力。由首席AI官来制定计划，以符合最低安全标准，并与首席财务和人力资源官员合作，制定必要的预算和工作力量，使用AI来进一步每个机构的使命，并确保”公平结果”，OMB说。以下是OMB理想的简要总结： 机构被鼓励优先考虑AI的发展和采用，以公共利益和技术在理解和应对大型社会挑战中的帮助为依据，如使用AI提高政府服务的可访问性、减少食品不安全、应对气候危机、改善公共卫生、推进公平结果、保护民主和人权，并以惠及美国全国人民的方式促进经济竞争力。 首席AI官的主要责任之一是确定哪些AI使用可能影响美国公民的安全或权利。他们将通过评估AI影响、进行现实世界测试、独立评估AI、定期评估风险、适当培训员工、在必要时提供额外的人力监督，并公告任何可能对”权利或安全产生重大影响”的AI使用，OMB说。 OMB列出了几种可能影响安全的AI使用，包括控制从紧急服务到食品安全机制再到控制核反应堆的”安全关键功能”。使用AI维护选举完整性也可能影响安全，同样，使用AI处理工业废物、控制健康保险成本或检测”危险武器的存在”也是如此。 被认为可能影响权利的AI使用包括审查受保护的言论和一系列执法努力，如预测犯罪、绘制面孔或使用车牌阅读器在公共空间跟踪个人车辆。其他可能影响权利的AI使用包括”与移民相关的风险评估”、”未经明确同意复制个人的形象或声音”或检测学生作弊。 首席AI官最终将决定任何AI使用是否影响安全或权利，并必须遵守OMB的负责任AI使用的最低标准。一旦做出决定，官员们将”集中追踪”这些决定，向OMB报告任何”AI使用的条件或背景中的主要变化”。官员们还将定期召开”新的首席AI官议会以协调”全政府范围内的努力并共享创新。 随着机构推进AI使用——白宫表示，这对于”加强AI安全和安保、保护美国人的隐私、推进公平和民权、支持消费者和工人、促进创新和竞争、提升美国在全球的领导地位等”至关重要——首席AI官将成为对外公开的、对所作决定负责的人物。在这一角色中，官员必须与公众协商，并纳入”受影响社区的反馈”，通知”受到新AI使用负面影响的个人”，并保持选择退出”AI启用的决策”的选项，OMB说。 然而，OMB指出，首席AI官也有权放弃选择退出选项，”如果他们能证明人类替代方案会导致不公平的服务（例如，对受保护类别产生不同影响）或如果选择退出会给机构带来不适当的困难”。

亚马逊正在进行其三十年历史中最大的一次外部投资，目的是在人工智能竞赛中获得优势。 这家科技巨头表示，它将再投资27.5亿美元支持位于旧金山的初创公司Anthropic，该公司广泛被视为生成式人工智能领域的领跑者。它的基础模型和聊天机器人Claude与OpenAI和ChatGPT竞争。 公司在9月宣布了最初的12.5亿美元投资，并表示当时亚马逊将投资高达40亿美元。周三的消息标志着亚马逊对该资金的第二笔投资。 亚马逊将保持在公司的少数股份，并不会拥有Anthropic的董事会席位。公司表示，这笔交易是以AI初创公司最后的估值进行的，根据一位消息人士，该估值为184亿美元。 过去一年中，Anthropic完成了五笔不同的融资交易，价值约73亿美元。该公司的产品直接与OpenAI的ChatGPT在企业和消费者世界中竞争，它由前OpenAI研究高管和员工创立。 在Anthropic推出其最新的AI模型套件Claude 3几周后，亚马逊的投资消息传出。该公司表示，其新模型中最强大的一个在行业基准测试中胜过了OpenAI的GPT-4和Google的Gemini Ultra，测试包括本科级知识、研究生级推理和基础数学。 “生成式AI有望成为我们这个时代最具变革性的技术，我们相信与Anthropic的战略合作将进一步改善我们客户的体验，我们期待未来的发展，”AWS云提供商的数据和AI副总裁Swami Sivasubramanian说。 亚马逊的这一举措是云服务提供商在AI竞赛中保持领先地位的最新支出狂潮之一。这是Anthropic资本结构在一周内的第二次更新。上周五，破产文件显示，加密货币交易所FTX与一群买家达成协议，出售其在Anthropic的大部分股份，确认了上周CNBC的报道。 根据PitchBook的数据，生成式AI一词似乎在一夜之间进入了主流和商业词汇，过去一年，这个领域爆炸性增长，2023年投资记录高达291亿美元，涉及近700笔交易。OpenAI的ChatGPT首次展示了该技术产生类人语言和创造性内容的能力。从那时起，OpenAI表示，超过92%的财富500强公司已经采用了该平台，涵盖了金融服务、法律应用和教育等行业。 像亚马逊网络服务这样的云提供商不想被抓个措手不及。 这是一种互惠关系。根据协议，Anthropic表示将使用AWS作为其主要的云提供商。它还将使用亚马逊的芯片来训练、构建和部署其基础模型。亚马逊一直在设计自己的芯片，这些芯片最终可能与Nvidia竞争。 与此同时，微软也在进行自己的支出狂潮，对OpenAI进行了高调的投资。据报道，微软对OpenAI的投资已增加到130亿美元，随着初创公司的估值超过290亿美元。微软的Azure也是OpenAI计算能力的独家提供商，这意味着初创公司的成功和新业务将回流到微软的云服务器。 谷歌也支持Anthropic，与Google Cloud达成了自己的协议。它同意投资高达20亿美元给Anthropic，包括5亿美元的现金注入，另外15亿美元将随时间投资。Salesforce也是支持者之一。 Anthropic本月早些时候宣布的新模型套件，标志着该公司首次提供“多模态”，或增加生成式AI的照片和视频功能的选项。 但多模态和越来越复杂的AI模型也导致了更多潜在风险。谷歌最近将其AI图像生成器（作为其Gemini聊天机器人的一部分）下线，因为用户发现了历史不准确和可疑的回应，这些回应在社交媒体上广泛传播。 Anthropic的Claude 3不生成图像。相反，它只允许用户上传图像和其他文档进行分析。 “当然没有任何模型是完美的，我认为这是非常重要的一点，”Anthropic联合创始人Daniela Amodei本月早些时候告诉CNBC。“我们非常努力地尝试使这些模型成为尽可能能力强大和安全的交集。当然，还是会有时候模型会偶尔捏造一些事情。” 亚马逊在Anthropic之前最大的风险投资是电动汽车制造商Rivian，其中投资了超过13亿美元。那也是一次 战略合作。 面对更多的反垄断审查，这些合作伙伴关系一直在增加。由于“七大美妙”——亚马逊、微软、苹果、Nvidia、Alphabet、Meta和Tesla——的并购数量下降，被风险投资风格的投资所抵消，根据Pitchbook的数据。 这七家科技公司在AI和机器学习的投资去年跃升至246亿美元，从2022年的44亿美元增加，与此同时，大科技的并购交易从2022年的40笔交易减少到去年的13笔。 “投资潜在的颠覆者背后有一种某种程度的偏执动机，”Pitchbook的AI分析师Brendan Burke在接受采访时说。“另一个动机是增加销售，投资于可能会使用其他公司产品的公司——它们往往更像是合作伙伴，而不是竞争对手。” 大科技在AI上的支出狂潮因这些协议的看似循环性质而受到批评。通过投资AI初创公司，包括Benchmark的Bill Gurley在内的一些观察者指责这些科技巨头将现金回流到它们的云业务中，这反过来可能会显示为收入。Gurley将其描述为一种“刺激自己收入”的方式。 美国联邦贸易委员会正在更仔细地审查这些合作伙伴关系，包括微软的OpenAI交易以及谷歌和亚马逊的Anthropic投资。有时被称为“往返交易”的行为可能是非法的——特别是如果目的是误导投资者。但亚马逊表示，这种类型的风险投资不构成往返交易。 FTC主席Lina Khan在该机构的AI技术峰会上宣布了这项调查，将其描述为对AI开发者和主要云服务提供商之间形成的投资和合作伙伴关系的“市场调查”。

Grok-1.5这个新星，在测试中就展现了它的超凡魅力，它在MATH基准测试中得分达到了50.6%，在GSM8K基准测试中更是高达90%，这说明它能够轻松应对从小学到高中竞赛级别的各种数学问题。而在HumanEval基准测试中，它的得分为74.1%，展现了它在代码生成和问题解决能力上的娴熟。 Grok-1.5的一个亮点功能是其能够处理长达128K令牌的上下文，这大大增加了模型的记忆容量，使其能够利用来自更长文档的信息，并在维持遵循指令的能力的同时处理更复杂的提示。在针对长文本的检索能力评估（NIAH）中，Grok-1.5展示了其在处理长达128K令牌的上下文中嵌入文本的强大检索能力，实现了完美的检索结果。 Grok-1.5是基于JAX、Rust和Kubernetes的自定义分布式训练框架构建的，这套训练堆栈使X.ai的团队能够以最少的努力在大规模上原型化想法并训练新的架构。自定义的训练协调器确保了训练作业的最大可靠性和正常运行时间，能够自动检测并从训练作业中排除问题节点。在出现故障时，检查点、数据加载和训练作业重启也已优化，以最小化停机时间。 Grok-1.5即将向早期测试者开放，X.ai期待着收到反馈以帮助改进模型。随着公司逐步向更广泛的受众推出Grok-1.5，接下来的几天里还将引入几项新功能。

在这个信息爆炸的时代，想要DIY一个大语言模型（LLM）？有点头疼对吧。不过，别急，有个新工具出现了，名叫“claude-llm-trainer”，由Matt Schumer亲自推出。这个工具就像是开启了作弊模式，允许你轻松创建定制的LLM。你只需要简单描述你希望模型完成的任务，剩下的就交给它了。它会利用Claude 3自动完成数据生成和模型训练的全部过程。最棒的部分？它是建立在一个开源框架上的，这意味着你可以享受到极大的灵活性。默认情况下，它会用LLaMA 2 7B模型，但如果你想尝试其他的模型，比如Mistral 7B，也是分分钟的事。 搞模型，真的是个技术活。得先搞数据集，清洗、格式化，然后选个模型，写训练代码，开搞。这还是最理想的情况呢。这个项目的初衷，就是探索一种新的实验性流程，目的是为了训练出一个高性能的任务特定模型。我们试图把所有的复杂性都给抹平，让从零到有、从想法到一个性能强劲的、训练完毕的模型变得尽可能简单。 只需输入你的任务描述，系统就能从零开始生成数据集，自动解析成正确的格式，并且为你精调LLaMA 2或GPT-3.5模型。 功能特色： https://github.com/mshumer/gpt-llm-trainer