Author: aitrendtrackers@rengongzhineng.io

过去几周，已经在使用AutoGen进行实验，以了解其功能和潜在应用。本周末，将带领大家一起创建一个基于AutoGen框架的互动职业教练。目标是构建一个能够与用户进行有意义对话的聊天机器人，通过多个专门化代理的协作来提供职业建议。系统的设计重点在于，一个代理与用户直接互动，而其他代理在幕后协作生成信息丰富的回复。 这种方法能够模拟多学科职业教练的体验，使对话更加丰富和动态。通过利用每个代理的特长，确保用户获得全面且可操作的建议。 开始吧… 步骤1：设置开发环境首先，需要设置一个Python环境以运行代码。按照以下步骤操作： 步骤2：定义代理为每个代理创建单独的Python文件。以下是PassionAgent的一个示例： 以此方式为ObstacleAgent、BalanceAgent和ValuesAgent分别创建文件。 步骤3：配置群聊接下来，在group_chat.py文件中设置GroupChat和GroupChatManager，让这些代理能够协作： 步骤4：实现UserProxyAgent创建user_proxy_agent.py文件，定义UserProxyAgent，这个代理将直接与用户互动： 步骤5：编写主要对话逻辑最后，创建main.py文件，管理用户与代理之间的互动： 步骤6：运行聊天机器人运行main.py文件以启动聊天机器人： 一些有趣的问题 未来改进方向 为了进一步提升聊天机器人的质量，可以考虑实现检索增强生成（RAG），将检索方法与生成模型相结合，从知识库中提取相关信息，提升回复的准确性和上下文相关性。例如，RAG在生成上下文相关的回复时特别有用，可以从知识库中提取最新的行业趋势或特定领域的建议。另一种方法是对模型进行专门数据集的微调，使其在职业教练相关领域生成更有针对性和深度的建议，尤其是在领导力、职业转型或工作与生活平衡等方面。此外，加入上下文记忆功能，可以使聊天机器人记住过去互动中的关键信息，从而在未来对话中提供更个性化和上下文相关的建议。这些改进将显著提升机器人提供有价值、一致且以用户为中心的建议的能力。 结论 通过这个设置，可以模拟一个简短的职业教练互动，利用多个代理提供个性化建议。然而，如前所述，仍然有许多未知问题需要解决和改进的空间。这可能还需要1-2周或更长时间的实验，但过程既具有挑战性，又非常有趣。 享受编程的乐趣吧！

关键要点: Llama模型至今下载量接近3.5亿次（相比去年同期增长超过10倍），仅上个月就有超过2000万次下载，使Llama成为领先的开源模型系列。从2024年5月到7月Llama 3.1发布期间，Llama的代币使用量在我们主要的云服务提供商伙伴中增长了两倍以上。2024年1月至7月间，Llama的月度使用量（以代币量计算）在一些最大的云服务提供商中增长了10倍。距离我们发布Llama 3.1仅一个多月的时间，这个版本扩展了上下文长度至128K，增加了对八种语言的支持，并推出了首个前沿级开源AI模型Llama 3.1 405B。正如我们在Llama 3和Llama 2发布时所做的那样，今天我们分享一下Llama模型在各领域的采用和发展趋势。 Llama的成功归功于开源的力量。通过开放Llama模型的使用，我们见证了一个充满活力和多样性的AI生态系统的诞生，开发者们比以往拥有更多选择和能力。创新已广泛而迅速地展开，从初创公司打破边界，到各类企业使用Llama构建本地或通过云服务提供商部署的AI应用。行业正在利用Llama进行构建和创新，我们对未来充满期待。 随着Llama 3.1的发布，Mark Zuckerberg也分享了一封关于开源AI益处的公开信，进一步巩固了我们的愿景和对开源方法的承诺。开源是我们公司的DNA，Llama既体现了我们的承诺，也强化了我们以负责任的方式分享工作的决心。开源促进了更具竞争力的生态系统，这不仅对消费者有利，对公司（包括Meta）有利，也最终对世界有利。 自18个月前我们首次发布以来，Llama已经从一个单一的最先进基础模型演变为开发者的强大系统。通过Llama 3.1，我们现在为开发者提供了一个完整的参考系统，使他们更容易创建自己的定制代理，并引入了一套新的安全工具，以帮助负责任地构建AI应用。 领先的开源模型 Llama生态系统正在快速增长。截至目前，Llama模型在Hugging Face上的下载量已接近3.5亿次，相比去年同期增长了超过10倍。仅上个月，Llama模型在Hugging Face上的下载量就超过了2000万次。而这只是Llama成功故事的一部分，这些模型也在我们行业伙伴的服务中被下载使用。 除了Amazon Web Services（AWS）和微软Azure，我们还与Databricks、戴尔、Google Cloud、Groq、NVIDIA、IBM watsonx、Scale AI、Snowflake等公司合作，以帮助开发者充分利用我们的模型。从2024年5月到7月Llama 3.1发布期间，主要云服务提供商的代币使用量增长了两倍以上。 Llama的月度使用量在2024年1月至7月间，在一些最大的云服务提供商中增长了10倍。在8月份，Llama 3.1在其中一家主要云服务提供商上的最大用户数来自405B变体，这表明我们最大的基础模型正在获得越来越多的应用。 通过Llama 3.1，我们将Llama早期访问计划中的合作伙伴数量增加了5倍，并将继续满足来自合作伙伴的激增需求。我们听到了一些公司希望成为未来LEAP和Llama集成伙伴，包括Wipro、Cerebras和Lambda。 AWS的AI和数据副总裁Swami Sivasubramanian表示：“客户希望能够在云端访问最新的最先进模型，这就是为什么我们是第一个提供Llama 2作为托管API的公司，并继续与Meta密切合作，发布新模型。我们很高兴看到Llama 3.1在Amazon SageMaker和Amazon Bedrock上的客户反响，期待看到客户如何利用这个模型来解决他们最复杂的用例。” Databricks的CEO兼联合创始人Ali Ghodsi表示：“自发布以来，已有数千名Databricks客户采用了Llama 3.1，使其成为我们采用速度最快、销量最好的开源模型。这一代的Llama模型最终在质量上弥合了开源软件与商业模型之间的差距。Llama 3.1是客户希望构建高质量AI应用的突破，同时保持对其基础LLM的完全控制、可定制性和可移植性。” Groq的创始人兼CEO Jonathan Ross表示：“开源胜利了。Meta正在构建一个开放生态系统的基础，足以与顶级封闭模型竞争，而我们在Groq则直接将这些模型交到开发者手中——这是Groq自成立以来的核心价值观。迄今为止，Groq已为超过40万名开发者提供了每日50亿个免费的代币，使用的是Llama模型套件和我们的LPU推理。这是一个非常令人兴奋的时刻，我们很自豪能够成为这一势头的一部分。我们无法为Llama快速增加容量。如果我们将部署容量扩大10倍，36小时内就会被消耗一空。” NVIDIA的创始人兼CEO Jensen Huang表示：“Llama对推动最先进AI的发展产生了深远的影响。大门已经向所有企业和行业敞开，允许他们使用NVIDIA AI Foundry构建和部署定制的Llama超模，这是支持Llama 3.1模型在训练、优化和推理方面最广泛的工具。令人难以置信的是，过去一个月的采用速度如此之快。” 比起有多少人使用Llama，更令人鼓舞的是谁在使用Llama以及他们如何使用Llama。 我们在开发者社区中看到Llama的偏好正在增加，并且有强烈迹象表明这种增长将持续。据独立AI基准测试网站Artificial Analysis的调查显示，Llama是第二大最受关注的模型，也是开源领域的行业领导者。 在Hugging Face上有超过60,000个派生模型，说明开发者们正积极地为自己的用例微调Llama。AT&T、DoorDash、高盛、Niantic、野村证券、Shopify、Spotify和Zoom等大企业只是其中的一部分成功案例，而Infosys和毕马威也正在内部使用Llama。 Llama案例研究概览 埃森哲（Accenture）使用Llama…

谷歌刚刚宣布推出三款全新的实验性AI模型，展示了其在人工智能领域的持续创新，同时也凸显了AI技术进步的快速步伐。 此次发布的核心产品之一是Gemini 1.5 Flash 8B，这款小型但强大的模型专为处理各种多模态任务而设计。作为一个拥有80亿参数的模型，Gemini 1.5 Flash 8B在AI效率方面取得了显著成就，证明了小型模型在性能方面的强大潜力。 Flash 8B变体尤其引人注目，它能够高效处理大规模任务和长文本的总结能力。这一特点使其成为需要快速处理大量数据或理解并整合长篇文档信息的应用程序的理想选择。 增强版Gemini 1.5 Pro：突破性能极限 在其前代产品成功的基础上，更新后的Gemini 1.5 Pro模型是一款性能卓越的版本，在处理复杂的提示和编码任务方面表现尤为突出。 据谷歌介绍，Gemini 1.5 Pro的进步并非只是小幅改进。新版本在各个方面都超越了其前身，标志着AI能力的显著提升。对于从事复杂AI应用开发的开发者和企业而言，这一进步尤其重要，因为这些应用需要更为细致的语言理解和生成能力。 改进版Gemini 1.5 Flash：速度与效率的提升 新发布的三款模型中，更新后的Gemini 1.5 Flash模型也备受关注。尽管公告中对其改进的具体细节较少，但谷歌表示，该模型在多项内部基准测试中表现出了显著的性能提升。 对Flash模型的改进突显了AI应用中速度与效率的重要性。随着企业和开发者寻求大规模实施AI解决方案，能够快速产生结果且不牺牲质量的模型变得越来越有价值。 这三款模型各具特色，代表了谷歌推动AI技术发展的多面策略。通过提供多种选择，谷歌旨在满足AI市场的多样化需求，同时不断扩展语言处理的可能性。 对开发者和AI应用的影响 谷歌已通过Google AI Studio和Gemini API提供这些实验性模型。Gemini 1.5 Flash 8B模型可免费使用，名称为“gemini-1.5-flash-8b-exp-0827”。更新版的Gemini 1.5 Pro和Flash版本分别以“gemini-1.5-pro-exp-0827”和“gemini-1.5-flash-exp-0827”提供。 这些模型为开发者开辟了新的可能性，适用于： 谷歌发布这些实验性模型的主要目的是： 公司计划利用这些实验发布的洞察力来完善模型，以便未来更广泛地应用。 谷歌的AI战略日益明朗 谷歌的战略越来越清晰，专注于开发既具高容量又更高效、特定任务导向的模型。这种方法旨在满足从资源密集型任务到需要快速、轻量处理的各种AI应用需求。 这些实验性模型的发布，紧随之前的版本，显示出谷歌在AI领域快速开发周期的承诺。这种敏捷的方法允许快速整合改进，并根据用户反馈进行调整。 通过不断更新和扩展其AI模型，谷歌保持了其在AI领域的重要地位。这一策略直接与其他开发大型语言模型和AI工具的主要科技公司形成竞争。 这些发布也强调了现实世界测试在AI开发中的重要性。通过向开发者提供实验性模型，谷歌加速了反馈循环和AI技术的实际应用。 总结 谷歌发布的三款实验性AI模型——Gemini 1.5 Flash 8B、增强版Gemini 1.5 Pro和改进版Gemini 1.5 Flash——标志着语言处理技术的重大进展。这些模型在性能和效率之间取得了平衡，适用于从大规模数据处理到复杂编码任务的各种AI应用。通过让开发者接触这些工具并优先考虑现实世界的反馈，谷歌不仅巩固了其在竞争激烈的AI领域中的地位，还加速了AI能力的进化。

一项备受争议的法案旨在强制执行大型人工智能（AI）模型的安全标准，这项法案已在加州州议会获得通过，以45票赞成、11票反对的结果通过了加州众议院。早在5月，加州参议院以32票对1票的结果通过了该法案（SB-1047）。现在，这项法案只需在参议院进行最后一次程序性投票，然后就会递交给加州州长加文·纽森（Gavin Newsom）审批。 正如之前详细探讨过的那样，SB-1047法案要求AI模型的创建者在模型出现“对公共安全和安保构成新威胁”时，尤其是在“缺乏人类监督、干预或管理”的情况下，必须实施一种可以“关闭”该模型的“杀手开关”。一些人批评该法案，认为它过分关注于未来可能发生的AI风险，而忽略了当下AI应用中诸如深度伪造（deep fakes）或虚假信息传播等现实危害。 在周三宣布立法通过时，该法案的发起人、州参议员斯科特·维纳（Scott Weiner）引用了AI行业知名人士的支持，如Geoffrey Hinton和Yoshua Bengio（这两位去年也签署了一份声明，警告快速发展的AI技术可能带来的“灭绝风险”）。 Bengio在《财富》杂志近期发表的一篇社论中表示，这项法案“为前沿AI模型的有效监管划定了最低限度的要求”，并且它只针对训练成本超过1亿美元的大型模型，因此不会影响小型初创公司。 Bengio写道：“我们不能让公司自我评估并仅仅给出听起来好听的保证。我们在其他技术领域如制药、航空航天和食品安全上不允许这样做。为什么AI应该被区别对待？” 然而，斯坦福大学计算机科学教授、AI专家李飞飞（Fei-Fei Li）在本月早些时候的另一篇《财富》社论中表示，这项“出于良好意图”的立法将对加州乃至全国产生“重大意外后果”。 李飞飞认为，法案对任何修改后模型的原始开发者施加的责任将“迫使开发者退缩并采取防御性措施”，这将限制AI权重和模型的开源共享，并对学术研究产生重大影响。 纽森将作何决定？ 周三，加州的一群商业领袖向纽森发出公开信，敦促他否决这项“根本有缺陷”的法案，认为该法案“错误地将监管重点放在模型开发上，而非其滥用”。这些商业领袖表示，该法案将“引入繁重的合规成本”，并通过监管模糊性“抑制投资和创新”。 如果参议院如预期般确认众议院的版本，纽森将有时间直到9月30日决定是否签署该法案成为法律。如果他否决，立法机构可以通过每个议院三分之二的投票推翻（鉴于该法案获得的压倒性支持，这种可能性较大）。 在今年5月的加州大学伯克利分校研讨会上，纽森表示，他担心“如果我们过度监管，过度放纵，追逐一个闪亮的目标，我们可能会将自己置于危险境地”。 但与此同时，纽森也提到，他从AI行业领袖那里听到了相反的担忧。“当你看到这项技术的发明者，这些教父教母们在说‘帮帮我们，你们需要监管我们’时，这就形成了一种截然不同的氛围，”他在研讨会上说道。“当他们急于教育人们，基本上在说‘我们真的不知道自己做了什么，但你们必须对此采取行动’时，这就成了一个有趣的局面。”

最近，两篇关于人工智能/机器学习（AI/ML）在生物学领域影响的文章引发了广泛讨论。第一篇由Andrew Dunn撰写，标题为“现实检查：AI在Leash Bio的结合预测竞赛中表现令人失望：‘没人表现得很好’”，直指Leash的最近比赛结果，并总结称“这对这个热门的AI生物领域来说是一个清醒的现实检查。” 第二篇文章标题更简洁明了，是Ron Boger和Dennis Gong撰写的“反科技生物学”，其中指出“生物学并不是一个适合系统化的领域。” 那么，到底是哪种情况？生物机器学习（BioML）真的因为没有在Kaggle竞赛中表现出色的公开模型而未能达到预期？还是因为生物学和药物发现的复杂性、数据获取的难度，使得这些普遍的功能近似器难以产生实际影响？ 深入研究Leash Bio的比赛结果可以发现，1950支参赛队伍中并未包括任何AI领域的重量级选手，特别是那些专注于小分子研究的计算密集型生物技术公司。Leash的Quigley还公开邀请那些自认为在这项任务上占有优势的团队前来展示他们的解决方案，体现出一种谦逊的态度。然而，这种比赛更多是反映了“你甚至都没理解问题的本质”，而零次绑定物生成或许可以更准确地归类为命中发现，这是药物发现最初期（也可能是最商品化）的阶段之一。 公共和内部的注意力往往聚集在那些容易理解且有吸引力的问题上。零次绑定设计很容易向了解基本药物作用机制的人解释和推销。这似乎是个难题，如果通过机器学习“解决”了它，那就成了这些技术“增值”的无可辩驳的证据。 然而，真正的药物猎人们则会迅速指出，即使解决了零次绑定设计，他们也不会在意，因为这并不是瓶颈。理解这一点后，才能提出更好、更细致的问题，但这需要大量努力去了解你所面对的竞争，不仅仅是在Kaggle竞赛中与其他机器学习方法竞争。 在光谱的另一端，“反科技生物学”论点认为，尽管技术的进步和内部数据壁垒的网络效应可以串联成一个持续生产药物的平台，现实却粉碎了这一理论。生物学并非一个适合系统化的领域。 因此，机器学习和计算在药物发现中的真正影响究竟在哪里？与其设计一个我们认为人们会感兴趣的问题，或者放弃所有希望，不如尝试使现有的、已被验证的药物发现过程更便宜、更快、更成功。要做到这一点，需要解决哪些具体问题？ 一个有前景的方向是任务特定的决策。事实证明，在生物技术领域做决策确实非常困难。决策者们必须不断做出高风险的决策，这些决策可能导致数百万甚至数十亿的资金和资源被分配到某一方向上。科学家们每天都在做出从小到大的决定，最终引导出特定分子的诞生。许多决定在药物发现的早期就可能注定其失败，比如适应症、靶点和模式的优先级排序。项目在如此多的关键决策点上可能失败，以至于任何药物的成功都堪称奇迹。数据永远不够，信息永远不足，但你仍然不得不继续做出决定。 或许当前机器学习系统最重要的贡献在于自动化低级和中级决策。因为当5个以上高技能、高学历的科学家聚在一起时，他们会在讨论的前5分钟内榨干数据中的洞察力，而接下来的50分钟则在反复讨论。这种在不确定性下做决策的挑战性令人不安，大家更喜欢讨论未知和可能出错的地方。但当大量讨论发生时，却没有实际决策被做出或更新，这就是数据已经被最大限度利用的强烈信号。 为此，机器学习在药物发现中日益重要的角色是生成更多数据，并更好地将这些数据综合到决策中。例如，高通量筛选中的命中优先级排序、快速少次蛋白设计、生物制品的命中扩展和命中成熟、有效的化学逆合成路径预测、自动化管理模式生物的机器人，以及mRNA序列设计。这些ML辅助的任务大多集中在机械化流程中——这些重要但较低级的任务，尽管执行到位并不足以保证药物发现的成功，但确是必不可少的。 今天的机器学习模型似乎更适合在任务如命中发现和某些方面的先导优化中提供帮助，而不是在项目优先级排序等复杂的重大决策上发挥作用。如果你知道去哪里看，这些机器学习系统的好处已经显现。 可解释的、模型驱动的决策允许我们通过在构建机器学习系统时进行深思熟虑的过程，然后在实际操作中很少再考虑它们，从而实现许多事情的可重复性。当这些系统正常工作且你知道原因时，它会释放出更多的精力去处理边缘案例和新的奇异问题，使得药物发现既有影响力又充满乐趣。 要实现模型驱动的决策，需要以数据为中心，具备工程文化来构建（或重建）组织。对科技生物学的幻灭来自于一种错误的期望，即只要建立一个以数据为中心、工程为先的组织，药物就会随之而来。但这种因果关系是错误的。那些知道如何制造药物的组织早已存在，它们建立在数百年的科学知识和几十年在生物学、生物化学和生物物理学方面的经验之上。作为计算科学家和工程师，我们的任务是重新构想这个过程，解决低层次问题，使高层次问题成为新的低层次问题，并使之前难以解决的问题变得可以解决。 总结来说，当前的机器学习在生物学和药物发现中，尽管面临挑战，但正在某些特定领域展现出其价值。通过聚焦于实际问题并改进已有流程，而非追求过度简化或完全否定的极端论调，我们才能真正推动这一领域的发展。

苹果公司（AAPL股价下跌0.97%）与英伟达（Nvidia NVDA股价上涨0.32%）正在洽谈对OpenAI进行投资，此举将进一步加强它们与这一在人工智能竞赛中至关重要的合作伙伴之间的联系。 据知情人士透露，这次投资将是OpenAI新一轮融资的一部分，这轮融资将使这家ChatGPT的开发者估值超过1000亿美元。据《华尔街日报》周三报道，风险投资公司Thrive Capital将领投这轮融资，总额将达到数十亿美元，而微软（Microsoft MSFT股价上涨0.04%）也有望参与其中。 目前尚不清楚苹果、英伟达或微软在此次融资中会投入多少资金。迄今为止，微软一直是OpenAI的主要战略投资者，自2019年以来，微软已投资了130亿美元，持有这家AI初创公司的49%的利润份额。 作为全球领先的人工智能芯片制造商，英伟达与OpenAI长期保持紧密合作。 今年6月，苹果宣布OpenAI成为其Apple Intelligence的首个官方合作伙伴，这个系统旨在将AI功能融入其操作系统中。新AI将包括改进版的Siri语音助手、文本校对以及自定义表情符号的创建。 苹果宣布的部分新AI任务将由其自有的AI技术处理。而对于更复杂的AI任务，例如生成书面信息，苹果将使用OpenAI的ChatGPT。 苹果此次洽谈投资OpenAI，凸显了其确保继续获得这一技术的决心。尽管OpenAI面临来自其他AI初创公司和大型科技公司的激烈竞争，但ChatGPT依然是市场领导者。 苹果希望与其他公司合作，将它们的生成式AI整合到新的系统中。苹果软件负责人Craig Federighi在6月的开发者大会上表示，之所以选择ChatGPT作为首发AI，“是因为我们想要从最好的开始。” 在这次大会上，苹果还提到谷歌的生成式AI模型Gemini作为潜在合作伙伴。该公司还与Meta Platforms以及AI初创公司Anthropic和Perplexity进行了合作讨论。 然而，投资OpenAI可能会使苹果在与其他AI公司的合作中保持中立的努力变得复杂。 这对苹果来说是一个不寻常的举动，苹果通常不会投资初创公司。多年来，苹果在制造合作伙伴上进行了一些投资，部分原因是为了确保其设备组件的供应。 2017年，苹果向日本软银的愿景基金投资了10亿美元，当时苹果发言人表示此举“将加速可能对苹果战略上重要的技术的发展。” 2016年，苹果还向中国的网约车初创公司滴滴出行投资了10亿美元，尽管苹果没有解释这笔交易的动机，但当时驾驶技术的未来竞争日益激烈。苹果当时正处于尝试制造自己的电动汽车的初期阶段，而这一项目已于今年早些时候取消。 据《华尔街日报》最近报道，过去一年半来，苹果大幅增加了对内部AI的投资，以提升其自身能力。 苹果将在下个月举行的活动中，可能会发布下一代iPhone，而新AI工具预计将成为这些设备的亮点。 过去两年，英伟达加大了投资活动，投入资金到热门AI公司如Inflection AI和Databricks，以及涉及AI药物发现和机器人技术的小型初创公司。 OpenAI是英伟达AI芯片的最大用户之一，使用了数万枚芯片来训练其最先进的AI系统。此前彭博社曾报道，英伟达正在讨论对OpenAI进行投资。

Google研究人员近日在人工智能领域取得了重大突破，成功创建了一个名为GameNGen的神经网络，可以在无需传统游戏引擎的情况下，实时生成经典射击游戏《毁灭战士》的游戏画面。这个系统标志着人工智能技术的一次重大进步，它在一块芯片上每秒生成20帧可玩游戏画面，每一帧都由扩散模型预测生成。 根据研究人员在预印本服务器arXiv上发表的论文所述：“我们推出了GameNGen，这是第一个完全由神经模型驱动的游戏引擎，能够在复杂环境中实现高质量的实时互动。” AI游戏引擎：2000亿美元游戏行业的颠覆者 自1993年发布以来，《毁灭战士》一直是技术基准测试的代表作，被移植到各种各样的平台上，从微波炉到数码相机无所不包。然而，GameNGen的意义超越了这些早期的适配版本。与依赖精心编写的代码来管理游戏状态和渲染视觉效果的传统游戏引擎不同，GameNGen通过AI驱动的生成扩散模型自主模拟整个游戏环境。 从传统游戏引擎过渡到像GameNGen这样的AI驱动系统，可能会彻底改变全球2000亿美元的游戏行业。通过消除手动编写游戏逻辑的需求，AI驱动的引擎有望显著减少开发时间和成本。这一技术转变可能会使游戏创作更加民主化，允许小型工作室甚至个人创作者开发出复杂的互动体验，这在以前是难以想象的。 除了节省成本和时间，AI驱动的游戏引擎还可能开辟全新的游戏类型，其中环境、叙事和游戏机制可以根据玩家的行为动态发展。这种创新可能会重塑游戏格局，将行业从目前的大片模式转向更加多样化的生态系统。 AI模拟的广泛应用：从电子游戏到自动驾驶 GameNGen的潜在应用远远超出了游戏领域。它的能力表明，在虚拟现实、自动驾驶和智慧城市等需要实时模拟的行业中，它可以带来革命性的变化。这些行业需要进行高保真度的实时处理，而AI驱动的引擎如GameNGen能够胜任这一任务。 例如，自动驾驶汽车需要模拟无数驾驶场景，以安全地在复杂环境中导航。这项任务通过像GameNGen这样的AI引擎可以更高效地完成。此外，在虚拟和增强现实领域，AI驱动的引擎可以创建完全沉浸式的互动世界，这些世界能够实时适应用户的输入。这将彻底改变教育、医疗和远程工作等领域，为用户提供更有效和更具吸引力的体验。 AI梦中的虚拟世界：游戏未来的无限可能 虽然GameNGen代表了一个重大的进步，但也面临着一些挑战。尽管它可以以互动速度运行《毁灭战士》，但更现代、更复杂的游戏可能需要更强大的计算能力。此外，当前的系统针对特定的游戏（即《毁灭战士》）进行了优化，而开发一个能够运行多款游戏的通用AI游戏引擎仍然是一个巨大的挑战。 尽管如此，GameNGen是朝向新一代游戏引擎迈出的重要一步——一个不仅由AI玩游戏，还由AI创造和驱动游戏的时代即将到来。 随着人工智能的不断进步，我们可能正处于一个未来的边缘，未来的游戏不再是由代码编写，而是由机器的无限创意所构建。Google研究人员通过GameNGen让我们得以一窥这个未来，一个AI创造的虚拟体验将没有极限的世界。

今年夏天，华尔街和硅谷开始质疑生成式人工智能的成本是否能够被其带来的效益所抵消。然而，芯片制造巨头英伟达在本周三的表现证明，市场对人工智能的热情依然高涨。 作为AI投资的风向标，英伟达再一次超出了华尔街的预期。在截至7月的三个月内，公司报告称其销售额和利润均翻了一番，预计当前季度的销售额将比去年同期增长80%，远超之前的估计。具体数据显示，英伟达本季度收入达到了300.4亿美元，超过了5月份预估的280亿美元。净收入更是从去年同期的61.9亿美元飙升至169.5亿美元，超越了Meta和亚马逊最近的季度利润。 然而，即便取得了如此亮眼的成绩，英伟达的股价在盘后交易中仍下跌了7%。原因在于，公司承认即将推出的一款AI芯片面临生产挑战，不过该芯片仍计划在今年内向客户提供。与此同时，英伟达宣布将额外投入500亿美元用于回购股票，并在上季度已经花费了154亿美元用于股票回购和分红。 英伟达的业绩凸显了其在AI芯片市场的主导地位，即便面对不断增长的竞争压力和高企的市场预期，依然能够稳居行业前沿。早在其他芯片巨头意识到AI的潜力之前，英伟达的首席执行官黄仁勋就已经押注于图形处理单元（GPU）会成为推动AI系统的关键。经过多年的努力，英伟达成功占据了市场主导地位。 如今，英伟达供应了全球超过90%的AI关键芯片。在微软、Meta、亚马逊和谷歌母公司Alphabet等大公司投入超过500亿美元建设AI数据中心的背景下，英伟达的销售额也水涨船高。这些数据中心支持从ChatGPT这样的聊天机器人到制药公司利用AI开发新药的各种项目。据分析师预测，未来AI数据中心和能源成本的支出预计将达到1万亿美元，而英伟达正处于这一浪潮的最前沿。 黄仁勋的远见得到了华尔街的回报。过去一年，英伟达的市值从1万亿美元猛增至3万亿美元，成为全球最有价值的三大科技公司之一。然而，关于AI扩展可持续性的疑虑，使得英伟达的股价波动性比同类公司更大。 尽管如此，英伟达依旧面临供应不足的问题。客户对其芯片的需求远超公司产能，这也引发了政府部门对其分配稀缺资源权力的担忧。美国司法部、欧盟、英国和中国均已开始调查该公司的销售行为。此外，英伟达的芯片在国家安全领域的重要性也引发了担忧。美国官员担心，这些芯片可能会帮助中国在AI开发领域取得领先地位。 两年前，美国商务部禁止向中国出口先进芯片，迫使英伟达为中国市场打造了性能较低的芯片。如今，中国科技巨头华为已经开始自制AI芯片，分析师称其性能与英伟达的产品相媲美。 与此同时，竞争者们也在迅速崛起。美国的AMD、英特尔以及硅谷初创公司Cerebras等小型企业正在推出更强大的芯片。微软和亚马逊这样的客户也在开发定制芯片，以减少对英伟达的依赖。 正如瑞银高级半导体分析师Timothy Arcuri所言，“每个季度，大家都会紧张地问，这种情况还能持续多久？”他认为，争论的焦点并非销售数字是否良好，而是明年是否会达到顶峰、市场是否会骤然冷却。不过，他相信，英伟达的“音乐”还会持续一段时间。 尽管市场前景不明，但英伟达依旧在积极推动业务扩展。公司开发了自己的云计算产品DGX Cloud，向客户提供超级计算机的使用权限，每月收费3.7万美元。英伟达在AI芯片市场的地位固若金汤，但能否继续保持其优势，还需拭目以待。

据报道，OpenAI 正在与此前的投资方 Thrive Capital 商谈一轮大规模融资，预计估值超过1000亿美元。这一估值远高于 OpenAI 之前的860亿美元，也是迄今为止任何AI初创公司中最高的估值。 据悉，Thrive Capital 预计将为此轮融资贡献约10亿美元。微软也有望参与其中，消息来源为《华尔街日报》。不过，目前尚不清楚是否有其他投资者会加入这一轮融资。OpenAI 现有的其他支持者包括 Khosla Ventures、Infosys 和 Y Combinator 等。 这笔融资预计将成为 OpenAI 自2023年1月以来最大的一笔外部资本注入，当时微软曾投资近100亿美元。 OpenAI 目前确实需要资金。据《华尔街日报》透露，OpenAI 今年初的年化收入已超过34亿美元。然而，据《信息》报道，OpenAI 预计今年年底前将亏损近50亿美元，并且已经在AI培训和员工费用上烧掉了85亿美元。

虽然Nvidia GPU在AI训练领域的主导地位依然不可撼动，但在AI推理方面，竞争对手似乎正在缩小与这家科技巨头的差距，尤其是在能效方面。然而，Nvidia的新款Blackwell芯片的强大性能可能依然难以超越。 今天，ML Commons发布了最新的AI推理竞赛结果，即ML Perf Inference v4.1。这一轮竞赛首次有使用AMD Instinct加速器、最新的Google Trillium加速器、多伦多初创公司UntetherAI的芯片以及Nvidia新款Blackwell芯片的团队参与。另有两家公司，Cerebras和FuriosaAI，宣布了新款推理芯片，但未提交MLPerf竞赛。 MLPerf竞赛类似于奥运会，有许多类别和子类别。本次提交最多的类别是“数据中心封闭”类别。封闭类别要求参赛者在给定模型上运行推理，不能对软件进行重大修改。数据中心类别则测试参赛者的大批量查询处理能力，而边缘类别则更加关注减少延迟。 在每个类别中，有9种不同的基准测试，涵盖不同类型的AI任务。这些任务包括流行的应用场景，如图像生成（如Midjourney）和大型语言模型问答（如ChatGPT），以及同样重要但不太出名的任务，如图像分类、物体检测和推荐引擎。 本轮竞赛还新增了一个名为“专家混合”的基准测试。这是大型语言模型（LLM）部署中日益流行的趋势，其中一个语言模型被分成多个较小的独立模型，每个模型针对特定任务进行微调，如普通对话、解决数学问题和编程辅助。模型可以将每个查询定向到合适的子模型或“专家”组。这种方法能够减少每个查询的资源使用，从而降低成本并提高吞吐量。 在数据中心封闭基准测试的各项任务中，Nvidia的H200 GPU和GH200超级芯片依然表现最佳，这些芯片将GPU和CPU整合在同一个封装内。然而，细看性能结果时，情况变得更加复杂。一些参赛者使用了多个加速器芯片，而另一些只使用了一个。如果我们将每个参赛者能够处理的每秒查询次数按所用加速器数量归一化，并只保留每种加速器类型中表现最好的提交，就会发现一些有趣的细节（需要注意的是，这种方法忽略了CPU和互连的作用）。 在每个加速器基础上，Nvidia的Blackwell在LLM问答任务上表现出2.5倍的性能提升，超越了此前的所有芯片版本。Untether AI的speedAI240 Preview芯片在其唯一提交的任务——图像识别——中几乎与H200持平。Google的Trillium在图像生成方面表现为H100和H200的一半多一点，而AMD的Instinct在LLM问答任务中的表现与H100大致相当。 Blackwell的强大性能 Nvidia Blackwell取得成功的原因之一是其能够以4位浮点精度运行LLM。Nvidia及其竞争对手一直致力于减少在变压器模型（如ChatGPT）的部分计算中使用的比特数，以加快计算速度。Nvidia在H100中引入了8位数学计算，而此次提交则标志着4位数学计算首次在MLPerf基准测试中得到展示。 使用如此低精度的数字的最大挑战在于保持准确性。Nvidia的产品营销总监Dave Salvator表示，为了保持MLPerf提交所需的高准确性，Nvidia团队在软件上进行了重大创新。 另一个重要的贡献是Blackwell的内存带宽几乎翻倍，从H200的4.8 TB/s提升至8 TB/s。 Nvidia提交的Blackwell芯片使用了单个芯片，但Salvator表示，Blackwell是为网络化和扩展而设计的，结合Nvidia的NVLink互连技术后将表现最佳。Blackwell GPU支持最多18个NVLink 100 GB/s连接，总带宽为1.8 TB/s，约为H100互连带宽的两倍。 Salvator认为，随着大型语言模型的规模不断扩大，即使是推理也将需要多GPU平台来满足需求，而Blackwell正是为此设计的。“Blackwell是一个平台，”Salvator表示。 Nvidia在预览子类别中提交了基于Blackwell芯片的系统，这意味着该芯片尚未上市，但预计将在下次MLPerf发布前（六个月后）上市。 Untether AI在功耗和边缘推理中的表现 在每个基准测试中，MLPerf还包括了一个能量测量部分，系统地测试每个系统在执行任务时消耗的电力。在主赛事（数据中心封闭能量类别）中，本轮只有Nvidia和Untether AI提交了结果。虽然Nvidia参与了所有基准测试，但Untether仅提交了图像识别任务。 Untether AI通过一种称为内存计算的方法实现了这一令人印象深刻的效率。UntetherAI的芯片设计为内存单元网格，并在其间分布了小型处理器。这些处理器是并行化的，每个处理器同时处理附近内存单元中的数据，从而大大减少了在内存和计算核心之间传输模型数据所消耗的时间和能量。 Untether AI的这一方法在MLPerf的另一个子类别——边缘封闭——中尤为成功。这个类别面向更为实地的应用场景，如工厂车间的机器检测、引导视觉机器人和自动驾驶汽车——这些应用中低能耗和快速处理至关重要。 在图像识别任务中，UntetherAI的speedAI240 Preview芯片在延迟性能上超越了Nvidia L40S 2.8倍，在吞吐量（每秒样本数）上超越了1.6倍。虽然UntetherAI也在这一类别中提交了功耗结果，但其Nvidia加速的竞争对手没有提交，因此难以进行直接比较。然而，UntetherAI的speedAI240 Preview芯片的标称功耗为150瓦，而Nvidia的L40S为350瓦，从而实现了标称2.3倍的功耗减少并改进了延迟。 Cerebras和Furiosa跳过MLPerf但发布了新芯片 昨天在斯坦福大学举行的IEEE Hot Chips会议上，Cerebras推出了自己的推理服务。这家位于加利福尼亚州Sunnyvale的公司制造了尽可能大的芯片，避免了芯片之间的互连，大幅提高了其设备的内存带宽，这些设备主要用于训练大规模神经网络。现在它已经升级了软件堆栈，以使用其最新的CS3计算机进行推理。 虽然Cerebras没有提交MLPerf，但该公司声称其平台在每秒生成的LLM标记数量上比H100高7倍，比竞争AI初创公司Groq的芯片高2倍。“今天，我们处于生成AI的拨号时代，”Cerebras的CEO兼联合创始人Andrew Feldman表示。“这是因为存在内存带宽瓶颈。无论是Nvidia的H100，还是MI 300或TPU，它们都使用相同的离片内存，产生了相同的限制。我们打破了这一限制，因为我们是晶圆级的。” Hot Chips会议还见证了首尔公司Furiosa发布其第二代芯片RNGD（发音为“renegade”）。Furiosa芯片的特点是其张量收缩处理器（TCP）架构。AI工作负载中的基本操作是矩阵乘法，通常在硬件中作为基本运算实现。然而，矩阵的大小和形状可以广泛变化，更一般地称为张量。RNGD将张量的乘法作为基本运算实现。Furiosa的创始人兼CEO June…