Author: aitrendtrackers@rengongzhineng.io

Coinbase CEO Brian Armstrong宣布完成了首笔由AI代理全程管理的加密货币交易，标志着行业内自主执行交易平台的发展迈出了重要一步。在X平台上，Armstrong分享了这一突破：“本周，@CoinbaseDev 见证了我们的首个AI与AI之间的加密交易。” 此次交易涉及一个AI代理——一个被编程来执行特定任务的机器人，使用加密代币与另一个AI代理互动，购买额外的AI代币。Armstrong简单总结道：“它们用代币购买代币。”这些AI代币本质上是数据字符串，帮助算法通过处理信息来学习和进化。 Armstrong进一步解释了当前AI代理的局限性，指出它们的效能受制于无法处理交易。由于无法完成支付，AI代理在执行诸如预订航班、酒店，或管理社交媒体（例如付费广告推广）等任务时遇到障碍。他强调：“AI代理无法开设银行账户，但可以拥有加密钱包。” 他补充道，这些AI代理现在可以通过Base（Coinbase的以太坊Layer 2网络）使用USDC与人类、商家，甚至其他AI代理进行交易。Armstrong指出，这些交易是即时、全球且免费的，展现了AI不仅有可能颠覆加密货币领域，还会对更广泛的经济产生影响。 这一发展紧随Armstrong最近关于大语言模型（如OpenAI的ChatGPT和Anthropic的Claude）拥有加密钱包的呼吁。他一直主张，AI代理需要具备参与经济活动的工具，并表示：“让我们帮助AI代理完成任务（代表你）并参与经济活动。”

今天推出的Claude Enterprise计划，专为企业打造安全的协作环境，帮助团队利用内部知识与Claude高效合作。 拥有更多上下文信息的团队通常表现更佳。Claude Enterprise计划不仅提供扩展至50万字节的上下文窗口，还提升了使用容量，并集成了GitHub，方便团队与Claude协作处理完整代码库。此外，企业级安全功能如SSO、基于角色的权限管理和管理员工具等，确保数据安全。 通过Claude，企业可以更轻松地分享和重用内部知识，帮助每位成员快速且高效地产出最佳工作成果，同时保障数据安全。Claude不会通过企业的对话和内容进行训练。想了解更多或开始使用Enterprise计划，请联系销售团队。 企业级控制 Enterprise计划引入了重要的安全和管理控制，重点保护公司的敏感数据，包括： 企业功能 通过将Claude与组织的知识集成，可以在更多项目、决策和团队中扩展专业知识。 Enterprise计划的上下文窗口扩展到50万字节，能处理大量销售记录、100页以上的文档或中型代码库，帮助Claude提供更深入的功能指导。 此外，针对工程团队，还引入了GitHub的原生集成，允许与Claude同步GitHub存储库，从而更轻松地处理新功能迭代、调试问题或帮助新员工入职。GitHub是我们推出的第一个原生集成，将与Claude连接到最重要的数据源中，未来还会推出更多集成。目前GitHub集成处于测试阶段，预计今年晚些时候全面推出。 结合扩展的上下文窗口与项目和文档功能，Claude成为端到端解决方案，帮助团队将创意转化为高质量的工作输出。例如，市场营销团队可以将市场趋势转化为引人注目的活动；产品经理可以上传产品规格书，Claude将创建互动原型；工程师可以连接代码库，帮助排查错误并优化代码。 客户案例 GitLab和Midjourney等早期用户，已经通过Claude开展了从头脑风暴到简化内部流程、创建和翻译内容、编写代码等各种任务。 Claude Enterprise计划将继续扩展功能，助力企业在更多领域取得成功。

一种全新的AI系统正在设计能够成功结合目标分子的蛋白质，未来可能在药物设计、疾病研究等领域带来革命性进展。 在人体内，每一个生物过程，从细胞生长到免疫反应，都依赖于蛋白质之间的相互作用。就像钥匙与锁的配对，一种蛋白质与另一种蛋白质结合，调节关键的细胞过程。AlphaFold这样的蛋白质结构预测工具，已经让人们深入了解了蛋白质如何相互作用来完成功能。然而，这些工具还不能创建新蛋白质以直接操控这些交互。 不过，科学家已经能够设计出能与目标分子结合的新型蛋白质。这些蛋白质可以加速各类研究进展，包括药物开发、细胞和组织成像、疾病理解与诊断，甚至提升农作物抗虫性。虽然机器学习在蛋白质设计方面取得了巨大进展，但这项工作依然复杂，仍需大量实验测试。 为了解决这些挑战，现在推出了AlphaProteo，这是一款全新的AI系统，专为设计高强度蛋白质结合体而生，能够成为生物和健康研究的基石。这项技术将极大加速人们对生物过程的理解，推动新药物的发现、传感器开发等。 AlphaProteo不仅能为多种目标蛋白生成新的蛋白质结合体，还首次成功设计出能够结合癌症和糖尿病相关蛋白VEGF-A的结合体。这标志着AI首次在VEGF-A上取得成功。 AlphaProteo在七种目标蛋白上实现了3倍到300倍的结合能力，并在实验中表现出更高的成功率。 蛋白质结合体的设计极其复杂，传统方法往往耗时漫长，需多轮实验以优化结合力。AlphaProteo则通过学习来自蛋白质数据库和超过一亿种AlphaFold预测结构的大量数据，掌握了分子之间的各种结合方式。它能够根据目标分子的结构和结合位点，生成能够精准结合的候选蛋白。 在测试过程中，AlphaProteo成功设计出多种病毒蛋白的结合体，包括感染相关的BHRF1和新冠病毒刺突蛋白受体结合域SC2RBD，以及与癌症、炎症和自身免疫病相关的五种蛋白，如IL-7Rɑ、PD-L1、TrkA、IL-17A和VEGF-A。 实验结果显示，AlphaProteo设计出的结合体不仅成功率高，而且结合能力远超现有设计方法。例如，在病毒蛋白BHRF1的实验中，88%的候选分子成功结合目标蛋白；而在TrkA蛋白上，AlphaProteo的结合体比以往经过多轮实验优化的设计还要强。 尽管AlphaProteo的表现出色，但在面对极具挑战性的目标蛋白TNFɑ时，系统未能成功设计出结合体。TNFɑ与类风湿性关节炎等自身免疫病相关，实验表明其极难设计结合体。团队计划继续优化AlphaProteo，提升其应对复杂目标的能力。 尽管设计出强效结合体仅仅是实际应用中的第一步，但AlphaProteo已经展现了其缩短实验时间、加速研究进程的潜力。未来，科学家们将继续与AI领域的专家合作，推动这项技术在药物设计、环境污染清理等更多领域的应用。 与此同时，AlphaProteo将继续改进算法，提升成功率和结合能力，并与全球科学家携手，打造一个更负责任、更全面的蛋白质设计平台。 文章： https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/alphaproteo-generates-novel-proteins-for-biology-and-health-research/AlphaProteo2024.pdf

还记得每月20美元的ChatGPT Plus订阅费曾经显得有点贵吗？现在看来，那简直就是白菜价。 《The Information》最近爆料，OpenAI的高层正在内部讨论，未来推出的AI模型“Strawberry”和“Orion”可能会收取高达每月2000美元的费用！要知道，这可是当前ChatGPT Plus订阅费的99倍啊。不过，别慌，这个价格几乎肯定不会成为最终定价。2000美元更像是企业级套餐的价格，普通用户大概率是吃不上这道菜了。 说到企业级，Anthropic也刚刚推出了自己的Claude Enterprise企业版，亮点如下： 这么大的上下文窗口是个什么概念？Claude Enterprise一次性就能处理“20万行代码、几十份100页的文档，或者两个小时的音频转录”，简直就是为企业量身打造的超级工具。 当然，OpenAI也不甘示弱，立马公布他们的ChatGPT Enterprise版已经有超过100万付费客户，其中包括“92%的《财富》500强公司”。每次竞争对手刚发布点啥大消息，OpenAI总会马上放个新闻炸弹出来。 至于谁家价格更划算？两家目前都没公开企业版的确切价格。不过有传言说，ChatGPT Enterprise大概是每用户每月60美元，但有150个座位的最低要求，且要签12个月合同，也就是说每月9千美元，每年10.8万美元起。而Claude Enterprise的定价会根据公司规模、使用情况和员工数量有所浮动，不过肯定会比Claude Team的每用户每月30美元贵一些。 再提一下微软的Copilot，它的定价是每用户每月30美元，签一年合同的情况下，每年每用户360美元——这还不算你已经为微软365付的钱。 总结一下：Claude的这一招挺有意思，看起来他们是在试探企业能接受的价格，可能也是想在某些方面让OpenAI难堪。毕竟，Claude的很多动作都像是在针对OpenAI用户的不满进行改进。 无论如何，这两家公司都在赌企业愿意为AI支付高额费用。《The Information》认为，这些高价的企业套餐可能会帮助补贴免费用户，并补充消费者收入。而且B2B SaaS业务通常比B2C业务更稳定，收入锁定更牢固，用户流失率也更低。 问题来了，这个“天价”会不会太过分了？如果这些企业套餐能让免费用户受益，那还不错。但每月2000美元的Strawberry？那它得是AGI级别的才行吧！

埃隆·马斯克旗下的几家公司——SpaceX、特斯拉、xAI和X（前Twitter）——都在各自的AI或高性能计算（HPC）项目中需要大量的GPU。然而，当前市场上的GPU资源远远无法满足这些雄心勃勃的需求，因此马斯克不得不在有限的GPU资源中优先考虑分配。 早在2015年，马斯克曾是OpenAI的联合创始人，但在2018年因权力斗争离开，这场斗争不仅仅关乎AI治理，更关乎推动AI模型发展的巨额投资。马斯克的离开为微软注资OpenAI铺平了道路，而当OpenAI成为生成式AI领域的领军者时，马斯克迅速在2023年3月创立了xAI，并开始为其筹集资金和GPU资源，目标是与OpenAI/微软、谷歌、亚马逊云服务、Anthropic等公司竞争。 在资金方面，xAI的募资进展顺利。2023年5月，Andreessen Horowitz、红杉资本、Fidelity、Lightspeed等投资者为xAI提供了60亿美元的B轮融资，使xAI的总筹资金额达到了64亿美元。此外，马斯克还可以依靠特斯拉为其提供的450亿美元薪酬，以便随时为xAI的GPU分配增加资金支持。不过，他也需要考虑为特斯拉、X和SpaceX的GPU需求留出足够的预算。 特斯拉的成功为马斯克提供了资金基础。2023年，特斯拉的销售额达到968亿美元，净收入为150亿美元，现金储备为291亿美元。然而，即便在这个新的“镀金时代”，马斯克的薪酬包也显得格外惊人。不过，对于马斯克来说，这些巨额资金是为了更大的目标，而特斯拉的董事会显然愿意为此付出代价。 Grok-2预计将使用2.4万张Nvidia H100 GPU进行训练，并计划在2024年8月上线。虽然xAI最初与甲骨文达成了GPU容量的合作，但由于合作破裂，马斯克转向了在田纳西州孟菲斯建设一个“计算巨厂”，计划部署10万张GPU。然而，当前工厂的电力容量只有8兆瓦，扩展到10万张GPU可能需要150兆瓦的电力供应，这将涉及复杂的审批程序。 尽管xAI的最终目标是到2025年全面扩展该超级计算机，眼下的部署可能只会在12月之前实现2.5万张GPU。但即便如此，xAI仍将拥有足够的资源来训练一个超大型AI模型。 从目前的信息来看，Supermicro正在为xAI提供水冷系统的服务器，基于八路HGX GPU板卡的架构。此外，Juniper Networks负责前端网络设备，而Nvidia的Spectrum-X设备则处理后端网络连接。至于存储部分，虽然尚未公布具体方案，但有传闻称可能由Vast Data提供大规模的存储阵列。 随着xAI不断扩展计算和网络基础设施，马斯克的AI帝国正在形成，而他将如何平衡各公司的GPU需求，仍然是未来的关键挑战。 ​

北美数据中心扩展激增：2024年上半年新增容量超硅谷总量 根据房地产服务公司CBRE的最新数据中心趋势报告，北美的主要市场在2024年上半年增加了相当于整个硅谷数据容量的规模。在这六个月内，北美八大主要市场新增了515兆瓦（MW）的数据中心容量，超出了硅谷459 MW的总容量。 2024年年中，美国的数据中心总容量接近5,700 MW，比六个月前增加了10%。与去年同期相比，主要市场的供应量增加了约1,100 MW，增长率达24%。 尽管面临电力和设备短缺的挑战，企业仍在积极扩展数据中心容量，甚至为三到四年后才会使用的设施签订长期租约。CBRE的全球数据中心解决方案负责人Pat Lynch指出，这表明企业对数据中心容量的需求只会持续增加。 数据显示，2024年4月，美国在计算机、电子和电气制造领域的建筑投资几乎达到了1,320亿美元，远超2022年4月的260亿美元。此外，主要市场和次级市场的数据中心空置率分别下降至2.8%和9.7%。 报告强调，电网接入仍然是选址的首要考虑因素，而生成式AI等耗电技术的需求激增，进一步加剧了市场的可持续性问题。未来，碳排放目标或将促使运营商更加注重冷却系统优化、废热回收和可再生能源的利用。

由OpenAI前首席科学家Ilya Sutskever共同创立的Safe Superintelligence（SSI）刚刚筹集了10亿美元现金，旨在开发超越人类能力的安全人工智能系统。SSI目前拥有10名员工，计划利用这笔资金获取计算资源并招聘顶尖人才，目标是打造一个高度可信的研究和工程团队，分布在美国加州Palo Alto和以色列的特拉维夫。 尽管公司没有透露具体估值，但消息人士称其估值已达到50亿美元。此次融资显示，尽管市场对这类长期不盈利的AI研究公司的兴趣有所下降，但顶尖人才依然吸引着风险资本的巨额投资。Andreessen Horowitz、Sequoia Capital、DST Global等顶级风投公司均参与了此次投资。 Sutskever表示，创立SSI是因为他“发现了一座不同的山峰”，并计划在未来几年专注于研发，确保AI安全并超越人类智能。

目前，AI模型有两种学习方式：一种是通过训练，另一种是在推理过程中通过上下文学习。迄今为止，训练一直占据主导地位，因为模型处理的上下文通常比较短。然而，超长上下文可能会改变这一局面。 与依赖模糊记忆不同，Magic的长期记忆（LTM）模型在推理时可处理多达1亿个token的上下文，基于这些上下文进行推理。这种模型的商业应用十分广泛，但Magic专注于软件开发领域。 可以想象，如果模型在推理时能参考所有的代码、文档和库，甚至包括那些不在公共互联网上的资源，代码生成的效果将会显著提升。 评估上下文窗口 目前，关于长上下文的评估并不理想。广为人知的“干草堆中的针”评估方法，随机将一个事实（“针”）放在长上下文窗口（“干草堆”）的中间，要求模型提取该事实。 然而，如果一本关于鲸鱼的小说中出现“Arun和Max在Blue Bottle喝咖啡”这样的描述，它会显得格外突兀。模型能够识别出这种“不寻常”的信息，从而忽略干草堆中其他相关内容，减少存储负担。此外，模型只需关注上下文中一个小的、语义上显著的部分，这让像RAG这样的方法看起来很成功。 Mamba的第4.1.2节和H3的附录E.1中的归纳头基准使这一任务更加简单，它们使用特殊的token标记“针”的开始位置，大大降低了评估的存储和检索难度。这就像考前已经知道考试的题目一样。 这些细微的缺陷削弱了当前长上下文评估方法的有效性，使得传统的循环神经网络（RNN）和状态空间模型（SSM）即便受到O(1)大小的状态向量限制，依然能取得好成绩。 为了消除这些隐含和显式的语义提示，Magic设计了HashHop评估方法。 Hash是随机生成的，无法压缩，这意味着模型必须在任何上下文大小下存储并检索最大量的信息内容。 具体来说，Magic给训练有Hash的模型提示Hash对： 接着，模型需要完成一个随机选定的Hash对： 这评估了单步归纳头的出现情况，但实际应用通常需要多跳。因此，Magic要求模型完成一串Hash链条： 为了确保顺序和位置的不可变性，Magic将Hash对打乱后提示模型： 然后，要求模型完成： 通过逐步写出所有中间的Hash值，这类似于“思维链”的推理方式，允许模型将推理过程延展至更长的时间。 Magic还提出了一个更具挑战性的变体，模型需要跳过步骤，直接完成： 这要求模型架构能够一次性跨越整个上下文的多个点进行推理。 在对代码和语言模型进行评估时，Magic发现在Hash上训练小模型，并在这些简单任务上测量性能，是其架构研究的一个有效工具。 Magic的超长上下文进展 Magic最近训练了首个能处理1亿token上下文的模型：LTM-2-mini。1亿token相当于约1000万行代码或约750本小说。 每解码一个token，LTM-2-mini的序列维度算法在1亿token上下文窗口下比Llama 3.1 405B1的注意力机制便宜大约1000倍。 两者在内存需求上的差距更大——运行1亿token上下文的Llama 3.1 405B需要每个用户638个H100显卡来存储KV缓存，而LTM只需一块H100的很小一部分内存即可处理同样的上下文。 通过“思维链”训练的LTM架构在以下测试中取得了优异的表现，尽管在没有“思维链”的情况下，进行三次跳跃的表现有所下降，但两次跳跃时依然表现强劲，表明该模型能够构建比单一归纳头更复杂的逻辑回路。 此外，Magic还训练了一个原型模型，通过超长上下文机制进行文本到差异数据的训练。虽然该模型在代码生成方面还不如当今的前沿模型，但偶尔能产生合理的输出。 与Google Cloud合作打造NVIDIA超级计算机 Magic与Google Cloud和NVIDIA合作，正在构建两台新超级计算机：Magic-G4和Magic-G5，后者将搭载NVIDIA GB200 NVL72系统，可扩展至成千上万块Blackwell GPU。 Magic的联合创始人兼CEO Eric Steinberger表示，这一合作将大幅提升模型的推理和训练效率，帮助Magic快速扩展AI基础设施。Google Cloud和NVIDIA的强大硬件与软件生态，将助力Magic推动AI的下一次突破。

在2024年的KDDI峰会上，OpenAI日本的CEO长崎忠男透露了一些令人震惊的消息。他表示，未来发布的GPT-Next将比GPT-4强大100倍。据悉，这款模型将使用OpenAI神秘项目“草莓计划”的精简版。提升性能的关键并非依赖大量的计算资源，而是全新的架构设计。 据ITMediaAI+报道，长崎在峰会上重申了OpenAI对通信和AI领域的承诺。他详细介绍了这家AI巨头的业务，并分享了对未来AI模型的看法。据他透露，该模型名为GPT-Next。 此外，长崎还提到，截至今年8月底，ChatGPT的活跃用户数已经突破2亿。他强调，这是史上最快达到1亿到2亿活跃用户的软件，并指出ChatGPT为用户提供了前所未有的“易用”体验。同时，ChatGPT Enterprise在企业中的采用率也在持续上升。 长崎还谈到，OpenAI全球员工约有2000人，其中一半从事AI开发工作。除日本外，OpenAI在美国和英国也设有基地。当被问及为何选择日本作为亚洲的首个基地时，长崎解释称，日本在追求创新和新技术方面一直走在前列。 在演讲中，他对GPT系列的未来发展进行了展望，并将其与GPT-3和GPT-4进行了对比。他表示，AI技术的发展是指数级的，远超传统软件，因此OpenAI希望尽快推动一个充满AI的世界的到来。 在谈到个人经历时，长崎透露，他曾在2011年至2024年间担任亚马逊网络服务日本分公司的CEO，并于今年4月成为OpenAI日本的CEO。按照目前的进展，GPT-Next或将成为AI领域的下一个重大突破。

近年来，大型语言模型（LLMs）迅速崛起，推动了机器学习任务中对GPU高效利用的需求。然而，研究人员在准确评估GPU性能时面临着一个关键问题：常用的GPU利用率（通过nvidia-smi或集成监控工具访问）并不能可靠地反映实际计算效率。令人惊讶的是，仅仅通过读写内存就能达到100%的GPU利用率，而无需进行任何实际计算。这一发现促使学术界重新审视性能评估指标和方法，呼吁研究人员寻找更准确的GPU性能衡量方式，以优化LLM训练和推理任务的GPU使用。 为了克服GPU利用率的局限性，研究人员提出了替代指标。其中一个广为人知的方法是谷歌在PaLM论文中介绍的模型FLOPS利用率（MFU）。MFU衡量系统在理论最大FLOPS下的实际吞吐量比例，更准确地反映了GPU的计算效率。然而，MFU的计算复杂性较高，且依赖于具体的参数和框架。尽管如此，MFU揭示了GPU利用率和计算效率之间的巨大差异。比如，有些LLM训练虽然显示出100%的GPU利用率，但MFU仅为20%，远低于大多数LLM训练中常见的35-45%的范围，突显了对GPU性能指标更深层次理解的必要性。 研究人员通过应用如数据加载器参数调整、混合精度训练和融合优化器等常用的PyTorch性能优化技术，成功实现了100%的GPU利用率和显著的功耗增长。然而，为了更全面地了解计算效率，他们计算了训练任务的MFU，认识到仅依赖GPU利用率作为性能指标的局限性。 GPU架构的复杂性是理解GPU利用率作为性能指标局限性的关键。GPU由多个核心和多处理管理器组成，如NVIDIA的SM或AMD的CU。尽管NVIDIA的GPU利用率定义模糊，但它更多反映的是GPU的活动性，而非计算效率。因此，研究人员转向使用PyTorch Profiler对模型训练循环进行剖析，发现Softmax内核虽然显示高GPU利用率，但SM效率却很低，说明存在潜在的执行效率问题。 通过融合内核技术，研究人员成功提升了LLM训练的SM效率。最终，LLM训练效率大幅提升，MFU从20%增长至38%，训练时间缩短了四倍。研究人员建议，在GPU集群中同时追踪SM效率和GPU利用率，以准确评估性能，优化LLM训练的效率。 https://trainy.ai/blog/gpu-utilization-misleading