AI TrendTrackers

微软近期就 OpenAI 宣布的 5000 亿美元数据中心计划（“Stargate 项目”）澄清了双方的合作关系。在 OpenAI 日益增长的计算需求下，这一合作模式正在发生变化。 合作现状与变化 微软的态度与立场 微软 CEO Satya Nadella 曾在 2023 年 11 月表示，即便 OpenAI 不复存在，微软也具备所有必要资源和能力，包括 IP、计算力和数据。Nadella 强调：“我们在 OpenAI 的上下左右无处不在。” 尽管双方合作关系不再完全独占，微软仍在 OpenAI 的发展中占据核心地位。通过 Azure 的深度绑定以及对 OpenAI 的技术支持，微软在推动 AI 技术发展的同时，确保了自身在云计算和 AI 市场的战略地位。

特朗普周二宣布与 OpenAI、甲骨文（Oracle）和软银（Softbank）合作，成立名为 “Stargate” 的联合企业，计划在未来四年内投资 5000 亿美元，用于加强美国的人工智能基础设施。这一消息在白宫由特朗普、软银 CEO 孙正义、OpenAI CEO Sam Altman 和甲骨文联合创始人 Larry Ellison 共同发布。 项目亮点 背景与发展 行业与国家战略意义 展望 Stargate 项目的公布标志着美国在全球 AI 竞争中的重大动作。尽管面临技术和资本密集的挑战，但通过 OpenAI、软银和甲骨文等公司的合作，这一计划将成为推动美国人工智能发展、重塑国家技术优势的重要催化剂。

Anthropic 正计划为其聊天机器人 Claude 推出“双向语音模式”和一个新的记忆功能，以进一步增强用户体验。Anthropic CEO Dario Amodei 在达沃斯世界经济论坛上接受《华尔街日报》采访时透露了这一消息，并表示公司计划在未来几个月内推出“更智能”的 AI 模型。 功能升级：语音与记忆 未来发展与市场压力 Amodei 提到，过去一年（尤其是最近三个月），用户需求激增，令 Anthropic 的算力供应不堪重负。他表示：“这种需求激增远超我们目前的计算能力。” 行业趋势与挑战 Anthropic 在推出 Claude 新功能的同时，正努力跟上用户需求和技术迭代的步伐： 总结 随着功能的升级和更智能 AI 模型的推出，Claude 将与 OpenAI 的 ChatGPT 等竞争对手展开更激烈的市场争夺。尽管 Anthropic 面临巨大的资金和算力压力，其在用户体验优化和技术进步上的努力显示出其争夺市场领先地位的决心。这场 AI 军备竞赛仍在升温。

中国 AI 实验室 DeepSeek 推出了其最新开源推理模型 DeepSeek-R1，引发行业广泛关注。据称，这款模型在某些基准测试中的表现已媲美 OpenAI 的 o1 模型，同时具备完全开源和商用无约束的优势。 DeepSeek-R1 的亮点 局限与挑战 行业格局与未来趋势 结论 DeepSeek-R1 的发布不仅展示了中国 AI 实验室在推理模型领域的技术实力，也标志着开源 AI 模型的新高度。尽管存在内容审查和政策挑战，其性能与灵活性已让全球开发者看到更广阔的应用前景。随着类似 R1 的模型继续扩展，AI 技术的平民化趋势或将以更快速度到来。

据报道，OpenAI 的全新 AI 代理“Operator”在一系列泄密中首次曝光！这款被称为“下一代突破性技术”的代理工具将能够为用户自动完成各种基于计算机的任务，比如编程、预订旅行和网络浏览等。 泄密关键点： 行业意义： 未来展望： 尽管当前 “Operator” 在复杂任务上的成功率尚待提升，其智能水平和自动化能力已经展现了令人瞩目的潜力。随着研究预览的推出，OpenAI 的这款 AI 代理或将为工作效率工具和自主智能技术设立新的标杆，引领下一波技术革新潮流。

近年来，本地 AI 模型正逐渐成为热门话题，而过去许多人对它们的偏见——“又笨又占资源”——似乎正在被打破。以下是为何本地 AI 模型如今被认为可行的主要原因，以及它们可能带来的深远影响。 为什么过去的本地 AI 模型“不实用”？ 如今发生了什么？ 开源 AI 领域，尤其是中国团队的贡献，推动了技术进步： 为什么这很重要？ 本地 AI 模型的崛起带来了几大转变： 为什么 GPQA Diamond 很重要？ GPQA Diamond 是评估模型理解力和知识水平的可靠基准测试，比数学和编程任务更适合衡量模型的通用智能能力。数据显示，许多 7-8B 的开源模型已经能够在这个测试中媲美 GPT-4o，而与 Claude 3.5 Sonnet 的差距也逐步缩小。 接下来的挑战是什么？ 虽然本地 AI 模型的性能和便捷性不断提高，但仍有几个障碍需要克服： 未来展望 随着本地 AI 技术的成熟，个人设备将不再仅仅是消费工具，而能成为功能强大的生产力工具。无论是保护隐私，还是摆脱对云服务的依赖，本地 AI 都展现出改变行业规则的潜力。期待下一个“爆款”产品，真正让这些本地模型走进千家万户。

背景：扩散模型推理的挑战 生成模型近年来在语言、视觉和生物学领域引发了巨大变革。尽管通过增加数据量、计算资源和模型规模，这些模型在训练阶段取得了显著进步，但推理阶段的扩展能力却面临诸多限制。以扩散模型为例，这类模型通过降噪过程生成连续数据（如图像、音频和视频），但简单增加降噪步数（NFE）的传统方法并未显著提升性能，甚至可能导致计算资源浪费。 目前，多种方法被尝试用来改进生成模型的推理性能。例如，大型语言模型（LLM）在测试时通过改进搜索算法、验证方法和计算分配策略取得了成功。但在扩散模型领域，现有方法主要集中于训练阶段优化，如微调、强化学习和直接偏好优化等，而推理阶段的深入扩展方案尚属稀缺。 谷歌框架：推理阶段的新方法论 NYU、MIT 和谷歌的研究团队提出了一种全新的推理扩展框架，摆脱了简单增加降噪步数的思路，通过创新的搜索机制提升生成质量。新框架的核心是通过更优噪声候选的发现和验证算法，改进扩散模型的降噪过程，并提供灵活的组件组合，适配多种应用场景。 具体实现中，该框架采用了针对 ImageNet 的类条件生成，使用预训练的 SiT-XL 模型（256 × 256 分辨率）和二阶 Heun 采样器。降噪步数固定为 250 步，同时探索额外的 NFE 用于搜索操作。搜索机制采用随机搜索算法和“最佳 N 次策略”（Best-of-N），选取最优噪声候选，验证阶段则引入了两个 Oracle 验证器：Inception 分数（IS）和 Fréchet Inception 距离（FID）。IS 基于 InceptionV3 模型的分类概率最高值，而 FID 通过最小化与预先计算的 ImageNet 特征分布的差异来评估。 框架测试结果与影响 测试结果显示，这一框架在不同基准上的性能表现突出。在 DrawBench（涵盖多样化文本提示）中，基于 LLM Grader 的评估表明，使用不同验证器的搜索机制能够显著提升样本质量。尤其是 ImageReward 和验证器集成（Verifier Ensemble），在多项指标上均表现优异，展现了细腻的评估能力和与人类偏好的高度一致性。 在 T2I-CompBench 的测试中，优化配置更加偏向文本提示的准确性，而非视觉质量。ImageReward 表现最佳，而美学评分（Aesthetic Scores）影响较小甚至为负，CLIP 则提供了适度改进。这些结果表明，不同的验证器在特定任务上的表现具有显著差异。 展望：开启推理优化新方向 研究团队认为，这一框架通过战略性搜索机制实现了推理阶段的显著扩展，为生成模型在不同规模和任务上的性能提升提供了新的思路。同时，研究还揭示了验证器的内在偏差，强调了开发任务特定验证方法的重要性。 这一研究成果为扩散模型的推理优化树立了新标杆，也为未来探索更高效的验证系统和针对特定任务的优化方法提供了广阔空间。无论在视觉生成还是更广泛的生成式 AI 应用中，这一框架都将发挥重要作用。

据 CNBC 报道，AI 搜索引擎初创公司 Perplexity AI 周六向 TikTok 母公司字节跳动递交了一项提案，计划打造一个全新的合并实体，整合 Perplexity、TikTok 美国业务以及新的资本合作伙伴。 方案亮点：保留现有投资者权益，扩展视频内容 据知情人士透露，此次提案旨在让字节跳动的大部分现有投资者保留股权，同时为 Perplexity 增加更多视频内容。这位消息人士因交易保密而要求匿名。据悉，该计划将避免字节跳动直接出售 TikTok，而是通过合并的方式保持控制权，这或许是 Perplexity 自信能成功竞标的原因。 Perplexity AI 是一家主打人工智能搜索技术的初创公司，与 OpenAI 和谷歌展开直接竞争。今年年初，该公司估值仅约 5 亿美元，而随着生成式 AI 的火爆发展和投资者兴趣的激增，其年底估值飙升至约 90 亿美元。然而，快速增长的同时，Perplexity 也因涉及抄袭争议而备受关注。 AI 搜索的未来与 TikTok 的命运 AI 辅助搜索被投资者视为谷歌面临的主要风险之一，因为它可能彻底改变消费者获取信息的方式。自 2022 年底 OpenAI 推出 ChatGPT 并掀起生成式 AI 热潮以来，AI 搜索工具不断涌现，包括 OpenAI 的 SearchGPT 和谷歌的“AI 概述”功能。然而，TikTok 在美国的前景却充满不确定性。 TikTok 宣布，如果拜登政府无法明确表示不会惩罚苹果、谷歌等托管其应用的公司，TikTok 将于周日关闭美国市场。对此，总统当选人唐纳德·特朗普在周六接受 NBC…

OpenAI 携手生物科技初创公司 Retro Biosciences 推出了一款全新 AI 模型 GPT-4b micro，这款专为优化蛋白质设计的语言模型，正在为长寿研究开辟新天地。据悉，该模型的早期测试表现超出预期，甚至在某些任务上超过了人类研究者的水平。 这款 GPT-4b micro 专注于优化 Yamanaka 因子——一种能够将普通细胞转化为干细胞的蛋白质。科学界普遍认为，这一过程有潜力用于组织再生，甚至推动人体器官的培育。为了实现这一目标，团队将各种生物物种的蛋白质序列和蛋白质之间的交互数据输入模型，让它生成不同版本的蛋白质方案，供实验室进一步测试。这种方式类似于 ChatGPT 的句子补全功能，只不过目标换成了蛋白质。 与 Google 的 Alphafold 使用扩散网络（类似于 AI 图像生成器）的方法不同，Retro CEO Betts-Lacroix 表示，这款语言模型更适合处理 Yamanaka 因子这种“松散且无结构”的蛋白质。不过，团队对于模型的具体推导过程目前也未完全理解。 初步结果展现潜力，但仍需更多验证 OpenAI 研究员 John Hallman 在接受《技术评论》采访时表示，模型提出的蛋白质优化方案“整体上”都优于人类科学家单独完成的成果。测试数据显示，两个 Yamanaka 因子在模型优化后，其表现提升达到了 50 倍。不过，尽管这些结果看似振奋人心，但外部科学家目前无法验证其准确性，直到 OpenAI 和 Retro 发布正式研究论文为止。 值得注意的是，这一模型尚未向公众开放，也没有明确的商用时间表。OpenAI 也尚未决定是将该技术整合到现有的推理模型中，还是独立开发成一个专用工具。此外，OpenAI CEO Sam Altman 还对 Retro Biosciences 投资了 1.8 亿美元，为这一合作添上了浓厚的商业色彩。 尽管面临外界质疑和验证不足的挑战，这款专注于长寿研究的…

概述研究团队提出了一种全新的神经长期记忆模块，该模块能够在测试阶段动态学习和记忆历史上下文信息。这项技术不仅解决了传统Transformer因计算复杂度导致的上下文长度限制问题，还实现了快速的并行化训练和高效的推理。团队在此基础上开发了名为Titans的模型架构，融合了短期记忆和长期记忆模块，为处理复杂任务提供了更强的能力。实验结果表明，Titans在语言建模、常识推理、基因组学以及时间序列预测等任务中表现优于Transformer及现代线性递归模型，且能够在上下文窗口长度超过200万的情况下保持高效性和准确性。 https://arxiv.org/pdf/2501.00663 现有模型的记忆局限性Transformer依赖注意力机制精确建模当前上下文内的依赖关系，但因其二次方的时间和内存复杂度限制了适用性。在长上下文任务中，例如语言建模、视频理解和时间序列预测，Transformer面临的挑战尤为突出。 为了提升效率，线性Transformer通过用核函数替代softmax，降低了计算复杂度。然而，这种方法压缩了历史数据，导致性能下降。此外，大多数现有架构在面对泛化、长度外推及推理任务时，仍存在显著局限性，例如缺乏短期记忆和长期记忆间的有效协作，难以学习和记忆历史抽象信息。 记忆的神经学启示研究团队借鉴人类记忆系统，将短期记忆、工作记忆和长期记忆看作彼此独立又紧密相连的模块。这种模块化的记忆设计启发了Titans架构的开发，并帮助解决以下核心问题：如何设计有效的记忆结构、如何实现记忆的更新机制，以及如何优化记忆的检索过程。 Titans架构设计Titans架构包括三大模块： 为了有效融合记忆模块，研究团队提出了三种Titans架构变体： 长期记忆的学习机制长期记忆模块通过“惊讶度”指标来学习和更新记忆。当模型遇到超出预期的数据时，会记录其梯度变化并调整记忆参数。同时，模块通过引入动量机制（momentum）和遗忘机制（weight decay）优化记忆更新，从而更高效地管理有限的记忆容量。 实验结果团队在多种任务上验证了Titans的性能： 深层记忆的作用实验还表明，增加长期记忆模块的深度可以显著提升模型在长序列任务中的性能，同时增强了模型对复杂历史信息的记忆能力。然而，深层记忆也增加了训练时间，显示出效率与效果之间的权衡。 未来展望Titans为AI系统引入了一种新范式，其结合短期和长期记忆的设计，提供了高效的动态记忆更新能力。这项研究展示了未来AI系统可实现“持续学习”的潜力，即在面对现实世界的动态任务时，能够通过学习记忆并适应新的挑战。Titans的模块化架构和记忆机制为构建下一代智能系统奠定了基础，为多领域的任务处理带来突破性的进展。