AI TrendTrackers

大型语言模型（LLMs）在复杂推理任务上展现出惊人的能力，尤其是在数学问题求解和代码生成方面。然而，这些模型仍面临重大挑战：虽然延长推理链可以提高问题解决能力，但往往导致不必要的冗长推理，即便是简单问题也会生成过长的解答。这种“统一长度”的推理方式不仅降低了计算效率，还削弱了其在实际应用中的实用性，使得计算成本和资源消耗大幅上升。 目前，提升LLMs推理能力的方法层出不穷，其中“思维链”（Chain-of-Thought, CoT）是基础技术之一，它通过将推理拆分为多个离散步骤来提升模型解题能力。在此基础上，研究人员进一步发展出了更复杂的推理策略，例如增加推理步骤的扩展CoT、自我反思机制、多轮推理以及多智能体辩论系统。近年来，一些模型（如OpenAI-o1和DeepSeek-R1）主打超长推理链，以提升复杂任务的解答能力。然而，这类模型无论面对何种问题，都倾向于生成冗长的推理路径，导致计算资源浪费，并增加了碳排放，对实际应用造成阻碍。 为了破解这一难题，Meta AI与伊利诺伊大学芝加哥分校的研究团队提出了一种创新方法，致力于让模型能根据查询的复杂度自动调整推理长度。相比于以往依赖启发式方法优化token利用率的策略，该研究从强化学习（RL）的角度切入，不直接建模响应长度，而是采用一种“分组方法”，通过对不同类型的回答进行分类，构建覆盖整个响应空间的高效推理框架，同时确保推理效率。 该方法采用序列级符号系统，将复杂的状态转移概率和中间奖励简化处理，把每个响应视为完整单元。系统架构将回答划分为两大类：标准长度的CoT推理，以及需要额外计算成本的扩展推理。模型采用双层优化框架，在凸多面体约束下分配计算资源，确保推理链的长度控制在合理范围内。此外，该算法通过迭代优化，上层问题采用梯度更新求解，而下层优化则在每次迭代中直接计算。 实验结果表明，该方法在多个任务上的表现均取得显著提升。监督微调（SFT）方法的SVSFT与ASV-SFT-1虽然提升了pass@1指标，但推理资源消耗相应增加。值得注意的是，ASV-IuB-q+在50%和75%参数设定下，推理效率提升显著，分别减少4.14%和5.74%的计算开销，同时性能与当前最优的RL自我修正方法SCoRe相匹配。此外，实验还揭示了基于提示（prompting）和SFT方法在绝对提升和效率优化上的局限性，进一步表明RL方法在自我修正方面的潜力更大。 研究团队还提出了IBPO（约束策略优化框架），通过加权监督微调更新机制来优化推理过程。该方法基于CGPO框架，在每次迭代中通过整数线性规划计算最优权重，实现动态推理预算分配，并在数学推理任务上展现出卓越的资源管理能力。尽管计算资源限制仍然是一个挑战，但该框架可通过多步采样积累缓解这一问题。未来，该方法的应用范围有望进一步扩展，研究人员计划在更多LLM任务中测试其可行性，并扩大实验规模，以探索其在不同场景下的潜在价值。

近年来，大型基础模型在生物医学领域展现出惊人的潜力，不仅在各种基准测试中取得亮眼成绩，还能在数据标注需求极低的情况下，迅速适应下游任务。然而，将这些模型真正应用于临床仍面临巨大挑战。即使是先进的GPT-4V，在多模态生物医学任务上的表现仍存在显著差距。此外，高昂的运行成本、有限的可获取性以及繁琐的手动评估流程，使得医生在处理患者隐私数据时难以直接应用这些最前沿的AI技术。https://github.com/microsoft/LLaVA-Med 随着多模态生成式AI的进步，生物医学应用的范围也在不断扩展，能够同时处理文本和图像的AI系统，已在视觉问答、放射学报告生成等任务上展现出巨大潜力。然而，临床落地依然困难重重。大型模型的资源需求使其在计算成本和环境影响方面带来不小压力，而小型多模态模型（SMMs）虽然更加高效，但在性能上与大型模型仍有较大差距。此外，开源可用的高质量模型匮乏，以及缺乏可靠的事实性评估方法，尤其是在幻觉检测方面的不足，进一步阻碍了其在医学领域的推广。 为了解决这些问题，微软研究院联合华盛顿大学、斯坦福大学、南加州大学、加州大学戴维斯分校和加州大学旧金山分校的研究人员提出了一款全新的小型多模态模型——LLaVA-Rad，并推出了CheXprompt自动评分指标，以评估模型生成报告的事实性。该系统专注于胸部X光（CXR）影像分析，这是医学影像领域最常见的检查类型，旨在自动生成高质量的放射学报告。LLaVA-Rad训练于来自七个不同来源的697,435个影像-报告数据对，当仅有结构化标签时，还利用GPT-4进行报告合成。模型在推理阶段仅需一张V100 GPU即可运行，训练则在一个包含8张A100的计算集群上，仅用一天便可完成。 LLaVA-Rad的架构代表了一种全新的小型多模态模型设计，即便规模远小于Med-PaLM M等大模型，依然能在关键指标上实现领先表现。其训练策略分为三个阶段：单模态预训练、对齐调整和轻量级跨模态学习。模型采用高效的适配器机制，将非文本模态信息映射到文本嵌入空间，确保跨模态学习的有效性。此外，LLaVA-Rad利用来自258,639名患者的697,000张去识别化胸片及其对应报告，构建了一个强大的单模态基础，并在此基础上实现高效的跨模态适应。 相比同等规模（7B参数量）的模型，如LLaVA-Med、CheXagent和MAIRA-1，LLaVA-Rad展现出卓越性能。尽管其规模远小于当前最强的Med-PaLM M，在关键评测指标上依然实现了显著提升：在放射学文本评估指标ROUGE-L上提升12.1%，在F1-RadGraph指标上提升10.1%。更重要的是，在多个数据集（如CheXpert和Open-I）上的测试表明，即便是从未见过的数据，LLaVA-Rad仍能保持稳定的高质量表现。这一优势归功于其模块化设计和高效的数据利用策略。尽管Med-PaLM M在F1-5 CheXbert指标上的优势不足1%，但LLaVA-Rad凭借更高的计算效率和更低的资源需求，使其在实际应用中更具可行性。 总体来看，LLaVA-Rad的推出标志着基础模型向临床应用迈出了重要一步。作为一个开源、轻量级的解决方案，它在放射学报告生成任务中达到了最先进的水平。其成功得益于对697,000张胸部X光影像及报告的全面训练，并结合GPT-4进行数据处理，同时采用创新的三阶段训练方法。此外，CheXprompt的引入有效解决了自动评估难题，使得模型的准确性评估可媲美专业放射科医生。这一系列突破无疑为AI在临床医学中的落地应用奠定了坚实基础，加速了人工智能与医疗行业的深度融合。

在长文本推理中，大型语言模型（LLM）需要存储大量的 KV 缓存，这对 GPU 内存占用带来了极大挑战。传统的 KV 缓存压缩方法往往通过注意力分数筛选出“重要”Token，并裁剪掉相对不重要的部分。然而，这些方法通常单独评估每个 Token，忽视了Token 之间的依赖关系。结果就是，某些关键主题词被保留，但与之相关的重要上下文信息却可能被删减，导致模型语义理解出现偏差。因此，一种更结构化的 KV 缓存压缩方法迫在眉睫，它不仅要考虑Token 重要性，还要兼顾语义完整性。 近年来，一些动态 KV 缓存压缩策略被提出，以优化内存使用的同时维持模型性能。例如，H2O 和 SnapKV 通过注意力机制筛选关键 Token，而Chunking（文本分块） 方法则将文本划分为语义相关的段落，以确保上下文连贯性。这种分块技术在 NLP 预训练和检索任务中早已广泛应用。此外，还有像 LISA 和 DoLa 这样的分层策略，利用 Transformer 不同层的结构信息提升模型效率。然而，在 KV 缓存压缩中引入 Token 依赖意识，依然是提升长文本推理能力的关键。 ChunkKV：按块存储，提升 KV 缓存效率 香港大学的研究团队推出了ChunkKV，一种全新的 KV 缓存压缩方法，与传统方法不同的是，它不再单独评估 Token，而是将 Token 组织成“语义块”进行处理。通过按块存储，ChunkKV 减少了内存占用，同时确保语义信息的完整性。除此之外，该方法还引入分层索引复用（Layer-wise Index Reuse） 技术，在不同层间共享已压缩的索引，进一步提升计算效率。 在多个基准测试（如 LongBench、Needle-In-A-Haystack、GSM8K 和 JailbreakV）上的实验表明，ChunkKV 在高压缩率下仍能将模型准确率提高 10%，相比传统方法，它在保留上下文信息和提升内存效率方面表现更优，被认为是当前长文本推理的最优解决方案之一。 ChunkKV 如何优化 GPU 内存？…

Meta AI 最近推出了一款全新的机器学习框架——ParetoQ，专门用于大型语言模型的4-bit 以下量化。随着深度学习模型的不断膨胀，模型压缩技术的重要性日益凸显，而低比特量化成为一种既能缩小模型体积，又能保持准确度的关键方法。然而，围绕量化比特数的争论一直没有定论，一些研究认为4-bit 量化是最优解，而另一些研究则认为1.58-bit 模型同样能取得类似表现。由于缺乏统一的评估框架，不同研究得出的结论往往矛盾，导致低比特精度量化的规模化规律难以建立。 量化的难点在于如何在计算效率与模型准确度之间找到最佳平衡。不同方法各有优缺点，例如后训练量化（PTQ）虽然可以直接在训练好的模型上进行量化，部署方便，但低比特时准确率损失较大；量化感知训练（QAT）则是在训练过程中就引入量化，使模型能够更好地适应低比特表示。此外，还有可学习量化和混合精度策略等方法尝试进一步优化模型压缩效果。但由于评估标准不统一，很难直观比较不同量化方法的优劣。 为了解决这一问题，Meta AI 研究团队推出了ParetoQ，它作为一个标准化框架，支持1-bit、1.58-bit、2-bit、3-bit 和 4-bit 量化的系统性评估。相比以往各自为政的量化研究，ParetoQ 通过优化训练方案和比特特定量化函数，提供了一种更具一致性的比较方式。 ParetoQ 如何优化低比特量化？ 该框架采用优化版 QAT 训练策略，在保证模型压缩效果的同时，将准确率损失降到最低。研究发现，当模型精度降至2-bit 以下时，会发生显著的表征偏移，而3-bit 及以上的模型则仍然保持与原始预训练分布的相似性。为此，ParetoQ 针对不同比特宽度优化量化网格、调整训练方式，并提供比特特定的学习策略。 实验结果显示，ParetoQ 在性能上远超现有的量化方法。例如，研究团队基于 ParetoQ 训练的600M 参数三进制（ternary）模型，准确率超越了之前最强的 3B 参数三进制模型，但参数量仅为其五分之一。此外，2-bit 量化模型在相同体积下的准确率相比 4-bit 模型提升1.8 个百分点，证明了2-bit 量化是 4-bit 量化的有效替代方案。 不仅如此，ParetoQ 还带来了更高效的硬件适配性。优化后的2-bit CPU 内核在计算速度和内存效率上都比 4-bit 量化更优，使低比特量化在实际部署中更加可行。实验也表明，相比 1-bit 和 4-bit 量化，2-bit、3-bit 及 ternary 量化模型在准确率和模型大小之间达到了更优平衡，进一步强化了4-bit 以下量化策略的价值。 未来展望 这项研究奠定了大型语言模型低比特量化的坚实基础。通过引入结构化框架，ParetoQ 有效解决了准确率权衡与比特宽度优化问题。研究结果表明，虽然极端低比特量化（如 1-bit）可行，但目前来看，2-bit 和…

法国人工智能实验室Mistral AI近日发布了Small 3，一款24B参数的大型语言模型（LLM），号称是**“同类中最优”的高效模型，并且优化了延迟表现。Mistral AI表示，该模型可以与Llama 3.3 70B、Qwen 32B等大模型竞争，甚至可以作为GPT-4o mini的开源替代方案**。 小巧但强大，Small 3为何值得关注？ 1. 开源+本地运行，MacBook也能带得动 Small 3完全开源，采用Apache 2.0许可证发布，任何个人或企业都可以使用和修改。更值得一提的是，它可以在拥有32GB RAM的MacBook上本地运行，意味着开发者和企业无需昂贵的云计算资源，也能高效利用AI能力。 2. 高效低延迟，适合关键任务 Mistral AI表示，Small 3专门优化了延迟表现，尤其适用于需要快速、精准响应的场景。其架构采用较少的层数，提升了处理速度，同时仍保持卓越的推理能力。在MMLU基准测试中，Small 3的准确率超过81%，展现了强大的通用知识理解能力。 3. 训练方式不同，更具灵活性 有别于其他大模型，Small 3未经过强化学习（RL）或合成数据训练，Mistral AI认为，这让Small 3在模型生产过程中处于较早阶段，比DeepSeek R1等模型更具可塑性。此外，该模型指令微调版本的表现甚至可媲美参数量大三倍的开放权重模型，并且在代码、数学、通识知识和指令跟随能力上，与GPT-4o mini不相上下。 用户评价如何？ Mistral AI通过第三方供应商进行了一项人类评估测试，使用超过1000个编码和通识问题对Small 3进行考验。测试结果显示，大多数评审者更喜欢Small 3，相较于Gemma-2 27B和Qwen-2.5 32B表现更优，但在对比Llama-3.3 70B和GPT-4o mini时，评价则相对平均。这表明Small 3在不同应用场景下可能具有不同的优势。 适用场景：从虚拟助理到金融风控 Mistral AI推荐使用Small 3来构建客户服务型虚拟助手，尤其适用于金融欺诈检测、法律咨询、医疗健康等高精度需求场景。该模型还能用于机器人、制造业等领域，甚至非常适合爱好者和企业在本地环境中处理敏感或专有信息。 此外，Mistral AI暗示，未来几周内将推出更多不同规模、推理能力更强的模型，敬请期待！目前，Small 3已可在HuggingFace上获取。https://huggingface.co/mistralai/Mistral-Small-24B-Instruct-2501

亚马逊终于要带来万众期待的Alexa升级版了！据知情人士透露，这次的改版引入了生成式人工智能（AI），堪称自Alexa诞生以来最重大的升级。为了预热这场科技革新，亚马逊已经向媒体发出了邀请函，定于2月26日在纽约举办发布会，由设备与服务部门负责人Panos Panay亲自主持。虽然官方还未透露具体细节，但可以确定的是，这场活动的核心就是Alexa的新生。 这一AI升级版Alexa不仅是亚马逊的一次大胆创新，同时也面临着巨大的商业风险。全球超过5亿台Alexa设备的用户，能否从免费用户转变为付费订阅者，将直接影响亚马逊的商业回报。新Alexa计划具备更强的对话能力，能够连续处理多个指令，甚至能自主完成任务，而不像当前版本那样只能应对单个指令。据悉，亚马逊高层将在2月14日召开“Go/No-go”会议，最终决定新版Alexa是否能按计划上线。 Alexa将走向付费模式？ 新一代Alexa预计将在初期限量推出，并暂不收取费用。但亚马逊已经在考虑未来的订阅模式，费用可能在每月5到10美元之间。同时，目前的“经典版Alexa”仍将继续免费提供，但据消息人士透露，亚马逊已经停止为经典版添加新功能，未来可能会逐步引导用户向付费版转移。 AI升级，能否摆脱“计时器”形象？ 尽管Siri早在2011年便已问世，但2014年发布的Alexa才真正引爆了智能语音助手市场。然而，近年来Alexa的使用场景逐渐被限定在设置计时器、播报天气等简单功能上，原因在于其核心功能多年未有重大升级。而这一次，亚马逊希望通过AI版Alexa彻底改变用户体验，让它成为一个能自主执行任务的智能“代理”，比如在用户下单前修改订单，或者根据个人偏好推荐音乐和餐厅。 不过，新的Alexa也面临着类似OpenAI、谷歌等AI聊天机器人常见的问题，比如AI“幻觉”（错误信息）。考虑到Alexa已经广泛应用于汽车、电视、智能家居等设备，亚马逊必须确保其准确性和安全性，以免造成不必要的困扰。 贝佐斯的星际梦，Alexa能否实现？ Alexa的诞生可以追溯到亚马逊创始人杰夫·贝佐斯的愿景——他希望打造出一个类似《星际迷航》中全能电脑的语音助手。亚马逊曾设想，未来Alexa将能完成各种任务，比如控制智能家居、播放音乐、发送邮件、甚至叫车。2014年，时任设备主管的戴夫·林普曾表示：“也许未来的某一天，Alexa能够回答用户提出的所有问题。”然而，理想很丰满，现实却因技术瓶颈而屡屡受阻。为了完善新版Alexa，亚马逊甚至为该项目取了代号“Banyan”（印度榕树）和“Remarkable Alexa”，不过最终是否会以这些名字推出尚未可知。 能否实现商业突破？ 亚马逊目前已经向AI初创公司Anthropic投资80亿美元，以强化Alexa的人工智能能力。有分析认为，如果10%的Alexa活跃用户愿意为新版Alexa支付每月5美元的订阅费，亚马逊每年可从中获利6亿美元。这意味着，新版Alexa不仅要展现出足够的智能，还需要让用户愿意为它买单，否则这场升级将难以带来真正的商业价值。 去年9月，亚马逊曾展示过Alexa AI版本的早期演示，但因质量问题而被无限期推迟。这次能否顺利发布，Alexa能否真正实现智能化蜕变，2月14日的最终决策和2月26日的发布会，将成为关键节点。

谷歌今天正式宣布，最新 AI 模型 Gemini 2.0 现已面向所有用户开放！这标志着 AI 领域迎来新的发展阶段，尤其是在推理能力、编程表现以及高效处理复杂任务方面，Gemini 2.0 带来了革命性的提升。 Gemini 2.0 Flash：高效推理全面普及去年 12 月，谷歌发布了 Gemini 2.0 Flash 的实验版，为开发者提供了一款低延迟、高性能的 AI 模型。今年初，2.0 Flash Thinking Experimental 在 Google AI Studio 迎来升级，结合了 Flash 的速度与更强的推理能力，能够解决更复杂的问题。 上周，新版 2.0 Flash 已经向所有 Gemini 应用用户开放，无论是桌面端还是移动端，用户都可以体验 AI 在创作、互动和协作方面的全新可能性。今天，谷歌更进一步，宣布 2.0 Flash 通过 Gemini API 在 Google AI Studio 和 Vertex AI 上线，开发者现在可以用它来构建生产级应用。 Gemini 2.0 Pro：最强编程与推理…

全球科技巨头谷歌周三正式推出备受期待的旗舰 AI 模型——Gemini 2.0 Pro Experimental，同时还带来了一系列新 AI 模型的发布。更值得关注的是，该公司正式将其“推理”模型——Gemini 2.0 Flash Thinking，带入了 Gemini 应用。 此举恰逢科技圈对 AI 低成本推理模型的关注达到新高度，而中国 AI 初创公司 DeepSeek 更是成为市场焦点。DeepSeek 的 AI 模型不仅在性能上与美国科技巨头们的产品比肩，甚至在某些方面还更胜一筹。更重要的是，DeepSeek 还通过 API 以超高性价比向企业开放其 AI 模型。 事实上，早在去年 12 月，谷歌和 DeepSeek 就先后推出了 AI 推理模型，但 DeepSeek 的 R1 迅速抢占了风头。如今，谷歌似乎希望借助其流量巨大的 Gemini 应用，让 Gemini 2.0 Flash Thinking 获得更多关注度。 至于 Gemini 2.0 Pro，它是去年 2 月发布的 Gemini 1.5 Pro…

Hugging Face 的一群开发者，又双叒出手了！这次，他们宣布打造了一个“开源版”的 OpenAI 深度研究工具，而且领头的正是公司联合创始人兼首席科学家 Thomas Wolf。 先来说说 OpenAI 的深度研究工具。这款 AI 利器在周日的一场发布会上惊艳亮相，能够爬取整个网络，为任何主题生成研究报告。不过，这项黑科技目前仅限于 OpenAI 订阅 $200/月 ChatGPT Pro 计划的用户，普通人只能望而兴叹。 而 Hugging Face 团队的“Open Deep Research” 项目，试图打破这一壁垒。他们的方案由两个部分组成：一是 OpenAI 的 o1 模型，二是一个开源的“智能代理框架”，可以帮助模型规划分析，并引导其使用搜索引擎等工具。虽然 o1 不是完全开源的（它还是需要 API 访问权限），但团队表示，它的表现比一些开源模型（比如 DeepSeek 的 R1）更胜一筹。 更令人震惊的是，研究团队在不到 24 小时内，就让 o1 学会了使用简单的文本浏览器，并能借助“文本检查”工具读取网页文件。Open Deep Research 甚至能自主浏览网页、翻阅文档、操控文件，甚至进行数据计算，真正实现了 AI 自己上网查资料！ 在 GAIA 基准测试（衡量 AI 助手能力的一个标准）上，Open Deep Research 的得分达到了 54%，虽然比不上…

Meta最新的财报数据来了！在刚刚公布的2024年第三季度财报中，这家科技巨头的营收高达405.9亿美元，超出了市场预期的402.5亿美元，EPS（每股收益）也以6.06美元远超分析师预测的5.25美元。然而，用户增长未能达到预期，全球日活跃用户（DAU）增长5%至32.9亿，略低于预期的33.1亿。财报发布后，Meta股价在盘后交易中下跌超过3%。 AI加码，烧钱不减 Meta CEO马克·扎克伯格在财报电话会议上表示，公司业绩表现良好，AI正在推动旗下各类应用和业务增长。他特别提到，Meta在人工智能基础设施上的投资不会放缓，甚至预计2025年成本还会大幅增长。“我们在Meta AI、Llama大模型的采用，以及AI智能眼镜等领域都取得了强劲的进展。”扎克伯格说道。 公司表示，2025年基础设施支出将迎来“显著增长”，包括更高的折旧成本和运营支出，以支持更大规模的计算基础设施。虽然这一策略可能让投资者感到担忧，但扎克伯格强调，这是为了未来的持续增长做好准备，“即使这不是投资者最想听到的消息。” 此外，Meta广告业务继续回暖，其每条广告的平均价格同比增长11%，为公司贡献了稳定的收入来源。 元宇宙：史诗级创新还是烧钱大冒险？ Meta的元宇宙业务——Reality Labs部门继续成为财务黑洞。公司预计2024年的相关亏损将“大幅增长”，过去几年，该部门已累计亏损近600亿美元。Meta CFO Susan Li在电话会议上回避了“是否已经达到亏损峰值”的问题，仅表示元宇宙“仍然是我们的长期战略重点之一。” 然而，Meta的CTO安德鲁·博斯沃思（Andrew Bosworth）在一份内部备忘录中明确表示，2025年将是决定元宇宙成败的关键一年。他在题为**《2025：伟大之年》**的帖子中强调，Reality Labs计划推出至少六款AI驱动的可穿戴设备，并推动混合现实（MR）产品的销量、用户留存和参与度。他直言：“如果你还没感受到历史的压力，那你根本没有在关注现实。” 他还强调，Meta必须确保旗下虚拟世界Horizon Worlds在移动端获得突破，否则整个元宇宙计划的前景将岌岌可危。“2025年将决定我们的努力是被视为远见卓识，还是一场史诗级的失败。” Meta的豪赌能否兑现？ 尽管Meta在AI和元宇宙方面持续投入，但现实情况却不容乐观。在AI领域，Meta的Llama大模型仍面临OpenAI、谷歌和微软的激烈竞争，而在智能硬件市场，Meta的AI智能眼镜虽已售出100万副，但扎克伯格也承认这“只是一个不错的开始”，远未达到真正撼动市场的水平。 与此同时，Meta虽然在2024年增加了9%的员工总数，但自2022年底以来，公司已裁员超过2万人，仍在不断寻找优化运营的方式，以平衡投资与支出。 Meta如今站在一个十字路口——AI和元宇宙是它的未来愿景，但目前这条道路仍充满不确定性。2025年，Meta究竟能否兑现其“伟大之年”的承诺，还是会沦为一场“传奇级的错误”？这将是全球投资者和科技行业都在密切关注的问题。