Author: aitrendtrackers@rengongzhineng.io

​ 引言 经过广泛训练的预训练模型（如 Meta Llama 2）可以对各种问题生成有用的回答。然而，许多应用场景要求模型针对特定领域进行专业化，并在生成回答时利用领域特定的信息。 目前有两种方法可以实现： 1. 领域特定的监督微调（DSF）： 在一组代表领域知识的文档上对现有基础模型进行训练。 2. 检索增强生成（RAG）： 将这些文档存储在向量数据库中，在查询时检索与问题语义相似的文档，并将其内容作为 LLM 生成回答的上下文。 本文将探讨这两种方法的局限性，并介绍加州大学伯克利分校的研究人员 Tianjun Zhang 和 Shishir G. Patil 提出的一种更优方法。他们提出的 RAFT 方法（Retrieval Augmented Fine Tuning，检索增强微调）在论文中详细阐述，展示了如何使用 Meta Llama 2 和 Azure AI Studio 上的 MaaS 进行研究和实施。 伯克利团队还发表了一篇博客文章，详细解释了前述方法的优缺点，以及 RAFT 方法如何实现更高效的结果。其 RAFT 实现已在 GitHub 仓库公开。 了解 RAFT 方法 在传统 RAG 中，当模型接到查询时，它会从索引中检索可能包含答案的文档，并使用这些文档的内容作为生成回答的上下文。 在微调的情况下，模型回答问题类似于学生在闭卷考试中作答；而 RAG 则类似于学生参加开卷考试，有完整的教科书可供查阅。开卷考试比闭卷考试更容易，因此 RAG…

​  生成式 AI、超大型语言模型、视觉模型和多模态模型的突破，为开放领域知识、推理和生成能力奠定了基础，能够支持开放式任务辅助场景。这不仅包括生成相关指令和内容，还为构建能与人类在现实世界中合作的 AI 系统提供了起点。这类应用包括混合现实任务助手、交互机器人、智能制造工厂、自动驾驶车辆等。 为了与人类无缝合作，AI 系统必须能够在多模态流中持续感知和推理其周围环境。这一要求不仅限于目标检测和追踪。为了实现有效的团队合作，所有参与者都必须了解物体的潜在功能、它们之间的关系、空间限制，以及这些因素随时间的变化。 这些系统不仅需要对物理世界进行推理，还需要理解人类行为。推理中应包括对实时协作行为的认知状态和社会规范的判断，并且还需涵盖对身体姿势、声音和动作的低级判断。 借助混合现实和 AI 技术（如大型语言和视觉模型）的组合，微软研究院推出了 SIGMA。这款互动程序可使用 HoloLens 2 指导用户完成流程任务。任务可以由大型语言模型（如 GPT-4）或任务库中手动定义的阶段动态生成。当用户在互动过程中提出开放式问题时，SIGMA 可以利用其强大的语言模型提供答案。此外，SIGMA 可以利用 Detic 和 SEEM 等视觉模型，在用户视野中定位并突出显示与任务相关的物体。 SIGMA 选择了几种设计方式来实现其研究目标。一个例子是客户端-服务器架构。HoloLens 2 设备运行轻量级客户端应用程序，将多个多模态数据流传输到更强大的桌面服务器。这些数据流包括 RGB（红、绿、蓝）、深度、音频、头部、手部和视线追踪信息。桌面服务器将数据和指令传送给客户端应用程序，以便在设备上显示内容，并执行应用程序的基本功能。通过这种设计，研究人员能够超越头戴设备当前的计算限制，并为将该程序扩展到其他混合现实设备打开了可能性。 SIGMA 的基础是名为 Platform for Situated Intelligence（psi）的开源架构，该架构支持多模态综合性 AI 系统的开发和研究。psi 框架提供高性能流媒体和日志基础设施，并允许快速原型制作。数据重放基础设施使数据驱动的应用级开发和调试成为可能。Platform for Situated Intelligence Studio 提供了丰富的可视化、调试、优化和维护支持。 虽然 SIGMA 目前的功能还不够完善，但它为未来混合现实与人工智能融合的研究奠定了基础。许多研究主题，特别是感知，可以使用收集的数据集进行探索，这些问题包括计算机视觉和语音识别。 SIGMA 是微软对该领域持续投入的一个例子，也是该公司探索新型人工智能和混合现实技术的代表。Dynamics 365 Guides 是微软为一线员工提供的另一款企业级混合现实解决方案。客户可以在 Copilot in Dynamics 365 Guides 中使用私有预览功能，获得逐步操作指导和工作流程相关信息。AI…

去年 11 月，亚当·德安杰洛 (Adam D’Angelo) 置身于科技行业最具争议事件的中心。OpenAI，这家估值 800 亿美元、引领 AI 潮流的初创公司，在董事会突然罢免其首席执行官 Sam Altman 后，仅在几天后又重新任命他。德安杰洛在罢免 Altman 的董事会中任职，并且在重新任命他的过程中依然保留了自己的席位。在后续的重组中，原始董事会成员多数离开，他成为唯一留下的成员。 这段时间对 OpenAI 来说显然充满动荡，对德安杰洛来说更是如此，因为此事发生的同时，他的公司 Quora 正在积极进军 AI 领域。 由德安杰洛共同创立并担任首席执行官的 Quora 是一家众包问答网站，在筹集到 7500 万美元（PitchBook 估值 4.25 亿美元）资金的同时，正在构建自己的 AI 平台。2023 年 2 月，该公司推出了 Poe（开放探索平台的缩写），它允许用户向各种聊天机器人提问并交流，让开发者构建自己的机器人，并提供类似 OpenAI GPT 商店的机器人货币化计划和市场。 Quora 的核心问答服务也面临着一些重要问题。谷歌和必应等现有搜索引擎开始使用 AI 提供更流畅的搜索结果和答案，再加上 ChatGPT 和 Perplexity 等工具广泛普及，Quora 能做些什么来确保自己仍然是人们寻找答案的顶尖网站之一？更重要的是，是否还有人真正想要或需要众包问答服务？ 对于德安杰洛来说，这些问题与他对 AI 的追求密切相关，他将 AI 视为一种重要工具，能够利用互联网的集体知识。多年来，德安杰洛一直在努力发掘互联网知识储备。他在高中时结识了马克·扎克伯格 (Mark Zuckerberg)，并在…

Stack Overflow 与 OpenAI 今天宣布了一个全新的 API 合作伙伴关系，将全球领先的技术内容知识平台与最受欢迎的 AI 开发大型语言模型（LLM）相结合，为开发人员提供更强大的支持。 通过这次合作，OpenAI 用户和客户将能够通过 OverflowAPI 获取经过验证的技术数据，以快速解决问题，使技术人员能够专注于优先任务。OpenAI 也将直接在 ChatGPT 中提供 Stack Overflow 上经过验证的技术知识，为用户提供可信、准确且技术性很强的知识和代码。这些信息得益于过去 15 年间在 Stack Overflow 平台上贡献内容的数百万开发者的支持。合作的具体内容包括： OpenAI 首席运营官 Brad Lightcap 表示：“尽可能多地从不同语言、文化、学科和行业中学习，确保我们的模型能够为每个人服务。开发者社区对我们双方都尤为重要。与 Stack Overflow 的深度合作将有助于我们增强双方平台的用户和开发者体验。” Stack Overflow 首席执行官 Prashanth Chandrasekar 补充道：“Stack Overflow 拥有超过 5900 万个问题和答案，是全球最大的开发者社区。通过这次与 OpenAI 的行业领先合作伙伴关系，我们力图重新定义开发者体验，通过社区的力量、顶级数据和 AI 体验来促进效率和协作。我们的 OverflowAPI 和致力于推进负责任 AI 时代的工作目标，是利用经过验证、可信和准确的数据来设立新标准，作为构建技术解决方案的基础。” Stack Overflow 与 OpenAI 之间的首批新集成和功能将于…

据《The Information》报道，微软正致力于打造一个新的大规模 AI 语言模型，名为 MAI-1，有望与谷歌、Anthropic 和 OpenAI 等公司的最先进模型一较高下。这是微软自投资 OpenAI 10 亿美元获取其 AI 模型使用权以来首次自主开发如此规模的 AI 模型。OpenAI 的 GPT-4 不仅为 ChatGPT 提供动力，还驱动了微软的 Copilot 功能。 DeepMind 联合创始人 Mustafa Suleyman 将领导微软的新消费者 AI 部门。 该项目由前 Google AI 高层、曾担任 AI 创企 Inflection 首席执行官的 Mustafa Suleyman 负责。微软于 3 月以 6.5 亿美元的价格收购了该初创公司的大部分员工和知识产权。虽然 MAI-1 或许借鉴了 Inflection 团队带来的技术，但据两位了解项目的微软员工表示，MAI-1 是全新的大型语言模型（LLM）。 拥有大约 5000 亿参数的 MAI-1，将比微软以往的开源模型（如上个月报道的 Phi-3）规模更大，因而需要更多计算能力和训练数据。据报道，MAI-1 与传闻中拥有超过…

X（原推特）现在利用 Elon Musk 的 AI 聊天机器人 Grok 为其 Explore 部分的个性化热门故事提供摘要功能。根据 X 工程团队周五发布的公告和截图，X 的高级订阅用户将能够查看 Explore 中 For You 页面每个热门故事的相关帖子摘要。 For You 页面展示用户网络中的热门新闻和故事，并提供其他推荐内容。它是 X 用户想快速了解平台上讨论内容的首选，无需长时间滚动时间线。 举个例子，TechCrunch 的读者在 For You 页面可能会看到有关苹果即将举行的 iPad 活动、微软的安全改革以及 AI 工程师倦怠的故事。当你点击查看各个故事的相关帖子时，页面顶部会出现一个由 Grok 提供的故事摘要，概述该主题。 例如，在有关 AI 倦怠的故事中，Grok 摘要开篇指出：“AI 工程师正面临倦怠和仓促发布的情况，因为科技行业的竞争加剧导致公司优先考虑投资者满意度，而不是解决实际问题。” 在简单提及 AI “内卷”的问题后，故事总结指出“批评者认为，在追求 AI 投资时，适当的保障措施和创新不应成为事后的考虑。” 搞笑的是，摘要下方会显示一条信息：“Grok 可能会出错，请核实其输出。” 这种趋势总结的想法并不新鲜，但使用 AI 聊天机器人来处理摘要则是新的。此前，Twitter 于 2020 年开始为其趋势增加标题和描述，但未借助 AI 机器人，而是由 Twitter…

Prometheus 2 是一款开源的语言模型，经过优化能够评估其他语言模型的表现，逐渐与 GPT-4 等商业模型相媲美。 这种评估方式为研究人员和开发者提供了客观的测量标准，并能够针对模型的优缺点提供详细反馈，以实现精准改进，进而不断提升语言模型的质量与可靠性。 目前，像 GPT-4 这样的专有模型通常被用于评估，但因其封闭性、不易控制和价格高昂，使许多人望而却步。韩国 KAIST AI 的金承元团队打造了 Prometheus 2，旨在为大家提供透明、独立、详细的语言模型评估工具。 Prometheus 2 模仿人类和 GPT-4 等模型，掌握了两种常用的评估方法：直接评估（使用评分量表打分）和成对比较（判断两个回答中哪个更优）。 定制评估标准，灵活应用 Prometheus 2 支持根据用户定义的标准进行评估，不局限于“有用性”“无害性”等通用指标，使其可以满足特定应用的优化需求。举例来说，在医疗咨询聊天机器人领域，它可以被用于考量“可信度”“共情力”和“专业准确度”等标准，从而开发出适合不同应用场景的高质量语言模型。 新数据集与混合权重 为了训练 Prometheus 2，研究团队创建了一个名为 “Preference Collection” 的全新成对比较数据集，涵盖超过 1000 种不同的评估标准。最佳效果来自于两个独立模型的联合训练：直接评分模型基于 Feedback Collection 数据集，成对比较模型则基于 Preference Collection 数据集。通过将这两个模型的权重合并，达到了最佳评估效果。 在包含四个直接评分数据集和四个成对比较数据集的测试中，Prometheus 2 在所有可用的评估模型中，显示出与人类判断和商业语言模型最为一致的结果。 虽然在许多测试中落后于 GPT-4 和 Claude 3 Opus，但 Prometheus 2 成功缩小了与这些商业模型之间的差距。 公平与透明的评估工具 Prometheus 2 的代码与数据都已开放至 GitHub…

亚马逊Bedrock自一年多前首次亮相以来，为开发生成式人工智能（AI）应用提供了一种全新的方式。它拥有最全面的第一方和第三方基础模型（FMs）以及便捷的功能，是构建和扩展安全生成式AI应用的最快捷方式。如今，成千上万的客户正在使用Amazon Bedrock构建和扩展令人印象深刻的应用，快速、安全、便捷地推进他们的AI战略。我们通过为Amazon Bedrock添加更多模型选择和新特性，进一步支持他们的努力，使客户更容易找到合适的模型、定制符合特定用例的模型，并确保生成式AI应用的安全和扩展性。 各个行业的客户正实现显著进展，从金融到旅游与酒店、医疗保健到消费技术领域，客户们都在积极利用生成式AI应用改善客户体验并提高运营效率。例如，纽约证券交易所（NYSE）利用Amazon Bedrock的基础模型和AI技术来处理成千上万页的法规文档，为用户提供易于理解的答案。 全球航空公司联合航空（United Airlines）利用Bedrock现代化其乘客服务系统，将传统预订代码翻译成简单明了的英语，以便代理商能够快速高效地提供客户支持。全球信息与分析服务提供商LexisNexis Legal & Professional开发了一款基于Lexis+ AI的个性化法律生成式AI助手。LexisNexis的客户能够比竞争产品更快地获得可靠的结果，每周可节省最多五个小时的法律研究和总结时间。在线帮助台软件HappyFox选择Amazon Bedrock的安全性和性能，将其客户支持解决方案中的AI自动票务系统效率提升40%，客服代理的生产力提高30%。 在亚马逊内部，我们也在利用生成式AI不断创新，为客户提供更具沉浸感的体验。上周，亚马逊音乐推出了Maestro，一款由Amazon Bedrock驱动的AI播放列表生成器，为亚马逊音乐订阅用户提供更轻松有趣的方式通过提示词创建播放列表。Maestro目前在美国的少量用户中进行测试。 我们专注于客户构建生产就绪型、企业级生成式AI应用所需的关键领域。在模型选择、生成式AI应用构建工具以及隐私和安全性等方面，我们推出了一系列新功能： 此次发布的更多模型选择和特性将帮助客户更快、更轻松地构建和扩展生成式AI应用。亚马逊Bedrock的早期使用者已经在不同领域取得了重要进展，推动生产力提升、开创各个领域的创新并带来更优质的客户体验。我非常期待看到客户如何利用这些新功能继续创新。正如我导师Werner Vogels常说的那样：“现在，去构建吧！”

听到IBM收购HashiCorp的消息后，感觉就像进入了IBM那片“好软件的坟墓”一样。刚听到谣言时，就开始担心自己最喜欢的基础设施即代码（IaC）工具的未来。显而易见，HashiCorp一直在苦苦挣扎，2023年亏损达2.74亿美元。这无疑导致他们在2023年8月选择了备受争议的BSL许可证，并由此引发了社区分支OpenTofu的诞生。HashiCorp并非孤例，Redis也采用了类似策略，最终导致Valkey分支的出现，而Elasticsearch也经历了许可证变更的风波。 开源货币化的挑战 这些公司在如何有效货币化其开源工具方面面临困难，这揭示了一个神话：免费软件并不存在。虽然有不少软件可供免费使用，并且在宽松的许可证下可以修改代码，但开发者编写代码需要付出时间，而时间通常需要报酬。 开源项目通常依赖于大型科技公司提供的工程师或资金支持，例如Linux基金会的成员公司，或谷歌仍是Kubernetes项目的最大贡献者。谷歌可以做到这一点，因为它经营依赖该技术的服务并通过Google Kubernetes Engine获利。 HashiCorp的困境与IBM的收购问题 HashiCorp长期以来无法有效货币化其免费工具，使得很多用户对Terraform Cloud产品的付费意愿不高，即使它具有一些优势。 IBM收购HashiCorp带来了几大问题。首先是利益冲突。IBM有自己的云业务，虽然市场份额仅为1.8%。他们为何要继续开发有利于竞争对手的工具？其次，IBM收购史上充满失败案例，例如收购Redhat后改变了CentOS的政策，直接摧毁了这款曾经流行的发行版的市场份额。过去还有Lotus Software等例子，这使对IBM管理HashiCorp缺乏信心。 未来该何去何从？ 面对类似VMware价格上涨后的状况，眼下来到了一个十字路口。要么继续坚持使用Terraform，在IBM尝试新的货币化策略时继续观望；要么寻找替代的IaC工具。替代方案中，OpenTofu无疑是一个短期“补救”措施。Pulumi是另一种选择，但对其可持续的商业模式表示担忧。Crossplane则以Kubernetes为中心，采用与Terraform类似的“供应商驱动”方法，CNCF的支持为其提供了一定保障，但主要由Upbound贡献的开发力量同样让人心存疑虑。 另一种选择是“走本地化路线”，采用AWS、Azure或Google Cloud各自的IaC工具。最大的问题在于碎片化，Terraform的吸引力在于其统一的配置语言，以及供应商适配的API抽象。 看法 “开放的Terraform”应由能够从中获益的各方支持开发。OpenTofu已经得到了Gruntwork等公司的支持，希望未来更多大型云提供商也能加入，他们是实际从Terraform中获益最多的群体。许多云提供商已经深度参与开发Terraform的供应商接口，扩展至工具本身并非难事。但他们是否会走这一步仍是未知之数，收购消息刚传出，我们只能拭目以待。

沃伦·巴菲特对人工智能的潜力保持谨慎态度，还没有跟风加入这股潮流。他在伯克希尔哈撒韦公司年度股东大会上警告该技术的潜在危害。 巴菲特提到：“如果你考虑到诈骗的潜力……如果我对投资诈骗感兴趣，那么这将成为有史以来增长最快的行业，而这在某种程度上是由AI推动的。”他担心这种技术可以生成逼真且具有误导性的内容，诱导人们向不法分子汇款。 骗子们已经在使用AI的声音克隆和深度伪造技术，篡改视频和图像，冒充受害者的家人和朋友，骗取金钱和个人信息。 “显然，AI也有积极的一面，但……作为一个完全不了解它的人，我认为它具有巨大的潜力，无论是利还是弊——只是我无法预见事情如何发展。”巴菲特补充道。 5月3日，巴菲特现身于内布拉斯加州奥马哈的伯克希尔哈撒韦年度股东大会现场。 过去一年里，华尔街一直热议AI，因为投资者认为它能为未来带来更高的利润。在这波热潮中，Nvidia和Meta的股价自2022年底以来，分别上涨了507%和275%。 然而，巴菲特坦言他对AI并不熟悉，并将其潜力与20世纪的原子弹相提并论。“我对AI一无所知。这并不意味着我否认它的存在或重要性。”他以谨慎的语调说道，“当我们开发核武器时，我们已经让精灵从瓶子里跑出来了，而这个精灵最近在做一些可怕的事情。它的力量吓坏了我。” “我不知道有什么办法能让这个精灵重新回到瓶子里，而AI在某种程度上与之相似。它已经部分从瓶子里出来了，具有极大的重要性，总有人会去推动它……它是否会改变未来社会，我们迟早会知道的。”