AI TrendTrackers

数字时代的数据隐私挑战：大型语言模型与GDPR的冲突 在数字时代，数据隐私是首要关注的问题，像《通用数据保护条例》（GDPR）这样的法规旨在保护个人数据。然而，大型语言模型（LLM）的出现，如GPT-4、BERT及其同类产品，对GDPR的执行提出了重大挑战。这些通过预测下一个词来生成文本的模型，其训练依赖于大量数据，这在根本上使得法规执行变得复杂。以下是为什么在LLM上执行GDPR几乎不可能的原因。 LLM的本质与数据存储 要理解执行困境，首先需要掌握LLM的工作原理。与传统数据库中结构化存储数据不同，LLM的运作方式截然不同。LLM通过大规模数据集训练，调整数百万甚至数十亿的参数（权重和偏差）。这些参数捕捉了数据中的复杂模式和知识，但并不以可检索的形式存储数据。 当LLM生成文本时，它并不是访问存储的短语或句子数据库，而是使用已学得的参数来预测序列中最有可能的下一个词。这一过程类似于人类基于语言模式生成文本，而不是从记忆中精确地回忆短语。 被遗忘权 GDPR的一项核心权利是“被遗忘权”，允许个人请求删除其个人数据。在传统的数据存储系统中，这意味着定位并删除特定的数据条目。然而，对于LLM来说，识别和移除嵌入在模型参数中的特定个人数据几乎是不可能的。数据不是明确存储的，而是以无法单独访问或更改的方式分散在无数参数中。 数据擦除与模型再训练 即便理论上可以识别LLM中的特定数据点，擦除它们也是一个巨大的挑战。从LLM中删除数据需要重新训练模型，这是一个昂贵且耗时的过程。要从头开始重新训练模型以排除某些数据，需要与最初相同的广泛资源，包括计算能力和时间，使其变得不切实际。 匿名化与数据最小化 GDPR还强调数据匿名化和最小化。虽然LLM可以在匿名数据上训练，但确保完全匿名化是困难的。匿名数据有时在与其他数据结合时仍可能透露个人信息，导致潜在的重新识别。此外，LLM需要大量数据才能有效运行，这与数据最小化的原则相冲突。 透明度与可解释性不足 GDPR的另一个要求是能够解释如何使用个人数据以及如何做出决策。然而，LLM通常被称为“黑箱”，因为其决策过程不透明。理解模型为什么生成特定文本涉及解读众多参数之间的复杂互动，这超出了当前技术能力。这种缺乏可解释性阻碍了对GDPR透明度要求的遵守。 前进的方向：监管与技术的适应 鉴于这些挑战，在LLM上执行GDPR需要监管和技术的双重适应。监管机构需要制定考虑到LLM独特性质的指南，可能需要重点关注AI的伦理使用和在模型训练与部署期间实施强有力的数据保护措施。 在技术方面，模型可解释性和控制方面的进步可以帮助实现合规。使LLM更透明的技术以及追踪模型内部数据来源的方法是正在研究的领域。此外，差分隐私确保添加或删除单个数据点不会显著影响模型输出，这可能是使LLM实践与GDPR原则对齐的一步。 在LLM领域执行GDPR因这些模型的基本运作方式而复杂重重。数据在数百万参数中的扩散、数据擦除的不可行性以及缺乏透明度，都使得严格遵守GDPR几乎不可能。随着LLM的不断发展并越来越多地集成到各种应用中，技术人员与监管机构之间的合作将至关重要，以制定既保护用户数据又能应对这些强大模型所带来的独特挑战的框架。

AI领域新星：Apple推出小模型家族 https://huggingface.co/apple/DCLM-7B 随着全球对全新GPT-4o-mini的赞誉不断，Apple也加入了小模型的研发热潮。就在几小时前，Apple的研究团队作为DataComp语言模型项目的一部分，在Hugging Face平台上发布了一组开源的DCLM模型。 DCLM模型的亮点 这次发布的核心包括两个主要模型：一个拥有70亿参数，另一个拥有14亿参数。这两个模型在基准测试中的表现都相当不错，尤其是70亿参数的那个——它不仅超越了Mistral-7B，还接近其他领先的开源模型，如Llama 3和Gemma。 Apple ML团队的Vaishaal Shankar将这些模型称为“表现最好的开源模型”。值得注意的是，这个项目是真正的开源，不仅发布了模型权重，还包括训练代码和预训练数据集。 Apple DCLM模型的背景 DataComp项目由Apple、华盛顿大学、特拉维夫大学和丰田研究所的多学科研究团队领导。该项目的目标是设计高质量的数据集，用于训练AI模型，特别是在多模态领域。通过使用标准化框架——包括固定的模型架构、训练代码、超参数和评估方法，团队进行不同的实验，以找出最佳的数据筛选策略，从而训练出高性能的模型。 研究团队发现，基于模型的过滤方法，即使用机器学习模型自动从大数据集中筛选高质量数据，是组建高质量训练集的关键。为了展示这一筛选技术的有效性，研究团队使用筛选后的数据集DCLM-Baseline，从头开始训练了新的DCLM解码器，仅英文语言模型，分别具有70亿和14亿参数。 DCLM-7B模型的性能 70亿参数的模型使用基于OpenLM框架的预训练方案，训练了2.5万亿个标记，具有2K上下文窗口，在MMLU测试中取得了63.7%的5-shot准确率。与之前的开源数据语言模型MAP-Neo相比，该模型在基准测试上提高了6.6个百分点，同时训练计算量减少了40%。 更重要的是，该模型的MMLU性能接近市场上领先的开源模型（开放权重但封闭数据），如Mistral-7B-v0.3（62.7%）、Llama3 8B（66.2%）、Google的Gemma（64.3%）和微软的Phi-3（69.9%）。 当研究人员将上下文长度扩展到8K并在同一数据集上额外进行1000亿次训练时，该模型在Core和Extended基准测试（包括HellaSwag和ARC-E等任务的平均成绩）中的表现进一步提升，但MMLU结果保持不变。 研究人员在DataComp-LM论文中指出：“我们的结果强调了数据集设计对训练语言模型的重要性，并为进一步的数据筛选研究提供了起点。” 小型但强大的模型 与DCLM-7B类似，较小的14亿参数模型（与丰田研究所联合训练，使用了2.6万亿个标记）在MMLU、Core和Extended测试中也有出色表现。在5-shot MMLU测试中，它得分为41.9%，明显高于同类其他模型，如Hugging Face最近发布的SmolLM（1.7B版本得分39.97%）、Qwen-1.5B（37.87%）和Phi-1.5B（35.90%）。 目前，较大的模型在Apple的Sample Code License下发布，而较小的模型则在Apache 2.0下发布，允许商业使用、分发和修改。此外，还有一个70亿参数模型的指令调优版本在HF库中可用。 需要注意的是，这只是早期研究，突出了数据筛选的有效性。这些模型并非用于Apple设备，可能会显示出来自测试训练数据的某些偏见或产生有害响应。

生成式AI驱动的工作流程使Google能够更快地迁移代码并更有效地维护代码库 过去几十年，源代码库的规模呈指数级增长。Google的monorepo（单一代码库）就是一个包含数十亿行代码的大型代码数据集的例子。为了适应新的语言版本、框架更新、API和数据类型的变化，对整个庞大代码库进行代码变更（称为“迁移”）的工作极其具有挑战性。 多年来，Google一直使用特殊的基础设施进行大规模的代码迁移。该基础设施利用静态分析和工具如Kythe和Code Search来发现需要更改的位置及其依赖关系，然后使用ClangMR等工具进行更改。 这种方法在结构统一、边缘情况有限的代码变更中效果良好。然而，当迁移具有复杂结构的代码时，例如更改接口及其在多个组件中的使用或更新其测试时，静态分析和简单的迁移脚本会遇到限制。 Google内部介绍了一种新工具，结合了多项AI驱动的任务，帮助Google开发人员进行大规模代码迁移。其目标是辅助工程师，让他们专注于迁移中的复杂方面，而不会将他们从过程中隔离开来。案例研究表明，这种方法可以成功生成迁移所需的大部分新代码，并显著减少人工工作量。 代码迁移工作流程为了代码迁移，Google构建了一个新的、互补的工具包，以解决标准工具难以处理的变更，并且利用机器学习（ML）模型的能力适应周围代码。 Google将迁移过程概念上分为三个阶段： 为了生成和验证代码更改，Google利用了经过内部代码和数据微调的Gemini模型版本。 每次迁移需要以下输入： 用户提供的位置通过结合现有静态工具和人工输入收集。迁移工具包会自动扩展这组文件，包括测试文件、接口文件和其他依赖项。这一步尚未由AI驱动，而是使用符号交叉引用信息。 在许多情况下，用户提供的迁移文件集并不完美。因为过滤输入列表可能非常繁琐，通常会有一些文件已经部分或完全迁移。因此，为了避免重复更改或在编辑生成期间混淆模型，提供少量示例并要求模型预测文件是否需要迁移。 编辑生成和验证步骤是自动系统最有利的地方。模型根据DIDACT方法论训练，使用Google monorepo和相关数据。在推理时，在预期需要更改的每一行标注自然语言指令和模型的一般指令。在每次模型查询中，输入上下文可以包含一个或多个相关文件。 模型预测文件之间的差异（diffs）并更改相关部分，以确保最终代码正确。 这种能力对于加快迁移速度至关重要，因为生成的更改可能与最初请求的位置不一致，但它们会解决意图问题。这减少了手动查找所有需要更改行的需求，相比纯粹基于抽象语法树修改的确定性更改生成是一个巨大的进步。 例如，提示模型仅更新需要更改类型的类的构造函数。在预测的统一diff中，模型还正确修复了类中的私有字段和用法。 不同的提示组合会根据输入上下文产生不同的结果。在某些情况下，提供过多预期更改的位置会导致性能下降，而仅在文件中指定一个位置并提示模型全局应用更改效果更好。 在对数十甚至数百个文件应用更改时，Google实施了一种机制，生成针对每个文件组并行尝试的提示组合。这类似于pass@k策略，在这种情况下，Google不是修改推理温度，而是修改提示策略。 Google自动验证生成的更改。验证是可配置的，通常取决于迁移。最常见的两种验证是编译更改的文件和运行它们的单元测试。每个失败的验证步骤可以选择运行ML驱动的“修复”。模型也已针对大量失败的构建和测试数据以及相应修复的diffs进行了训练。对于遇到的每个构建/测试失败，Google会提示模型更改文件、构建/测试错误，并请求修复。通过这种方法，观察到模型在大量情况下能够修复代码。 由于为每个文件组生成多个更改，Google根据验证对其进行评分，最后决定将哪个更改集传播回最终更改列表（类似于Git中的拉取请求）。 案例研究：将整数从32位迁移到64位随着Google代码库及其产品的发展，过去（有时超过十年前）做出的假设不再成立。例如，Google Ads有数十种用于用户、商家、广告活动等的唯一“ID”类型，这些ID最初定义为32位整数。但由于当前ID数量的增长，预计它们会比预期更早溢出32位容量。 这一认识导致了一项重大工作，即将这些ID迁移到64位整数。该项目困难重重： 为了加快工作进度，Google使用了AI迁移工具，并制定了以下工作流程： 在这项工作流中，发现着陆的变更列表（CLs）中80%的代码修改由AI创作，其余由人类创作。工程师报告称，迁移总时间减少了约50%。沟通开销显著减少，因为单个工程师即可生成所有必要的更改。工程师仍需要花时间分析需要更改的文件并进行审查。发现，在Java文件中，模型预测文件需要编辑的准确率为91%。 该工具包已用于创建数百个变更列表，涉及此次及其他迁移。平均而言，成功在monorepo中着陆的AI生成字符更改超过75%。 未来方向下一步是处理影响多个组件交换数据或需要系统架构更改的更复杂迁移。Google已经在迁移需要非平凡重构的弃用类型以及从旧测试框架迁移中取得了成功。 Google正在研究如何在开发过程的其他部分应用AI，特别是帮助定位更改和更好地过滤不必要的更改。另一个有趣的领域是改进IDE中的迁移用户体验，使变更操作员能够更自由地混合和匹配现有工具。 总的来说，Google看到这项工作的广泛潜在应用，可能超越严格的代码迁移空间，并可能应用于错误修正和大规模的常规代码维护。

尝试使用Autogen Builder中的本地LLM/SLM后，下一步是探索如何在AutoGen Builder中创建自定义技能并将其分配给代理。选择了一个从给定URL获取HTML页面的技能。以下是具体步骤： 第一步：设置环境 请访问“https://medium.com/the-constellar-digital-technology-blog/geek-out-time-creating-a-local-ai-agent-on-my-mac-using-autogen-builder-with-the-local-llm-08862e908443”来了解如何运行Autogen Builder。 第二步：创建新技能 在AutoGen Builder提供的代码编辑器或输入字段中，粘贴以下Python代码： 点击“保存”按钮保存新技能。 第三步：配置系统消息 系统消息为代理提供如何处理任务的指示。以下是包含内容的示例： 指示： 创建或编辑代理： 进入AutoGen Builder中创建或编辑代理的部分。 在“模型”下，使用GPT，需要前往OpenAI网站生成API密钥并输入。（https://help.openai.com/en/articles/4936850-where-do-i-find-my-openai-api-key） 最终，将创建的自定义技能链接到代理。 系统消息： 将上述“系统消息”粘贴到代理配置的“系统消息”字段中。 保存配置： 保存带有新系统消息的代理配置。 第四步：创建测试工作流 将“GetHtmlPage”代理添加到工作流中作为“接收者”。 第五步：测试代理 结论 按照这些步骤，成功创建了一个在AutoGen Builder中从URL获取HTML内容的自定义代理。该指南提供了从设置环境到测试代理的完整过程。如果遇到任何问题或需要进一步帮助，请随时联系。尝试一些复杂的自定义技能与群聊会很有趣，敬请期待。 玩得开心！

OpenAI的举报人向美国证券交易委员会（SEC）提交了一份投诉，指控这家人工智能公司非法禁止其员工向监管机构警告其技术可能对人类构成的严重风险，呼吁展开调查。 这些举报人称，OpenAI对其员工实施了过于严格的就业、离职和保密协议，这些协议可能会对向联邦监管机构提出关切的员工施加处罚。据一封本月早些时候发送给SEC专员的七页信件，这些协议要求员工放弃获得举报人补偿的联邦权利，并在希望向联邦当局披露信息时必须获得公司事先同意。该信件是《华盛顿邮报》独家获得的。 信中提到，OpenAI没有在其员工反诋毁条款中为向SEC披露证券违规行为创建豁免。这些过于广泛的协议违反了长期以来保护举报人的联邦法律和法规，旨在让希望匿名揭露公司严重信息的员工不受报复。 其中一位举报人匿名表示，这些合同传达了一个信息，即“我们不希望员工与联邦监管机构交谈”。他认为，如果人工智能公司保护自己免受审查和异议，就无法建立安全且符合公众利益的技术。 OpenAI发言人汉娜·王在一份声明中表示：“我们的举报人政策保护员工进行受保护披露的权利。此外，我们认为对这项技术进行严格辩论至关重要，并且已经对我们的离职流程进行了重要更改，删除了反诋毁条款。” 举报人的信件发布之际，人们担心OpenAI，这个最初以慈善使命为起点的非营利组织，在创造技术时将利润置于安全之上。《华盛顿邮报》周五报道称，OpenAI为了赶上公司领导人设定的5月发布日期，匆忙推出了最新的AI模型ChatGPT，尽管员工担心公司没有遵守自己的安全测试协议，从而使其AI可能免受灾难性危害，例如教用户制造生物武器或帮助黑客开发新型网络攻击。对此，OpenAI发言人林赛·赫尔德表示，公司并没有在安全流程上走捷径，尽管我们认识到发布会对团队来说压力很大。 科技公司的严格保密协议长期以来让员工和监管机构感到困扰。在#MeToo运动和因乔治·弗洛伊德被谋杀引发的全国性抗议活动期间，员工警告说，这些法律协议限制了他们报告性行为不端或种族歧视的能力。同时，监管机构担心这些条款会让科技员工无法向他们举报不透明的科技行业中的不当行为，特别是在有指控称公司算法促进了破坏选举、公共卫生和儿童安全的内容的情况下。 人工智能的快速发展加剧了政策制定者对科技行业权力的担忧，促使他们呼吁加强监管。在美国，人工智能公司在很大程度上处于法律真空状态，政策制定者表示，他们无法在没有举报人帮助的情况下有效地制定新的人工智能政策，举报人可以帮助解释快速发展的技术带来的潜在威胁。 爱荷华州参议员查克·格拉斯利在向《华盛顿邮报》发表的声明中表示：“OpenAI的政策和做法似乎对举报人说出和获得保护性披露补偿的权利产生了寒蝉效应。为了让联邦政府在人工智能方面保持领先，OpenAI的保密协议必须改变。” 举报信的一份副本已发送给SEC主席加里·根斯勒，并抄送给国会。《华盛顿邮报》从格拉斯利办公室获得了举报人信件。 信中提到的正式投诉已于6月提交给SEC。代表OpenAI举报人的律师斯蒂芬·科恩表示，SEC已对此投诉做出回应。 尚不确定SEC是否已展开调查，该机构拒绝置评。 信中称，SEC必须采取“迅速而有力”的措施来解决这些非法协议，因为它们可能与整个人工智能行业相关，并可能违反去年10月白宫行政命令，要求人工智能公司安全开发技术。 “任何此类执法努力的核心在于认识到内部人士必须自由地向联邦当局报告关切，并获得应有的补偿。”信中写道。“员工处于检测和警告行政命令中提到的各种危险的最佳位置，也最有能力帮助确保人工智能造福人类，而不是产生相反的效果。” 科恩表示，这些协议威胁员工如果根据商业秘密法向联邦当局举报法律违规行为，将受到刑事起诉。员工被指示对公司信息保密，并受到“严厉制裁”的威胁，但没有承认他们有向政府报告此类信息的权利。 “在人工智能的监督方面，我们才刚刚开始。”科恩说。“我们需要员工挺身而出，我们需要OpenAI保持透明。” 信中称，SEC应要求OpenAI提供所有包含保密条款的就业、离职和投资者协议，以确保它们不违反联邦法律。联邦监管机构应要求OpenAI通知所有过去和现在的员工公司犯下的违规行为，并通知他们有权向SEC匿名举报任何违法行为。根据举报人的信件，SEC应根据SEC法律对OpenAI每一份不当协议处以罚款，并指示OpenAI纠正其过去行为的“寒蝉效应”。 包括Facebook举报人弗朗西斯·豪根在内的多名科技公司员工已向SEC提交了投诉，SEC在2008年金融危机后设立了举报人计划。 旧金山律师克里斯·贝克表示，与硅谷使用保密协议“垄断信息”的斗争一直是场持久战。他在12月为谷歌员工赢得了一笔2700万美元的和解金，后者声称科技巨头使用繁琐的保密协议阻止举报和其他受保护的活动。他说，现在科技公司越来越多地通过巧妙的方法来阻止言论。 “雇主们了解到，泄密的代价有时远远超过诉讼的成本，所以他们愿意承担风险。”贝克说。

今天，Mistral NeMo正式发布，这是一个与NVIDIA合作打造的12B模型。Mistral NeMo拥有高达128k标记的大型上下文窗口，其推理能力、世界知识和编程准确性在同类规模中达到了最先进的水平。由于采用标准架构，Mistral NeMo使用起来非常方便，可以无缝替换任何使用Mistral 7B的系统。 为了促进研究人员和企业的采用，预训练的基础模型和指令调优检查点都在Apache 2.0许可证下发布。Mistral NeMo通过量化感知训练，实现了在FP8推理下无性能损失。 下表比较了Mistral NeMo基础模型与最近两个开源预训练模型Gemma 2 9B和Llama 3 8B的准确性。 多语言模型的普及Mistral NeMo专为全球多语言应用而设计。它经过功能调用训练，具有大上下文窗口，在英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语等语言上表现特别强劲。这是让前沿AI模型普及到每个人手中的重要一步，涵盖了人类文化的各种语言。 Mistral NeMo在多语言基准上的表现图1：Mistral NeMo在多语言基准上的表现。 更高效的分词器——TekkenMistral NeMo使用了新的分词器Tekken，基于Tiktoken训练，覆盖100多种语言，比之前的Mistral模型使用的SentencePiece分词器更有效地压缩自然语言文本和源代码。特别是在压缩源代码、中文、意大利语、法语、德语、西班牙语和俄语方面，其效率提升了约30%；在压缩韩语和阿拉伯语方面，其效率分别提升了2倍和3倍。与Llama 3的分词器相比，Tekken在约85%的语言中表现更佳。 Tekken压缩率图2：Tekken压缩率。 指令微调Mistral NeMo经历了高级微调和对齐阶段。与Mistral 7B相比，它在遵循精确指令、推理、处理多轮对话和生成代码方面表现更佳。 Mistral NeMo指令调优模型的准确性表2：Mistral NeMo指令调优模型的准确性。评估由GPT4o在官方参考资料上进行。 链接基础模型 (https://huggingface.co/mistralai/Mistral-Nemo-Base-2407)和指令模型(https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407)的权重托管在HuggingFace。现在可以通过mistral-inference试用Mistral NeMo，并通过mistral-finetune进行适配。Mistral NeMo在la Plateforme上以open-mistral-nemo-2407的名称展示，还作为NVIDIA NIM推理微服务打包在容器中，可在ai.nvidia.com获取。

Google for Education：让生成式AI助力教学 鉴于教育在人的发展中具有关键作用，任何利用生成式AI来提升学生的教学过程，都必须以深思熟虑和协作的方式进行。 因此，Google for Education在利用生成式AI功能时，优先考虑教师、学生、家长和管理员的意见。通过倾听社区的需求，Google for Education能够开发出真正对学生和教育者有帮助的产品。为此，Google与负责AI（RAI）和技术与社会研究团队合作，积极与高中生及其家长互动，了解生成式AI如何影响他们的学习体验。 家长和学生对生成式AI支持学习的反馈 实时反馈给家长：通过提供即时的学习情况窗口，家长可以更快地介入需要帮助的地方，了解他们是否施加了过大压力，并知道未来应该关注的重点。 增强对不熟悉科目的学习：生成式AI可以补充课堂教学，帮助学生深入了解新的学科内容，提供额外的背景知识。 定制学习路径：生成式AI可以分析个人的学习模式，为有学习差异的学生定制多种学习路径，个性化教育材料，考虑到认知能力。 教师永远是课堂的核心 尽管生成式AI将在教育中扮演重要角色，但人类教育者仍然是不可替代的。生成式AI可以增强而非削弱学习，因此，制定保护措施和保持透明度对于使生成式AI成为教育中强大的工具至关重要。 将“教师参与”作为核心理念，Google for Education在构建和设计产品时会考虑这一点，指导功能选择和安全措施的制定。Google for Education始终优先与教育者和学校合作，通过紧密的反馈循环在整个开发过程中保持联系。 有了生成式AI的辅助，教师能够更好地满足学生的多样化需求和偏好，节省在行政任务上的时间，从而专注于他们最擅长的事情：启发和挑战学生，利用他们的经验和倾听、同理心等软技能，创造一个激发好奇心的安全环境。当最好的教师与最好的工具相结合时，他们的学生将变得不可阻挡。 正如一名参与研究的学生所说，“教师总是确保我没问题，确保我有最好的学习心态。我想如果没有他们，我现在可能会处在完全不同的地方。” 用Gemini帮助青少年在AI优先的未来中负责任且自信地学习 Google致力于让AI在课堂内外对每个人都有帮助。目标是为青少年提供必要的技能和工具，以便在有生成式AI的未来中茁壮成长，并教他们如何利用这项技术解锁创造力和促进学习。Gemini能够提供指导支持，帮助学生通过即时协助、练习材料和实时反馈与创意更自信地学习。通过与生成式AI的实践经验，学生将为AI驱动的未来做好准备。 去年，Google在咨询儿童安全和发展专家后，为使用个人Google帐户的青少年推出了负责任的Gemini体验，以帮助制定内容政策，并优先考虑安全。从那时起，Google采取了多项额外措施，确保负责任地将这项技术引入学生，包括与学习科学专家合作，测试青少年顾问小组，并承诺为所有教育用户提供额外的数据保护，免费提供服务，且Google不会使用聊天数据来改进AI模型。 在接下来的几个月里，符合最低年龄要求的青少年学生将在全球100多个国家的Google Workspace for Education帐户中免费使用Gemini。为确保学校始终掌控局面，Gemini默认对青少年关闭，直到管理员选择在管理控制台中将其作为附加服务开启。 青少年体验：负责任且实用的Gemini 与教育专家合作，确保安全与实用 Google开发了多种资源和培训，帮助学生、家长和教育者负责任且有效地使用生成式AI工具，包括一段关于青少年如何在学习中负责任使用AI的视频。 通过视频创作和阅读技巧培养提升学生参与度 促进更大的集成和协作 促进包容性学习和更积极的安全方法 Google致力于将最好的AI带入教育，并为学校定制体验，始终依赖教育者和机构的专业知识和指导。希望这些工具能帮助提升教育效果，专注于最重要的事情。参考此指南了解各项功能的可用性，包括访问所需的Google Workspace for Education版本或附加组件。

关键点概述 NVIDIA于2022年5月推出了带有双重GPL和MIT许可的开源Linux GPU内核模块R515驱动程序。最初的版本主要针对数据中心计算GPU，GeForce和工作站GPU则处于alpha状态。 当时，NVIDIA宣布后续版本将提供更强大和全功能的GeForce和工作站Linux支持，最终由NVIDIA开源内核模块取代闭源驱动程序。 NVIDIA GPU共享一个通用的驱动程序架构和功能集。无论是在桌面还是笔记本电脑上，使用的都是同一款驱动程序，这也是全球最先进的AI工作负载在云端运行的驱动程序。对NVIDIA来说，做到这一点至关重要。 经过两年的努力，NVIDIA的开源GPU内核模块在应用性能上达到了相同甚至更高的水平，并增加了许多新功能： 现在，NVIDIA决定在即将发布的R560驱动程序中全面转向开源GPU内核模块。 支持的GPU 并非所有GPU都兼容开源GPU内核模块。 对于NVIDIA Grace Hopper或NVIDIA Blackwell等尖端平台，必须使用开源GPU内核模块。这些平台不支持专有驱动程序。 对于Turing、Ampere、Ada Lovelace或Hopper架构的较新GPU，NVIDIA建议切换到开源GPU内核模块。 对于Maxwell、Pascal或Volta架构的较旧GPU，开源GPU内核模块不兼容，需继续使用NVIDIA专有驱动程序。 对于混合部署（同一系统中包含旧的和新的GPU），继续使用专有驱动程序。 如果不确定哪种驱动程序适合，NVIDIA提供了一个新的检测助手脚本，帮助选择合适的驱动程序。更多信息，请参阅本文后面的“使用安装助手脚本”部分。 安装程序变化 通常情况下，所有安装方法默认安装的驱动程序版本将从专有驱动程序切换到开源驱动程序。以下几种特定情况需要特别注意： 使用CUDA元包的包管理器 在使用包管理器安装CUDA工具包时，安装元包常用于此目的。安装顶级cuda包时，会同时安装CUDA工具包和相关的驱动程序。例如，在CUDA 12.5发布期间安装cuda包，会得到专有的NVIDIA驱动程序555以及CUDA工具包12.5。 从CUDA 12.6版本开始，流程发生了变化（见图2）。 使用运行文件 如果使用.run文件安装CUDA或NVIDIA驱动程序，安装程序会查询硬件并自动安装最适合系统的驱动程序。UI中还提供了选项，可以在专有驱动程序和开源驱动程序之间进行选择。 使用CUDA .run文件和ncurses用户界面时，现在会看到如下菜单： sqlCopy code┌──────────────────────────────────────────────────────────────────────────────┐ │ CUDA Driver │ │ [ ] Do not install any of the OpenGL-related driver files │ │ [ ] Do not install…

OpenAI推出轻量版GPT-4o Mini，瞄准开发者市场 OpenAI发布了一款面向开发者的轻量版模型——GPT-4o Mini。它的成本显著低于完整版模型，且被认为比GPT-3.5更强大。 使用OpenAI的模型构建应用程序可能会产生高昂费用，许多开发者无法负担，转而选择更便宜的模型，如Google的Gemini 1.5 Flash或Anthropic的Claude 3 Haiku。现在，OpenAI也进入了轻量模型市场。 API平台产品负责人Olivier Godement在接受《The Verge》采访时表示，“GPT-4o Mini真正体现了OpenAI让AI更广泛可及的使命。如果我们希望AI能惠及世界每个角落、每个行业、每个应用，就必须让AI更加负担得起。” 从今天起，ChatGPT的免费、Plus和团队计划用户可以使用GPT-4o Mini替代GPT-3.5 Turbo，企业用户将在下周获得访问权限。这意味着ChatGPT用户将无法再选择GPT-3.5，但开发者仍可通过API使用GPT-3.5，直到它被逐步淘汰。 Godement表示，“我认为它会非常受欢迎。” 新的轻量模型还将在API中支持文本和视觉处理，公司表示它很快将能够处理所有多模态输入和输出，包括视频和音频。这意味着未来可能会有更强大的虚拟助手，能够理解旅行行程并提供建议。然而，这款模型主要用于简单任务，所以并不能廉价地打造类似Siri的高级助手。 在测量大规模多任务语言理解（MMLU）基准考试中，GPT-4o Mini取得了82%的成绩。MMLU是一项包含57个学科大约16,000道多项选择题的考试。首次引入时，大多数模型表现不佳，目的是因为之前的基准考试已经无法考验这些模型的能力。GPT-3.5在这一测试中得分70%，GPT-4o得分88.7%，Google声称其Gemini Ultra创下了90%的最高分。相比之下，竞争对手Claude 3 Haiku和Gemini 1.5 Flash的得分分别为75.2%和78.9%。 需要注意的是，研究人员对MMLU等基准测试持谨慎态度，因为不同公司对测试的实施方式略有不同，使得模型间的得分难以直接比较。此外，AI可能会在其数据集中已有这些答案，从而“作弊”，而且通常没有第三方评估者参与。 对于渴望廉价构建AI应用的开发者来说，GPT-4o Mini的推出为他们提供了新的工具。OpenAI让金融科技初创公司Ramp测试了该模型，使用GPT-4o Mini构建了一个从收据中提取费用数据的工具。用户可以上传收据照片，模型会自动整理数据。电子邮件客户端Superhuman也测试了GPT-4o Mini，用它创建了一个电子邮件回复自动建议功能。 目标是为开发者提供轻量且廉价的工具，帮助他们创建无法用更大、更昂贵模型实现的应用。许多开发者在面对高昂的计算成本时，会选择Claude 3 Haiku或Gemini 1.5 Flash，而非支付运行最强大模型的费用。 那么，OpenAI为何花了这么长时间才推出轻量版模型？Godement表示，这是因为公司的优先事项一直是打造更大更强的模型，如GPT-4，这需要大量的“人力和计算资源”。随着时间推移，OpenAI注意到开发者越来越倾向于使用小型模型，因此决定现在是投入资源开发GPT-4o Mini的最佳时机。 Godement补充道，“我认为它会非常受欢迎。无论是已经使用OpenAI所有AI的现有应用，还是此前因价格被拒之门外的许多应用。”

🔑要点： 计算机科学家李飞飞（因其在计算机视觉领域的贡献，被誉为“AI教母”）四个月前创立了一家AI初创公司World Labs，现在该公司的估值已超过10亿美元。 World Labs正在开发一种能够增强推理和处理视觉数据的模型，使其具备类似人类的理解能力，能够理解物体的尺寸、位置和行为。 李飞飞的愿景不仅是“能看会说的AI”，而是“能做事的AI”。这些进展有望使机器人更高效地导航物理空间，变革医疗和制造等行业。 自4月创立以来，李飞飞完成了两轮融资，最近一轮由包括A16z和AI基金“Radical Ventures”在内的知名投资者领投，筹集了1亿美元。 🤔为什么值得关注： 在过去三个月，美国AI初创公司共获得了超过270亿美元的资金（约占所有初创公司资金的一半），而World Labs在短短四个月内就获得了1亿美元的融资，并达到10亿美元的估值，反映了风险投资公司越来越倾向于支持雄心勃勃的AI驱动初创公司。这一趋势可能受到OpenAI惊人且迅速的成功的推动，其在仅10个月内估值就超过了800亿美元。