在苹果WWDC主题演讲后,苹果确认与OpenAI达成合作,Siri将连接到ChatGPT。对此,Elon Musk威胁将禁止所有苹果设备进入他的业务场所。 Musk说了什么? 在宣布之后,Musk在他的社交平台X上发文,猛烈抨击苹果与ChatGPT的集成,称其为“不可接受的安全漏洞”,并警告说“如果苹果在操作系统级别集成OpenAI”,苹果设备将被禁止进入他的业务场所,访客必须在门口存放他们的苹果设备,这些设备将被放置在法拉第笼中。 Musk为何反对苹果与ChatGPT的集成? 尽管大多数Siri查询将由Apple Intelligence回答,但苹果建立了一种算法,可以自动连接到ChatGPT来回答用户的广泛问题。尽管这看似增强了Siri的功能,Musk认为这侵犯了隐私,因为苹果实际上是将用户数据交给了一个“他们自己不了解也无法创建的第三方”,并猛烈抨击这种行为“不保护隐私”。 “苹果根本不知道一旦他们将你的数据交给OpenAI后实际发生了什么。他们是在出卖你。” Musk的担忧是否有道理:这种集成是否意味着用户隐私的侵犯? 虽然Musk的担忧不无道理——苹果不可能完全了解OpenAI的内部运作——但OpenAI和苹果都确认了该集成包含隐私保护措施,例如请求不会被OpenAI存储,用户的IP地址也会被隐藏。 如果Siri无法回答用户的查询,它将始终询问用户是否同意将问题分享给ChatGPT,并在苹果设备内呈现答案(双方都不会存储用户数据),这样用户可以选择是否分享他们的数据,并遵守OpenAI的数据隐私规则。 这种方法看起来是可行的,这让公众质疑Musk威胁禁止苹果设备进入其业务场所的动机:他是否真的关心用户隐私——即使在苹果和OpenAI确认了严格的数据安全协议后——还是这只是他与OpenAI因其优先考虑商业成功而非人类福祉的持续纷争和诉讼的一部分?
Author: aitrendtrackers@rengongzhineng.io
OpenAI宣布与苹果合作并迎来两位高管加盟
周一,OpenAI宣布了两项重要消息:公司聘请了两位高管,并与苹果达成了合作协议,将实现ChatGPT与Siri的集成。 公司表示,前Nextdoor首席执行官兼Square财务主管Sarah Friar将加入OpenAI担任首席财务官。Friar还共同担任斯坦福数字经济实验室的联席主席。OpenAI在博客中写道:“她将领导财务团队,通过持续投资于我们的核心研究能力,确保我们能够满足不断增长的客户需求以及复杂的全球环境。” 此外,OpenAI还聘请了前Planet Labs总裁Kevin Weil担任新的首席产品官。Weil曾任Twitter高级副总裁以及Facebook和Instagram副总裁。Weil的产品团队将专注于“将我们的研究应用于有益于消费者、开发者和企业的产品和服务”,公司在博客中写道。 随着OpenAI的大型语言模型在科技行业的重要性日益增加,以及生成性人工智能市场的快速竞争,公司正在加强其高层管理团队。自2022年末推出ChatGPT以来,OpenAI一直处于高速增长模式,但也因争议不断,许多员工最近选择离职。 今年5月,一群现任和前任OpenAI员工发表了一封公开信,表达了对AI行业快速发展缺乏监管和吹哨人保护的担忧。他们写道:“AI公司有强大的经济动机来避免有效的监督,我们认为定制的公司治理结构不足以改变这一现状。” 周一,OpenAI还宣布了与苹果的新合作伙伴关系。根据该合作协议,ChatGPT将集成到iOS、iPadOS和macOS的更新中,用户将在今年晚些时候体验到这些功能。 OpenAI在另一篇博客文章中表示,此次集成将允许用户在苹果的写作工具功能中访问ChatGPT的能力,如图像和文档理解、文本生成和图像创建功能。“当有需要时,Siri也可以利用ChatGPT的智能,”OpenAI写道。“在任何问题发送给ChatGPT之前,苹果用户会被询问是否同意,并且Siri会直接呈现答案。”
苹果WWDC 2024:引领未来的软件革命
又到了每年这个时候!苹果的全球开发者大会(WWDC)如约而至。WWDC是苹果一年中最重要的发布平台之一,通常会发布设备的新软件更新。 WWDC 2024也不例外。今年的大会可以说是近年来苹果最大、最重要的一次。iOS、iPadOS、watchOS等众多更新让人应接不暇。幸运的是,这里汇总了所有的发布信息。 visionOS 2 对于Apple Vision Pro,苹果推出了visionOS 2。这个新版本在照片处理方面有了提升,通过机器学习可以将旧照片转换为空间照片,只需点击一下,就能让记忆以自然的深度和维度呈现。此外,照片应用本身也进行了优化,改进了组织方式。 SharePlay也有了新的变化,当进行FaceTime通话时,每个人都可以共享和互动空间照片、视频和全景图。如果大家都使用Apple Vision Pro,还能以真实尺寸观看这些内容。 新手势也被加入到visionOS 2中,可以通过手势访问主屏幕,查看日期和时间,控制音量,并检查电池电量。还可以打开控制中心,快速访问通知、Mac虚拟显示等常用功能。 此外,开发者还将获得新的框架和API。 iOS 18 iPhone的主屏幕在iOS 18中得到了很好的更新。现在可以随意放置应用图标,暗模式下图标颜色和阴影也会改变。更棒的是,可以根据心情为应用上色。 控制中心重新设计,可以通过在主屏幕上向下滑动来访问新的控制组,还包括一个新的控制库,提供可定制和易于访问的内容。此外,还有一个新的控制中心API供开发者使用。 隐私更新方面,应用现在可以通过Face ID、密码或Touch ID锁定,防止他人查看敏感信息。 消息应用新增了多个功能,包括增强的Tapbacks,可以使用任何表情或贴纸。还可以定时发送消息,支持文本加粗和下划线格式,并可以使用文本效果自定义消息。 通过卫星发送消息也即将上线,确保用户永远不会与重要联系人失联。这些消息是端到端加密的。 邮件应用现在可以按类别分组,创建每类邮件的摘要,例如所有航班信息可以归类在一起,并可以随时重新分类。 地图应用将新增地形图和徒步路线,可以离线下载。钱包应用引入了Tap to Cash功能,私密地收发款项。活动票务功能也将得到增强,日志应用也将有改进和更先进的搜索功能。 照片应用也会有很好的更新,改进了图片和视频的组织方式。新功能”最大改版”将自动按最近日子、旅行和人宠分类,并提供固定收藏集,快速访问最重要的相册或收藏集。此外,一个新的轮播功能将展示精选内容,每天都有新惊喜。 音频和家居 苹果电视(tvOS 18)也迎来了更新。AirPods可以通过摇头等动作与Siri沟通,无需发声。语音隔离技术将提高通话质量,还有一个个性化空间音频的游戏设置。 Apple TV新增功能包括在观看节目或电影时查看屏幕上的人物信息,甚至识别正在播放的音乐。这些信息也会显示在iPhone上的遥控应用中。 Apple TV还将支持21:9格式,适用于投影仪。屏保更易查找,新增了肖像画廊,还有史努比屏保。语音对话也在tvOS 18中得到了改进。 watchOS 11 Apple Watch的watchOS 11更新引入了新的训练负荷功能,帮助用户了解锻炼强度对身体的影响。可以在活动应用中查看训练负荷。 现在可以更改活动环设置,例如在某些不想锻炼的日子调整设置,依然保持活动环完整。 一个新的Vitals应用即将上线,可以在手腕上一览关键健康指标,变化时会提醒用户。 健康应用的怀孕功能也得到了增强,当在iPhone或iPad的健康应用中输入怀孕信息,周期追踪将显示孕周并监控所有健康图表。 watchOS 11的互动性得到了提升,任务处理更轻松,无需手机。在智能堆栈下,小组件将根据时间、位置等自动变化。 照片表盘也进行了更改,可以使用机器学习找到“完美”的照片,从数千张照片中智能分析并选择最佳构图、框架和图像质量。 iPadOS 18 iPad的新软件更新带来了iOS 18中的功能和一些新特性。首先是一个新的浮动标签栏,可以自定义,旨在让用户更专注于应用。 文档浏览器也进行了更新,使用户更快地返回最近的文档。 动画效果全方面提升。…
生成式人工智能重置:从初期热潮到战略扩展
“是时候对生成式人工智能(生成 AI)进行重置了。随着企业意识到捕捉生成 AI 的巨大潜在价值比预期更困难,2023 年的最初热情和一阵忙碌的活动正在让位于重新思考和重新校准。 2024 年即将成为生成 AI 证明其价值的一年,企业应牢记在数字和 AI 转型中学到的艰难教训:竞争优势来自于建立组织和技术能力,以广泛创新、部署和改进大规模解决方案——实际上,是为了分布式的数字和 AI 创新重新构建业务。 让我们简要看看这对一家太平洋地区的电信公司意味着什么。该公司聘请了一位首席数据和 AI 官,任务是“使组织能够通过数据和 AI 创造价值。”首席数据和 AI 官与业务部门合作,制定了战略愿景并实施了用例的路线图。经过对企业内部领域(即客户旅程或功能)和用例机会的扫描,领导层优先选择了家庭服务/维护领域作为试点,并作为更大一系列举措的一部分进行扩展。他们特别针对开发生成 AI 工具,以帮助调度员和服务操作员更好地预测服务家庭时所需的呼叫类型和零件。 领导层设立了具有共享目标和激励措施的跨职能产品团队来构建生成 AI 工具。作为提升整个企业更好地使用数据和生成 AI 工具技能的一部分,他们还设立了一个数据和 AI 学院,调度员和服务操作员作为培训的一部分报名参加。为了为生成 AI 提供技术和数据基础设施,首席数据和 AI 官还选择了一个大型语言模型(LLM)和能够满足该领域需求并服务于企业其他部分的云提供商。首席数据和 AI 官还监督了数据架构的实施,以便快速且负责任地提供构建生成 AI 工具所需的干净可靠的数据(包括服务历史和库存数据库)。打破生成 AI 机会的关键是公司需要以下列方式重新构建工作方式。 找出生成 AI 助理可以为您提供真正竞争优势的地方围绕生成 AI 的广泛兴奋及其相对易用性导致了组织内一阵实验热潮。然而,这些举措中的大多数不会产生竞争优势。例如,一家银行购买了数万份 GitHub Copilot 许可证,但由于对如何使用该技术没有清晰的认识,进展缓慢。我们经常看到的另一个无重点的努力是公司试图将生成 AI 纳入其客户服务能力。对于大多数公司而言,客户服务是一种商品能力,而不是核心业务的一部分。尽管生成 AI 可能在此类情况下有助于提高生产力,但它不会创造竞争优势。 要创造竞争优势,公司应首先理解成为“接受者”(使用可用工具,通常通过 API 和订阅服务)、“塑造者”(将可用模型与专有数据集成)和“制造者”(构建 LLM)的区别。目前,对于大多数公司而言,制造者方法成本太高,因此企业的最佳选择是在提高生产力的同时实施接受者模式,并构建塑造者应用以获得竞争优势。…
谷歌AI助力软件工程的进展及未来展望
谷歌AI助力软件工程的进展及未来展望 回顾与现状 在2019年,无论是在谷歌还是其他地方,软件工程师们虽然听说过机器学习的进步,特别是深度学习在计算机视觉和语言翻译领域的显著效果,但他们很难想象这些技术会如何在软件开发中产生影响。仅仅五年后的2024年,AI辅助写代码已成为软件工程师中的热门话题,许多人都在使用基于机器学习的自动补全工具,无论是公司内部工具(如谷歌的内部代码补全)还是商业产品。 谷歌在这篇博客中,介绍了内部软件开发工具的最新AI改进,并讨论了未来五年的预期变化。团队负责谷歌工程师大部分时间所用的软件开发环境,包括内循环(如IDE、代码审查、代码搜索)和外循环界面(如缺陷管理、规划)。通过这些改进,直接提升了开发者的生产力和满意度,这是谷歌密切关注的两个指标。 挑战 AI技术发展迅速,预测哪些想法应该首先探索一直是个挑战。技术上可行的演示与成功产品化之间通常存在显著差距。谷歌遵循三条准则来将想法应用于产品: 将LLM应用于软件开发 随着Transformer架构的出现,谷歌开始探索如何将大型语言模型(LLM)应用于软件开发。基于LLM的内联代码补全是AI在软件开发中最受欢迎的应用:使用代码本身作为训练数据是自然的应用方式。用户体验感觉自然,因为单词级自动补全已是IDE多年的核心功能。此外,可以使用一个粗略的影响衡量方法,例如由AI生成的新字符的百分比。因此,这一LLM应用成为首个部署的合理选择。 早期的博客介绍了谷歌如何通过代码补全提升用户体验及其影响测量。从那时起,企业环境中类似的快速增长也得以实现,软件工程师的接受率达到了37%,帮助完成了50%的代码字符。换句话说,现在代码中的字符有一半是由AI辅助完成的,而不是开发者手动输入的。虽然开发者仍需花时间审查建议,但他们有更多时间专注于代码设计。 关键改进 关键改进来自模型(更大的模型具有改进的编码能力,提供给模型的上下文构建的启发式方法,以及基于接受、拒绝和纠正的使用日志调整模型)和用户体验。这一循环对于从实际行为中学习,而不是从合成公式中学习至关重要。 谷歌利用多年来精心整理的跨多个工具的高质量内部软件工程活动日志。这些数据使谷歌能够表示细粒度的代码编辑、构建结果、解决构建问题的编辑、代码复制粘贴操作、修复粘贴代码、代码审查、解决审查问题的编辑以及代码提交到存储库的变更。训练数据是带有特定任务注释的代码对齐语料库。数据收集过程的设计、训练数据的形状以及基于这些数据训练的模型在DIDACT博客中进行了描述。谷歌继续利用这些强大的数据集与更新一代的基础模型进行探索。 下一个重大部署是解决代码审查评论(超过8%现在通过AI辅助完成)和自动适应周围上下文的粘贴代码(现在负责IDE中约2%的代码)。其他部署包括用自然语言指示IDE进行代码编辑和预测构建失败的修复。其他应用,例如预测代码可读性提示,遵循类似模式也是可能的。 学习成果 到目前为止,谷歌的工作教会了几件事: 展望未来 受到迄今成功的鼓舞,谷歌正在加倍努力,将最新的基础模型(Gemini系列)与开发者数据(如上所述的DIDACT的一部分)结合,推动现有和新的ML在谷歌软件工程中的应用。 在整个行业中,基于ML的代码补全为软件开发者提供了重大推动。虽然在代码生成方面仍有改进的机会,但预计下一波收益将来自更广泛的软件工程活动的ML辅助,例如测试、代码理解和代码维护;后者在企业环境中特别重要。这些机会为谷歌的持续工作提供了信息。谷歌还强调了两个行业趋势: 为了扩展上述成功并迈向下一代能力,从事该主题的实践者和研究人员社区将受益于共同基准的帮助,以推动该领域向实际工程任务发展。迄今为止,基准主要集中在代码生成(如HumanEval)。然而,在企业环境中,针对更广泛任务的基准可能特别有价值,例如代码迁移和生产调试。一些基准,例如用于错误解决的基准(如SWEBench),以及针对这些基准的原型(如来自Cognition AI)已经发布。谷歌鼓励社区共同提出更多基准,以涵盖更广泛的软件工程任务。
微软撤回“Recall”功能
上周,多名安全专家(包括一名前微软工程师)对微软的新功能“Recall”进行了严厉批评,称其在网络安全方面是一个完全的“灾难”。对此,微软宣布计划引入新的安全保护措施,以保护用户。 什么是“Recall”? “Recall”功能(最初默认在Copilot+电脑上启用,如Surface Laptop 7和三星Galaxy Book 4 Edge)被称为PC的“摄影记忆”。它每五秒截取一次电脑屏幕截图,并使用设备上的AI转录网页、文档、PDF、手写笔记以及屏幕上显示的所有内容,使一切都能“即时搜索”。 问题出在哪里? 安全专家(如前微软工程师Kevin Beaumont)称这一功能是安全方面的“灾难”,因为它让黑客有机会窃取“你在Windows电脑上输入或查看的所有内容”。 微软的回应 微软Windows和设备部门的企业副总裁Pavan Davuluri承认了这一功能的安全漏洞: “即使在‘Recall’提供给客户之前,我们就已经听到明确的信号,我们可以改进隐私和安全保护措施。” 他明确表示,微软认识到要充分体验类似‘Recall’这样的功能,首先需要用户信任。因此,他们将这个功能改为可选启用,而不是默认启用,迫使用户手动取消。 用户将需要使用面部识别或指纹ID来查看其时间线或搜索结果,整个搜索索引数据库也将加密,以确保用户数据的安全。
社交“学习伙伴”:Meta Llama助力对话升级
FoondaMate:利用Meta Llama助力新兴市场学生学习的“学习伙伴” FoondaMate,意思是祖鲁语中的“学习伙伴”,是一款快速成长、全天候在线且高度亲和的学习助手,专为中学生和高中生在新兴市场打造。该工具使用Meta Llama技术,学生可以在WhatsApp和Messenger上向他们的AI学习伙伴提问,并获得帮助他们完成学业的对话回复。 推荐阅读 FoondaMate的影响 使用FoondaMate的300万学生中,许多人坐在50到70人的大班级中,难以获得老师的个别关注,甚至不能保证每个孩子都有教材。这些青少年在学习英语、理解难点、下载公共领域学习资料或准备决定大学资格的考试时,求助于FoondaMate。 FoondaMate的创始人Dacod Magagula和Tao Boyle自首次发布以来一直使用Meta Llama 2来增强对话流畅性和语调,这是FoondaMate成功的关键因素。Llama 2帮助FoondaMate根据不同的英语理解水平重新措辞,何时使用本地语言和俚语,甚至添加合适的表情符号。团队已开始测试Meta Llama 3,对其推理能力的改进特别兴奋,预计这将增强学生的多步骤指导。 Boyle表示:“在这种环境中,一个24/7的学习伙伴,通过学生已经使用的应用程序访问,带来的影响是彻底变革性的。大规模语言模型技术与本地化知识库结合,以可负担和易用的方式提供,可能成为我们见过的最具变革性的教育公平工具。” 灵活的对话 FoondaMate的灵感来源于Magagula作为在资源匮乏学校的年轻学习者的经历,当时他经常无法获得教科书。他通过互联网下载学习资料和笔记,取得了高分,并在非洲最负盛名的大学之一获得了高位。现在,其他学生可以通过在WhatsApp和Messenger上添加FoondaMate为好友,重走Magagula的学习之路。 自2020年推出以来,FoondaMate积累了大量关于新兴市场青少年如何聊天、学习和互动的洞察。其最大的市场包括南非、津巴布韦和尼日利亚。截至目前,学生们已经提出了超过1亿个问题。Boyle表示,FoondaMate的影响包括学生成绩的显著改善——在南非,使用FoondaMate的学生大学资格率比不使用的学生提高了30%。Boyle说:“作为一个开源工具,Llama是训练语调和大规模部署的完美模型,适合那些可能难以支付超过每月2美元的学习工具的资源受限学生。” 自然流畅的对话方式模仿青少年与朋友的短信聊天方式,是FoondaMate提供教育资料的核心。这在非洲尤其有帮助,因为这里的人们经常在一次对话中使用多种语言。此外,由于FoondaMate的用户大多是青少年,他们往往使用特定年龄组的俚语、在文本中加入大量表情符号,并以看似不合常理的方式表达。 重视信任与安全 Boyle和Magagula表示,他们逐步引入Llama到FoondaMate中——首先在有限的情境中使用,然后随着训练集的增长逐渐扩展其使用范围。 作为FoondaMate的核心组件,创始人表示,他们很高兴能成为全球开源社区的一部分,分享额外的工具和经验。 Boyle说:“我们对人际互动的信任和安全有很强的关注,我们肯定会使用Llama社区创建的越来越多的安全机制和工具。” 团队从一个小的训练集开始,为FoondaMate的对话注入个性,使用Llama进行非教育性的对话,例如用户问“你好吗?”或“你今天怎么样?”这使他们能够在不影响教育内容的情况下使用生成式AI进行互动。 随着时间的推移,团队在对话环境中逐步扩展其使用,将Llama 2与FoondaMate自身的教育知识库和模型结合。通过对FoondaMate的语调和个性进行微调,Llama 2可以重新措辞FoondaMate知识库和自定义模型的输出,甚至在适当的情况下使用表情符号。 激发学生的学习兴趣 对于许多与FoondaMate交流的学生来说,这可能是他们第一次接触到专为他们量身打造的技术。Boyle补充说,大多数使用FoondaMate的学生在家里没有电脑,有些甚至在学校也没有电脑。因此,向FoondaMate发送消息通常是他们在社交媒体和消息应用程序之外第一次接触技术。FoondaMate团队希望确保入门过程尽可能顺畅自然。 Boyle说:“我们对Llama进行了微调,目标是让用户感觉他们在与最聪明的朋友交谈,而不是一个机器人系统。” 这种方法取得了成效,学生们的反应正如FoondaMate创作者所期望的那样。 Boyle说:“我们看到他们的问题从‘你几岁了?’和‘你在哪里上学?’转变为关于机器人如何学习以及如何像FoondaMate一样制作自己的机器人问题。看到他们对技术和背后的原理产生兴趣,真是令人难以置信地满足。当初创办FoondaMate的梦想是帮助任何地方的任何人获得优质教育并对学习产生兴趣。看到这一切开始发生,真是太棒了。”
NotebookLM全新升级:Gemini 1.5 Pro助力全球研究与写作
去年夏天,Google推出了NotebookLM,一款由人工智能驱动的研究和写作助手。今天,Google宣布NotebookLM的升级版本——现采用Gemini 1.5 Pro——将推广到全球200多个国家和地区。 NotebookLM的愿景 自NotebookLM问世以来,目标一直是打造一个工具,帮助用户理解和探索复杂材料,建立信息之间的新连接,并更快地完成初稿。用户可以上传自己的研究笔记、采访记录、公司文件等资料,NotebookLM将立即成为相关领域的专家。今天的升级引入了多个新功能: 实际用户案例 NotebookLM的应用范围让Google感到惊喜。由于产品是与作者、学生和教育工作者紧密合作开发的,许多早期用户已将其整合到研究和写作流程中。畅销书作者沃尔特·艾萨克森一直在使用NotebookLM分析玛丽·居里的日记,为他的新书做研究。纪录片和播客研究人员也表现出类似的热情,他们需要筛选复杂的档案以生成脚本或故事创意。Gemini 1.5 Pro的高级推理能力与NotebookLM的资料支持架构结合,解锁了许多其他潜在应用: 入门指南 如果你是NotebookLM的新用户,入门非常简单:首次访问NotebookLM时,创建一个笔记本并上传特定项目或交付物的文档。此时,你可以阅读、记笔记、提问、组织想法,或让NotebookLM自动生成所有资料的概述——例如学习指南或目录。值得注意的是,用户上传的资料不会用于训练模型。 无论是用于构建虚拟世界、撰写畅销传记,还是帮助销售人员寻找新客户,NotebookLM都为美国用户提供了强大的工具,使他们能够从大量文档中生成洞见和建立联系。Google迫不及待地想看看全球用户如何利用这款工具。
OpenAI新成果揭秘语言模型神经活动:稀疏自编码器的前沿探索
当前,人类尚未完全理解如何解读语言模型中的神经活动。今天,研究人员分享了一些改进的方法,旨在发现大量“特征”——希望这些活动模式能被人类解释。新方法比现有的更具扩展性,研究人员利用它们在生成预训练变换模型4中找到了1600万个特征。他们正在与研究界分享一篇论文、代码和特征可视化工具,以促进进一步探索。 解读神经网络的挑战 与大多数人类创造物不同,我们尚不完全理解神经网络的内部运作。例如,工程师可以直接设计、评估和修理汽车,确保其安全性和性能。然而,神经网络并非直接设计的,而是通过设计训练它们的算法生成的。因此,生成的网络难以理解,也不能轻易分解为可识别的部分。这意味着我们无法像理解汽车安全那样来理解人工智能的安全性。 为了理解和解读神经网络,首先需要找到神经计算的有用构建块。然而,语言模型内的神经激活模式是不确定的,似乎同时代表许多概念,并且总是密集地激活。在现实世界中,概念是稀疏的——在任何特定情境中,只有少部分概念是相关的。这推动了稀疏自编码器的使用,这种方法可以识别神经网络中少量对生成特定输出重要的“特征”,类似于人在思考时所具备的一小部分概念。这些特征展示了稀疏的激活模式,自然与人类易于理解的概念对齐,即使没有直接的可解释性激励。 我们的研究进展:大规模自编码器训练 研究团队开发了新的最先进的方法,使其能够将稀疏自编码器扩展到前沿人工智能模型上的数千万个特征。他们的方法显示出平滑和可预测的扩展性,比之前的技术有更好的规模回报。团队还引入了几种新的指标来评估特征质量。 研究人员使用这些方法训练了多种自编码器,包括对生成预训练变换模型2小型和生成预训练变换模型4激活的自编码器,其中包括一个在生成预训练变换模型4上有1600万个特征的自编码器。为了检查特征的可解释性,他们通过展示激活该特征的文档来进行可视化展示。以下是一些可解释的特征: 展望未来与开放研究 虽然稀疏自编码器的研究令人兴奋,但前路漫漫,仍有许多未解决的挑战。短期内,研究人员希望这些发现的特征能在监控和引导语言模型行为方面实际有用,并计划在前沿模型中进行测试。最终,他们希望有一天可解释性能够提供新的方法来推理模型安全性和稳健性,并通过对其行为的强有力保证大大增加我们对强大人工智能模型的信任。 今天,研究团队分享了一篇详细介绍实验和方法的论文,希望这能使研究人员更容易地在大规模上训练自编码器。他们还发布了完整的生成预训练变换模型2小型自编码器套件,以及使用这些自编码器的代码和特征可视化工具,帮助研究人员了解生成预训练变换模型2和生成预训练变换模型4特征可能对应的内容。
芯片巨头汇聚台湾,共同宣告“AI PC革命”
本周,芯片行业巨头齐聚台湾,宣告“AI PC革命”的到来,承诺将彻底改变消费者和办公人员与个人设备的互动方式。 在年度Computex大会上,Nvidia、Intel、AMD、Qualcomm和Arm的首席执行官们齐聚一堂,展示了他们的AI芯片技术。这些芯片主要用于许多在台湾制造的人工智能PC。这次会议被誉为“每个芯片制造商讲述自己AI PC故事的最有力机会”。预计未来几个月,AI PC的需求将激增。 这些笔记本电脑和台式机嵌入了专用硅片,可以运行诸如数字助手和生成代码或视频的软件,而无需依赖云服务。Intel首席执行官Pat Gelsinger表示,这是自WiFi到来以来PC市场最激动人心的时刻。Qualcomm首席执行官Cristiano Amon更进一步,称AI PC是自微软的Windows 95操作系统以来最重要的发展。 微软在5月推出了一系列支持AI的个人电脑,配备了其旗舰AI助手Copilot,并包括一种新工具,可以通过定期保存屏幕快照快速检索用户查看过的内容。尽管在传统由Intel和AMD主导的Windows市场中,Qualcomm的Arm架构处理器仅占PC销售的一小部分,但微软还是选择了Qualcomm作为其首个AI芯片供应商。 分析师表示,微软旨在鼓励更多竞争。Qualcomm为了在PC市场站稳脚跟,愿意更加灵活地响应微软的技术需求,从而摆脱其传统的智能手机领域。Qualcomm的Amon称这次合作是一个定义历史的时刻,将其芯片与微软的软件结合,带来了“PC新时代”。 不过,Intel和AMD在部署AI芯片方面也不甘落后。AMD在Computex上推出了两款AI PC处理器,预计下月底开始批量出货。Intel表示其旗舰芯片Lunar Lake将于第三季度出货,赶上假期购买季,将出现在20家制造商的80款AI PC中。 随着PC市场的复苏,预计AI PC将成为下一轮PC市场增长的关键因素。摩根士丹利的分析师表示,AI PC的渗透率将从2024年的2%上升到2028年的65%。 尽管AI升级的推动力强劲,分析师质疑消费者需求是否足以支撑更高价格的硬件。人们升级设备的动力在于提高生产力,但目前仍需观察是否有软件能够回答这一问题。芯片巨头汇聚台湾,共同宣告“AI PC革命”