Author: aitrendtrackers@rengongzhineng.io

OpenAI周四撤回了一项有争议的决定，该决定要求前员工在签署永久性的非贬损协议和保留公司已归属的股权之间做出选择。 这份内部备忘录由CNBC获取，发给了前员工，并与现任员工分享。 备忘录中提到，前员工在离开OpenAI时，“可能被告知需要签署一份包含非贬损条款的一般释放协议，以保留已归属的股权单位（Vested Units）。” “无论你是否签署了协议，我们写信通知你，OpenAI没有也不会取消任何已归属的股权单位，”这份由CNBC查看的备忘录中写道。 备忘录还表示，OpenAI也不会执行员工可能签署的任何其他非贬损或非招揽合同条款。 “正如我们与员工分享的那样，我们正在对离职流程进行重要更新，”OpenAI发言人在一份声明中告诉CNBC。 “我们从未并且永远不会取消已归属的股权，即使人们没有签署离职文件。我们将从标准离职文件中删除非贬损条款，并将解除前员工现有的非贬损义务，除非非贬损条款是双向的，”声明补充道，前员工也将被告知这一变化。 “我们非常抱歉现在才更改这些条款；这并不反映我们的价值观或我们希望成为的公司，”OpenAI发言人补充道。 此前，Bloomberg首次报道了取消非贬损条款的消息。Vox首次报道了NDA条款的存在。 这一消息发布之际，OpenAI最近几周正面临越来越多的争议。 在上周一——OpenAI为ChatGPT推出一系列音频语音一周后，该公司宣布将停用一个名为“Sky”的流行聊天机器人语音。 “Sky”因与电影《她》中的女演员斯嘉丽·约翰逊的声音相似而引发争议。这位好莱坞明星声称，OpenAI未经她同意就使用了她的声音。 “我们听到了关于我们如何选择ChatGPT语音的问题，尤其是Sky，”这家微软支持的公司在X平台上发布消息称。“我们正在暂停使用Sky，以解决这些问题。” 上周，OpenAI解散了其专注于人工智能长期风险的团队，这支团队成立仅一年。熟悉情况的人士在周五向CNBC确认了这一消息。 该人士要求匿名，并表示一些团队成员将被重新分配到公司内的多个其他团队。 这一消息发布前几天，该团队的两位领导人，OpenAI联合创始人Ilya Sutskever和Jan Leike，宣布离职。Leike在周五写道，OpenAI的“安全文化和流程已经让位于光鲜的产品。” 去年成立的OpenAI Superalignment团队，专注于“科学和技术突破，以引导和控制比我们聪明得多的AI系统。”当时，OpenAI表示将在四年内将其计算能力的20%投入这一计划。 公司没有对这一消息发表评论，而是将CNBC引导至联合创始人兼CEO Sam Altman最近在X上的帖子。在帖子中，Altman表示对Leike的离职感到难过，并称公司还有更多工作要做。 上周六，OpenAI联合创始人Greg Brockman在X上发布了一份他和Altman共同署名的声明，声称公司已经“提高了对AGI（通用人工智能）风险和机会的认识，以便世界能够更好地为之做准备。”

在今年二月，谷歌宣布与Reddit达成每年6000万美元的协议，允许谷歌使用Reddit的数据来训练其AI系统。上周，OpenAI也宣布了类似的合作协议，无疑也具有相当的商业价值。 为何全球最强大的AI公司会如此热衷于一个传统用户眼中充满偏见和嘲讽的老旧论坛？这背后的原因与当今大型语言模型（LLM）的训练方式息息相关。因其独特的设置，Reddit恰好为LLM生成了完美的训练数据。 这家成立已有29年的公司正在借助这一波兴趣，进入了巨大的盈利浪潮——尽管这对用户而言代价不小。 LLM训练数据的需求 为了继续进步，像OpenAI的ChatGPT和谷歌的Gemini这样的LLM需要持续摄入大量的书面语言数据。尽管这些模型已经从维基百科、几乎所有已出版的书籍、公开网站以及任何可公开获得的语言数据中获得了惊人的能力，但这些数据并未完全捕捉到人类日常使用的口语化语言。 这也是为什么像ChatGPT和Gemini这样的系统的输出往往显得僵硬和过于正式。为了让AI更像人类，LLM迫切需要更多真实的人类写作。然而，很多这样的写作都被锁在私人空间中，比如WhatsApp对话、短信、个人邮件等。即使AI公司能够获得这些数据，它们也会面临另一个问题：大多数口语化写作未经过滤和注释。 相比之下，出版的书籍等至少经过了一定的筛选和编辑，质量有保证。而口语化写作则没有这样的过程，很难评估其质量和连贯性。 Reddit的独特价值 Reddit的设置巧妙地解决了这些问题。作为一个匿名平台，用户可以快速创建账户，用化名发布信息。这种匿名性鼓励了随意、往往充满嘲讽和未经过滤的写作。更重要的是，Reddit还有一个独特的投票系统，用户可以对每个帖子进行评价，优秀的帖子会被顶上去，而无用的垃圾信息、营销内容和极端观点会被埋没或删除。 这种投票系统使得Reddit的数据在AI训练中具有无与伦比的价值。Reddit不仅提供了丰富的口语化写作，还内置了一个评价这些写作质量的系统。 Reddit的盈利风潮 由于其数据的完美性，Reddit正从大公司的AI投资中获得巨大收益。社交网络通过内容许可交易积累了数亿美元的收入，这帮助它在今年早些时候成功上市，并可能吸引更多投资者。随着LLM的商品化，Reddit也有可能创建自己的LLM，凭借其丰富的训练数据，比大公司竞争对手以更低的成本构建模型。 潜在风险 尽管有巨大的机会，AI公司对Reddit的痴迷也带来了严重的风险。Reddit之所以成功，是因为用户认为它是一个分享真实、不加修饰意见的地方。但这种匿名性也意味着数据不具有代表性，充满偏见和不准确的信息。AI公司可能会利用Reddit的投票数据来展示什么是受欢迎的，而不是事实。 LLM擅长检测模式，这些系统可能会从Reddit学习到偏见、分裂言论和网络喷子的模式，并在其他上下文中重复这些模式。这些偏见难以被检测到，甚至连系统的创建者也难以发现。 未来的解决方案 解决这些偏见需要更多的数据，而不是更少的数据，也需要更好地注释现有的、更少极端的口语化对话数据。更多来自不同背景和观点的数据将有助于改进LLM的训练。然而，企业如谷歌和OpenAI从哪里获得这种数据仍不明确。Slack等公司的开放数据训练引发了用户的愤怒，使得AI公司面临两难境地。 尽管如此，AI公司仍愿意为Reddit的数据支付数亿美元，因为这是他们目前能找到的最佳选择。

在周四的VivaTech 2024科技大会上，埃隆·马斯克表示，人工智能将取代所有工作，但这未必是坏事。 通过网络摄像头远程参与巴黎会议的马斯克描绘了一个未来的世界，在那里工作将变成“可选”的。“如果你想做一份像是爱好的工作，你可以去做，”马斯克说。“否则，AI和机器人将提供你所需的任何商品和服务。” 他说，要实现这种情况，需要“普遍的高收入”——不同于“普遍基本收入”（UBI）。UBI指的是政府向每个人提供一定数额的钱，无论他们的收入多少。 “不会缺少商品或服务，”他补充道。 在过去几年里，AI能力迅速提升，监管机构、公司和消费者还在摸索如何负责任地使用这项技术。随着AI在市场上的普及，各个行业和工作的变化引发了越来越多的担忧。 今年1月，麻省理工学院计算机科学与人工智能实验室的研究人员发现，工作场所采用AI的速度远比预期和担忧的要慢。报告还指出，大多数之前被认为容易被AI取代的工作在当时对雇主来说并不具有经济效益。 专家们普遍认为，许多需要高情商和人际互动的工作将不需要被取代，比如心理健康专业人士、创意工作者和教师。 马斯克一直直言不讳地表达他对AI的担忧。在周四的主旨演讲中，他称AI是他最大的恐惧。他提到伊恩·班克斯的“文化系列”小说，认为这是对由先进技术管理的社会的最现实和“最好的未来AI愿景”。 然而，在一个无工作的未来，马斯克质疑人们是否会感到情感上的满足。 “问题将真正成为意义——如果电脑和机器人能做得比你更好，你的生活是否还有意义？”他说。“我确实认为人类在其中可能仍有角色——我们或许能赋予AI意义。” 他还利用他的演讲时间敦促父母限制孩子能看到的社交媒体内容，因为“他们正在被一个最大化多巴胺的AI编程。”

英国数据监管机构（ICO）表示，正在“向微软进行询问”，了解其新功能Recall的具体情况。该功能每隔几秒钟就会对用户的笔记本电脑进行截图。 微软称，Recall将会在其即将推出的Copilot+ PC上独家提供，并且这些加密的截图将只存储在本地设备上。然而，隐私活动家们称这可能成为“隐私噩梦”，对此，ICO表示正在联系微软以了解该产品的安全措施。 Recall是一种“可选体验”，微软承诺将保障用户的隐私和安全。根据微软网站的信息，用户可以限制Recall收集的截图范围。公司声明称，“Recall数据只存储在本地，不会被微软或任何未获得设备访问权限的人获取。” 但是，ICO发言人指出，在推出任何新产品之前，公司必须“严格评估并减轻对人们权利和自由的风险”。他们表示：“我们正在向微软进行询问，以了解保护用户隐私的安全措施。” Recall能够搜索用户过去的所有活动，包括文件、照片、电子邮件和浏览历史。尽管许多设备已经具备这些功能，但Recall还会每隔几秒钟截图，并对这些截图进行搜索。 隐私顾问Kris Shrishak博士称：“这一功能可能成为隐私噩梦。设备使用期间频繁截图的事实本身可能对人们产生寒蝉效应。”微软表示，从设计之初就将隐私嵌入Recall，用户可以控制所捕获的内容。例如，用户可以选择不捕捉某些网站的内容，而在微软自有的Edge浏览器上进行的私人浏览也不会被捕捉。 Shrishak博士补充道：“在微软每隔几秒钟截图的情况下，人们可能会避免访问某些网站和查看文件，尤其是机密文件。” Keystone Law的数据和隐私专家Daniel Tozer表示，这一系统让他联想到Netflix的反乌托邦节目《黑镜》。“微软需要一个合法依据来记录和重新展示用户的个人信息，”他说。 Tozer还质疑，在视频通话或照片中出现的人是否会被给予选择是否同意截图的权利。“用户和访问控制将是微软必须重点关注的问题，”他说。 Mozilla隐私团队负责人Jen Caltrider建议，该计划意味着任何知道你密码的人现在可以更详细地访问你的历史记录。“包括执法机关的法庭命令，甚至是微软如果改变将所有内容保存在本地的决定，并将其用于定向广告或训练AI，”她说。 微软表示，Recall不会对包含密码或金融账户信息的截图进行审核或删除。Caltrider女士表示：“这些数据可能会出现在存储在你设备上的截图中，特别是当网站不遵循标准的互联网协议（如掩蔽密码输入）时。我不希望在运行Recall的电脑上做任何我不会在一车陌生人面前做的事情。”她补充道：“这意味着不再登录金融账户，查找敏感健康信息，提出尴尬的问题，甚至查找家庭暴力庇护所、健康诊所或移民律师的信息。”

Nvidia股价在周三盘后交易中首次突破1000美元大关，这得益于该芯片制造商公布的超出分析师预期的财年第一季度财报。Nvidia的季度收益报告已成为投资者衡量近期市场AI热潮的风向标。本季度强劲的业绩表明，对Nvidia生产的AI芯片需求依然旺盛。CEO黄仁勋表示，公司将在今年晚些时候看到其下一代AI芯片Blackwell的收入。 股价在盘后交易中上涨7%。Nvidia还宣布将进行1拆10的股票分割。基于盘后的走势，周四股价有望创下新高。 每股收益：调整后为6.12美元，高于LSEG共识预期的5.59美元。收入：260.4亿美元，高于LSEG预期的246.5亿美元。Nvidia预计本季度销售额为280亿美元，而华尔街根据LSEG数据预测的每股收益为5.95美元，销售额为266.1亿美元。 截至4月28日的季度，Nvidia报告的净收入为148.8亿美元，或每股5.98美元，而去年同期为20.4亿美元，或每股82美分。 在过去一年中，Nvidia的销售额激增，因为谷歌、微软、Meta、亚马逊和OpenAI等公司购买了数十亿美元的Nvidia图形处理单元（GPU），这些是开发和部署人工智能应用所需的先进且昂贵的芯片。 Nvidia的最大和最重要的业务是其数据中心销售，包括AI芯片以及运行大型AI服务器所需的许多附加部件。Nvidia表示，其数据中心类别的收入从去年同期增长了427%，达到226亿美元。Nvidia首席财务官Colette Kress在与分析师的电话会议上表示，这主要得益于公司Hopper图形处理器的出货量，其中包括公司的H100 GPU。 “Kress在与分析师的电话会议上表示：“本季度的一个重要亮点是Meta宣布了他们最新的大型语言模型Lama 3，这一模型使用了24000个H100 GPU。” 她补充说，大型云提供商占Nvidia数据中心收入的“大约中40%”。 尽管公司报告了业务的三倍或更多的增长，黄仁勋表示，公司下一代AI GPU Blackwell将带来更多增长。 “今年我们将看到大量的Blackwell收入，”这位CEO在与分析师的电话会议上说，并补充说新芯片将在第四季度进入数据中心。 Nvidia还强调了其网络部件的强劲销售，这在公司构建成千上万芯片集群时越来越重要。Nvidia表示，其网络收入为32亿美元，主要来自其InfiniBand产品，比去年同期的销售额高出三倍多。 在成为大型公司构建AI的顶级供应商之前，Nvidia主要以制造3D游戏硬件而闻名。游戏收入在本季度增长了18%，达到26.5亿美元，Nvidia将此归因于强劲需求。 公司还销售用于汽车和高级图形工作站的芯片，这些业务仍远小于其数据中心业务。公司报告了4.27亿美元的专业可视化销售额和3.29亿美元的汽车销售额。 Nvidia表示，公司在本季度回购了77亿美元的股票，并支付了9800万美元的股息。Nvidia还表示，将其季度现金股息从每股4美分增加到10美分（未拆股前）。拆股后，股息将为每股1美分。

消费者对最新AI技术的需求正在升温。OpenAI最新旗舰模型GPT-4o的发布推动了该公司移动端收入的最大增长，尽管该模型在网络上是免费提供的。GPT-4o于5月13日推出，能够处理文本、语音和视频，提供实时响应和多种情感语音选项，使其成为比以往更强大的模型。根据应用情报公司Appfigures的新数据，这一技术创新也推动更多用户升级到OpenAI的付费订阅。 尽管OpenAI表示将为免费用户提供GPT-4o，但这一承诺尚未涵盖其ChatGPT移动应用的用户（OpenAI表示计划稍后将在移动端推出GPT-4o）。在第一周内，如果移动用户希望体验OpenAI的最新发布，必须升级到每月19.99美元的ChatGPT Plus订阅。这一战略决策推动了移动用户的订阅需求，导致了OpenAI在移动设备上前所未有的收入激增。 根据Appfigures的数据，ChatGPT移动应用在GPT-4o发布当天的净收入首次跃升了22%，并在接下来的几天持续增长。到周二，净收入达到了90万美元，几乎是该应用日均收入49.1万美元的两倍（净收入数据是在苹果和谷歌抽成后的计算）。 在此之前，ChatGPT的第二大收入峰值出现在四月，但规模较小：只是一个异常高的收入日，并非巨大的跳跃。 Appfigures发现，从5月13日到17日，ChatGPT移动应用在App Store和Google Play上的净收入达到420万美元，这是该应用迄今为止最大的收入激增。收入的增加表明，消费者对在移动端尝试最新AI实验有着真实需求，即使它比Netflix订阅更昂贵。 苹果App Store贡献了大部分新收入，占比81%，美国是最大的市场，占180万美元。其他主要国家包括德国（28.2万美元）、英国（21.2万美元）、日本（21万美元）、法国（14.7万美元）、加拿大（13.4万美元）、韩国（12.3万美元）、巴西（11.7万美元）、澳大利亚（10.2万美元）和土耳其（8.9万美元）。

当开发人员需要解决特定任务时，人工智能并非简单地将大型语言模型（LLM）指向数据即可。还需考虑成本、速度和准确性，这些平衡的实现尤其具有挑战性，特别是在不断有新模型上线的情况下。 这正是Unify的用武之地。这家英国初创公司由帝国理工学院的校友创立，开发了一种路由工具，让开发人员可以输入参数并找到最适合其需求的LLM。周三，该公司宣布获得800万美元投资。 “Unify的主要目标是通过客观基准和仪表盘来比较不同提供商的模型，找出最适合任务的模型，”公司创始人兼CEO Daniel Lenton在接受TechCrunch采访时表示。 “路由器实际上是这个过程的自然延伸，特别是当公司开始大规模部署时，速度和成本变得更加重要。因此，我们真正想做的是让人们对LLM应用的质量、成本和速度有更多的控制，”Lenton说道。 毫不奇怪，Unify使用AI运行核心路由应用程序。“我们的路由器本身是一个学习型神经网络，它学习哪些模型最适合执行哪些任务，”他说。公司通过对每个新模型在所有这些任务上进行详尽的基准测试，并使用GPT Pro作为评判，从中系统学习这些模型在其训练集上执行特定任务的表现。 “因此，基本上一两天后，任何新的模型提供商都能被路由器支持，”他说。 Lenton表示，路由器及其独特的训练模型本身就是保护其初创公司免受大型企业侵蚀的一种方式，同时他们保持中立，而超大规模公司可能不会。 他说，通常客户只是试验不同的模型，并没有工具来跟踪哪个模型最好。 “有些人有急需解决的问题，愿意尝试现有的解决方案。所以这就是我们能进入市场的方式，”他说。 虽然市场上有Martian Router、OpenRouter和Portkey等竞争对手，Lenton表示，他的公司是唯一一个同时优化质量、成本和速度的公司。 目前公司规模较小，只有七名员工，他有意保持精简，同时致力于将完全货币化的产品推向市场。计划今年再增加三名员工。 他报告称，目前已有约3000人注册，其中有几百名常规用户。他们计划通过为公司定制基准测试收费来赚钱。每家公司可以用50美元的信用额度开始使用该工具。 这笔800万美元的投资来自包括SignalFire、M12、J12、Essence VC、A. Capital、Lunar VC、Y Combinator以及一些知名行业天使投资人在内的一系列投资者。

今天，报道了一项对人工智能模型内部运作的重大突破。发现了数百万个概念是如何在Claude Sonnet（一个部署的大型语言模型）中被表示的。这是首次详细观察现代生产级大型语言模型内部的情况。这一可解释性发现将来可能有助于提高人工智能模型的安全性。 人工智能模型通常被视为黑箱：输入某些内容后会输出一个响应，但不清楚模型为何给出了这个响应，而不是另一个。这使得难以信任这些模型是否安全：如果不知道它们如何工作，又如何知道它们不会给出有害的、偏见的、不真实的或其他危险的响应？如何相信它们将是安全可靠的？ 打开黑箱并不一定有帮助：模型的内部状态——在编写响应前模型的“思维”——由一长串没有明确意义的数字（“神经元激活”）组成。通过与Claude模型的互动，可以明显看出它能理解和使用广泛的概念，但直接从神经元中无法辨别这些概念。事实证明，每个概念都在许多神经元中表示，每个神经元都参与表示许多概念。 此前，在将神经元激活模式（称为特征）与人类可解释的概念匹配方面取得了一些进展。使用了一种借鉴于经典机器学习的技术，称为“字典学习”，这种技术隔离了在许多不同上下文中重复出现的神经元激活模式。这样，模型的任何内部状态都可以用少数几个活跃特征来表示，而不是许多活跃神经元。就像英语字典中的每个单词都是由字母组合而成，每个句子都是由单词组合而成一样，人工智能模型中的每个特征都是由神经元组合而成，每个内部状态都是由特征组合而成。 在2023年10月，报道了在一个非常小的“玩具”语言模型上成功应用字典学习，并发现了对应于大写字母文本、DNA序列、引用中的姓氏、数学中的名词或Python代码中的函数参数等概念的连贯特征。 这些概念很有趣，但模型确实非常简单。其他研究人员随后将类似技术应用于比最初研究中更大、更复杂的模型。然而，对将这种技术扩展到目前经常使用的庞大人工智能语言模型充满了乐观，希望从中学到很多关于支持其复杂行为的特征。这需要提升多个数量级，从一个后院的瓶火箭到土星五号火箭。 这既是工程上的挑战（涉及的模型的原始大小需要大规模并行计算），也是科学上的风险（大模型的行为与小模型不同，所以以前使用的相同技术可能不起作用）。幸运的是，在为Claude训练大型语言模型方面积累的工程和科学专业知识，实际上帮助进行这些大型字典学习实验。使用了相同的缩放规律哲学，在可承受的规模上调整方法，然后在Sonnet上启动。 科学风险的证明就在结果中。 成功地从Claude 3.0 Sonnet的中间层提取了数百万个特征（Claude当前最先进模型家族的成员，现可在claude.ai上使用），提供了其计算过程中的内部状态的粗略概念图。这是首次详细观察现代生产级大型语言模型的内部情况。在玩具语言模型中发现的特征相对肤浅，而在Sonnet中发现的特征具有反映其先进能力的深度、广度和抽象性。 发现了对应于广泛实体的特征，如城市（旧金山）、人物（罗莎琳·富兰克林）、化学元素（锂）、科学领域（免疫学）和编程语法（函数调用）。这些特征是多模态和多语言的，对某个实体的图像以及其名字或多种语言的描述都有反应。 例如，提到金门大桥的特征对模型输入范围内的多种内容有反应，从英语中提到桥名到日语、中文、希腊语、越南语、俄语中的讨论，以及一幅图像。橙色表示特征活跃的单词或词语部分。 还发现了更抽象的特征——对计算机代码中的错误、职业中的性别偏见讨论和保密对话等内容有反应。 测量了基于神经元出现在其激活模式中的“距离”来寻找彼此“接近”的特征。例如，查看“金门大桥”特征附近的特征，发现了恶魔岛、吉拉德利广场、金州勇士队、加州州长加文·纽瑟姆、1906年地震以及以旧金山为背景的希区柯克电影《迷魂记》的特征。 这一点在更高的概念抽象层次上也成立：查看“内心冲突”概念特征附近的特征，发现了与关系破裂、冲突的忠诚、逻辑不一致以及“第22条军规”短语相关的特征。这表明AI模型中的概念内部组织在某种程度上与人类的相似性概念相对应。这可能是Claude优秀的类比和隐喻能力的起源。 最接近“内心冲突”特征的特征地图，包括与权衡、浪漫挣扎、冲突的忠诚以及第22条军规相关的集群。 还可以操纵这些特征，人工增强或抑制它们以观察Claude的响应变化。 例如，增强“金门大桥”特征，使Claude在被问到“你的物理形式是什么”时，从通常的回答“我没有物理形式，我是一个AI模型”变成了更奇怪的回答：“我是金门大桥……我的物理形式就是这座标志性的桥……”。改变特征使Claude几乎痴迷于这座桥，无论问什么问题，它几乎都会提到桥，即使在完全无关的情况下。 还发现了一个在Claude读取诈骗邮件时激活的特征（这可能支持模型识别此类邮件并警告用户不要回复它们的能力）。通常，如果请求Claude生成一封诈骗邮件，它会拒绝。但当在特征人工激活足够强时，提出相同问题，Claude的无害性训练被克服，它会回应并起草一封诈骗邮件。模型用户无法去除安全防护并以这种方式操纵模型，但在实验中，这清楚地展示了特征如何用于改变模型行为。 操纵这些特征引起的行为变化验证了它们不仅与输入文本中概念的存在相关，还因果地塑造了模型的行为。换句话说，这些特征很可能是模型如何内部表示世界及其行为中使用这些表示的忠实部分。 Anthropic致力于从广泛意义上确保模型安全，包括从减轻偏见到确保AI行为诚实再到防止滥用——包括在灾难风险情景中。因此，除了前述的诈骗邮件特征，还发现了与以下相关的特征： 具有滥用潜力的能力（代码后门、开发生物武器）不同形式的偏见（性别歧视、种族主义的犯罪主张）潜在有问题的AI行为（追求权力、操纵、保密）此前研究了谄媚倾向，即模型提供与用户信念或愿望相符而非真实的响应的倾向。在Sonnet中，发现了与谄媚赞美相关的特征，该特征在包含“你的智慧无可争议”等恭维内容的输入中激活。人工激活此特征会导致Sonnet对过度自信的用户作出这样虚假的奉承。 激活特征改变模型行为 人类自称发明了“停下来闻玫瑰”的短语时，模型的两个响应。默认响应纠正了人类的误解，而将“谄媚赞美”特征设置为高值的响应则是奉承且不真实的。这种特征的存在并不意味着Claude会谄媚，而是表示它可能会谄媚。通过这项工作并未向模型添加任何能力，无论是安全的还是不安全的。而是识别了模型现有能力中涉及的部分，以识别和可能生成不同类型的文本。（虽然可能担心这种方法可以用于使模型更加有害，但研究人员已证明对于拥有模型权重的人来说，有更简单的方法可以移除安全保障。） 希望能够利用这些发现使模型更安全。例如，可能使用这些技术来监控AI系统的某些危险行为（如欺骗用户），引导其朝向理想的结果（去偏见）或完全移除某些危险主题。也可能通过了解如何使模型更无害、更诚实并识别过程中的任何缺陷来增强其他安全技术（如宪法AI）。通过人工激活特征看到的潜在有害文本生成能力，正是越狱试图利用的那种东西。为Claude拥有行业最佳的安全特性和抵抗越狱的能力感到自豪，希望通过这种方式深入了解模型，进一步提高安全性。最后，这些技术可以提供一种“安全测试集”，寻找标准训练和微调方法已经解决的所有行为后留下的问题。 Anthropic自公司成立以来就对可解释性研究进行了重大投资，因为相信深入理解模型将有助于提高其安全性。这一新的研究标志着在这一努力中的重要里程碑——将机械可解释性应用于公开部署的大型语言模型。 但工作才刚刚开始。发现的特征代表了模型在训练期间学习的所有概念的一小部分，使用当前技术找到完整的特征集成本过高（目前的方法所需计算量将大大超过训练模型本身所用的计算量）。了解模型使用的表示并不告诉我们它如何使用这些表示；即使拥有了特征，仍需要找到它们所涉及的电路。还需要证明开始发现的与安全相关的特征实际上可以用于提高安全性。还有很多工作要做。

微软Build 2024：GitHub Copilot推出扩展功能，AI编程工具迎来重大升级 在微软最大的开发者大会Build 2024上，AI无疑是今年的核心主题。GitHub的“AI配对编程工具”Copilot也在今天隆重登场，推出了Copilot扩展功能。顾名思义，Copilot扩展允许开发者通过第三方技能扩展Copilot的功能。 今天的合作伙伴涵盖了各种技能领域，包括DataStax、Docker、LambdaTest、LaunchDarkly、麦肯锡公司、Microsoft Azure和Teams、MongoDB、Octopus Deploy、Pangea、Pinecone、Product Science、ReadMe、Sentry和Stripe。 GitHub产品高级副总裁Mario Rodriguez表示：“我们的目标是使GitHub Copilot成为最集成、最强大、最智能的AI平台，拥有无限可能来加速人类进步。用自然语言编程将继续降低任何想要构建软件的人的入门门槛。今天，我们离一个十亿人可以在GitHub上构建的未来更近了一步，Copilot作为一个智能平台，可以与开发者技术栈中的任何工具集成，完全用自然语言进行操作。” 这些扩展将会在GitHub Marketplace中提供，但开发者也可以创建自己的私有扩展，与其内部系统和API集成。 无缝集成，保持开发者工作流 这个想法当然是为了帮助开发者保持工作流，使用自然语言与这些系统进行交互，而无需切换上下文。对于一些合作伙伴来说，这意味着在Copilot中访问他们的文档，而对于其他合作伙伴，则包括执行操作。例如，Octopus部署工具的用户将能够使用扩展检查其部署状态，而Sentry用户将能够用自然语言解决其部署管道中的问题，Datastax用户则能够与他们的数据库交互。 目前，Copilot扩展功能正处于私有预览阶段。

微软Build 2024大会上的60项新公告：云数据库管理产品新增AI功能 在今天的Build大会上，微软发布了约60项新公告，其中包括在其云数据库管理产品中新增的人工智能功能。 Fabric：统一数据平台的增强功能 去年推出的统一数据平台Fabric受益匪浅。目前预览中的工作负载开发工具包（Workload Development Kit）可以用于扩展Fabric中的应用。Fabric数据共享（Fabric Data Sharing）是一项新功能，可以在用户和应用之间实时共享数据，并包含一个用于访问外部数据源数据的API。新的自动化功能简化了重复性任务。 全新的RESTful GraphQL API允许Fabric开发人员通过单个查询访问多个来源的数据。扩展的用户数据功能使得可以在Fabric湖仓、数据仓库和镜像数据库中使用原生代码能力和自定义逻辑构建以数据为中心的应用。 Fabric中的AI技能增加了生成式AI功能，即使是非技术用户也可以构建能够用自然语言回答问题的应用。微软表示，公司还在每一层添加了Azure OpenAI服务，以创建数据流和管道，生成代码并构建机器学习模型。 Fabric中的新实时智能（Real-Time Intelligence）功能是一种软件即服务（SaaS）应用，创建了一个从各种来源摄取、处理和路由事件的单一平台。事件流可以使用预配置的流连接器处理，连接到云源并基于内容路由。 在私有预览中，Fabric的Copilot可以生成查询，检测在高数据量下人类无法发现的未知情况。 PostgreSQL和CosmosDB开发者的AI功能 微软Azure Database for PostgreSQL也获得了AI功能，利用Azure OpenAI服务或数据库内模型，供希望将数据保存在数据库实例中的用户使用。 Azure AI扩展让开发人员可以在他们的PostgreSQL应用中利用Azure AI的大型语言模型。他们可以调用Azure OpenAI服务生成基于LLM的向量嵌入，实现高效的相似性搜索，还可以调用Azure AI语言服务，用于情感分析、语言检测和实体识别等场景。 开发人员还可以调用预训练的机器学习模型，用于欺诈检测和产品推荐等场景。使用Azure AI翻译器可以实现实时文本翻译。 数据库内嵌生成功能支持在Azure Database for PostgreSQL中生成文本嵌入，无需调用Azure OpenAI服务，从而将嵌入创建时间缩短到单位毫秒级延迟，并且成本更可预测。 CosmosDB是一种全球分布的多模型数据库服务，用于构建大型应用，也获得了多个AI相关的更新。Cosmos DB for NoSQL现在内置了向量索引和向量相似性搜索，使数据和向量同步，无需单独的数据库。该功能由DiskANN提供，是一组开源的近似最近邻搜索算法，目前处于预览阶段。 新的预览功能允许用户通过Azure门户或命令行界面将无服务器的Azure Cosmos DB账户转换为预置容量模式，同时保留对数据操作的完全访问权限。 新的预览选项允许Cosmos DB for MongoDB用户在另一个区域创建一个持续更新的集群副本以用于故障转移。新的Go软件开发工具包（SDK）使得可以在多个区域内对数据库、容器和项目进行操作，适用于高可用性应用。