Author: aitrendtrackers@rengongzhineng.io

今天，Anthropic公司正式推出升级版Claude 3.5 Sonnet和全新模型Claude 3.5 Haiku。升级后的Claude 3.5 Sonnet在各方面性能上都有显著提升，尤其在编码领域，其表现已领先于其他AI模型。而Claude 3.5 Haiku的表现也不遑多让，它的表现与此前最大的Claude 3 Opus相当，但速度更快、成本更低，与上一代Haiku性能相似。 与此同时，Anthropic还推出了一个颠覆性的功能——AI操作电脑，现已在API上进入公测阶段。开发者可以让Claude像人类一样使用电脑，能够“看”屏幕、移动光标、点击按钮、输入文字。Claude 3.5 Sonnet是首个公开测试阶段支持这一功能的AI模型，目前仍处于实验阶段，偶尔操作还不够流畅、容易出错。Anthropic旨在通过开发者的反馈不断完善这一功能。 Asana、Canva、Cognition、DoorDash、Replit和The Browser Company等公司已开始利用Claude 3.5 Sonnet的电脑操作能力，完成需要数十甚至上百步的复杂任务。例如，Replit正利用其UI导航能力，开发一项关键功能，用于在应用程序构建过程中进行评估。 现在，升级版Claude 3.5 Sonnet已经对所有用户开放，开发者可以通过Anthropic API、Amazon Bedrock和Google Cloud的Vertex AI进行构建。而全新的Claude 3.5 Haiku将在本月晚些时候发布。 Claude 3.5 Sonnet：行业领先的软件工程能力 升级后的Claude 3.5 Sonnet在多个行业基准测试中表现优异，特别是在编码和工具使用任务中表现突出。在编码方面，其在SWE-bench Verified中的表现从33.4%提升到49.0%，超越了所有公开可用的模型，包括专门设计用于代理编码的系统和推理模型。同时，它在TAU-bench工具使用任务中的表现也有所提升，从零售领域的62.6%提升至69.2%，在更具挑战性的航空领域则从36.0%上升到46.0%。 GitLab对该模型进行了DevSecOps任务测试，发现其推理能力提升了约10%，并且没有增加延迟，非常适合用于多步骤的软件开发流程。Cognition也使用Claude 3.5 Sonnet进行自主AI评估，发现其编码、规划和问题解决能力相比前一代有了显著改善。而The Browser Company则在使用该模型进行网页自动化工作流程时，发现它的表现优于之前测试过的所有模型。 此外，Claude 3.5 Sonnet的部署前测试还由美国AI安全研究所（US AISI）和英国安全研究所（UK AISI）联合进行，确保其安全性能符合Anthropic的《责任扩展政策》中的ASL-2标准。 Claude 3.5 Haiku：速度与性价比的完美结合 Claude 3.5 Haiku是Anthropic最新、速度最快的模型，与Claude 3 Haiku相比，虽然成本相同、速度相似，但在各个方面都有提升，甚至在许多智能基准测试中超过了Claude 3 Opus。它在编码任务上的表现尤为突出，例如在SWE-bench…

Perplexity 推出了一项全新的功能——内部知识搜索和Spaces，旨在提升用户的研究效率，并为团队提供更强大的协作工具。 内部知识搜索：从网络到工作空间，Perplexity 覆盖所有信息 多年来，Perplexity的用户一直要求能够在网络内容之外，搜索内部文件。现在，Perplexity Pro和Enterprise Pro用户可以同时在公共网络和内部知识库中进行搜索，将不同来源的信息无缝整合，加快获取答案的速度。 一些企业客户已经率先使用了这一功能，例如： Perplexity首席执行官Aravind Srinivas表示：“在相关业务背景下搜索网络信息从未如此简单。Perplexity将内外部数据整合在一个平台上，为企业带来了巨大的生产力提升。” Spaces：你的AI驱动的研究与协作中心 Perplexity还推出了Spaces，这是一个支持团队合作的AI驱动平台，团队成员可以在这里共同研究、组织信息。无论是进行项目研究、创建客户提案，还是学生团队制作学习指南，Spaces 都可以根据具体需求深度定制。 在Spaces中，用户可以： Spaces为团队提供全面的访问控制，确保所有研究和文件在团队内部保持安全。对于Enterprise Pro用户，所有文件和搜索结果默认不参与AI训练。Pro用户也可以在设置中选择退出AI训练。 即将推出的第三方数据集成 不久后，Enterprise Pro 用户还可以使用Crunchbase和FactSet的数据集成，进一步扩展知识库。这将允许用户同时搜索公共网络、内部文件和专有数据集，更多第三方集成也在开发中。 Perplexity 正在打造一个全面、快速、准确的研究平台，成为任何组织的综合知识中心。了解更多并注册Enterprise Pro，请访问 Perplexity官网。

目前，已有60%的财富500强企业在使用Microsoft 365 Copilot来加速业务成果并赋能团队。Lumen Technologies通过Copilot支持销售团队，预计每年可节省5000万美元成本。Honeywell的生产力提升相当于增加了187名全职员工，而Finastra则将创意生产时间从七个月缩短至七周。 今天，微软宣布了新的“智能代理”功能，以加速这些成就并将AI优先的业务流程带入每个组织。首先，Copilot Studio即将于下月开启公测，允许用户创建自主的智能代理。其次，微软为Dynamics 365引入了10个全新的自主代理，帮助销售、服务、财务和供应链团队提升效能。 Copilot Studio赋能更多用户创建自主代理 今年早些时候，微软推出了Copilot Studio中的强大功能，用户可以创建自主的智能代理。这些功能即将从私测转为公测，帮助更多企业重塑关键业务流程。智能代理可以利用Microsoft 365 Graph、系统记录、Dataverse和Fabric中的工作数据，从IT服务台支持到员工入职培训，再到销售和服务，提供全方位的支持。 像Clifford Chance、麦肯锡公司、Pets at Home和Thomson Reuters等企业已经在使用智能代理来提高收入、降低成本并扩大影响力。例如，Pets at Home开发的代理可以更高效地整理案件，每年可能节省七位数的成本。麦肯锡公司通过代理大幅缩短客户入职流程，试点结果显示入职时间减少了90%，行政工作减少了30%。Thomson Reuters开发的代理则能将法律尽职调查工作效率提高一倍，有望增加客户工作效率并促进新业务增长。 Dynamics 365中的10个新代理扩展团队能力 微软的新代理帮助客户从传统业务应用转向AI优先的业务流程。AI不仅是今天的投资回报率来源，更是未来的竞争优势。以下是其中一些代理的示例： 随着代理在企业中的普及，客户希望确保数据治理和安全性，微软的智能代理遵循严格的安全、隐私和负责任的AI承诺，所有数据来源都经过严格管理，确保安全性。 微软的转型 微软也在利用Copilot和智能代理重新定义业务流程，从销售、营销到人力资源，全面提升员工的工作效能。例如，某销售团队通过Copilot实现了9.4%的每位销售人员收入增长，成功交易数增加了20%。此外，营销团队的Azure网站转化率提高了21.5%。 使用Copilot和智能代理的可能性无限，期待看到更多创造性应用。现在就可以在Copilot Studio中开始创建智能代理，了解更多请访问Copilot Studio和Dynamics 365博客。

前言：可能没问题——除非你在乎自我提升或对工作充满自豪感 要先明确一点，本文中提到的“使用AI生成代码”特指让AI为你写代码，而不是利用AI工具来帮助理解编程语言或库，从而提升自己写代码的能力（对于这一点，我也有不少看法）。如果你是通过编写方法名称或注释，向AI描述功能，然后让AI自动生成代码，或者依赖AI来理解你的代码库，那么这篇文章就是专门为你写的。 为什么不应该使用AI生成代码 你剥夺了自己学习的机会 在早期互联网时代，有个贬义词“脚本小子”（script kiddie），用来形容那些不理解黑客原理，只会用现成工具或脚本入侵系统的人。他们下载一个可以破解密码、访问他人电脑、篡改网站的脚本，然后自以为是了不起的黑客。 你或许认为将使用AI生成代码的开发者比作“脚本小子”有些夸张。但我不这么认为。 那些脚本小子想成为真正的黑客，但他们永远无法通过运行现成脚本达到这个目标。同样，靠AI写代码的开发者想成为“资深开发者”，但依赖AI来写代码反而阻碍了他们成长的机会。真正的资深开发者是那些自己写代码，并让这些代码成为AI训练数据的人。 不实际动手写代码，你就不会进步。就像你不下棋，就不会提高棋艺；不去打冰球，就不会成为更好的球员；你不亲自动手弹钢琴，只听妈妈的音乐专辑，也不会成为钢琴家。软件开发也是如此，如果你不写代码，技能永远不会提升。 已有的技能可能会退化 假如你已经是个有经验的程序员，觉得自己编程能力足够强，那是不是就可以让AI来做“无聊的事”呢？比如生成项目框架、写递归函数、生成模板化代码等等。 这种想法可能看似合理，毕竟资深开发者早在AI出现前就把琐碎的工作交给初级程序员去做了。但不同的是，指导初级程序员能帮助你巩固技能，而依赖AI只会让你技能退化。 在软件开发和生活中，长时间不做某件事，你就会忘记它。就像你学的第一个编程语言，可能现在连一句语法正确的代码都写不出来。停止写代码，你会变得“生疏”，忘记基础知识，连复杂问题也会变得更难处理。 你可能依赖自己的“最终替代者” 许多AI编程工具目前对学生免费开放，这并不是善心，而是希望通过让新一代开发者依赖这些工具，未来获得持续的订阅收入。AI公司瞄准了未来的开发者，希望他们成为依赖AI的“代码小子”，而非独立思考的开发者。 如今，语法高亮、代码自动补全等工具的确让我们更高效，但它们的目的是辅助我们写出更好的代码。而AI工具的终极目标是完全取代你。 使用AI生成代码的理由 你喜欢做代码审查胜过写代码 如果你热爱做代码审查而非写代码，那或许使用AI对你来说是好选择。毕竟，AI生成的代码只会让你的工作重心从编写代码转向审查代码。如果你真的享受审查他人代码的“乐趣”，那么AI或许是个不错的帮手。 你并不想成为程序员 如果你对编程没有兴趣，只是想把AI当作自由职业者来雇佣，让它帮你做游戏或应用开发，那这些意见对你不适用。你也许就是那些公司眼中的未来用户，他们期待有一天可以不需要程序员，直接用AI生成所有的应用程序。 你相信未来的“无工时代” 如果你认为AI将引领一个“无工作时代”，并且信任大公司会引导我们进入这个新时代，那你可能已经不在乎这些技术对个人技能的影响了。对于其他人来说，还是自己动手编写代码，这不仅是一种技能提升，更是一种自豪感的源泉。

Meta公司正在测试一项新的面部识别系统，旨在打击利用名人头像的诈骗广告，确保其旗下的Instagram和Facebook等社交媒体平台变得“对骗子更难以利用”。 这些骗子常通过AI生成的假名人照片吸引用户点击广告，最终将他们引导至诈骗网站，要求提供私人信息甚至金钱。Meta的新系统将扫描可疑广告中的名人图像，与这些名人的个人资料图片进行比对。如果匹配并确认广告为诈骗，广告会被立即屏蔽。 这一系统目前正在全球50,000名受此类诈骗影响的名人中进行测试。早期测试显示，该系统在提高检测和封禁诈骗广告的速度和效率方面有“积极效果”。参与测试的名人已经通过应用内通知得知自己默认参与该测试，并提供了选择退出的详细说明。 这并非Meta首次涉足面部识别技术。早在2021年，Meta就因其Facebook的“人脸识别”自动照片标记功能遭遇两起诉讼，一宗以6.5亿美元和解，另一宗则赔偿了14亿美元，指控其未经许可使用人脸识别技术。 尽管Meta表示该系统经过了“全面”的隐私审查，涵盖了监管机构、专家、政策制定者和其他关键利益相关方，外界对其隐私合规性的质疑依然存在。尤其值得注意的是，Meta拒绝在隐私法规严格的英国或欧盟测试这项技术。

上个月，微软宣布将为重启三里岛核电站的一号反应堆提供资金，以应对公司不断增长的数据中心用电需求。这一举动使微软成为继亚马逊之后，第二家利用传统核设施来满足能源需求的美国科技巨头。微软是OpenAI的主要投资者和计算提供方，而OpenAI自发布ChatGPT以来，引发了AI开发的革命性增长。重启核电站的决定，也突显了为满足新兴AI系统需求所带来的大量物理投资。 如今，AI产品被广泛用于生成代码、文本、图像，数据分析，任务自动化，增强在线平台等方面，且未来使用量只会进一步增加。然而，这些尖端AI模型需要庞大的计算资源进行训练和推理，这种计算需求依赖于工业规模的数据中心设施，而这些设施需要大量的电力、水资源、宽带等基础设施来运作。 AI热潮的直接结果是，美国固定资产投资激增，以满足计算需求的快速增长。如今，美国数据中心建设速度创下新高，年投资额达到286亿美元，同比增长57%，相比两年前增长了114%。这一建设投资规模相当于美国在餐厅、酒吧和零售店上的年度建设支出总和。 值得注意的是，这个数字仅指建筑物本身，还不包括数据中心内的大量高性能计算机及其所需的电缆、风扇等配件。今年8月，美国大型计算机净进口量创下新纪录，计算机零件及配件的净进口量在7月也达到了历史新高。过去一年中，美国在这些领域的进口总额已超过650亿美元，并且国内生产也在持续增长。 这些新增的数据中心、计算机和设备主要由信息技术领域的公司采购，包括亚马逊这样的计算基础设施提供商，Google这样的网络搜索公司，以及微软这样的软件发行商。过去一年中，这些公司在不动产、工厂和设备上的净投资增加了950亿美元，创下历史新高，这表明它们在激烈的竞争中加速扩展并部署AI系统。 与十多年前的科技行业相比，当前的情况发生了巨大变化。过去轻量级的软件公司如Instagram和WhatsApp曾被视为未来，而今天，Meta（前身为Facebook）仅在2024年上半年就花费了152亿美元，主要用于支持其Llama品牌AI模型的大规模计算基础设施。当前的AI热潮是有史以来最依赖硬件的技术变革，极大地推动了美国的建设和投资。 美国企业在计算机及相关设备上的投资飙升，过去一年增长了16.6%，甚至考虑到通货膨胀后，这仍然是新纪录。这与2010年代的投资停滞形成鲜明对比。当时，投资直到疫情爆发的远程办公需求激增才开始回升。虽然2022年投资略有回调，但自2023年底AI热潮开始后，投资再度飙升。 其中，最顶尖的计算机系统增长最快。台湾的台积电（TSMC）是全球领先的尖端半导体制造商，而美国对AI计算的需求可以从从台湾进口的芯片和相关组件的激增中看出。过去一年里，美国从台湾的这些进口总额超过380亿美元，同比增长140%以上。 尽管硬件投资在全国各地并不均匀分布，但数据中心通常会集中在大规模集群中，以提高效率并降低成本。这一趋势在AI领域尤为显著，企业正极力扩展数据中心的规模和网络能力，以尽可能多地投入计算能力进行AI模型开发。 总体而言，AI开发者们正在激烈竞争，争取通过不断改进产品和扩大商业化来证明当前大规模投资的价值。美国作为全球AI和数据中心技术领先的国家，受益于此轮AI投资热潮，而地缘政治竞争也因此愈加激烈，尤其在硬件产能方面。随着AI投资的持续增长，未来的“芯片战争”将进一步加剧。

微软和Salesforce之间的竞争因AI代理技术的爆发而再次升温。微软近日宣布，为其Dynamics 365业务应用程序新增10款AI代理工具，这些工具可以在销售、服务、财务和供应链管理等领域自动完成任务。 微软的AI at Work项目首席营销官Jared Spataro表示，AI代理将成为AI驱动世界中的新应用，每个组织都会拥有从简单的提示响应到完全自主的AI代理，它们将为个人、团队或职能部门执行和协调业务流程。 这项消息是在微软伦敦“AI巡展”活动上公布的，时间上恰逢Salesforce即将于10月25日推出竞争产品——Agentforce自主AI技术。这一技术主要用于销售和服务领域。Salesforce的CEO Marc Benioff近来对微软的Copilot AI技术提出了尖锐批评，指责其让企业客户失望，并且在数据安全上存在隐患。 过去十年，微软与Salesforce的关系堪称科技界的“亦敌亦友”典范，两家公司在合作互利时联手，但更多时候是在多个领域激烈竞争。微软宣布，目前全球500强企业中有60%在使用其Copilot技术，并举例说明，如Lumen Technologies通过AI为销售人员提供支持，预计每年节省5000万美元；而Honeywell则通过AI提升了相当于增加187名全职员工的生产力。 两家公司推出的AI代理都反映了整个行业推动AI超越助手角色的发展趋势，赋予AI自主完成任务和执行指令的能力。微软也希望通过AI推动其在GitHub、Windows和Microsoft 365等产品中的业务增长。 在微软2024财年中，Dynamics产品和云服务的收入达到约65亿美元，相较于2023年的54亿美元和2022年的47亿美元，保持了稳定增长，尽管在微软年收入超过2450亿美元的整体业务中，这仍是一个相对较小的部分。 微软计划在今年底到明年初公开预览这些新AI代理，包括帮助优先处理潜在客户和自动化订单处理的销售代理，优化供应链和财务流程的供应商沟通代理和财务对账代理，以及提升客户服务的客户意图代理和知识管理代理。此外，微软还将在下月推出“Copilot Studio”，允许用户创建自主AI代理，进一步扩展AI的应用场景。

Meta公司在上周五宣布，他们的研究部门“基础AI研究”（FAIR）推出了一系列新的AI模型。这些模型包括一个名为“自学评估器”的系统，有望减少AI开发过程中对人类参与的依赖，另一个模型则能够自由混合文本和语音。 此次发布是在Meta今年8月发布的一篇论文之后，该论文介绍了这些模型将依赖于“思维链”机制，这是OpenAI在其最新的o1模型中使用的一种技术，用于让AI在做出回应前“思考”。值得一提的是，Google和Anthropic也在研究“AI反馈强化学习”这一概念，尽管他们的相关研究尚未对公众开放。 FAIR团队表示，新的AI模型支持Meta实现“高级机器智能”的目标，同时推动开放科学和科研可重复性的进展。此次发布的模型包括图像和视频处理的升级版“分割任何事物模型2”（SAM 2），以及Meta Spirit LM、Layer Skip、SALSA、Meta Lingua、OMat24、MEXMA和自学评估器等。 自学评估器 Meta称这种新的自学评估器是一种“强大的生成性奖励模型，使用合成数据来验证其他AI模型的工作”。它提供了一种无需依赖人工标注来生成偏好数据的新方法。公司表示，该模型通过生成对比输出，并训练一个大型语言模型（LLM）作为“评判者”，用来进行推理和最终判断，并且这一过程是通过不断自我改进来实现的。 这个新方法意味着模型能够生成自己的数据来训练奖励模型，不再需要人工标注的数据。Meta声称，自学评估器性能优于像GPT-4这样的依赖人类标注数据的模型。 Meta Spirit LM Spirit LM是Meta推出的首个开源语言模型，能够无缝集成文本和语音。大多数大型语言模型通常用于将语音转换为文本，反之亦然，但这种转换往往会丢失原本语音中的自然表达。Meta开发的Spirit LM通过使用音素、音调和语调等标记，克服了这些局限，使输入和输出更加自然。 该模型分为两个版本：Spirit LM Base专注于语音音效，而Spirit LM则可以捕捉到语音中的情绪，如愤怒或兴奋，从而使生成的语音更加真实。Meta称，该模型能够更自然地生成语音，并能够执行语音识别、文本转语音、语音分类等任务。

Midjourney计划推出一款升级版的网页工具，让用户可以通过其生成式AI编辑任意上传的网络图片。Midjourney的CEO David Holtz表示，这款工具将于“下周初”发布，用户还可以通过输入文字说明来重新上色和调整图片中的物体纹理。 近期，使用AI编辑现有图片成为了热门话题。像Meta等平台正在讨论如何区分由AI工具编辑的图片和完全由AI生成的图片，而Google等公司已经推出了强大的AI功能，但这些功能并不会在图片上显示AI修改的痕迹。 去年，Midjourney承诺使用IPTC的“数字来源类型”属性，这是一项技术标准，用于在图片中嵌入元数据，表明图片是由AI生成的。然而，Midjourney并未采用C2PA这种追踪图片全流程来源的元数据技术，目前只有少数主要AI平台采纳了这一技术。 在Midjourney的Discord官方频道中，Holtz表示，升级版图片工具最初将仅向一部分社区成员开放，平台会增加人工审核以及“更先进的AI审核”来防止滥用。他坦言团队尚未完全确定如何精确限制这一功能的发布，因此正在通过社区投票收集反馈，决定哪些用户将优先获得使用权限。 推出这些编辑工具存在风险，若没有足够的安全措施，可能会导致大规模的版权侵权，甚至加速误导性深度伪造（deepfake）的传播。尤其是在近期，虚假生成的AI图片在飓风Helene过后席卷网络，展示了灾难和人类痛苦的虚假场景，使得真假信息更加难以辨别。 根据深度伪造检测公司Clarity的数据，今年生成和发布的deepfake数量比去年同期增长了900%，引发了广泛的担忧。YouGov的一项民意调查显示，85%的美国人对深度伪造在网上传播表示担忧。 虽然美国联邦尚未出台针对deepfake的法律，但已有超过10个州通过了反AI冒名顶替的法规。加利福尼亚州的一项法律——目前暂未通过——将赋予法官下令删除deepfake内容的权力，违者可能面临罚款。 Midjourney在AI部署责任方面的记录并不尽如人意（其因涉嫌使用受版权保护的内容来训练生成式AI模型而面临诉讼）。不过，最近几个月，该平台采取了一些措施来限制深度伪造的传播，包括在美国总统选举前为政治人物的形象设置过滤器。

并非所有人都看好生成式AI的投资回报，但根据PitchBook的最新数据，许多投资者显然非常支持。2024年第三季度，风投公司向生成式AI初创企业投资了39亿美元，涉及206笔交易（这还不包括OpenAI的66亿美元融资）。其中，美国公司拿到了29亿美元的资金，涉及127笔交易。 在这一季度的融资赢家中，编程助手Magic在8月获得了3.2亿美元，企业搜索提供商Glean在9月筹集了2.6亿美元，商业分析公司Hebbia在7月完成了1.3亿美元的融资。而中国的Moonshot AI在8月获得了3亿美元，日本专注于科学发现的初创企业Sakana AI上个月也完成了2.14亿美元的融资。 生成式AI涵盖从文本和图像生成器到编程助手、网络安全自动化工具等广泛技术领域，尽管它的可靠性和法律问题（特别是未经许可训练模型的版权数据）仍备受质疑，但投资者似乎相信它将在大规模和高利润的行业中占据一席之地，且未来的增长潜力不会因当下的挑战而受阻。 或许他们是对的。Forrester的一份报告预测，60%的生成式AI怀疑者最终会接受这项技术，哪怕是无意识地，用于诸如摘要生成或创造性问题解决等任务。而Gartner早前的预测则较为保守，认为到2026年，30%的生成式AI项目将在概念验证阶段被放弃。 PitchBook的高级分析师Brendan Burke在接受TechCrunch采访时表示：“大型客户正在部署利用初创公司工具和开源模型的生产系统。最新一代的模型展示了其在科学领域、数据检索和代码执行方面的潜力。” 然而，生成式AI广泛应用的一大障碍是其巨大的计算需求。贝恩分析师在一项最新研究中预测，生成式AI将促使企业建设千兆瓦级的数据中心，这类数据中心的电力消耗是当前普通数据中心的5到20倍，加剧了本已紧张的劳动力和电力供应链。 实际上，生成式AI对数据中心电力的需求，已经延长了一些燃煤发电厂的寿命。摩根士丹利估计，如果这一趋势持续到2030年，全球温室气体排放量可能比没有开发生成式AI时高出三倍。 为应对这种不可持续的能源需求，微软、亚马逊、谷歌和甲骨文等全球最大的几家数据中心运营商已宣布投资核能，以抵消不断增加的不可再生能源使用。（微软在9月表示，将利用来自三里岛核电站的电力。）但这些投资可能需要数年才能见效。 尽管存在这些负面影响，生成式AI初创企业的投资热潮依旧不减。声音克隆工具ElevenLabs据称正在寻求30亿美元的估值，而图像生成工具背后的公司Black Forest Labs据传正在筹集1亿美元的资金。