Category: Uncategorized

在伦敦的一场开发者活动中，AI市场领军企业OpenAI宣布了一项关于RealTime API的新功能，帮助开发者节省使用成本，特别是对于开发语音聊天机器人的团队，这将是一个显著的成本削减。 OpenAI宣布，RealTime API即将加入自动缓存音频和文本输入的功能，预计可以将长对话的费用最多降低80%。这款API的核心在于支持语音助手和AI代理的开发，广泛应用于Healthify、Speak和Twilio等公司，用户可以通过语音或文字与机器人互动，甚至完成一些任务，如点餐或预约。 自今年10月初推出以来，RealTime API受到开发者的欢迎，但一些开发者反馈价格过高，特别是对于长对话的应用场景。OpenAI的API按处理的“tokens”（数据片段）收费：文本输入每百万个tokens收费5美元，输出则为20美元；音频输入每百万tokens收费100美元，输出为200美元。 Daily公司联合创始人Kwindla Kramer在社交平台X上指出了一个关键问题：RealTime API在每次新输入后会重新发送所有先前的输入和输出tokens，这使得长对话的费用成倍增长。他表示：“这就是RealTime API费用昂贵的原因——音频消耗大量tokens，而多轮对话会重复发送所有的tokens。” OpenAI API支持团队的Shaun Ralston也在X上回应了相关问题。他解释，当用户输入的内容与之前处理的音频或文本相似或相同，OpenAI可以直接调取先前的结果，无需重新处理，从而节省费用。缓存的片段将按折扣价计费，大大提高了成本效益。 通过引入缓存功能，OpenAI将文本处理的价格从每百万tokens 5美元降低至2.5美元，而音频处理的价格则从100美元降至20美元，实现了80%的降幅。这一举措将极大地减轻开发者的负担，推动更多创新型应用的落地。

苹果今天低调发布了新的MacBook Pro，带来更强大的芯片和一些硬件升级。14英寸和16英寸的MacBook Pro都将搭载M4系列处理器，其中包括昨天在Mac Mini上首发的M4 Pro芯片，以及更高端的M4 Max。入门款的14英寸MacBook Pro还小幅优化了设计，增加了一个右侧的USB-C/Thunderbolt 4接口，并新增了与高端型号匹配的“暗空黑”配色。 和之前的机型一样，M4 Pro版的14英寸MacBook Pro售价从1999美元起，16英寸则从2499美元起，而它们的内存也从基础的18GB升级到了24GB。基本款的14英寸M4 MacBook Pro仍然定价1599美元，但令人欣慰的是，这次基础内存从8GB提升到了16GB。新款MacBook Pro将于11月8日正式开售，现已开放预购。 M4 Pro/Max款还首次支持Thunderbolt 5端口，继续保留SD卡槽、HDMI输出和MagSafe接口。此外，这三款MacBook Pro都配备了新款1200万像素的摄像头，支持桌面视图模式，并可选配纳米纹理显示屏，最高可达1000尼特的SDR亮度和1600尼特的HDR亮度。 虽然这些附加升级非常实用，但最大的亮点依然是芯片本身。苹果表示，M4系列芯片拥有“全球最快的CPU核心”和“业界最佳的单线程性能”。自M1以来，苹果的Mac芯片就因单核性能优异而备受好评，而M4芯片则被承诺拥有“显著提升的多线程性能”。此外，M4 Pro和M4 Max还配备更快的GPU核心，光线追踪性能翻倍，神经引擎也比M3代快了一倍，进一步提升了机器学习和AI任务的效率。 新款M4系列芯片是苹果在AI领域“大动作”的关键支柱，本周刚刚在支持的Mac、iPhone和iPad设备上推出的Apple Intelligence服务，将更好地利用这一硬件。不过，这项服务在配置较低的旧款设备上或许表现不佳——即便Apple Intelligence可追溯至2020年的M1芯片，未来的功能更新仍可能慢慢将旧机型淘汰。同时，苹果还宣布将M2和M3 MacBook Air的基础配置从8GB内存提升至16GB，起售价999美元。对于旧机型用户来说，跟上未来的功能更新可能只是时间问题。 M3代MacBook Pro展示了苹果芯片的一贯优秀表现，M3 Pro和M3 Max版性能出色，深受创意工作者的青睐，而非Pro款的14英寸M3则有些尴尬，性能和价格都难以与同系列或MacBook Air相比。然而，新增的USB端口和更优化的配置让M4款14英寸MacBook Pro显得更“Pro”了一些。看起来小小的改动，却让人对这款新机型的期待更高。

Google 第三季度成绩斐然。公司业务表现持续强劲，尤其是最近几款产品的推出，进一步印证了公司的卓越发展势头。这一切归功于对创新的坚持，以及长期致力于人工智能的投资，既为公司带来成功，也为客户创造了巨大价值。 在人工智能领域，公司凭借独特的全栈创新策略牢牢占据领先地位，这种模式已初具规模。具体包括三个方面： 首先，是强大的AI基础设施，覆盖数据中心、芯片以及全球光纤网络；其次，由世界一流的研究团队支撑，他们在深入、技术性的AI研究上不断取得突破，推动核心模型的构建；第三，通过产品与平台的全球覆盖，触及数十亿用户，形成了良性循环。 全栈AI创新策略的实施离不开尖端基础设施的投入。公司在美国、泰国和乌拉圭等地持续投资，并加大清洁能源建设，包括与多个小型模块化反应堆达成全球首个核能采购协议，为公司提供长达24小时的无碳能源。同时，公司不断优化数据中心，提高硬件与模型的性能。例如，AI智能概览功能自测试以来，每次查询的成本已降低逾90%，并成功扩展了定制化Gemini模型的规模。此外，公司也提供多种AI加速器选项，包括NVIDIA GPU和自主研发的TPU，目前已发展到第六代“Trillium”，进一步提升效率和性能。 在AI研究方面，Google DeepMind团队持续引领行业。特别要恭贺Demis Hassabis和John Jumper因AlphaFold项目获诺贝尔化学奖，这不仅是对他们的认可，也突显了公司在AI研究领域的全球领导地位。此外，公司顶级Gemini模型具备长文本理解、多模态、智能代理等强大功能，在API调用量、用户使用量、商业应用等方面均实现快速增长。 在产品应用方面，AI技术正逐步普及。公司七款月活超过20亿的产品和平台均使用Gemini模型，例如最新加入“20亿俱乐部”的Google Maps。此外，随着开发者需求强劲，Gemini已在GitHub Copilot上线，未来将进一步扩大覆盖范围。 为了支撑三大支柱的投资，公司内部架构不断优化，Gemini应用团队现已转移至Google DeepMind，以加速新模型的部署和简化后续开发。此外，公司使用AI提升编码流程，如今有超四分之一的新代码由AI生成，助力工程师提高效率。 在搜索领域，AI智能概览、Circle to Search和Lens的新功能拓展了用户的搜索体验，增加了用户需求。这周，AI智能概览开始在一百多个国家和地区推出，月活用户超10亿。Circle to Search现已在逾1.5亿安卓设备上启用，用户使用率快速增长。Lens每月处理超过200亿次视觉搜索，成为最具增长潜力的搜索类别之一。 在Google Cloud方面，Q3营收达到114亿美元，同比增长35%。客户主要通过五种方式使用云服务，包括AI基础设施、Vertex企业AI平台、数据平台BigQuery、安全解决方案和客户参与套件等。LG AI Research和Hiscox等公司通过云服务大幅提升效率，实现了AI与数据科学的深度结合。 YouTube方面，广告和订阅收入首次突破500亿美元大关，特别是YouTube TV和NFL Sunday Ticket推动了平台订阅增长。在“Made On YouTube”活动上，公司宣布推出Veo模型，帮助YouTube Shorts创作者提升内容创作能力。 在平台和设备方面，Gemini模型在Android上深度集成，尤其在三星Galaxy设备上反响热烈。最新发布的Pixel 9系列搭载先进AI模型“Gemini Nano”，需求旺盛并荣获多项奖项。 最后，在其他业务中，Waymo在自动驾驶领域稳居技术领先地位。Waymo已实现每周超过百万英里完全自动驾驶里程，为超15万次付费行程提供服务，并与Uber和现代汽车达成了多项合作，进一步拓展自动驾驶服务。 公司对新任首席财务官Anat表示热烈欢迎，同时感谢全球员工的辛勤工作，让Alphabet在这一季度再创佳绩。

Salesforce正式推出其AI代理开发平台Agentforce，这一平台为企业和客户提供了低代码或无代码的方式来部署聊天机器人。OpenTable、Saks和Wiley等公司已经开始应用该平台。 Agentforce旨在实现自动化，而不仅仅依赖人类互动来完成任务。Salesforce表示，这些AI代理能够根据数据变化、业务规则或预构建的自动化流程触发操作。此外，Salesforce在官网强调了Agentforce与人类的协作能力：“人与AI代理共同推动客户成功。”该平台的功能远超一般的聊天机器人或“共助”（copilot）功能，这可能也是针对微软的微妙回应。微软不久前为Dynamics 365发布了10个AI代理工具，Salesforce CEO Marc Benioff甚至将这些工具戏称为“回归版Clippy”，暗指其易出错并且存在数据泄露风险。 AI如今已成为Salesforce的核心战略之一，Slack的CEO Denise Dresser也将公司AI能力作为增强Slack功能的重心，希望将Slack发展为一个“工作操作系统”。Agentforce在Dresser的愿景中占据重要位置。 在此次发布的Agentforce服务中，面向客户的“服务代理”按会话计费，每次2美元。而“代理构建器”则为用户提供了模板，以便于创建自定义的AI代理。

开源组织OSI（Open Source Initiative）正式发布了“开放”人工智能的定义，这一举措或将引发与Meta等科技巨头的冲突。OSI一直以来在开源软件领域设立了行业标准，但AI系统包含训练数据等元素，超出了传统许可证的范畴。根据OSI的新定义，要被视为真正的开源AI系统，必须满足以下要求： 这一定义直接挑战了Meta的Llama模型。虽然Llama是目前最大规模的公开可用AI模型之一，但它对商业用途设置了限制（例如面向超过7亿用户的应用程序），且并未公开训练数据，因此未达到OSI对开源的标准，无法做到完全自由的使用、修改和共享。 Meta发言人Faith Eischen对《The Verge》表示，虽然Meta在许多方面与OSI立场一致，但不认同这一定义。Eischen称，“没有单一的开源AI定义，因为传统的开源定义并不能涵盖当今快速发展的AI模型的复杂性。” OSI在开源软件领域已广泛树立了25年的标准，帮助开发者在不受法律诉讼或许可陷阱的威胁下进行协作创新。如今，AI的快速发展让科技巨头必须选择：要么接受这一原则，要么舍弃。Linux基金会近期也试图定义“开源AI”，反映了在AI时代，传统开源价值观如何适应新局势的激烈讨论。 OSI的最新定义也获得了业界的支持。Hugging Face CEO Clément Delangue称此定义“对推动AI开放性讨论具有重大意义，尤其在训练数据的重要性方面。”OSI执行董事Stefano Maffulli表示，这一定义的发布经过两年打磨，得到了全球专家的协作支持，包括机器学习和自然语言处理领域的学者、哲学家以及创用CC（Creative Commons）社区的内容创作者等。 Meta则将训练数据限制解释为“安全”考量，但批评者认为，Meta更可能是为了降低法律风险，保护其竞争优势。大部分AI模型几乎肯定使用了受版权保护的内容进行训练。据《纽约时报》报道，Meta内部已承认其训练数据中含有版权内容，因为“我们无法避免收集到这些内容。”目前，Meta、OpenAI、Perplexity和Anthropic等公司正面临多起侵犯版权的诉讼。 Maffulli认为，开源历史正在重演。他指出，Meta当前的论调类似于90年代微软面对开源威胁时的态度，Meta强调其在Llama上的大量投入，并质疑其他人是否有能力做同样的事。Maffulli将此视为大型科技公司通过成本和复杂性来合理化技术封闭的策略。他形容这些训练数据是“秘密武器”，“这是他们的核心知识产权。”

Gemini 2.0可能会在12月发布，预计带来整体性能提升。与此同时，有传言称ChatGPT-5也可能同期推出。尽管OpenAI CEO Sam Altman此前称ChatGPT-5的消息为“假新闻”，但现在已有报道称Google的Gemini 2.0或将于未来几个月上线。 根据《The Verge》和9to5Google的报道，Google上次进行重大Gemini升级是在今年2月推出的Gemini 1.5版本。Gemini不仅是Google AI聊天机器人系列的名字，也是背后的核心模型代号。尽管此次报告未具体说明Gemini 2.0的改进内容，但以往升级经验来看，用户可期待更智能的回复、更快的处理速度、更长的输入支持，以及更稳定的推理和编码能力。 不过，报道指出，Gemini 2.0的性能提升可能不如开发者最初预期，反映出所有大型语言模型（LLM）目前普遍面临的技术挑战。 如果Google和OpenAI真的在年底前推出AI模型升级，将进一步印证科技巨头们在人工智能上的投入力度，争取在这场AI竞赛中领跑。近期已有多项新AI工具面世，包括视频生成、图像生成升级和个性化搜索功能等。同时，iPhone用户也将在下周首次体验Apple Intelligence的AI增强功能。 然而，大家仍在等待Google在I/O大会上展示的下一代Project Astra AI助手的正式发布。Project Astra结合了多种输入输出方式，旨在提供更自然、智能的交互体验，或将成为未来AI助手的全新标杆。

人们常说，尽管AI图像生成器在发展，仍需要人类的创意介入，AI不可能完全取代艺术家。然而，“全自主AI艺术家”Botto刚刚在苏富比拍出351,600美元的作品，似乎打破了这一传统观念。自2021年“艺术生涯”开始以来，Botto的作品已累计售出超400万美元。这位非人类艺术家不仅生成自己的创意作品，还通过一个拥有15,000成员的社区BottoDAO进行筛选，由他们决定每周哪些作品被铸成NFT，这一过程也反过来影响了Botto的创作“口味”。 Botto由德国艺术家Mario Klingemann和软件开发团队ElevenYellow共同构思。Botto至今已有“创世纪”、“间隙”以及“时空回声”等艺术阶段，并在苏富比推出了《阈限的梦境》等作品。此次名为“超然舞台：Botto，一位去中心化的AI艺术家”的展览共售出六幅NFT作品，超出预期价格。由于AI作品无法获得版权，NFT链上身份验证显得尤为重要，这赋予购买者对“原始版本”的拥有权。 Botto的合作者Simon Hudson表示：“三年时间对艺术史来说不算长，但在我们的计算未来中，这几乎可以视为‘瞬间’。Botto的展览‘超然舞台’将成为这一AI艺术实体真正意义浮现的早期信号。”苏富比数字艺术主管Michael Bouhanna则评论称：“‘超然舞台’不仅是Botto历程中的重要里程碑，还突显了AI对艺术的变革潜力。Botto通过集体参与，挑战了传统艺术创作的观念，向人机协作的未来迈进。” 尽管NFT市场在2022年泡沫破裂后有所冷却，但像Botto这样的AI艺术家可能为这一市场带来新的活力。不过，这种需求是否可持续还有待观察——是人们出于新奇才购买，还是这类机器人创作的作品有真正的市场价值？目前，AI艺术依然在品牌推广中引发争议。爱尔兰交通局最近发布的AI万圣节艺术作品就因“AI标签”遭遇网友批评，说明了公众对AI艺术的复杂情绪。

预计今年12月推出的Jarvis将大显身手，助力企业完成开发、客户关系管理（CRM）、企业资源计划（ERP）等多项任务。据《The Information》报道，Google正致力于开发Jarvis，这款AI系统基于其全新语言模型Gemini 2.0，支持用户在Chrome浏览器上自动化操作，如进行研究、购物等。它不仅具备读取和理解截图的功能，还能生成文本并模拟用户操作，为企业和个人用户带来更多便利。 目前，AI自动化市场已引入多方竞争者。除Google外，Anthropic和OpenAI等公司也在开发类似技术，推动Agentic AI领域的创新。Anthropic的最新功能“计算机使用”能力可让开发者通过Claude 3.5 Sonnet与Anthropic API进行交互，AI能阅读和解释屏幕内容、输入文本、移动光标、点击按钮，并在窗口和应用间切换。这种高效自动化的方式远优于传统的流程自动化（RPA），为用户操作电脑开辟了全新路径。 虽然Jarvis看似面向普通消费者，但其浏览器端的操作能力对企业用户同样适用，特别是在依赖网页端的开发、工作流和自动化管理等领域。业界传言，Google可能比Anthropic更早具备基于截图的坐标识别能力，表明该公司早已在AI自动化领域进行深入探索。 与此同时，OpenAI也在研发类似功能，有消息称其内部已有一项名为“Tools”的功能，与Anthropic的技术理念如出一辙。此外，Meta也在缩小其语言模型的尺寸，以实现智能手机兼容性，而微软则在其Copilot中新增了“Vision”功能，可以识别图像并回答相关问题。苹果也在通过Apple Intelligence更新，让Siri具备更强的自动化能力。 综上，AI驱动的自动化操作技术正逐渐改变人们的计算机交互方式，Jarvis和其他系统的推出或将掀起新一轮自动化浪潮，为用户带来前所未有的操作效率和智能体验。

苹果公司推出了一款名为Ferret-UI 2的全新AI系统 https://huggingface.co/spaces/jadechoghari/ferret-demo ，具备跨设备读取和控制应用程序的能力，支持iPhone、iPad、安卓设备、网络浏览器和Apple TV。该系统在UI元素识别测试中获得了89.73的高分，远超GPT-4o的77.73分，不仅在文本和按钮识别等基础任务上有显著提升，在复杂操作方面也表现出色。 Ferret-UI 2能够理解用户意图，而非依赖具体的点击坐标。举个例子，当用户输入“请确认您的输入”时，系统能识别出相关按钮，而不需要精确的定位数据。这项技术得益于苹果研究团队使用GPT-4o的视觉能力生成的高质量训练数据，从而帮助系统更好地理解UI元素之间的空间关系。 该系统采用自适应架构，在多个平台上识别UI元素。其内置算法可根据不同平台的需求自动平衡图像分辨率和处理需求，既保留信息又有效率。测试结果显示，Ferret-UI 2在跨平台上表现良好，特别是使用iPhone数据训练的模型在iPad上实现68%的准确率，在安卓设备上达到71%。但系统在移动设备与电视或网页接口之间的转换上遇到了一些困难，研究人员认为这是由屏幕布局差异引起的。 此外，苹果测试了多种语言模型，其中Llama-3表现最佳，但体积更小的Gemma-2B也取得了不错的成绩。Llama和Gemma版本的Ferret UI模型目前可在Hugging Face平台获取，配有演示版本。与此同时，微软发布了一款名为OmniParser的开源工具，可以将屏幕内容转换为结构化数据，这也展示了业内对UI理解AI技术的关注。 苹果还发布了一个名为CAMPHOR的框架，通过多AI代理协作来完成复杂任务。结合Ferret-UI 2，该技术有望使Siri等语音助手在未来实现更复杂的任务，例如通过语音命令查找并预订餐厅，进一步提升用户体验。 Ferret-UI 2的推出意味着苹果在打造能够自然理解和操作人类UI界面的AI系统方面迈出了重要一步，为智能交互技术树立了新的标杆。

AI智能体在应对各种任务时，常需要不同的速度、推理和规划能力。理想情况下，智能体应能区分何时使用直觉记忆，何时利用更复杂的推理能力。然而，设计能根据任务需求正确执行的智能系统仍是一项挑战。 在一项最新论文中，Google DeepMind的研究人员提出了Talker-Reasoner框架，这是一个受人类“双系统”思维模型启发的智能体架构。该框架旨在为AI智能体找到不同推理方式之间的最佳平衡，以实现更顺畅的用户体验。 人类与AI的系统1和系统2思维 诺贝尔奖得主丹尼尔·卡尼曼的“双系统”理论表明，人类的思维由两个不同的系统驱动。系统1是快速、直觉且自动的，负责我们的快速判断，例如应对突发事件或识别熟悉的模式。系统2则缓慢、深思熟虑且分析性强，负责复杂问题的解决、规划和推理。 这两个系统并非完全独立，而是相互影响。系统1生成直觉和初步判断，系统2对这些判断进行评估，并在认可后将其整合为明确的信念和选择。这种互动使人类能够灵活地应对从日常生活到复杂问题的多种情境。 目前，大多数AI智能体主要依赖系统1模式，擅长模式识别、快速反应和重复性任务。然而，在需要多步骤规划、复杂推理和战略性决策的场景中，AI往往难以胜任，这正是系统2思维的强项。 Talker-Reasoner框架 DeepMind提出的Talker-Reasoner框架赋予AI智能体系统1和系统2的能力。它将智能体分为“Talker”（对话者）和“Reasoner”（推理者）两个模块。 研究人员写道：“Talker专注于生成自然且连贯的对话，而Reasoner专注于多步骤规划和基于环境信息进行推理。” 这两个模块通过共享记忆系统进行交互。Reasoner更新其信念和推理结果，Talker则从中检索信息以指导互动。这种异步通信方式允许Talker维持对话的连续性，即使Reasoner在后台进行较长时间的计算。 研究人员解释道：“这类似于行为科学中的双系统方法，系统1始终在线，而系统2只在需要时启动。Talker始终保持环境互动，Reasoner则仅在Talker需要时或通过记忆读取信念更新。” Talker-Reasoner框架应用于AI辅导 研究人员在睡眠辅导应用中测试了Talker-Reasoner框架。该AI教练通过自然语言与用户互动，提供个性化的睡眠改善指导。这种应用需要快速、情感共鸣的对话和基于知识的深思熟虑的推理。 在此应用中，Talker组件负责对话，提供情感支持并引导用户完成辅导过程的不同阶段。Reasoner则维护用户的睡眠问题、目标、习惯和环境的信念状态，并基于这些信息生成个性化建议和多步骤计划。这一框架同样适用于客户服务和个性化教育等其他应用场景。 未来研究方向 DeepMind研究人员指出，未来研究的一项重点是优化Talker与Reasoner的交互。理想情况下，Talker应能自动判断何时需要Reasoner的介入，以减少不必要的计算，提高整体效率。 另一方向是扩展框架，使其整合多个Reasoner，每个Reasoner专注于不同类型的推理或知识领域。这样可以使智能体更好地应对复杂任务，提供更全面的支持。