Author: aitrendtrackers@rengongzhineng.io

GitHub最近的两项重大公告，标志着其开发者工具的显著进化：Copilot的多模型升级和自然语言网页开发平台Spark的推出。 首先，GitHub正在将Copilot从单一的OpenAI架构扩展到包括Anthropic的Claude 3.5 Sonnet和Google的Gemini 1.5 Pro模型。同时，GitHub Spark的发布旨在通过自然语言指令简化网页应用开发。 Copilot的增强模型支持 自从Copilot发布以来，它已经历了多次模型升级。最初，它使用的是针对编码任务优化的OpenAI Codex模型，之后又逐步引入了GPT-3.5和GPT-4等更先进的模型。此次扩展不仅加入了Anthropic和Google的模型，还在多个开发场景中提供更多的模型选择，凸显GitHub在AI辅助开发策略上的重要进步。 GitHub的CEO Thomas Dohmke在博客中表示，新的多模型支持将首先在Copilot Chat中推出，随着时间的推移，更多功能如多文件编辑、代码审查和安全自动修复等也将逐步引入不同模型的支持。这种多模型方法意味着开发者可以根据不同任务选择最合适的AI模型，从而获得更精准、更具上下文感知的代码建议。 GitHub Spark：自然语言网页开发 GitHub最令人瞩目的新工具之一是GitHub Spark，它旨在通过自然语言指令彻底改变网页应用开发。Spark的目标是简化开发流程，降低项目复杂度，让开发者可以通过简单的语言描述快速构建应用。这种方法不仅能帮助快速原型设计，还能缩短从设计到实现的时间。 对于团队和企业来说，Spark的潜力在于： Copilot登陆Apple的Xcode 此次Copilot还在Apple的Xcode上推出了公开预览版本，为iOS和macOS开发者带来了实时代码建议和生产力提升。它的集成为Swift和Objective-C的开发提供了更加智能的支持，同时还能与现有的Xcode工作流程无缝结合。 对开发者生产力的影响 GitHub的这些更新反映了行业向更智能化、自动化开发工具的趋势。通过扩展模型支持、引入自然语言开发和Xcode集成，GitHub正在全方位提升开发者的生产力。这些工具有助于减少重复代码的时间，提高解决问题的效率，并提供更多选择，帮助开发者选择最适合项目的AI模型。 未来，随着这些工具的普及，软件开发的方式可能会发生变化，包括： GitHub在AI能力上的进步，预示着开发工具的进一步演变。这些新功能和集成旨在提升开发者的能力，而不是取代他们的专业知识，从而推动更高效、更富有成效的软件开发过程。GitHub的这一全面方法，或将引领软件开发从构思到部署的重大变革。

麻省理工学院的研究人员最近开发了一种新的机器人训练方法，既能节省时间和成本，又能提升机器人适应新任务和环境的能力。论文下载：https://arxiv.org/pdf/2409.20537 这种方法被称为异构预训练变换器（HPT），它将来自多个来源的大量多样化数据整合成一个统一的系统，相当于为生成式AI模型创建了一种共享语言。这种方法与传统的机器人训练大相径庭，后者通常需要工程师为每个机器人和任务在受控环境下收集特定数据。 MIT电气工程与计算机科学的研究生王力瑞（Lirui Wang）领导了这项研究。他指出，尽管很多人认为机器人训练数据不足是一个主要挑战，但更大的问题在于各种不同领域、模态和机器人硬件的多样性。团队的研究展示了如何有效地结合和利用这些多样化的元素。 研究团队开发了一种能够统一处理各种数据类型的架构，包括摄像头图像、语言指令和深度图。HPT采用了类似于高级语言模型的变换器模型来处理视觉和本体感受输入。 在实际测试中，该系统表现非凡——在模拟和现实场景中，其表现比传统训练方法提高了20%以上。即使在机器人面临与训练数据大相径庭的任务时，这种提升依然显著。 研究团队为预训练准备了一个令人印象深刻的数据集，包含了52个数据集，超过20万个机器人轨迹，涵盖了四个类别。这种方法让机器人能够从丰富的经验中学习，包括人类演示和模拟。 系统的一大创新在于对本体感受（机器人对自身位置和运动的感知）的处理。团队设计的架构将本体感受与视觉信息同等重要，从而实现了更复杂的灵活动作。 展望未来，团队计划提升HPT处理未标注数据的能力，类似于先进的语言模型。他们的终极愿景是创建一个可以下载并适用于任何机器人的通用机器人“大脑”，无需额外训练。 尽管目前还处于早期阶段，团队对于规模化的前景充满信心，认为这可能会引领机器人策略领域的突破，类似于大型语言模型所带来的进展。

Google推出了AI驱动的学习工具“Learn About”，专为美国用户提供多学科的深度探索途径。作为Google学习计划的一部分，这项实验性工具结合AI互动和结构化指引，支持用户通过文字或图片启动对话，并可选择探索个人成长、生物学、经济学、天文学等众多领域。Learn About的界面不仅提供主题起点，还提供后续建议和互动列表，使进一步的学习过程更加流畅。 其中的互动列表格外引人注目，它们呈现出不同领域的核心信息摘要，每个条目均可点击，让用户轻松深入了解相关内容。这些列表还配有高度逼真的AI生成缩略图，增加了视觉吸引力和动态感。 此外，用户可以通过点击“获取图片”等命令来精确调整内容，也可选择简化或深入了解细节，减少输入需求。Learn About支持网络连接，这意味着回复中带有来源链接，并提供“二次确认”功能，方便用户核实信息的准确性，增强了工具的可靠性。 尽管当前尚未支持语音输入，但未来的改进中很可能加入该功能以提升可访问性。总体而言，Learn About是一个用户友好且高度互动的工具，使得复杂主题的探索变得轻松高效，并具有进一步发展的潜力。

Google在代码审查上力求减少痛点，并获得了高达97%的开发者满意度。 在Google众多内部工具中，许多前员工提到他们最怀念的就是代码审查工具Critique。不少人在社交媒体和论坛上表达了对Critique的思念，特别是它的“关注集”等功能，这些都让代码审查变得更加流畅高效。据Google的内部数据，97%的Google软件工程师对Critique感到满意。 Critique究竟是什么？ Critique是Google开发的专属代码审查工具，不仅方便开发者快速审查和提交代码，还结合了AI驱动的改进功能，大大提升了生产效率。Critique的核心是结合Google的代码审查流程，通过其独特的UI设计和智能分析工具，为开发者提供了一整套便捷、清晰的代码比对与改进建议。此外，Critique还在每次评论后提供机器学习生成的修正建议，帮助开发者轻松处理修改请求。 Google代码审查的基本准则 Google有一套完善的代码审查准则，主要包括以下几方面： 在实际操作中，Google还通过研究发现，审查反馈的措辞和语气直接影响开发者的积极性。 Critique工具的流程 Critique的优势 Critique备受Google工程师喜爱的原因包括： 虽然其他公司有类似功能的代码审查工具，但Critique的个性化设计使其在Google的特定工作流程和代码库中表现卓越。Critique不会开源，但Google支持的开源工具Gerrit可以提供部分类似的功能。通过持续的研发，Google也在公开他们的研究成果，为业界提供宝贵的开发者生产力提升的经验和启发。

OpenAI今日宣布，ChatGPT现已具备更强的网页搜索能力，能够即时查询最新的信息。这一功能显著扩展了ChatGPT的应用范围，以前的ChatGPT主要依赖截至2023年10月的GPT-4o训练数据生成回答，且具备有限的网页搜索功能。如今，对于体育、股市或实时新闻等新鲜话题，ChatGPT会自动进行网页搜索，并生成多媒体结果。用户也可以手动启动网页搜索功能，但一般情况下ChatGPT会自行判断何时需要网络信息，确保回答更加精准。OpenAI搜索产品负责人Adam Fry向《麻省理工科技评论》表示，“目标是让ChatGPT成为最智能的助手，如今它从网络中获取信息的能力得到了显著提升。”目前，这一功能已向付费用户开放。 在实例中，当用户询问当地餐厅推荐时，ChatGPT自动触发了网页搜索。虽然这项功能现阶段仅供付费用户使用，但OpenAI计划未来将其向所有用户免费开放，甚至不登录也可使用。该公司还将探索将搜索功能与语音功能及其互动平台Canvas结合，尽管这些尚未在本次发布中提供。 早在今年7月，OpenAI曾推出独立的网页搜索原型——SearchGPT，而如今该功能直接内嵌入ChatGPT中，整合了SearchGPT的优质体验。OpenAI此举意在与谷歌、微软及新创公司Perplexity等竞争者抗衡。据悉，Meta也正在开发自己的AI搜索引擎。与Perplexity类似，ChatGPT的搜索功能支持用户用自然语言交流，并生成附带来源的AI回答，方便用户深入阅读。相比之下，谷歌的AI摘要功能则是在网页顶部提供简要总结并附上传统的链接列表。 尽管如此，这些新兴工具仍难以撼动谷歌在在线搜索市场90%的份额。华盛顿大学在线搜索专家Chirag Shah认为，AI搜索确实是吸引用户的重要工具，但难以动摇谷歌的统治地位。微软试图通过Bing抢占市场，但效果并不显著。相对而言，OpenAI正着眼于打造一个全新的市场，为用户提供强大、互动性强的AI助手，未来甚至能够执行更复杂的任务。 ChatGPT的网页搜索功能也是朝这个方向迈出的一步。它可以基于用户的聊天历史进行个性化回答，使搜索内容更具上下文关联性。目前，ChatGPT搜索可以记住对话历史，持续针对同一话题进行深入探讨。此外，ChatGPT本身也具备长期记忆功能，能够记住用户的个性化信息，并在聊天中利用这些记忆，未来数月内，这一记忆功能也将逐步应用到网页搜索中。届时，用户可以获得更多个性化的搜索结果，例如“我是素食主义者”或“几天后将去纽约”这样的信息将被自动记忆，为用户提供更贴心的建议。 为了提升网页搜索能力，OpenAI与路透社、《大西洋月刊》、《世界报》、英国《金融时报》等众多媒体合作，不仅整合了这些合作伙伴的内容，也会抓取任何不屏蔽其爬虫的在线来源。莱顿大学自然语言处理教授Suzan Verberne认为，这种结合了可信信息的回答生成是一项积极发展，使用户在查询后还能提出深入的问题。然而，她也指出，AI模型依旧存在“编造”信息的风险，即便加上了网页搜索，生成的回答仍可能出现不准确的内容。此外，如果筛选来源不够严格，ChatGPT的回答中可能混入错误信息。 与此同时，哈佛大学伯克曼·克莱因中心的Benjamin Brooks在《麻省理工科技评论》的专栏文章中指出，网页搜索的AI化可能会削弱网站的流量，对网络的数字经济产生冲击。他认为，通过AI搜索，用户的浏览行为被“遮蔽”在全知的聊天机器人后，可能会减少原创内容的曝光和点击量，最终威胁网络创作者的生存。

在Meta推出“分割任何东西模型”（SAM）之前，Roboflow的CEO Joseph Nelson回忆道，用户想要在图像中分割物体时必须仔细地逐点点击，每次都需耗费大量时间。图像分割——即标记图像中与目标对象对应的像素——是创建某些模型训练数据的重要步骤。2023年，Meta的SAM模型问世，改变了这一繁琐过程，SAM带来了交互式和自动化的分割功能，操作更灵活。2024年7月，Meta发布了SAM 2，实现了图像和视频的实时分割，进一步提升了效率。 Nelson表示，“SAM 2几乎能自动识别大多数对象的分割区域，用户在创建自定义数据集时节省了大量时间。SAM 1和SAM 2的累计应用覆盖了超过6000万个多边形，累计节省了约74年的时间。” 得益于SAM的开源特性，用户可以广泛探索其潜力，社区参与推动了SAM功能的持续改进，带来更多新用途。SAM团队积极与AI研究人员和技术社区合作，使SAM 2在精度和实用性上较SAM 1有了显著进步，充分体现了开源模式在技术发展和共享中的优势。这种协作环境不仅增加了透明度，还为创新和解决问题提供了空间，促进了技术生态的多样化。 Roboflow以“让世界更加可编程”为使命，借助SAM帮助客户实现视觉理解，从灾后恢复到实时体育赛事回放，再到保险公司利用航空影像处理理赔，SAM的应用场景不断扩大。无论用户经验如何，他们都可以通过Roboflow的工具创建和部署适用于商业和社会影响的计算机视觉应用。 用户借助Roboflow的工具，结合自身数据，能够迅速训练分类、目标检测、图像分割等模型。SAM让用户能够快速自动标注、准备和整理视觉数据集，为各类行业的创新铺平道路。Roboflow Universe拥有50多万个公开数据集，约3.5亿张用户标注的图像，为SAM这样的技术开辟了广阔前景。 Nelson指出，Roboflow的客户中有生产电动汽车的企业、运输公司、甚至冰淇淋制造商，很多都在制造和物流中应用SAM以确保产品达到标准。这些出人意料的应用证明了SAM的广泛适用性和强大影响力。 通过为机器赋予“视觉理解”能力，SAM系列模型打开了创新的大门。例如，在旧金山的Exploratorium博物馆，游客可以在显微镜下观察微生物，探索其行为背后的问题；在其他地方，SAM被用来监测鱼类种群、评估珊瑚礁修复的成效等。 Nelson总结道：“SAM改变了人们创建高质量模型的速度，Roboflow社区也在利用SAM赋予机器视觉的能力，为各类下游任务带来新可能。”

Meta在第三季度财报电话会上宣布将继续大力投资人工智能。尽管AI支出持续上升，公司仍超过了预期，季度营收达405.9亿美元，超出市场预期的402.5亿美元。Meta CEO马克·扎克伯格表示，本季度的成功很大程度上得益于AI在各大应用和业务中的进展，公司短期内不会削减在该技术上的投入。 扎克伯格指出，AI对Meta几乎每个方面的工作都产生了积极影响，并表示AI的进步为加速公司核心业务带来了新机会。但他也提到，这些AI投资要求显著增加基础设施支出，这使得Meta预计全年资本支出将在380亿至400亿美元之间，高于此前的370亿至400亿美元预期。 今年以来，Meta在AI研发上投入巨大，特别是在GPU集群和基础设施的扩展上。财报电话会上，扎克伯格还强调了Meta AI和Llama AI模型的快速推广。尽管AI聚焦的业务推动了成本上升，Meta认为明年基础设施支出将继续加速增长。 Meta还提到，AI不仅用于产品开发，如Meta AI和智能Ray-Ban眼镜，还将被应用于内部流程优化，包括编程和内容审核等方面。CFO苏珊·李表示，AI帮助公司提高了员工的生产力，尤其是在代码编写方面，使内部运营更为高效。 Emarketer首席分析师Jasmine Enberg认为，Meta在AI上的高支出不应引起投资者恐慌，第三季度的收入数据反映了AI的回报潜力。然而，她补充称，Meta需要继续证明自己有能力承担逐渐上升的AI成本，同时保持盈利。

2024年10月31日，加州——Facebook母公司Meta公布了第三季度的强劲财报，净利润同比激增35%至157亿美元，营收同比增长19%至406亿美元。尽管业绩亮眼，但公司也提醒AI支出的增加可能对未来造成压力，消息一出，Meta股价在盘后交易中下跌约3%。 Meta首席执行官马克·扎克伯格在财报电话会上表示，AI的快速发展为核心业务带来了新机会，未来几年预计将带来高回报。他补充道，公司将在AI基础设施上持续进行重大投资。Meta近年来大力投入AI领域，推出了诸如Meta AI、创作者AI、企业AI等服务。Meta AI这一助手已集成至WhatsApp、Messenger、Instagram和Facebook等应用中，帮助用户就多种主题提出问题。 扎克伯格指出，Meta的Llama模型家族正快速成为行业标准，第三季度发布的Llama 3.2包含了领先的小型设备端模型和开放源多模态模型。他还提到，Llama 4目前正在开发中，预计明年初将推出小型版本的Llama 4模型。 在AI基础设施的需求推动下，Meta的资本支出在第三季度达到了92亿美元，主要用于服务器、数据中心和网络设施。公司更新了2024年的全年资本支出预期，从370亿至400亿美元提高到380亿至400亿美元。Meta首席财务官苏珊·李表示，公司预计2025年基础设施支出将显著增长。 广告业务方面，Meta的广告收入增长18.5%，达到399亿美元，推动旗下应用的总收入达403亿美元。9月份，Meta全家族日活跃用户平均达32.9亿，同比增长5%。同时，负责虚拟现实和增强现实业务的Reality Labs实现收入2.7亿美元，同比增长29%，但运营亏损达44亿美元。 此外，Meta第三季度员工数量达到72,404人，同比增加9%。李表示，公司将继续在高回报率的人才和基础设施上投资，并预计2024年全年总支出将在960亿至980亿美元之间，略低于此前预期的960亿至990亿美元。Meta还预测第四季度营收将在450亿至480亿美元之间，若达中位数465亿美元，将实现同比增长16%。 Meta财务团队表示，核心业务的强劲势头和长期发展机会将为公司2025年的进一步增长提供动力。

旧金山，2024年10月31日——微软周三公布了强劲的季度财报，超出分析师预期，收入增长16%达到了656亿美元。不过，有分析提出疑问，认为公司对AI的巨额投入可能存在风险。 截至9月30日的季度中，微软的净利润达到了247亿美元，同比增长11%；每股收益也上升了10%，达到3.30美元。微软将此次业绩表现归因于云计算和人工智能业务的稳健增长。 微软CEO萨提亚·纳德拉表示：“AI驱动的转型正在改变各个角色、职能和业务流程。”他还指出，微软的AI平台和工具吸引了新客户，公司在AI领域的影响力不断增强。 微软在生成式AI领域一直处于前沿，尤其得益于与ChatGPT创造者OpenAI的合作。在AI蓬勃发展的浪潮中，微软推出了大量新AI功能，主要通过Copilot品牌，令投资者对其昂贵的技术投资充满期待。 不过，微软也提醒投资者，云业务的重要毛利率展望可能会有所降低，因为AI基础设施的投资即将大幅增加。这一消息令微软股价在盘后交易中下跌了近4%。 Emarketer高级主管Jeremy Goldman表示：“微软的最新财报表现略超预期，但结果可能让部分投资者想要更多清晰度。AI投资是本季度的真正‘不确定因素’，微软在基础设施上的投入巨大，但AI的收益还停留在承诺阶段。” 微软的Azure云计算平台表现强劲，在货币调整后，收入增长了34%。此外，公司在季度内通过派息和股票回购向股东返还了90亿美元，以提升股东价值。 在AI巨额支出的影响下，今年微软在华尔街的表现落后于其他科技巨头，涨幅仅为15%，而Meta上涨了70%，亚马逊则增长了近30%。 在游戏业务方面，微软也实现了显著增长，Xbox内容和服务收入激增61%，其中有53个百分点的增长来自于近期收购的动视暴雪。 本周二，谷歌母公司Alphabet也公布了稳健的财报，AI推动的云计算业务表现突出，预示了科技财报季的良好开局。

在伦敦的一场开发者活动中，AI市场领军企业OpenAI宣布了一项关于RealTime API的新功能，帮助开发者节省使用成本，特别是对于开发语音聊天机器人的团队，这将是一个显著的成本削减。 OpenAI宣布，RealTime API即将加入自动缓存音频和文本输入的功能，预计可以将长对话的费用最多降低80%。这款API的核心在于支持语音助手和AI代理的开发，广泛应用于Healthify、Speak和Twilio等公司，用户可以通过语音或文字与机器人互动，甚至完成一些任务，如点餐或预约。 自今年10月初推出以来，RealTime API受到开发者的欢迎，但一些开发者反馈价格过高，特别是对于长对话的应用场景。OpenAI的API按处理的“tokens”（数据片段）收费：文本输入每百万个tokens收费5美元，输出则为20美元；音频输入每百万tokens收费100美元，输出为200美元。 Daily公司联合创始人Kwindla Kramer在社交平台X上指出了一个关键问题：RealTime API在每次新输入后会重新发送所有先前的输入和输出tokens，这使得长对话的费用成倍增长。他表示：“这就是RealTime API费用昂贵的原因——音频消耗大量tokens，而多轮对话会重复发送所有的tokens。” OpenAI API支持团队的Shaun Ralston也在X上回应了相关问题。他解释，当用户输入的内容与之前处理的音频或文本相似或相同，OpenAI可以直接调取先前的结果，无需重新处理，从而节省费用。缓存的片段将按折扣价计费，大大提高了成本效益。 通过引入缓存功能，OpenAI将文本处理的价格从每百万tokens 5美元降低至2.5美元，而音频处理的价格则从100美元降至20美元，实现了80%的降幅。这一举措将极大地减轻开发者的负担，推动更多创新型应用的落地。