AI TrendTrackers

​  遇见Devin，全球首位全能自主AI软件工程师。 Devin是个不知疲倦的技术搭档，无论是并肩作战还是独立完成任务，它都能让你大开眼界。 有了Devin，工程师们可以将精力集中在更加有趣的问题上，工程团队也能追求更高的目标。 Devin的技能包括： 借助我们在长期推理和规划方面的进步，Devin能够规划并执行复杂的工程任务，这些任务需要成千上万的决策。Devin能够在每一步都回忆起相关上下文，随时间学习，并修正错误。 我们还为Devin装备了常见的开发工具，包括shell、代码编辑器和浏览器，这一切都在一个沙盒计算环境中——就像一个人类工程师需要的一样。 最后，我们让Devin能够与用户积极协作。Devin能够实时报告进度，接受反馈，并在设计选择上与你协同工作。 下面是Devin能做的一些示例： Devin的表现 我们在SWE-bench上评估了Devin，这是一个挑战性的基准测试，要求代理解决在开源项目中找到的真实世界GitHub问题，如Django和scikit-learn。 Devin正确解决了13.86％*的问题，远远超过了之前的最好成绩1.96％。即使给定了确切的文件来编辑，以前的最好模型也只能解决4.80％的问题。 *Devin在数据集的随机25％子集上进行了评估。Devin是无人协助的，而所有其他模型都是有协助的（意味着模型被明确告知需要编辑哪些文件）。

Extropic团队最近发布了一份激动人心的消息，宣布他们正在开发一个全新的全栈硬件平台。该平台旨在利用物质自然波动作为计算资源，从而推动生成式人工智能的发展。这一创新计算范式的推出，预计将彻底改变硬件扩展的现状，为AI加速器带来前所未有的速度和能效提升，并使得一些在传统数字处理器上不可行的强大概率AI算法得以实现。 Extropic通过其初步简报，向外界透露了其技术的初步概况，意在吸引更多人加入他们迈向热力学智能未来的旅程。该团队由Gill和Trev领导，他们对在AI时代对计算力日益增长的需求提出了解决方案。尽管传统的CMOS晶体管技术的微型化已经支持了这种需求的增长，但摩尔定律的放缓以及基于物理的限制正使得现代AI的能源需求激增，迫使业界寻求新的计算模式。 与此同时，Extropic指出，生物计算并非严格遵循数字逻辑，而是展现出比人类迄今为止构建的任何设备都要高效的计算能力。他们提出，基于能量的模型（EBMs）和指数族概念在热力学物理学和机器学习中的应用，为设计能够在本质上嘈杂的环境中茁壮成长的AI硬件和软件系统提供了可能的解决方案。 Extropic加速器的设计灵感来源于布朗运动，其中宏观但轻质颗粒在流体中由于与微观液体分子的碰撞而经历随机力。这种机制被用作可编程随机性的来源，通过参数化的随机模拟电路实现，从而大大提高算法基于复杂景观采样的运行时间和能效。 Extropic正在开发的超导芯片利用纳米技术制造，并在低温下运行，利用约瑟夫森效应实现非线性，这对于接入非高斯概率分布至关重要。这些芯片完全被动，仅在测量或操纵其状态时消耗能量，有望成为宇宙中最节能的神经元。 此外，Extropic还在构建室温下运行的半导体设备，以扩大其市场范围。这些设备虽然牺牲了一定的能效，但可以利用标准制造过程和供应链进行生产，有望被打包成GPU式的扩展卡，使得每个家庭都能享受到热力学AI加速的好处。 为了支持广泛的硬件基础，Extropic还在开发一个软件层，这一层从EBMs的抽象规范编译到相关的硬件控制语言，允许Extropic加速器分解并运行在任何给定模拟核心上无法容纳的大型程序。 Extropic的这一系列创新举措，预示着我们即将进入一个全新的人工智能加速领域，其速度和能效的提升超出了之前的想象。 详细： Ushering in the Thermodynamic Future – Litepaper ​

最近，Midjourney和Stability AI之间发生了一场小小的风波，真是令人啼笑皆非。Midjourney这家公司居然指责Stability AI的员工企图在一个不眠之夜里偷偷摸摸地搞垮他们的系统，试图把所有的提示和图片对儿全搬走。事情的起因是Midjourney的服务器突然罢工了，导致用户的画廊里突然一片空白，什么也加载不出来。 Midjourney在3月2号的一个Discord更新中把这场服务器停摆归咎于“像僵尸网络一样的活动”，还特别点名这是Stability AI的员工干的好事。他们在3月6日的一个业务更新电话会议上宣布，决定无限期禁止所有Stability AI的员工使用他们的服务，以此作为对方“挑衅”的回应。而且，Midjourney还表示要对任何企图通过“攻击性自动化”搞乱服务的公司员工采取同样的政策。 这事被一个叫Nick St. Pierre的Midjourney用户发到了X上，说是在那个电话会议上听到的。St. Pierre还提到，Midjourney把这场系统大崩溃的原因指向了Stability AI数据团队的某位成员，说是他们试图在一个周六的深夜把所有的提示和图片对全抓走。 Stability AI的CEO Emad Mostaque在X上回应说，他正在调查这个情况，并且强调Stability并没有指示做这种事。他还说，如果真是他们的员工不小心造成的，那肯定不是故意的，也绝不是DDoS攻击。 Midjourney的创始人David Holz也在同一个线程回复Mostaque，声称已经发送了一些信息给他，帮助内部调查。 这场风波到现在还在发酵中，后续怎么发展还得拭目以待。但真有意思的是，据说只有两个账户的爬取活动竟然能引起这么大的服务器停摆。这件事也让人不禁想到了一个讽刺，那些线上创意工作者长久以来一直在批评这些生成AI系统未经许可就使用他们作品的数据来训练模型。而Stable Diffusion和Midjourney两家公司都因为版权问题被告上了法庭，Midjourney更是在去年12月被指控创建了一个艺术家数据库用于训练目的。

马斯克最新创办的AI初创公司xAI即将在本周向大众开源其聊天机器人Grok，此举直接挑战ChatGPT的市场地位。马斯克的这一决定紧随其对OpenAI提起诉讼之后，他抱怨这家由微软支持的初创企业背离了其开源初衷。 去年，xAI推出了Grok，这个服务不仅能接入“实时”信息，还能提供不被“政治正确”约束的观点。这项服务仅对支付X公司每月16美元订阅费的客户开放。 马斯克并未详细说明打算开源Grok的哪些部分。他与Sam Altman共同创立了OpenAI，旨在对抗谷歌在人工智能领域的主导地位。然而，OpenAI本应向公众“免费提供”其技术，但现已成为封闭源代码，并转而专注于为微软谋取利益，这是马斯克在上月末提交的诉讼中提出的指控。 马斯克的诉讼引发了许多技术专家和投资者对开源AI优缺点的热烈讨论。OpenAI的早期支持者之一Vinod Khosla称马斯克的法律行动是“从达到AGI及其好处的目标上分散注意力的巨大干扰”。 Andreessen Horowitz的联合创始人Marc Andreessen则指责Khosla“游说禁止AI领域的开源研究”。Andreessen表示：“每一项能够推动人类福祉的重大新技术都会遭遇被炒作的道德恐慌。这只是最新的例子。” 承诺即将开源Grok将使xAI加入包括Meta和Mistral在内的一系列已向公众发布其聊天机器人代码的公司行列。 长期以来，马斯克一直是开源的支持者。他领导的另一家公司特斯拉已经开源了许多其专利。“特斯拉不会对任何出于善意想要使用我们技术的人发起专利诉讼，”马斯克在2014年说。X公司（前身为推特）去年也开源了一些其算法。 马斯克周一重申了对Altman领导的公司的批评，他表示：“OpenAI是一个谎言。”

全球多个专业领域，包括放射学、皮肤科和病理学，普遍面临医学影像专家解读资源短缺的问题。机器学习（Machine Learning, ML）技术有望通过支持工具减轻这一负担，帮助医生更准确、高效地解读这些影像。然而，机器学习工具的开发和实施通常受限于高质量数据、机器学习专业知识和计算资源的可用性。 一个促进机器学习在医学影像领域应用的方法是通过深度学习（Deep Learning, DL）构建特定领域模型，这些模型利用所谓的嵌入向量（embeddings）来捕捉医学影像中的信息。这些嵌入向量代表了图像中重要特征的预先学习理解，通过识别嵌入向量中的模式，与直接处理高维数据（如图像）相比，可以大幅减少训练高性能模型所需的数据量、专业知识和计算需求。 谷歌近期发布了两款针对医学影像领域的研究工具，Path Foundation和Derm Foundation，它们接受影像作为输入，生成专门针对皮肤科和数字病理学影像领域的嵌入向量。这些工具使研究人员可以获取自己影像的嵌入向量，并利用这些向量快速开发新的模型。 在“特定领域优化和自监督模型在组织病理学中的多样化评估”研究中，谷歌展示了自监督学习（Self-Supervised Learning, SSL）模型针对病理学影像的应用优于传统的预训练方法，并能高效地训练下游任务的分类器。该研究主要关注赫马托染色和伊红（H&E）染色的幻灯片，这是诊断病理学中的主要组织染色方法，使病理学家能在显微镜下观察细胞特征。通过使用SSL模型输出训练的线性分类器，其性能与在数量级更多标签数据上训练的先前深度学习模型相匹配。 谷歌还通过Derm Foundation工具应用深度学习解读皮肤病条件影像，包括最近的工作，旨在更好地泛化到新数据集。该工具因其针对皮肤科的特定预训练，拥有对皮肤病影像中存在的特征的潜在理解，可以快速开发用于分类皮肤病的模型。 谷歌计划将这两款工具提供给研究社区，以便探索嵌入向量对于他们自己的皮肤科和病理学数据的实用性。这些工具预期将在包括诊断任务模型开发、质量保证和预分析工作流改进、影像索引和管理以及生物标志物发现和验证等多个用途中促进高效的发展。 注册地址：

在全球范围内，人工智能（Artificial Intelligence, AI）正在开启一个提高人类健康和福祉的全新机遇，特别是在女性健康领域。过去，女性健康因资金和研究机会有限等系统性障碍而面临着挑战，这导致了治疗方案和医疗服务的不足。然而，随着人工智能技术的发展，未来展现出跨越这些障碍的巨大潜力，尤其是女性在解决方案和研究工作方面的领导作用。历史已经证明，当女性参与创新时，往往能孕育出专为女性设计的解决方案。公平获取医疗创新也是关键，能够促进全球范围内生活质量的提高。 谷歌研究部门致力于开发人工智能工具，以改善全球女性的医疗护理和获取医疗服务的能力。值此国际妇女节之际，谷歌分享了几个旨在提高女性健康的重点项目。 首先，针对紧急产科护理（Emergency Obstetric Care, EmOC）的获取问题，全球每两分钟就有一位女性因分娩相关并发症去世，其中七十分之百的案例发生在撒哈拉以南非洲，这些死亡大多是可以预防的。谷歌利用人工智能技术优化产科护理获取路径，帮助确保女性能够获得必要的健康服务。特别是在尼日利亚，谷歌与OnTime Consortium合作开发了一种工具，计算不同地区至最近的紧急产科护理设施的平均旅行时间，从而帮助识别和改善地理位置上的获取难点。 在孕前超声检查方面，由于许多地区缺乏专业的超声技术人员，谷歌正在开发人工智能技术，简化超声检查的执行和解读过程，旨在为非专业的健康护理提供者提供帮助，从而扩大全球超声治疗的覆盖范围。二零二三年，谷歌在美国和非洲的研究团队与肯尼亚的Jacaranda Health合作，推进这一领域的研究，并在多家医院进行改进。 针对乳腺癌超声检查，谷歌与台湾长庚纪念医院合作，研究人工智能模型在早期乳腺癌检测中的应用。乳腺癌是全球最常见的癌症类型，而超声检查作为一种辅助诊断工具，有潜力成为有效的主要检测手段。谷歌在二零二三年启动的前瞻性研究旨在通过分析匿名超声、乳房X光片及其他生物标志物，开发出新的人工智能模型，以提高乳腺癌的早期发现率。 随着越来越多的关注和投资，谷歌对于二零二四年成为女性健康领域变革性一年持乐观态度。这些努力不仅基于谷歌自身的研究，也是在全球范围内加强女性健康的共同努力的一部分，包括美国政府首次针对女性健康研究的倡议。

OpenAI的领导层乱局终于迎来了尘埃落定。内部调查结果出炉，原来这场风波背后的故事比小说还精彩。OpenAI的董事会虽然出于合理担忧，但突然解雇萨姆（Sam）似乎有点反应过激。现在，萨姆重返OpenAI董事会，并迎来了三位新成员。OpenAI完成了对2023年11月事件的内部调查。 OpenAI请来了一家名为WilmerHale的高端律师事务所深挖事件真相。简单回顾下：当时的董事会将萨姆从董事会踢了出去，并且直接解除了他的CEO职务。随后，员工们大为震惊，经过一系列幕后交易，几天后萨姆以CEO的身份回归，但未重返董事会（同时一些原董事会成员离开）。 引发这场剧变的根本原因在于萨姆和董事会的意见不合。调查基本证实了这一点，但也明确指出，这并非因为产品问题或财务问题。萨姆甚至承认，他本可以更好地处理某些情况（具体是什么，没说）。 现在，萨姆带着三位新成员重返OpenAI董事会：前盖茨基金会CEO苏·戴斯蒙德-赫尔曼（Dr. Sue Desmond-Hellmann）、索尼前高级律师妮可·塞利格曼（Nicole Seligman）和Instacart的CEO菲吉·西莫（Fidji Simo）。这些人都是运营大型复杂组织的老手。 街头巷尾的消息是，OpenAI的首席科学家伊利亚·苏茨克弗（Ilya Sutskever）也将留任。萨姆对于保留他似乎也很重视，“一切照旧”，“伊利亚太棒了”，“我希望我们能在剩下的职业生涯中一直共事。” 这次重大变动本可能让OpenAI偏离轨道。CTO米拉·穆拉蒂（Mira Murati）也批评了新闻媒体和前董事会成员试图“让他们自相残杀”。现在，他们重回正轨。而所有人都在问，下一个大作何时发布？老板回应：“耐心点，吉米。这将是值得等待的。”

谷歌最近宣布，BigQuery现在支持向量搜索啦！这项新功能让数据和人工智能的使用场景，比如语义搜索、相似度检测和使用大型语言模型（LLM）进行检索增强生成（RAG），变得更加简单。现在，这项服务还处于预览模式，不过已经提供了一个VECTOR_SEARCH函数，并依靠一个索引来优化查找和距离计算，从而找到最匹配的嵌入向量。BigQuery的向量索引会自动更新，而第一种实现的类型（IVF）就是通过一个聚类模型和一个倒排行定位器组成的双重索引。 来自谷歌的工程领头人Omid Fatemieh和产品负责人Michael Kilberry解释说： 向量搜索通常在高维数值向量，也就是嵌入向量上进行，这些向量包含了一个实体的语义表征，可以从文本、图片或视频等多种来源生成。BigQuery的向量搜索依靠索引来优化查找和距离计算，以识别最匹配的嵌入向量。 根据这个云服务提供商的说法，一个与BigQuery文本搜索功能类似的语法，帮助结合向量搜索操作与其他SQL原语。LangChain实现简化了与其他开源和第三方框架的Python集成。来自Opera的高级产品经理Max Ostapenko评论道： 尝试在BigQuery中使用嵌入向量进行向量搜索时，我真的很惊喜！现在开始深入探索使用Vertex AI增强产品洞察力的世界了。这真的扩展了你处理文本数据的方法。 向量搜索作为一个受欢迎的社区请求，谷歌提供了一个关于如何执行语义搜索和检索增强生成的教程。以谷歌专利公共数据集为例，谷歌展示了这项新功能的三种不同用例：使用预生成的嵌入向量进行专利搜索、使用BigQuery生成嵌入向量进行专利搜索，以及通过与生成模型的集成进行RAG。Fatemieh和Kilberry写道： BigQuery的高级功能让你可以轻松扩展上述搜索案例到完整的RAG旅程。更具体地说，你可以使用VECTOR_SEARCH查询的输出作为上下文，通过BigQuery的ML.GENERATE_TEXT函数调用谷歌的自然语言基础（LLM）模型。 向量搜索并不是BigQuery最近的唯一公告。云服务提供商还透露，Gemini 1.0 Pro现在通过Vertex AI对BigQuery客户开放。此外，还有一个新的BigQuery到Vertex AI的文本和语音集成。 对于CREATE VECTOR INDEX语句和VECTOR_SEARCH函数的计费基于BigQuery的计算定价。对于CREATE VECTOR INDEX语句，只有被索引的列被计入处理字节的计算中。

三个多月前，在OpenAI董事会短暂罢免了这家备受瞩目的人工智能公司的首席执行官Sam Altman后，关于董事会为何采取如此激进措施的问题仍然悬而未决。 一份即将发布的外部法律公司报告可能会揭示董事会决定的更多细节，以及Altman先生返回公司前的那五天混乱情况。但随着人们对报告的期待日增，有关Mira Murati——OpenAI的首席技术官——在Altman先生被罢免中所扮演角色的之前未曝光的细节开始浮出水面。 Murati女士向Altman先生写了一份私人备忘录，对他的管理提出了质疑，并且还向董事会分享了她的担忧。据知情人士透露，这一举动推动了董事会决定将他赶出去，这些人因为涉及敏感的人事问题而要求匿名。与此同时，OpenAI的联合创始人兼首席科学家Ilya Sutskever也表达了类似的担忧，他提到了Altman先生操纵行为的历史。尽管不清楚他们是否提供了具体例子，但这些执行官表示，Altman先生有时会通过冷落那些不支持他决定的高管来创造一个有毒的工作环境。 Murati女士与董事会的互动为OpenAI高层存在的问题提供了洞察，尽管这两位执行官都公开支持Altman先生返回公司。负责调查的WilmerHale律师事务所预计将立即完成这一过程。与此同时，公司预计将宣布一批新的董事会成员，一些人说。在Altman先生于11月返回公司后，几位董事离开了董事会。 OpenAI的发言人Hannah Wong在一份声明中表示，该公司的高级领导团队，在Murati女士担任临时首席执行官期间，一致要求Altman先生回归，95%的OpenAI员工签署的一封公开信也是如此。“他的团队强烈支持表明他是一位有效的CEO，他对不同的观点持开放态度，愿意解决复杂的挑战，并对他的团队表现出关怀，”Wong女士说。“我们期待独立审查的发现，而不是无根据的指控。” 自11月以来，OpenAI及其投资者一直在努力控制这一事件的影响，该事件威胁到将颠覆科技行业最重要的初创企业之一。在最后一轮融资中，OpenAI的估值超过800亿美元。OpenAI剩余的700多名员工中的许多人——当Altman先生被解雇时，他们中的许多人威胁要辞职——希望将11月发生的事件抛在脑后。（一些员工将那段时间称为“闪失”。）但还有一些人希望WilmerHale调查能对Altman先生被解雇的事件进行全面的核算。目前尚不清楚是否会向公众发布完整报告或摘要。 在Altman先生被解雇时，OpenAI的六人董事会包括Sutskever博士；Helen Toner，一名在乔治城大学智库工作的AI研究员；Adam D’Angelo，一名前Facebook高管；Greg Brockman，公司的联合创始人兼总裁；Tasha McCauley，兰德公司的高级管理科学家；以及Altman先生。 作为Altman先生复职的条件，高管同意改组OpenAI的董事会，包括更多样化和独立的董事。OpenAI的六人董事会被缩减为三人临时董事会：前Salesforce和Facebook高管Bret Taylor加入，担任董事会主席，帮助任命一组新的董事。前财政部长Lawrence H. Summers也加入了。D’Angelo先生仍然在董事会中。在10月，Murati女士接触了一些董事会成员，并表达了对Altman先生领导力的担忧。 她描述了一些人认为是Altman先生的行为准则，包括操纵高管以达到他想要的目的。首先，Murati女士说Altman先生会告诉人们他们想听到的话，以此来吸引他们并支持他的决定。如果他们不随他的计划行事，或者他们做出决定花费了太长时间，他接下来会尝试削弱那些挑战他的人的信誉。Murati女士告诉董事会，她之前曾向Altman先生发送过一份私人备忘录，概述了她对他行为的一些担忧，并与董事会分享了备忘录的一些细节。大约在同一时间，Sutskever博士也接近董事会成员，并表达了对Altman先生的类似问题。 如果Altman先生的行为得不到解决，一些董事会成员担心Murati女士和Sutskever博士会离开公司。他们还担心如果顶级副手离开，公司会出现人才大量流失。还有其他因素参与了这一决定。一些成员担心Altman先生启动的OpenAI创业基金，这是一个由Altman先生开创的风险基金。与典型的公司投资基金不同，这是公司的法律延伸，Altman先生持有OpenAI基金的法律所有权，并从外部有限合伙人那里筹集资金。OpenAI表示，该结构是临时的，Altman先生不会从中获得财务利益。 OpenAI基金使用这些资金投资于其他人工智能初创企业。一些董事会成员担心Altman先生使用该基金绕过OpenAI的非营利治理结构的问责制。他们去年就他对基金的法律所有权和运营控制权质疑Altman先生。Axios之前报道过Altman先生对OpenAI基金的控制。 在Murati女士和Sutskever博士接近董事会成员后，董事会开始讨论他们的下一步行动。到11月中旬，董事会计划任命Murati女士为临时首席执行官，同时寻找一位新的CEO。11月17日，董事会罢免了Altman先生。在接下来的几天里，Altman先生公开争取重返其职位，利用公众压力和硅谷的强大盟友推动他的复职。如果他不被重新安装为首席执行官，OpenAI的770名员工中的大多数威胁要辞职。Murati女士和Sutskever博士很快——并公开地——表示他们支持Altman先生返回公司。一些人说，Sutskever博士还没有返回他在公司的常规职责。 经过五天的公开来回后，Altman先生重返其职。

最近，一伙在华盛顿和芝加哥的研究达人们搞出了个叫“艺术提示”的黑科技，直接绕过了大型语言模型（LLM）的安全防线。想象一下，这些高大上的聊天机器人，比如GPT-3.5、GPT-4、Gemini、Claude还有Llama2，原本是被设计来拒绝某些问题的，结果被一堆ASCII艺术图案给套路了。根据他们发表的研究论文《艺术提示：基于ASCII艺术的对齐LLM越狱攻击》，这帮机器人被ASCII艺术图案引诱，居然开始教人怎么制造炸弹和伪造钞票了。 这个“艺术提示”操作简单又有效，攻击方式分为两步：第一步是“词语遮挡”，攻击者首先找出要引诱的目标行为，然后把可能会触发LLM安全对齐机制、导致提示被拒绝的敏感词遮挡起来。第二步，进入“伪装提示生成”环节，这时候攻击者用ASCII艺术生成器来替代那些被识别出的词语，生成一堆ASCII艺术字，然后把这堆艺术字塞回原来的提示里，发给目标LLM，引诱它生成回应。 这事儿听起来像是科技版的“打地鼠”，AI开发者们可是拼了老命想把他们的聊天机器人关在安全的围栏里，避免被用来干些不法之事。但现在，”艺术提示”这招一出，简直让人大跌眼镜。就像那研究报告里的例子展示的，一个ASCII艺术图案就能让这些现代LLM们掉进圈套，连基本的道德和安全防护都绕过去了。 而这帮“艺术提示”开发者可不止是玩玩而已，他们还自信满满地宣称，这手段“在平均效率上超越所有其他攻击方法”，至少在目前看来，对于多模态语言模型来说，这是一种既实用又有效的攻击手段。