人工智能 (AI) 是否可能仅依赖另一个 AI 生成的数据进行训练?这听起来似乎是个异想天开的想法,但这一概念其实已经存在了一段时间。随着真实数据变得越来越难以获取,这一思路逐渐获得了更多关注。 例如,Anthropic 使用了一部分合成数据来训练其旗舰模型 Claude 3.5 Sonnet;Meta 利用 AI 生成的数据微调了其 Llama 3.1 模型;据称,OpenAI 也正在从其“推理”模型 o1 中获取合成训练数据,为即将推出的 Orion 模型做准备。 那么,为什么 AI 需要数据?它需要什么样的数据?这些数据真的可以被合成数据替代吗? 标注的重要性 AI 系统本质上是统计机器。通过大量样本的训练,它们学习这些样本中的模式,以进行预测。例如,它可以学会“to whom”在邮件中通常会出现在“it may concern”之前。 标注通常是这些样本中数据的含义或组成部分,它们是关键的指导信息,帮助模型区分事物、地点和概念。 举个例子,一个照片分类模型如果被展示了大量标有“厨房”标签的厨房照片,它会逐渐将“厨房”与厨房的一般特征(如冰箱和台面)联系起来。训练完成后,即使给它一张未曾见过的厨房照片,它也应该能够识别出来。当然,如果这些厨房照片被错误标注为“牛”,那么模型将会将它们识别为牛,这也突显了良好标注的重要性。 随着 AI 的需求不断增长,为其开发提供标注数据的需求也在迅速扩大。据 Dimension Market Research 估计,数据标注市场目前价值约为 8.382 亿美元,预计在未来十年内将达到 103.4 亿美元。虽然没有精确的从业人数统计,但一篇 2022 年的论文估计,全球有“数百万人”参与数据标注工作。 数据资源逐渐枯竭 寻找人类生成的标注替代方案不仅有其人道主义原因,还有一些实际的原因。 首先,人类的标注速度有限,而且标注者的偏见可能会反映在他们的标注中,进而影响训练的模型。此外,标注者可能会犯错或被标注指令所困扰。而且,雇佣人类进行标注的成本较高。 实际上,数据本身的成本也相当昂贵。例如,Shutterstock 向 AI 供应商收取数千万美元的费用,以让他们访问其数据存档;而 Reddit 则通过向 Google、OpenAI…
谷歌将支持在美国建设七座小型核电反应堆
谷歌将支持在美国建设七座小型核电反应堆,这是一项开创性的协议,旨在满足该科技公司日益增长的电力需求,以支持其人工智能的发展,并推动美国核电复兴。 根据协议条款,谷歌承诺购买由核能初创公司Kairos Power建设的七座反应堆所产生的电力。该协议旨在到本世纪末增加500兆瓦的核电供应。双方在周一表示,这一项目标志着美国小型模块化核反应堆商业建设的首次推进。许多人认为这种技术是未来国内核电产业的发展方向,可能通过建设小型反应堆来实现更快、更经济的建设,而不是建造庞大的定制电厂。 谷歌能源与气候高级总监Michael Terrell表示:“最终目标是实现全天候的碳中和能源。我们认为,为了实现全天候清洁能源的目标,必须使用能够补充风能、太阳能和锂离子储能的技术。” 背景 核电行业的前景正日益与大型科技公司挂钩。美国部分地区的电力需求多年后首次上升,主要是由建设更多用于人工智能的数据中心的需求驱动的。这促使科技行业寻求大量能源。 上个月,Constellation Energy与微软达成协议,重启宾夕法尼亚州三里岛未受损的反应堆——三里岛是美国最严重核电事故的发生地。今年早些时候,亚马逊还在宾夕法尼亚州的另一座核电站购买了一个数据中心。 Kairos在新墨西哥州阿尔伯克基设有一个制造开发设施,正在建造非核反应堆原型。Kairos为谷歌建造的500兆瓦发电设施大约可以为一个中等城市或一个AI数据中心园区提供足够的电力。 该协议回答了长期困扰小型反应堆设计的关键问题:谁愿意为首次建造项目支付更高的价格?谁会订购足够多的反应堆以启动生产线?这一概念仍有待证明,但理论上通过工厂批量生产相同设备,成本会逐步降低。 细节 Kairos计划在2030年至2035年之间交付这些反应堆。虽然没有披露财务条款,但双方签订了类似于企业买家与风能和太阳能开发商之间使用的购电协议。 项目地点尚未确定,可能会在多个地点建设反应堆。谷歌可能会在靠近Kairos反应堆的地区拥有数据中心,但尚未确定这些数据中心是否会直接从核电站获得电力,还是通过电网供电。谷歌可能会将核电的增加计入其碳减排承诺中。 在阿尔伯克基的工厂,工程师们正在开发一种Kairos设计的反应堆泵系统,该系统使用氟化物熔盐作为冷却剂,而不是传统反应堆中使用的水。谷歌的反应堆装置将包括一个50兆瓦的单体反应堆,随后建设的三个电厂将各包含两个75兆瓦的反应堆。相比之下,传统核电站的反应堆通常具有大约1000兆瓦的功率。 Kairos需要通过美国核管理委员会的复杂审批,但已经获得在田纳西州建设演示反应堆的许可,该反应堆可能在2027年开始运行。 Kairos在新墨西哥州阿尔伯克基设有制造开发设施,正在建造测试装置。这些装置不含核燃料成分,主要用于测试系统、组件和供应链,充当未来全尺寸工厂的练习。 Kairos首席执行官兼联合创始人Mike Laufer表示,演示项目和阿尔伯克基工厂帮助公司避免了传统核电行业常见的成本飙升问题。 大局观 目前美国近20%的电力来自核电站,但由于高成本和长周期,新项目的进展陷入停滞。 今年春天,乔治亚州Vogtle核电站的两个新反应堆中的第二个完成建设。在此之前,田纳西河谷管理局于2016年和1996年分别完成了美国最新的核电反应堆建设。 科技公司如谷歌自2010年起开始与可再生能源开发商签署购电协议,这一举措帮助降低了这些技术的成本。核电倡导者认为,稳定的客户需求也有望随着时间的推移降低该行业的成本。 短期内,分析人士预计更多的天然气发电厂将加入,以满足美国对数据中心、新制造业、重工业和交通运输的巨大能源需求。
OpenAI 公布了其新 o1 模型家族的元提示(meta-prompt)
OpenAI 公布了其新 o1 模型家族的元提示(meta-prompt)。通过详细说明其提示系统的工作原理,OpenAI 帮助开发者改进和微调其产品与其日益增长的应用和网站生态系统的互动。 元提示(提示优化器)和系统提示(模型调节器)在后台运行,发出详细的指令,规定 AI 在整个互动过程中应如何表现。当用户发起对话时,元提示已经设定好了舞台,指导 AI 如何理解任务的主要目标,如何组织输出内容。这包括诸如保留用户原始内容、在必要时提供简明的改进,以及确保 AI 在得出结论之前遵循明确的推理步骤等细节。 OpenAI 在其官方平台指南中表示:“元提示指示模型根据任务描述创建一个好的提示,或改进现有的提示。” 这为最大限度发挥其模型的潜力提供了大量技术和相关信息,包括提示示例、提高准确性的技巧以及详细的提示工程指南。 这一发布紧随 OpenAI 主要竞争对手 Anthropic 之后。Anthropic 由前 OpenAI 员工创立,最近公开了其聊天机器人 Claude 的系统提示。我们在 Claude 提示发布时撰写了更详细的分析。 AI 的两种方式 深入研究这两款 AI 的核心,你会发现它们的工作机制截然不同,每个提示都能揭示这两家公司对产品的不同设想。总体而言,OpenAI 将 ChatGPT 概念化为一个强大的计算工具,而 Anthropic 则将 Claude 设想为一个友好且富有人情味的助手。 两者的比较: 总体方法 OpenAI 的提示更像是一本高性能机器的技术手册,重点在于效率、准确性和以最少的麻烦完成任务。其 AI 旨在作为一种工具,专注于提供结果,而不是参与闲聊。 相反,Anthropic 打造的 Claude 更像是一个知识渊博的朋友。其元提示勾勒出了一个具有独特个性、怪癖甚至幽默感的 AI。很明显,Anthropic 目标是创造一个可以进行有意义对话的 AI,而不仅仅是输出信息。 为什么这很重要:如果你想完成任务并继续下一个日程,OpenAI 似乎有更好的提示。 如果你想与模型互动,或与其共同改进结果,Claude…
H100 GPU投资泡沫:供大于求下的市场转变与租赁的明智选择
不要购买H100s。市场已经从供应短缺(每小时8美元)转变为供大于求(每小时2美元),主要原因是预留计算资源的转售、开放模型的微调,以及新基础模型公司的减少。因此,租赁H100会更加划算。 AI竞赛的简史 ChatGPT于2022年11月发布,基于A100系列构建。H100s于2023年3月面世。投资者和创业者的想法很简单:与A100相比,H100的性能提升了3倍,而价格却仅为A100的2倍。 如果你能快速部署H100,你也许能建立更大、更好的模型,甚至超越OpenAI,达到通用人工智能的水平——前提是你有足够的资本与他们竞争。 因此,数百亿美元被投资到富含GPU的AI初创公司中,希望推动这场新的技术革命。结果是…… H100需求的突然激增 市场价格迅速飙升,H100的初始租赁价格大约为每小时4.70美元,后来上涨到每小时超过8美元。许多初创公司的创始人急于训练他们的模型,以向投资者证明他们值得获得下一轮1亿美元的融资。 Nvidia在2023年的投资者演示中,向其投资者和数据中心客户推销了这个市场机会,预计H100的租赁价格可以达到每小时4美元。 对于GPU农场来说,这似乎是“免费”的钱。如果你能让那些初创公司以每小时4.70美元甚至更高的价格租用H100 GPU,回本周期不到1.5年。之后,每年每块GPU都能带来超过10万美元的现金流。 6000亿美元的投资后…… 2023年的大部分时间,H100的价格似乎会一直保持在每小时4.70美元以上,除非你愿意提前支付大额预付款。 但到了2024年初,H100的价格已经降到大约每小时2.85美元。而随着更多供应商上线,我开始收到类似这样的邮件: 在2024年8月,如果你愿意在短时间内拍卖一部分H100时间(几天到几周),你可以以每小时1到2美元的价格找到H100 GPU。 我们正在见证H100价格每年下跌40%以上,特别是对于小型集群。Nvidia预计的4美元每小时的市场前景在不到1.5年内就已经瓦解。 新H100服务器的投资回报率 一个H100 SXM GPU的平均设置、维护和运营成本(即大部分资本支出)超过5万美元,不包括电力和冷却的运营支出。如果按5年的GPU寿命计算,目前的市场投资回报率如何? 对于按需租赁,价格超过每小时2.85美元可以击败股市的年化收益率。如果低于这个价格,投资回报率将低于股市。如果降到每小时1.65美元以下,投资将出现亏损。 长期预订租赁(3年以上) 很多基础设施提供商并不天真,他们在2023年AI热潮时推销3-5年的预订合同,以锁定利润。今天,价格在2.85美元以上的长期合同依然存在。 当模型创作者完成训练后,他们通常会转售集群中的计算能力,部分收回成本。这使得市场上出现了大量的计算资源转售,从而加剧了H100的经济压力。 开源模型的崛起和市场的变化 随着开源权重模型(如LLaMA3)的兴起,市场上对AI推理和微调的需求不断增加。很多企业现在发现,与其从头训练大模型,还不如微调现有的开源模型,这大大减少了H100的需求。 微调模型所需的计算资源远远少于从头训练,因此导致对大型集群的需求下降。加上大量企业选择微调开源模型,投资者对新基础模型公司的兴趣也在减少。 目前,全世界正在创建基础模型的团队不到50个,H100的需求已经显著减少。 过剩的计算资源 许多公司预订了大量H100集群用于训练模型,但后来发现微调现有模型更划算。这些未使用的计算资源现在通过“计算转售商”流入市场,如Runpod、Vast.ai等,这进一步推动了H100的价格下跌。 GPU的替代方案 在推理方面,L40S、AMD的MX300和Intel的Gaudi 3等GPU提供了价格更低的替代方案。虽然这些替代方案在大规模集群训练方面尚不成熟,但它们在小型集群微调和推理方面已经表现出色。 结论:不要购买全新的H100 除非你能获得折扣的H100,或者你有巨大的集群需求,否则投资新的H100硬件很可能会导致亏损。与其投资H100,不如选择其他投资机会,或者直接投资股票市场。
GenAI对数据工程开发的影响
过去两年,生成式AI(GenAI)的发展如火如荼。最初,有人把它和NFT一样看作昙花一现的潮流。但两年后,大部分人已经意识到,这不仅仅是个潮流,而是彻底改变工作方式的转折点,推动我们朝着更快速、更灵活的方向迈进。这些变化值得庆祝,而不是担心! GenAI对数据管道开发的影响 GenAI在数据管道的开发中带来了显著的变化,尤其是自动生成样板代码的功能,让数据工程师能够专注于业务逻辑。例如,通过简单的提示,GenAI就能实现多个质量检查并执行写入-审核-发布的流程,极大简化了复杂流程。 开发时,如果写的代码超过五行但少于两百行,GenAI是非常合适的工具。对于小于五行的代码,自己写可能更快;而对于超过两百行的代码,使用GenAI可能引入更多的调试工作。 此外,GenAI在数据建模、质量检查和文档生成等方面表现出色。比如给定数据管道代码和业务背景,GenAI可以帮助生成高效的数据质量检查建议和文档样板,大大减少重复劳动。 GenAI对数据管道维护的影响 数据工程师经常面临维护数据管道的挑战,尤其是半夜被叫起来解决管道故障的情况。研究表明,97%的数据工程师曾经历过职业倦怠,其中主要原因之一就是数据管道的维护。 未来,LLMs(大语言模型)有望大幅减少这些故障。比如,GenAI可以根据历史数据自动识别和过滤误报的数据质量问题,大幅减少工程师深夜被叫醒的概率。此外,像内存不足这种常见问题,LLMs也能够自动检测并调整内存设置或执行自适应查询,极大降低维护成本。 GenAI将如何推动数据工程师职业发展的两大方向 生成式AI将使工程师能在更短时间内完成更多工作,从而减少公司对数据工程师数量的需求。未来,数据工程师的角色将逐渐融合为两大方向: 数据工程师如何为未来做好准备 对数据工程师来说,GenAI带来的变化应被视为积极的转变。使用LLMs可以让日常工作更加轻松,减少维护负担,避免职业倦怠。因此,数据工程师应当: 未来,数据工程师将更具广泛性和深度,能够更轻松地处理复杂的AI驱动任务。那些顺应变化并提升技能的工程师将在这个AI时代中大放异彩。
OpenAI发布了一项实验性框架“Swarm”
OpenAI最近发布了一项实验性框架“Swarm” https://github.com/openai/swarm ,旨在协调多个AI代理的网络协作。这一出人意料的发布在行业领袖和AI伦理学家中引发了热烈讨论,尤其是关于企业自动化的未来,尽管OpenAI强调Swarm并不是正式产品。 Swarm为开发者提供了一个创建互联AI网络的蓝图,这些AI可以自主沟通、协作,并处理复杂任务。虽然多代理系统的概念并不新鲜,但Swarm让这一技术更易于让更多开发者接触和使用,成为开发AI生态系统的一大进步。 Swarm框架在商业领域的潜在应用极为广泛。一家公司可以利用Swarm启发的技术,创建专为不同部门定制的AI代理网络。这些代理或许能合作分析市场趋势、调整营销策略、寻找销售线索,甚至提供客户支持,几乎不需要人工干预。 这种自动化程度将对企业运作方式产生根本性改变。AI代理有可能接管目前由人类监督的任务,从而提高效率,让员工专注于更具战略性的工作。不过,这也引发了关于工作性质变化以及在人机协作环境中人类决策作用的讨论。 伦理挑战:AI网络的安全、偏见和工作替代问题 Swarm的发布再次点燃了关于高级AI系统伦理问题的辩论。安全专家强调,必须制定强有力的保障措施,以防止自主代理网络被滥用或发生故障。同时,偏见和公平性问题也不容忽视,因为这些AI网络做出的决定将对个人和社会产生重大影响。 工作替代的阴影增加了这一话题的复杂性。虽然Swarm等技术可能会创造新的就业类别,但也加剧了人们对白领自动化加速的担忧。企业和政策制定者需要充分考虑AI技术普及对社会的广泛影响。 一些开发者已经开始探索Swarm的潜力。例如,开源项目“OpenAI代理群项目:分层自主代理群(HOS)”展示了一个可能的实现方式,包括具有不同角色和职责的AI代理层级。这一早期实验虽然充满前景,但也暴露了创建AI系统治理结构的挑战。 从实验到企业:AI协作和决策的未来 OpenAI明确指出了Swarm的局限性。公司研究员Shyamal Anadkat在推特上表示:“Swarm并不是OpenAI的正式产品。把它当作一本食谱,它是用于构建简单代理的实验代码,并不适合用于生产环境,我们也不会维护它。” 这一声明降低了市场预期,提醒人们多代理AI的发展还处于早期阶段。然而,Swarm作为一个概念框架的重要性并未因此减弱。它为开发者和企业提供了一个关于未来AI生态系统可能结构的清晰愿景。 对于企业决策者来说,Swarm是推动前瞻性思考的催化剂。虽然尚未准备好立即应用,但它预示了AI技术发展的方向。那些现在就开始探索这些概念的公司,无论是考虑其潜在的好处还是挑战,未来将更具适应性。 Swarm的发布也凸显了跨学科协作的重要性。技术专家、伦理学家、政策制定者和商业领袖必须共同努力,确保多代理AI系统的发展符合社会的价值观和需求。 随着AI讨论的焦点越来越集中于这些互联系统,Swarm为未来几年企业和社会将面对的问题提供了一个宝贵的预览。科技界也在密切关注开发者如何基于Swarm的理念继续创新,以及OpenAI和其他领先AI公司将如何引领这一变革性技术的发展方向。
Adobe推出内容凭证新工具,助力数字创作者保护作品权益
随着AI技术的飞速发展,相关法规却无法跟上,数字艺术家们如今几乎没有办法确保自己的作品不会被输入到某个数据集,最终让图像生成器模仿他们的风格。Adobe对此提出了应对方案,计划推出一款新工具,帮助创作者数字签署他们的图片、视频和音频文件,并有望控制这些作品的使用方式。 Adobe的新工具预计将在明年初推出,创作者可以为自己的作品附加“内容凭证”,类似于一张包含归属信息和生成式AI训练使用偏好的“营养标签”。这个凭证系统是Adobe领导的内容真实性倡议(Content Authenticity Initiative,简称CAI)的一部分,旨在为数字媒体标记来源,建立行业标准。随着AI生成的逼真图像泛滥,线上真实性逐渐被侵蚀,该项目的意义尤为重大。 CAI高级主管Andy Parsons在接受采访时表示:“我们经常看到关于版权诉讼的新闻,以及生成式AI模型无视所有权和补偿,在网络上肆意抓取内容的现象。这是我们社区的真实担忧。在相关版权法和法院判决明确保护之前,我们认为现在及未来,确保创作者能表达他们的使用偏好是非常重要的。” 合作是关键:CAI的很多举措需要跨行业的协同配合。比如,AI公司需要承诺尊重艺术家的创作偏好。Parsons透露,数据治理平台Spawning AI已经表示支持,其他公司如Stability AI和Hugging Face也是合作伙伴。此外,还有许多相关讨论进入了后期阶段。 Parsons还指出,这并不是一场艰难的谈判,因为双方并非在签订商业合同。他解释道:“创作者生态系统对此有需求,某些创作者的选择性退出并不会对商业模型的质量产生重大影响,我们认为AI公司应当予以尊重。” 为了增强内容凭证的可见性,CAI还计划与浏览器公司展开合作,微软是该组织的数千名成员之一,谷歌也曾与其合作。目前,Adobe推出了一个浏览器扩展,允许用户在尚未显示这些标签的网站和社交媒体平台上查看内容凭证。 至于有人可能会通过删除凭证标签或截图的方式盗用内容,Parsons表示,这并不像想象中那么简单。Adobe开发的技术结合了“水印、指纹技术和安全元数据”等多种最佳实践,确保这些凭证数据难以被篡改。即使是通过截图或拍照的方式,数据依然能够保留。 CAI成立于2019年,随着深度伪造技术的威胁日益严重,该项目的会员规模不断扩大。CAI及其相关标准组织——内容来源与权限联盟(C2PA)吸引了包括微软、谷歌、Adobe等科技巨头,BBC、纽约时报、美国新闻社等媒体机构,以及徕卡、佳能、尼康等相机制造商的加入。
Apple研究人员发文质疑AI的“推理”能力
机器学习模型到底是如何工作的?它们是否真的像人类理解的那样“思考”或“推理”?这个问题不仅是实践层面的,更是哲学层面的。最近的一篇论文引发了广泛讨论,答案似乎是——至少目前来说,答案很可能是否定的。 苹果公司的AI研究团队发布了一篇名为《理解大型语言模型在数学推理中的局限性》的论文 (https://arxiv.org/pdf/2410.05229),该论文引发了广泛讨论。尽管涉及的符号学习和模式再现等概念较为复杂,但论文的核心观点非常容易理解。 假设提出一个简单的数学问题: “奥利弗星期五摘了44个猕猴桃,星期六摘了58个,星期天摘了相当于星期五两倍的猕猴桃。奥利弗总共有多少个猕猴桃?” 显而易见,答案是44 + 58 + (44 * 2) = 190。虽然大型语言模型在算术方面并不完美,但它们通常可以正确回答这类问题。然而,如果加上一些随机的无关信息,比如: “奥利弗星期五摘了44个猕猴桃,星期六摘了58个,星期天摘了相当于星期五两倍的猕猴桃,但其中有5个稍微小了一些。奥利弗总共有多少个猕猴桃?” 这实际上还是同一个数学问题,小猕猴桃依然是猕猴桃,小学生都能理解这一点。然而,最先进的语言模型却容易被这种额外的细节搞糊涂。以GPT-o1-mini的回答为例: “……星期天有5个猕猴桃比平均值小,我们需要从星期天的总数中减去它们:88(星期天的猕猴桃) – 5(小猕猴桃)= 83个猕猴桃。” 这个例子仅是几百个经过轻微修改的问题中的一个,但大多数类似的问题都会导致模型的成功率大幅下降。 为什么会这样? 为什么一个能够正确解决问题的模型会因为无关的细节而迷失?研究人员认为,这种可靠的失败模式表明模型实际上并没有真正理解问题。虽然它们的训练数据允许它们在某些情况下给出正确答案,但一旦需要进行真正的“推理”,例如是否需要考虑小猕猴桃的数量,模型便会给出奇怪且不直观的结果。 研究人员在论文中指出: “我们研究了这些模型在数学推理中的脆弱性,并展示了它们的表现随着问题中条款数量的增加而显著恶化。我们推测这种下降是因为当前的大型语言模型不具备真正的逻辑推理能力,它们只是试图重现在训练数据中观察到的推理步骤。” 这种观察与人们常归因于语言模型的特性相一致。比如,当“我爱你”之后常跟着“我也爱你”时,语言模型可以轻松重复这些句子——但它并不是真的“爱”你。同样,虽然它可以遵循它见过的复杂推理链,但当出现稍微偏离的情况时,它的表现就会崩溃,表明它并不是在真正推理,而是在复制它观察到的模式。 一位OpenAI研究员在对该论文表示肯定的同时提出异议,认为通过提示工程可以解决这些失败案例中的错误。然而,论文作者Farajtabar指出,虽然更好的提示设计可能会对简单偏差有效,但模型可能需要成倍增加的上下文数据来应对复杂的干扰——这些干扰对于一个孩子来说几乎是微不足道的。 这是否意味着LLM无法推理? 答案并不明朗。也许当前的大型语言模型并不能“推理”,但它们是否永远无法推理?没人知道。这些概念尚未完全定义,而问题出现在AI研究的最前沿,技术状态几乎每天都在变化。也许LLM“推理”的方式是我们尚未识别或控制的。 这个问题为未来的研究开辟了一个充满可能性的前沿领域,但也提醒我们,面对AI产品的宣传时要谨慎。AI究竟能做到宣传中所说的那些事吗?如果能,它是如何做到的?随着AI成为日常软件工具,这类问题已经不仅仅是学术讨论,而是关乎实际应用的现实问题。
Neuromnia是一家创新的AI平台用Llama为自闭症护理领域带来全新解决方案
Neuromnia是一家创新的AI平台,正在为自闭症护理领域带来全新解决方案。面对全球每36个孩子中就有一人患有自闭症的现状,Neuromnia为临床医生、家长和教师提供了强大的AI驱动工具,大幅提升了工作效率、改善了治疗质量,并为自闭症患者提供了更多的护理机会。 Neuromnia通过Llama 3.1模型开发了名为Nia的AI助手,专门用于应用行为分析(ABA)治疗。Nia能够显著提高临床医生的工作效率,并通过其功能帮助更多自闭症患者获得高质量的护理。 用心驱动的创新 Neuromnia的AI开发之旅始于Llama 3.1的研究和测试阶段。2024年5月,团队开始使用70B版本模型,并很快发现该模型在自然语言处理任务中的表现非常出色。公司联合创始人兼首席产品官Josh Farrow(具备15年临床经验的认证行为分析师)通过精心编写的数据集,对Llama模型进行了细化和优化,用于生成行为干预计划和技能推荐方案。 Neuromnia的联合创始人兼首席执行官Jay Gupta表示:“在测试Llama时,它在自然语言处理任务中的表现令我们印象深刻。结合我们CPO的临床经验,Llama帮助我们构建了一个全面的数据集,极大地减轻了临床医生的行政负担,并提升了护理质量。” 开源技术助力自闭症护理 对于像Neuromnia这样的初创公司来说,开源技术在其开发、测试和扩展过程中起到了至关重要的作用。开源的大型语言模型(LLM),如Llama 3.1,为复杂任务的模型开发提供了成本效益极高的途径,避免了昂贵的开发费用。借助开源社区的贡献,Neuromnia团队能够进一步优化其技术,以应对ABA行业的特定需求。 Gupta还表示:“开源让我们可以避免受制于特定供应商的限制。社区的支持为我们提供了宝贵的建议和信息,帮助我们创建和部署LLM模型。” 推进智能行为健康的未来 Nia的设计目标之一是解决ABA领域人手短缺的问题。通过自动化治疗计划、文档处理和调整建议,Nia减少了临床医生在重复性任务上的投入,帮助他们更加高效地管理大量病例。Neuromnia希望通过其AI功能,减少行业内高频出现的倦怠感和人员流失现象,进而提高ABA从业者的生产力。 Gupta补充道:“许多诊所缺乏强大的数据分析能力。我们的平台提供自动化的行动建议,帮助优化和简化从接诊到出院的整个治疗流程。” 开创无限可能的未来 借助Llama 3.1,Neuromnia将Nia的功能提升到了一个新的高度。尽管在早期遇到了一些配置和bug问题,团队通过不断的尝试和调试,迅速解决了这些问题,并成功将Llama整合到其平台中。通过使用提示工程、检索增强生成(RAG)等技术,Neuromnia进一步优化了模型的输出,确保生成的内容具有准确性和上下文的适用性,并利用由临床医生创建的合成数据进行训练,以成功生成、修改和验证Nia软件内的响应。 展望未来,Neuromnia将继续使用Llama,并评估其每个新版本,以确保平台始终保持前沿技术,满足日益增长的自闭症护理需求。 Gupta总结道:“虽然现成的LLM有时在处理技术或复杂任务时表现不佳,但我们通过提示工程、RAG、精调以及语义搜索等技术,大幅降低了错误率。这些进步确保了我们的解决方案能够持续提供准确、个性化的结果,让每个家庭都能获得自闭症支持。”
2024年诺贝尔化学奖颁发给了Demis Hassabis、John Jumper和David Baker
2024年诺贝尔化学奖颁发给了Demis Hassabis、John Jumper和David Baker,以表彰他们利用机器学习解决生物学中最大的难题之一——预测蛋白质的3D结构并从头设计蛋白质。这次获奖的研究起源于科技公司DeepMind,这是一个不同寻常的现象,因为以往大多数化学诺奖获得者来自学术界。 今年的物理学和化学奖有一个有趣的联系:物理学奖表彰了机器学习的基础理论,而化学奖则表彰了应用机器学习破解蛋白质折叠难题。2024年诺贝尔奖强调了人工智能在当今科学中的重要性,以及跨学科合作对取得突破性成果的关键作用。 蛋白质折叠难题 蛋白质是生命的分子机器,它们的3D结构决定了其功能。1972年,Christian Anfinsen因揭示蛋白质的氨基酸序列决定其形状而获得诺贝尔化学奖。然而,预测蛋白质形状一直是科学界未解的难题,尤其是基于其氨基酸序列来推测其折叠成的最终结构。 机器学习的突破 随着DeepMind成立,Demis Hassabis及其团队将AlphaZero等AI技术的成功应用于蛋白质折叠问题,开发出AlphaFold2。该AI可以根据氨基酸序列精确预测蛋白质的3D结构。这一突破不仅解决了长期困扰生物学的难题,还为药物开发和疾病治疗提供了新的可能性。 AlphaFold已经预测了超过2亿种蛋白质的结构,并免费提供给全球科学家使用,加速了生物学、医学和药物研发的进展。 设计新蛋白质抗击疾病 预测蛋白质的形状对设计新药物至关重要。2024年,DeepMind发布了AlphaFold3,不仅能预测蛋白质结构,还能识别小分子药物的结合位点,进一步推动精准药物设计的发展。 与此同时,David Baker及其团队利用AI创造了全新的蛋白质,包括发光酶,展示了机器学习在设计自然界无法进化的功能性蛋白质方面的潜力。 AI推动科学的未来 Hassabis、Jumper和Baker的成就表明,机器学习已经成为生物学和医学的核心工具。通过破解蛋白质折叠难题,他们为药物发现、个性化医疗以及生命化学的深入理解开启了新的篇章。