关键点概述 NVIDIA于2022年5月推出了带有双重GPL和MIT许可的开源Linux GPU内核模块R515驱动程序。最初的版本主要针对数据中心计算GPU,GeForce和工作站GPU则处于alpha状态。 当时,NVIDIA宣布后续版本将提供更强大和全功能的GeForce和工作站Linux支持,最终由NVIDIA开源内核模块取代闭源驱动程序。 NVIDIA GPU共享一个通用的驱动程序架构和功能集。无论是在桌面还是笔记本电脑上,使用的都是同一款驱动程序,这也是全球最先进的AI工作负载在云端运行的驱动程序。对NVIDIA来说,做到这一点至关重要。 经过两年的努力,NVIDIA的开源GPU内核模块在应用性能上达到了相同甚至更高的水平,并增加了许多新功能: 现在,NVIDIA决定在即将发布的R560驱动程序中全面转向开源GPU内核模块。 支持的GPU 并非所有GPU都兼容开源GPU内核模块。 对于NVIDIA Grace Hopper或NVIDIA Blackwell等尖端平台,必须使用开源GPU内核模块。这些平台不支持专有驱动程序。 对于Turing、Ampere、Ada Lovelace或Hopper架构的较新GPU,NVIDIA建议切换到开源GPU内核模块。 对于Maxwell、Pascal或Volta架构的较旧GPU,开源GPU内核模块不兼容,需继续使用NVIDIA专有驱动程序。 对于混合部署(同一系统中包含旧的和新的GPU),继续使用专有驱动程序。 如果不确定哪种驱动程序适合,NVIDIA提供了一个新的检测助手脚本,帮助选择合适的驱动程序。更多信息,请参阅本文后面的“使用安装助手脚本”部分。 安装程序变化 通常情况下,所有安装方法默认安装的驱动程序版本将从专有驱动程序切换到开源驱动程序。以下几种特定情况需要特别注意: 使用CUDA元包的包管理器 在使用包管理器安装CUDA工具包时,安装元包常用于此目的。安装顶级cuda包时,会同时安装CUDA工具包和相关的驱动程序。例如,在CUDA 12.5发布期间安装cuda包,会得到专有的NVIDIA驱动程序555以及CUDA工具包12.5。 从CUDA 12.6版本开始,流程发生了变化(见图2)。 使用运行文件 如果使用.run文件安装CUDA或NVIDIA驱动程序,安装程序会查询硬件并自动安装最适合系统的驱动程序。UI中还提供了选项,可以在专有驱动程序和开源驱动程序之间进行选择。 使用CUDA .run文件和ncurses用户界面时,现在会看到如下菜单: sqlCopy code┌──────────────────────────────────────────────────────────────────────────────┐ │ CUDA Driver │ │ [ ] Do not install any of the OpenGL-related driver files │ │ [ ] Do not install…
Author: aitrendtrackers@rengongzhineng.io
OpenAI推出GPT-4o Mini:轻量廉价的AI模型,为开发者赋能
OpenAI推出轻量版GPT-4o Mini,瞄准开发者市场 OpenAI发布了一款面向开发者的轻量版模型——GPT-4o Mini。它的成本显著低于完整版模型,且被认为比GPT-3.5更强大。 使用OpenAI的模型构建应用程序可能会产生高昂费用,许多开发者无法负担,转而选择更便宜的模型,如Google的Gemini 1.5 Flash或Anthropic的Claude 3 Haiku。现在,OpenAI也进入了轻量模型市场。 API平台产品负责人Olivier Godement在接受《The Verge》采访时表示,“GPT-4o Mini真正体现了OpenAI让AI更广泛可及的使命。如果我们希望AI能惠及世界每个角落、每个行业、每个应用,就必须让AI更加负担得起。” 从今天起,ChatGPT的免费、Plus和团队计划用户可以使用GPT-4o Mini替代GPT-3.5 Turbo,企业用户将在下周获得访问权限。这意味着ChatGPT用户将无法再选择GPT-3.5,但开发者仍可通过API使用GPT-3.5,直到它被逐步淘汰。 Godement表示,“我认为它会非常受欢迎。” 新的轻量模型还将在API中支持文本和视觉处理,公司表示它很快将能够处理所有多模态输入和输出,包括视频和音频。这意味着未来可能会有更强大的虚拟助手,能够理解旅行行程并提供建议。然而,这款模型主要用于简单任务,所以并不能廉价地打造类似Siri的高级助手。 在测量大规模多任务语言理解(MMLU)基准考试中,GPT-4o Mini取得了82%的成绩。MMLU是一项包含57个学科大约16,000道多项选择题的考试。首次引入时,大多数模型表现不佳,目的是因为之前的基准考试已经无法考验这些模型的能力。GPT-3.5在这一测试中得分70%,GPT-4o得分88.7%,Google声称其Gemini Ultra创下了90%的最高分。相比之下,竞争对手Claude 3 Haiku和Gemini 1.5 Flash的得分分别为75.2%和78.9%。 需要注意的是,研究人员对MMLU等基准测试持谨慎态度,因为不同公司对测试的实施方式略有不同,使得模型间的得分难以直接比较。此外,AI可能会在其数据集中已有这些答案,从而“作弊”,而且通常没有第三方评估者参与。 对于渴望廉价构建AI应用的开发者来说,GPT-4o Mini的推出为他们提供了新的工具。OpenAI让金融科技初创公司Ramp测试了该模型,使用GPT-4o Mini构建了一个从收据中提取费用数据的工具。用户可以上传收据照片,模型会自动整理数据。电子邮件客户端Superhuman也测试了GPT-4o Mini,用它创建了一个电子邮件回复自动建议功能。 目标是为开发者提供轻量且廉价的工具,帮助他们创建无法用更大、更昂贵模型实现的应用。许多开发者在面对高昂的计算成本时,会选择Claude 3 Haiku或Gemini 1.5 Flash,而非支付运行最强大模型的费用。 那么,OpenAI为何花了这么长时间才推出轻量版模型?Godement表示,这是因为公司的优先事项一直是打造更大更强的模型,如GPT-4,这需要大量的“人力和计算资源”。随着时间推移,OpenAI注意到开发者越来越倾向于使用小型模型,因此决定现在是投入资源开发GPT-4o Mini的最佳时机。 Godement补充道,“我认为它会非常受欢迎。无论是已经使用OpenAI所有AI的现有应用,还是此前因价格被拒之门外的许多应用。”
AI教母李飞飞创立的World Labs估值超10亿美元
🔑要点: 计算机科学家李飞飞(因其在计算机视觉领域的贡献,被誉为“AI教母”)四个月前创立了一家AI初创公司World Labs,现在该公司的估值已超过10亿美元。 World Labs正在开发一种能够增强推理和处理视觉数据的模型,使其具备类似人类的理解能力,能够理解物体的尺寸、位置和行为。 李飞飞的愿景不仅是“能看会说的AI”,而是“能做事的AI”。这些进展有望使机器人更高效地导航物理空间,变革医疗和制造等行业。 自4月创立以来,李飞飞完成了两轮融资,最近一轮由包括A16z和AI基金“Radical Ventures”在内的知名投资者领投,筹集了1亿美元。 🤔为什么值得关注: 在过去三个月,美国AI初创公司共获得了超过270亿美元的资金(约占所有初创公司资金的一半),而World Labs在短短四个月内就获得了1亿美元的融资,并达到10亿美元的估值,反映了风险投资公司越来越倾向于支持雄心勃勃的AI驱动初创公司。这一趋势可能受到OpenAI惊人且迅速的成功的推动,其在仅10个月内估值就超过了800亿美元。
Mistral 开源 MathΣtral 和 Codestral Mamba
Mathstral:数学领域的革命性AI工具 为了增强解决复杂多步骤逻辑推理的高级数学问题的能力,Mathstral正式发布 (https://huggingface.co/mistralai/mathstral-7B-v0.1),旨在为科学界贡献力量。这次发布是我们支持学术项目的更广泛努力的一部分,Mathstral是在我们与Project Numina合作的背景下生产的。 类似于艾萨克·牛顿在他那个时代的地位,Mathstral依托于Mistral 7B,专注于STEM(科学、技术、工程和数学)学科。在各种行业标准基准测试中,它在同类规模中实现了最先进的推理能力。具体来说,它在MATH测试中达到了56.6%的成绩,在MMLU测试中达到了63.47%的成绩,并且展示了Mathstral 7B和Mistral 7B在不同学科中的MMLU表现差异。 Mathstral 7B的学科细分表现 Mathstral是为特定用途构建模型时实现的卓越性能/速度平衡的又一个例子——这种开发理念在la Plateforme中积极推广,特别是在其新的微调功能中。 Mathstral 7B详细基准测试 Mathstral在推理时间计算增加的情况下能够显著提高结果:使用多数投票法时,Mathstral 7B在MATH测试中得分为68.37%,在64个候选者中使用强奖励模型时得分为74.59%。 Mathstral是一个指令模型——可以按其文档使用或微调。其权重托管在HuggingFace上。现在可以使用mistral-inference试用Mathstral,并使用mistral-finetune进行调整。 Codestral Mamba:革新AI架构的下一步 在发布Mixtral系列之后,Codestral Mamba是Mistral研究和提供新架构的又一努力成果。它可供免费使用、修改和分发,希望为架构研究开辟新的视角。Codestral Mamba的设计得到了Albert Gu和Tri Dao的帮助。 与Transformer模型不同,Mamba模型具有线性时间推理的优势,并且理论上能够建模无限长度的序列。它允许用户与模型进行广泛互动,并能快速响应,无论输入长度如何。这种效率对于代码生产力用例尤为重要——因此,Mistral训练了具有高级代码和推理能力的模型,使其能够与SOTA基于Transformer的模型表现相当。 详细的Codestral Mamba基准测试 Codestral Mamba (https://console.mistral.ai/)在上下文检索能力上的表现已经过测试,最高支持到256k个token。预计它将成为一个出色的本地代码助手! 可以使用mistral-inference SDK部署Codestral Mamba,该SDK依赖于Mamba的GitHub存储库中的参考实现。该模型还可以通过TensorRT-LLM部署。对于本地推理,请关注llama.cpp的支持。原始权重可从HuggingFace下载。这是一个指令模型,具有7,285,403,648个参数。 为了方便测试,Codestral Mamba已在la Plateforme上提供(codestral-mamba-2407),以及其“大姐”Codestral 22B。虽然Codestral Mamba是根据Apache 2.0许可提供的,Codestral 22B则根据商业许可提供自我部署或社区许可供测试使用。
Project Oscar:谷歌的开源AI维护助手革命
Project Oscar (https://go.googlesource.com/oscar/+/refs/heads/master/README.md),又称为开放超级大规模抓取聚合语料库,是谷歌宣布的一个开源项目,由一组研究人员和工程师领导。重要成员包括Pedro Ortiz Suarez、Julien Abadji、Rua Ismail、Laurent Romary和Benoît Sagot。 该项目始于2019年,自那时起得到了不同机构的资助和支持。Inria(ALMAnaCH项目团队)和PRAIRIE研究所提供了初始资金。2023年,DFKI和德国联邦经济事务和气候行动部通过OpenGPT-X项目加入,成为主要支持者。 曼海姆大学也在2022年和2023年初提供了资金支持。Common Crawl为Project Oscar提供原始网页数据。其他合作伙伴,如曼海姆大学的数据与网络科学小组和慕尼黑大学,也作出了贡献。这些合作伙伴的参与使得Project Oscar成为AI和ML发展的重要资源。 这个项目到底是干什么的? “该项目主要提供大量未标注的原始数据,常用于大型深度学习模型的预训练。OSCAR项目开发了高性能的数据管道,专门用于分类和过滤大量网页数据,”组织的介绍页面解释道。 简单来说,它用于收集和清理网页数据,并创建自动化代理来协助开源维护任务。这个过程可以用166种不同的语言进行,适用于全球用户。 Project Oscar的主要使命是为LLMs提供分析自然语言输入的数据集,如问题报告或维护者指示。这些LLMs是训练AI模型的数据集,是语言翻译服务、ChatGPT等聊天机器人和其他AI驱动工具的基础。 Google如何使用Oscar? Google的Go编程语言团队使用来自Project Oscar的AI代理来管理错误报告和与贡献者的互动。这个自动化系统帮助他们处理问题报告并实时与用户沟通。谷歌宣布,“在谷歌,我们领导许多开源项目,维护这些项目需要大量工作! “因此,我们创建了Project Oscar,一个AI代理的参考,用于帮助开源项目的维护,从Go项目开始,这个项目有超过93,000个提交和2,000个贡献者,但你可以想象支持各种不同的项目。我们正在开源Project Oscar,所以请查看并告诉我们你希望AI代理能做什么。” 这对科技有何好处? 使用开源意味着更多跨行业、跨世界的合作机会。开发人员能够不断改进和使用该项目。 此外,通过Project Oscar创建的谷歌AI代理处理像错误跟踪这样的日常任务,减少开发人员的工作量,让他们专注于项目的创意部分。这种自动化有助于加快软件开发过程。 在Github上,开发者可以发送邮件给组织提供反馈或提问,也可以访问项目代码。“Oscar与许多以开发为中心的LLMs用途不同,它并不试图增强或取代代码编写过程。 “毕竟,写代码是写软件中有趣的部分。相反,Oscar的想法是专注于不那么有趣的部分,如处理传入问题、将问题匹配到现有文档等,”谷歌提到。
Google如何构建AlphaFold 3来预测所有生命分子的结构和相互作用
自2020年推出以来,已有超过200万研究人员在疫苗开发、癌症治疗等工作中使用了Google DeepMind的AlphaFold 2模型,解决了困扰研究人员超过50年的难题。在帮助科学家预测了数亿种结构后,团队本可以功成身退。然而,他们并没有停下脚步,而是开始了AlphaFold 3的研发。这款新模型由Google DeepMind和Isomorphic Labs团队于今年5月推出,不仅能预测蛋白质折叠结构,还能预测包括DNA、RNA和配体(与蛋白质结合的小分子)在内的所有生命分子的结构和相互作用。 “我们在AlphaFold 2上解决了蛋白质折叠这个几十年的老问题,但从最近的高影响力研究来看,研究人员已经超越了这一点,”Google DeepMind的研究科学家Jonas Adler表示。“他们的结论往往涉及更详细的内容,比如小分子的结合或RNA,这是AlphaFold 2无法做到的。实验研究已经进展到了一个新前沿,为了赶上生物学和化学的最新进展,我们必须能够覆盖所有生物分子。” 这些生物分子包括配体,占所有药物的约一半。Isomorphic Labs的研究负责人Adrian Stecula表示:“在Isomorphic Labs,我们看到了AlphaFold 3在合理药物设计中的巨大潜力,并且已经在日常工作中使用它。新模型解锁了回答诸如‘蛋白质如何与DNA和RNA相互作用?’以及化学修饰对蛋白质结构的影响等问题的能力。” 增加这些额外的分子类型引入了数量级更多的可能组合。“蛋白质是非常有序的,例如,只有20种标准氨基酸,”Jonas说。“而对于小分子来说,空间是无限大的——它们几乎可以做任何事情,非常多样化。” 构建一个包含所有能力的数据库是不可能的,因此推出了AlphaFold Server,这是一种免费工具,允许科学家输入自己的序列,AlphaFold可以为其生成分子复合物。自5月推出以来,研究人员已经使用它生成了超过100万个结构。 “它就像分子复合物的谷歌地图,”Google DeepMind的研究工程师Lindsay Willmore说。“任何不懂编程的用户都可以复制并粘贴他们的蛋白质、DNA、RNA序列或小分子的名称,按一下按钮,等待几分钟,他们就能看到结构和置信度指标,从而评估他们的预测。” 为了让AlphaFold 3处理更广泛的生物分子范围,团队大幅扩展了新模型的训练数据,包括DNA、RNA、小分子等。“我们能够说,‘让我们训练所有现有的数据集,看看能走多远,’”Lindsay说。“结果表明,我们可以走得很远。” AlphaFold 3的另一个重大变化是生成结构的模型架构的转变。AlphaFold 2使用的是复杂的基于几何的模块,而AlphaFold 3采用的是基于扩散的生成模型,这大大简化了模型处理所有新分子类型的方式。 但这一变化也带来了新问题:由于蛋白质的“无序区域”没有包含在训练数据中,扩散模型会尝试创建一个不准确的“有序”结构,而不是预测无序区域。因此,团队转向AlphaFold 2,它已经非常擅长预测哪些相互作用是无序的,哪些不是。“我们使用AlphaFold 2的预测结构作为AlphaFold 3的蒸馏训练,让AlphaFold 3学习预测无序,”Lindsay说。 “我们有一句话:‘相信螺旋面,拒绝意大利面,’”Jonas补充道。 AlphaFold 3的一个预测示例。中央是蓝色紧密卷曲的螺旋结构,周围是橙色松散交织的结构,类似于意大利面。这些颜色代表模型预测的置信度。 团队期待看到研究人员如何使用AlphaFold 3推动基因组学研究、药物设计等领域的发展。 “看到我们取得的进展,真是令人难以置信,”Jonas说。“过去非常困难的事情现在变得很容易,过去不可能的事情现在变得可能——虽然这里仍然有非常难的问题需要解决,但我们对AlphaFold 3能帮助解决这些问题充满期待。”
迈克尔的37岁:时间的感悟与人生的智慧
本月初,Michael在科罗拉多州做了一次演讲。他到得很晚,但没关系,因为他知道自己将住进一家非常豪华的酒店,这家酒店他之前也住过。走到房间时,他被酒店的破旧状态震惊了。家具显得老旧,墙壁上有刮痕,装饰也疲惫不堪,甚至房间里的电子设备也很陈旧。 他觉得很奇怪,这家酒店以前可是崭新时尚的。然后他意识到:那确实是以前。时间过去了。也许他第一次住进这家酒店时才二十多岁呢!接着,他突然明白:自己也不再年轻时尚了,自己也被这些岁月磨平了棱角。 这让Michael想起塞内卡的一段经历。塞内卡回到他成长的房子时,感叹那些逐渐凋零的树木。这些树是他亲手种下的,现在却因年老而枯死,而他自己也没好到哪去。 Michael正在写这篇生日帖子——这是他的第37个生日,也是他系列中的第12篇帖子。虽然他在书巡演中染上了新冠,脑袋有点迷糊,但他还是能做些简单的算术:出生时的预期寿命大约是75年,也就是说他已经走过了一半的路程。尽管现在的医疗水平更高,但这个认知还是让他很震惊,就像在那个酒店走廊里感受到的那种感觉。 尽管如此,Michael并不觉得自己老了。恰恰相反,他觉得自己正处于创作巅峰期。他热爱自己的生活和工作。如果有人告诉他现在是生命的中点,他会心存感激。如果有人说这就是终点,他也会很满足——这37年来,他获得的远超过37年的价值。 在这样的心境下,Michael想分享一些今年及以往学到的教训(参考往年的第36篇、第35篇、第34篇、第33篇、第32篇、第31篇、第30篇、第29篇、第28篇、第27篇和第26篇)。 4b. 伏尔泰的说法Michael也很喜欢:你做出的最重要决定就是保持好心情。 18b. Michael真正想说的是,看看专业人士——无论是旅行、银行、买车还是其他事情——如何做事,看看你能学到什么效率。看看哪些假设可以被质疑。 19b. 这是约翰·斯坦贝克谈到的“过度工作的无纪律性”。他说,这是最虚假的经济学。 20b. 前几天,他的水瓶里有恰到好处的冰块,水和冰混合成了冰沙。他意识到这就是伊壁鸠鲁追求的那种快乐。这不多,但非常美妙。 没开始计时?”关键是:事情需要时间。前面的时间(因为开始太慢)、中间的时间(因为回复太慢)或最后的时间(因为处理太慢)都会让事情变得更慢。别人做事的时间你无法控制,但你可以控制自己做事的时间。 34b. 我们应该以不同方式做很多事情吗?政府犯了很多无法辩解的错误吗?很多假设被证明是错误的吗?是的。但无法辩解的现实是,我们本可以也应该做得更多,当我们将这个时期视为历史时刻时,这就是我们的孩子和孙辈会对我们说的。 36b. Michael无法回报罗伯特·格林为他所做的一切和打开的门,但他可以将其传递下去。
差劲的管理经验与出色的技术经理
差劲的管理经验与出色的技术经理 许多软件开发人员都有过不好的管理经验。本文将分享这些糟糕的管理技巧,并深入探讨优秀技术经理的特质。尽管本人未曾遇见过一位真正出色的技术经理,但还是尝试总结出一些见解。 最近的经历 上周,技术主管说要和团队进行一次汇报,但至今未有行动。通常这不是什么大问题,但这种情况一再发生,已经超过五次,无法再容忍。 情况分析 这是人事管理问题,更是公司文化问题。让我们看看为什么这很重要以及如何解决。 为什么重要 许多人认为与上司的关系是个人责任,但人员流动往往是由糟糕的管理引起的。良好的管理对于创造健康高效的工作环境至关重要,这不仅仅关乎个人。 技术公司常见的差劲管理迹象 微管理者 过度关注细节的领导往往会导致员工在工作中频繁出错。如果领导总是紧盯不放,员工难以展示自己的能力,微管理会带来极大的负面影响。 忽视管理任务的经理 管理者应该优先考虑管理职责。然而,许多经理反馈迟缓、频繁取消一对一会议、对员工不予回应。如果你有管理任务,应该优先处理并关注下属。 不接受反馈 糟糕的经理通常无法接受反馈,导致行为无法改进。无论是新手还是经理,都应听取意见,不断改进。 不屑一顾 不好的经理可能会轻视员工的意见和贡献,甚至窃取下属的功劳。这种行为不仅不公平,还可能导致员工流失。 缺乏组织 不好的经理通常缺乏组织能力,不准备、不努力工作。如果公司容忍这种懒散工作,员工自然无法期待高效的管理。 优秀技术经理的特质 沟通技巧 优秀的经理能清晰传达期望、反馈和关注点,确保团队成员理解自己的角色和贡献。 同理心和理解 他们了解团队成员的优劣势,提供必要的支持,营造一个包容的环境,让所有人都感到被重视。 委派与信任 有效的经理能有效委派任务,信任团队成员完成工作,并在需要时提供指导和支持。 远见和策略 他们有明确的愿景和策略,将团队目标与公司整体目标对齐,帮助团队理解工作的意义。 适应能力 优秀的经理能根据反馈和变化调整策略,保持灵活性。 反馈与发展 他们提供建设性反馈,致力于团队成员的职业发展,帮助他们成长和进步。 成为优秀技术经理的建议 积极倾听 多听少说,了解团队的挑战和关注点,开放接受改变。 提供明确指示 设定清晰的目标和期望,确保团队知道成功的标准,并支持他们实现目标。 鼓励和支持 鼓励创新和创造力,保护团队免受高层管理的压力,支持他们在犯错时进行改进。 营造积极环境 创造尊重、协作和包容的文化,认可和庆祝成就,以身作则,做到言行一致。 推动持续学习 鼓励团队寻求学习机会和挑战,提供反馈和指导,帮助他们在技术技能和行为方面成长。 结语 经理的角色至关重要。优秀的技术经理不仅管理任务,更能激励、指导和支持团队实现目标。技术经理应具备编程和管理双重能力,这并不是过高的要求,对吧?
Meta发布Llama 3:AI语言模型的新高度
2024年4月,Meta发布了最新版本的AI语言模型——Llama 3,其数据集规模是Llama 2的7倍以上。Llama 3最初推出了8B和70B参数规模,表现远超Llama 2、谷歌的开源模型Gemma以及Anthrophic的Claude Sonnet。自那以后,Sonnet进行了升级,成为最强大的AI模型之一。 关键突破 最新泄露的信息显示,备受期待的Llama 3最强大版本——训练参数超过4000亿的模型,可能即将发布。这是Meta众多新模型之一,使用了数十万台Nvidia H100 GPU进行训练。 在早期测试中,经过指令调优的Llama 3 400B在MMLU基准测试中得分86.1,已经达到了GPT-4的一半参数表现水平。这一结果意味着,Meta在模型架构和训练方法上取得了重大进展,足以对OpenAI形成强有力的竞争。 效率与性能 Llama 3 400B能够以更少的参数实现与GPT-4相当的性能,表明其在计算资源、能耗和成本方面可能比ChatGPT 4更高效。大参数模型在基准测试和实际任务中通常表现更好,但Llama 3 400B的高效表现让人们看到了其巨大的潜力。 开源优势 另一个令人兴奋的原因是Llama 3在研究和商业用途下以开源许可发布,尽管400B版本是否会同样开源尚未明确。如果开源,研究人员和开发者将可以免费使用这些最先进的语言能力,通过多种云平台和生态系统,加速创新和新应用的开发。 拥有如此强大的模型将使研究人员能够快速开发先进的语言AI应用,而无需依赖昂贵的专有API。 最新进展 Meta AI自4月18日发布Llama 3的新闻稿以来,就一直在暗示400B模型的发布。“我们最大的模型超过4000亿参数,”当时他们写道,并补充说“在接下来的几个月里,我们将发布多个具有新功能的模型,包括多模态、支持多语言对话、更长的上下文窗口以及更强的整体能力。” 自那时以来,网络上充满了关于400B模型可能发布日期的各种理论和猜测。虽然Meta确认Llama 3 400B的开发已经完成,但尚未公布正式发布日期。 然而,WhatsApp Beta用户在Android 2.24.14.7上发现了一个新选项,可以尝试Meta AI的Llama 3-405B模型。虽然该选项目前仅限于测试用户,并且使用量有限,但这足以让人们对全面发布感到兴奋,可能会在2024年7月底或8月发布。 总结 Meta的Llama 3模型,无论是从数据规模、性能效率还是开源优势,都展示了其在AI语言模型领域的卓越实力。随着400B版本的即将发布,研究人员和开发者将迎来一个崭新的AI时代。
新AI工具预测阿尔茨海默症进展,准确率高达82%
剑桥大学的科学家开发了一种人工智能工具,能够在五个案例中预测四个早期痴呆症患者是否会发展成阿尔茨海默症。 主要研究成果 阿尔茨海默症是痴呆症的主要原因,占60-80%的病例。全球有超过5500万人受其影响,每年的相关费用估计达8200亿美元。预计未来50年病例数将几乎增加三倍。 研究细节 剑桥大学心理学系的科学家团队开发了一种机器学习模型,能够预测轻度记忆和思维问题的个体是否会发展为阿尔茨海默症及其进展速度。研究结果显示,该模型比现有的临床诊断工具更准确。 研究人员使用了从美国研究队列中超过400名个体的常规收集的非侵入性和低成本患者数据,包括认知测试和显示灰质萎缩的结构性MRI扫描数据来构建模型。然后,他们用600名参与者的真实患者数据以及来自英国和新加坡记忆诊所的900人的纵向数据对模型进行了测试。 模型表现 该算法能够区分那些稳定的轻度认知障碍患者和在三年内发展为阿尔茨海默症的患者。它能通过认知测试和MRI扫描准确识别出82%的发展成阿尔茨海默症的个体,并能正确识别81%未发展的个体。 相比现有的标准临床标记(如灰质萎缩或认知评分)或临床诊断,该算法在预测阿尔茨海默症进展方面准确率高约三倍。这表明该模型可以显著减少误诊。 临床应用前景 该模型还允许研究人员根据每个人第一次访问记忆诊所的数据,将阿尔茨海默症患者分为三组:症状保持稳定(约50%)、进展缓慢(约35%)和进展迅速(剩余15%)。这些预测在六年后的随访数据中得到了验证。 重要的是,那些记忆丧失但症状保持稳定的50%患者,可以更好地转到不同的临床路径,因为他们的症状可能由其他原因引起,如焦虑或抑郁。 专家观点 剑桥大学心理学系的Zoe Kourtzi教授表示:“我们创建的工具虽然只使用认知测试和MRI扫描的数据,但在预测一个人是否会从轻微症状进展为阿尔茨海默症方面,比现有方法更灵敏——无论进展快慢。这有助于显著改善患者福祉,显示出哪些人需要最密切的护理,同时减少对那些我们预测会保持稳定的患者的焦虑。在医疗资源压力巨大的时候,这也有助于减少不必要的侵入性和昂贵的诊断测试需求。” 剑桥大学精神病学系助理教授兼CPFT名誉顾问精神科医生Ben Underwood博士表示:“记忆问题在我们变老时很常见。在诊所里,看到这些问题是否可能是痴呆症早期迹象的不确定性,确实让人担忧。能够利用已有信息减少这种不确定性令人兴奋,随着新疗法的出现,这将变得更加重要。” 未来展望 研究团队希望将他们的模型扩展到其他形式的痴呆症,如血管性痴呆和额颞叶痴呆,并使用不同类型的数据,如血液测试的标记物。Kourtzi教授补充道:“如果要应对日益严重的痴呆症挑战,我们需要更好的工具来在最早期阶段进行识别和干预。我们的愿景是扩大我们的AI工具,帮助临床医生在合适的时间将合适的人分配到合适的诊断和治疗路径上。我们的工具可以帮助匹配合适的患者进行临床试验,加速新的疾病修饰治疗药物的发现。” 该项目由剑桥大学与伯明翰大学的Peter Tino教授和新加坡国立大学的Christopher Chen教授合作完成,获得了Wellcome基金会、皇家学会、英国阿尔茨海默症研究中心等多家机构的资助。