Author: aitrendtrackers@rengongzhineng.io

曾被誉为科技界最精英的“兄弟情”，OpenAI与微软长达5年的合作如今正面临裂痕。据报道，随着OpenAI承受日益加重的财务压力（预计今年将亏损50亿美元），微软未能提供足够的计算资源支持，而OpenAI合同中的一项条款显示，如果微软率先开发出通用人工智能（AGI），OpenAI将撤回对其技术的访问权限。 虽然目前大部分仍是猜测（毕竟微软参与了OpenAI最新的史上最大融资），但此事揭示了AI初创公司面临的普遍挑战——它们往往依赖于像微软这样的科技巨头的资金和计算资源，因此难免被“牵着鼻子走”，手脚受制。

Tx-LLM是一款专门优化，用于预测生物实体属性的大型语言模型（LLM），它覆盖了整个治疗药物开发管道，从早期靶点发现到晚期临床试验批准。 治疗药物的临床试验失败率高，即便成功，通常也需要10到15年、耗资10到20亿美元才能开发完成。原因在于开发过程繁琐，且治疗药物需要满足多种独立标准。比如，药物必须与特定靶点结合，避免与其他实体产生作用，从而实现所需功能而不引发副作用。此外，药物还需要有效抵达目标部位、在体内适时清除，并能够规模化生产。实验测量这些特性费时费钱，因而使用机器学习（ML）进行快速预测成为一种替代方案。 因此，Tx-LLM应运而生。该模型基于PaLM-2进行了微调，能够预测与药物开发相关的多个实体属性，如小分子、蛋白质、核酸、细胞系及疾病等。Tx-LLM在66个药物发现数据集上进行了训练，覆盖从早期靶基因识别到临床试验批准的多个环节。在43项任务上，Tx-LLM的表现达到了当前最先进模型的水平，并在22项任务上超越了它们。值得注意的是，Tx-LLM不仅可以结合分子信息与文本信息，还能在不同类型的治疗任务之间实现能力迁移，成为贯穿药物开发全流程的单一模型。 Tx-LLM的训练依赖精心整理的”治疗指令调优”（TxT）数据集，它涵盖709个与治疗药物开发相关的数据集。通过将Therapeutic Data Commons（TDC）中的66项任务数据转化为适合LLM训练的指令-回答格式，Tx-LLM得以提升其在多种任务上的表现。TxT数据集的构建不仅依赖TDC，还引入了文献中的额外信息，使得模型能够区分子任务。此外，部分特性直接以文本形式展示（如细胞系），这使得模型能更好地利用其自然语言预训练能力。 在性能测试中，Tx-LLM在许多任务上展现了强大的数值预测能力，这在以往的LLM中并不常见。特别是在处理小分子与文本结合的任务时，Tx-LLM表现尤其出色。例如，在给定药物和疾病名称的情况下预测药物是否会被批准，Tx-LLM的表现优于现有的顶尖模型。 虽然Tx-LLM在多个任务中表现出色，但它仍有改进空间，特别是在解释其预测结果时。未来，随着模型继续发展，它可能会对整个治疗药物开发过程产生深远影响，大幅缩短开发时间、降低成本。 目前，团队正评估如何将Tx-LLM的能力开放给外部研究人员使用。如果有兴趣探索该模型的应用，欢迎与团队联系。了解外部的实际需求将有助于推动模型的进一步优化与发展。

在八月中旬的一个星期六早晨，Alex Naka在女友的厨房里开始了一场他自称的“小型黑客马拉松”。凭借一台笔记本电脑、几杯咖啡，以及一度借助80个基于云的人工智能处理器，他生成了大量计算设计的蛋白质，目标是阻断一种在某些肿瘤中突变的细胞受体。 Naka是一名蛋白质工程师，工作日在加州阿拉米达的一家医疗科技公司上班。在周末的这一场“马拉松”中，他将最有前途的十个蛋白质设计提交到了一个刚启动的蛋白质设计竞赛中，随后见证它们迅速攀升到排行榜的顶端。 这个竞赛由瑞士洛桑的生物科技初创公司Adaptyv Bio举办，是过去一年中涌现出的至少五个类似竞赛之一。参赛者大多使用像AlphaFold这样的人工智能工具，以及类似聊天机器人模型的“蛋白质语言模型”，这些工具近年来迅速普及并变得极具威力。部分开发这些工具的研究人员因为他们的贡献获得了今年的诺贝尔化学奖，这也反映出人们对新型蛋白质在药物、工业酶或实验试剂方面潜力的期望。 然而，尽管蛋白质设计热潮正盛，许多科学家却表示，这种爆发式增长也带来了困惑。蛋白质设计的速度远远超过了实验室的制造和测试能力，导致很难区分哪些方法真正有效。 竞赛曾经推动了蛋白质结构预测领域的重大突破，最新一批设计竞赛则通过降低准入门槛，将更多来自世界各地的人吸引到相关领域。竞赛还可能加快验证和标准化的步伐，甚至帮助建立一个新的科研社区。巴塞罗那基因组调控中心的计算生物学家Noelia Ferruz Capapey表示：“它会推动该领域更快地测试方法和进展。” 但科学家也指出，竞赛面临一些挑战，如如何选择合适的问题以及如何客观评判优胜者。慕尼黑工业大学的计算生物学家Burkhard Rost警告道：“如果这些竞赛执行得不好，可能会对整个领域造成损害。” 设计中的竞争性 蛋白质设计竞赛的灵感部分来自于已有30年历史的结构预测竞赛CASP。自1994年以来，这项竞赛挑战科学家根据氨基酸序列预测蛋白质的三维形状。2018年，DeepMind（现为Google DeepMind）凭借AlphaFold首次赢得该竞赛。到了2020年，AlphaFold 2表现优异，创始人John Moult称简单蛋白质结构的预测问题基本解决。 如今，许多人希望这些蛋白质设计竞赛能像CASP推动蛋白质结构预测领域一样，推动蛋白质设计领域的进步。Rost表示：“如果没有CASP，AlphaFold可能根本不会出现。我们需要这些竞赛来激励人们，推动正确的发展。” 今年6月，Rost和同事赢得了Align to Innovate组织的蛋白质工程竞赛，参赛者首先预测不同酶变体的特性，最成功的团队接着对一种分解淀粉的酶进行了重新设计，通过实验室测试决定最佳设计。 另外，来自加拿大Liberum Bio公司和Rosetta Commons的竞赛也让参赛者重新设计了用于蛋白质纯化的植物病毒酶，目的是提高其效率。而Bits to Binders竞赛则挑战研究人员设计小型蛋白质用于T细胞癌症治疗，共有64支队伍参加，来自42个国家。 欢迎新手参与 Adaptyv的首席执行官兼联合创始人Julian Englert表示，虽然大多数参赛者是蛋白质设计领域的专业人士，但也有许多来自非生物学背景的有力竞争者。比如，一位来自伊朗的参赛者仅凭一台游戏电脑就成功进行了设计，因为他无法获得更强大的计算系统。 Englert认为，这些高质量的业余作品让他联想到Apple和Microsoft等科技巨头的车库起源。他设想未来可能会出现“自由职业的蛋白质设计师”，为企业、学术实验室等定制分子。 超越现金奖励 虽然一些竞赛提供奖品，比如Bits to Binders的优胜者将获得3D打印的奖杯和生物科技公司的周边产品，Adaptyv的优胜者则可以获得免费实验和纪念品。但最引人注目的是最近启动的Evolved 2024竞赛，优胜团队将获得价值2.5万美元的亚马逊云服务积分，以及其他公司提供的数千美元奖励。 然而，选择优胜者并非易事。即使是那些目标明确的设计竞赛，如何评判设计仍充满挑战。Align to Innovate的创始人Erika DeBenedictis指出：“设计蛋白质有很多可能失败的地方。” 尽管如此，这些竞赛可能在推动蛋白质设计领域方面发挥重要作用，特别是在帮助建立一个融合了生物化学实验室和机器学习领域的社区。 当Adaptyv竞赛的结果在九月底公布时，Naka感到有些失望。尽管他的十个设计看似都很有前途，但在实验室中却没有一个起效。最终，147个提交的设计中，只有5个成功绑定了目标分子，甚至有超过50个设计无法制造。 然而，这样的失败并不罕见，Naka指出：“在蛋白质工程中，失败是常态。” 他表示自己将继续参加未来的类似竞赛，期待下次能取得更好的成绩。

丰田汽车的研究部门和现代汽车旗下的波士顿动力公司正在联手，加快具备人工智能的类人机器人研发。这次合作将结合丰田研究所的大规模行为模型学习技术与波士顿动力的人形机器人Atlas的优势，旨在推动AI机器人在实际应用场景中的发展，尤其是在人与机器互动领域。 丰田研究所在机器人AI学习方面取得了突破，而现代自2020年收购的波士顿动力公司也因其机器狗和用于仓库补货的移动机械臂在商业领域取得成功。此次合作被认为将对特斯拉的Optimus机器人等智能机器人项目形成挑战，特别是在全球多家类人机器人初创公司吸引了数十亿美元投资的背景下。 丰田和波士顿动力的合作将专注于基础研究，目标是未来实现商业化，但双方高管并未透露项目的具体时间表或预算。丰田首席科学家Gill Pratt表示，这类技术为未来提供了巨大的潜力，并指出他们在生成式AI方面的研究能极大地补充波士顿动力的机器人技术。Pratt还表示，目标之一是最终将机器人引入工厂生产线和家庭中的老年护理场景。 汽车制造商一直处于自动化生产线的前沿，旨在减少劳动成本并提高工人的安全性。据国际机器人联合会数据显示，2023年全球约有四分之一的新安装机器人用于汽车制造业，这使得汽车行业成为全球机器人部署最多的领域之一。 波士顿动力首席技术官Aaron Saunders强调，波士顿动力机器人的灵活性与丰田行为模型的结合，将成为区分他们与其他智能机器人研发公司的一大优势。他表示，这种合作将为实现大规模推出类人机器人奠定基础。

光子计算初创公司Lightmatter近期筹集了4亿美元，旨在突破现代数据中心的瓶颈。这家公司开发的光学互连层能够让数百个GPU同步工作，大幅简化了AI模型训练和运行的复杂任务，降低了成本。 随着AI的快速发展，对计算资源的需求也在急剧增加，数据中心行业因此蓬勃发展。然而，增加成千上万的GPU并不是解决问题的简单方式。高性能计算领域的专家们早就明白了这一点：如果超级计算机的节点在一半时间里都在等待数据，那么这些节点的速度再快也没有用。 真正将成堆的CPU和GPU整合成一个巨大机器的关键，是互连层的速度——互连层越快，数据中心的速度也就越快。Lightmatter自2018年以来一直致力于开发光子芯片，目前看来，他们的互连层在速度上远远领先于其他竞争者。 Lightmatter的创始人兼CEO尼克·哈里斯（Nick Harris）在接受TechCrunch采访时提到，“如果超大规模企业想要构建拥有百万节点的计算机，他们不能依赖传统的Cisco交换机。一旦超出机架范围，互连密度就会骤降，效率如同在用‘杯子和绳子’通话。” 目前的行业尖端技术是Nvidia的NVLink平台，尤其是NVL72，能将72个Nvidia Blackwell单元连接在一起，最高支持1.4 exaFLOPs（FP4精度下）。然而，这些计算能力依赖的7 terabit网络速度仍是一个限制因素。 哈里斯指出，“对于百万GPU来说，需要多个交换层，而这会导致巨大的延迟。”电到光、光到电的转换过程不仅耗能巨大，还极大增加了时间成本，特别是在更大的集群中。 Lightmatter的创新在于其大量使用光纤。通过纯光学接口，每根光纤可支持1.6 terabit的带宽，每个芯片最多能支持256根光纤连接。相比之下，72个GPU用7 terabit的带宽显得相形见绌。 “光子技术的到来比人们预期的要快得多，虽然大家一直在为此努力，但我们已经实现了。”哈里斯表示，经过七年的艰苦奋斗，他们的光子互连技术现已达到30 terabit的速度，并且设计了一种特殊的机架，能让1024个GPU同步工作。更令人期待的是，100 terabit的速度也已在开发中。 市场对这种技术的需求非常庞大，从微软、亚马逊到xAI和OpenAI等，所有大型数据中心公司都对计算资源表现出无尽的渴望。虽然哈里斯没有透露具体客户，但他指出，很多超大规模企业已经成为他们的客户。 此次Lightmatter的D轮融资让公司估值达到了44亿美元，使其成为全球最大的光子技术公司。哈里斯表示，未来他们还计划开发新型芯片基板，以便通过光子技术实现更精密的网络任务。他还预测，未来十年内，芯片间的互连将成为推动摩尔定律的关键力量。 Lightmatter的技术无疑正站在未来计算技术的前沿，准备在接下来的技术变革中引领潮流。

人工智能 (AI) 是否可能仅依赖另一个 AI 生成的数据进行训练？这听起来似乎是个异想天开的想法，但这一概念其实已经存在了一段时间。随着真实数据变得越来越难以获取，这一思路逐渐获得了更多关注。 例如，Anthropic 使用了一部分合成数据来训练其旗舰模型 Claude 3.5 Sonnet；Meta 利用 AI 生成的数据微调了其 Llama 3.1 模型；据称，OpenAI 也正在从其“推理”模型 o1 中获取合成训练数据，为即将推出的 Orion 模型做准备。 那么，为什么 AI 需要数据？它需要什么样的数据？这些数据真的可以被合成数据替代吗？ 标注的重要性 AI 系统本质上是统计机器。通过大量样本的训练，它们学习这些样本中的模式，以进行预测。例如，它可以学会“to whom”在邮件中通常会出现在“it may concern”之前。 标注通常是这些样本中数据的含义或组成部分，它们是关键的指导信息，帮助模型区分事物、地点和概念。 举个例子，一个照片分类模型如果被展示了大量标有“厨房”标签的厨房照片，它会逐渐将“厨房”与厨房的一般特征（如冰箱和台面）联系起来。训练完成后，即使给它一张未曾见过的厨房照片，它也应该能够识别出来。当然，如果这些厨房照片被错误标注为“牛”，那么模型将会将它们识别为牛，这也突显了良好标注的重要性。 随着 AI 的需求不断增长，为其开发提供标注数据的需求也在迅速扩大。据 Dimension Market Research 估计，数据标注市场目前价值约为 8.382 亿美元，预计在未来十年内将达到 103.4 亿美元。虽然没有精确的从业人数统计，但一篇 2022 年的论文估计，全球有“数百万人”参与数据标注工作。 数据资源逐渐枯竭 寻找人类生成的标注替代方案不仅有其人道主义原因，还有一些实际的原因。 首先，人类的标注速度有限，而且标注者的偏见可能会反映在他们的标注中，进而影响训练的模型。此外，标注者可能会犯错或被标注指令所困扰。而且，雇佣人类进行标注的成本较高。 实际上，数据本身的成本也相当昂贵。例如，Shutterstock 向 AI 供应商收取数千万美元的费用，以让他们访问其数据存档；而 Reddit 则通过向 Google、OpenAI…

谷歌将支持在美国建设七座小型核电反应堆，这是一项开创性的协议，旨在满足该科技公司日益增长的电力需求，以支持其人工智能的发展，并推动美国核电复兴。 根据协议条款，谷歌承诺购买由核能初创公司Kairos Power建设的七座反应堆所产生的电力。该协议旨在到本世纪末增加500兆瓦的核电供应。双方在周一表示，这一项目标志着美国小型模块化核反应堆商业建设的首次推进。许多人认为这种技术是未来国内核电产业的发展方向，可能通过建设小型反应堆来实现更快、更经济的建设，而不是建造庞大的定制电厂。 谷歌能源与气候高级总监Michael Terrell表示：“最终目标是实现全天候的碳中和能源。我们认为，为了实现全天候清洁能源的目标，必须使用能够补充风能、太阳能和锂离子储能的技术。” 背景 核电行业的前景正日益与大型科技公司挂钩。美国部分地区的电力需求多年后首次上升，主要是由建设更多用于人工智能的数据中心的需求驱动的。这促使科技行业寻求大量能源。 上个月，Constellation Energy与微软达成协议，重启宾夕法尼亚州三里岛未受损的反应堆——三里岛是美国最严重核电事故的发生地。今年早些时候，亚马逊还在宾夕法尼亚州的另一座核电站购买了一个数据中心。 Kairos在新墨西哥州阿尔伯克基设有一个制造开发设施，正在建造非核反应堆原型。Kairos为谷歌建造的500兆瓦发电设施大约可以为一个中等城市或一个AI数据中心园区提供足够的电力。 该协议回答了长期困扰小型反应堆设计的关键问题：谁愿意为首次建造项目支付更高的价格？谁会订购足够多的反应堆以启动生产线？这一概念仍有待证明，但理论上通过工厂批量生产相同设备，成本会逐步降低。 细节 Kairos计划在2030年至2035年之间交付这些反应堆。虽然没有披露财务条款，但双方签订了类似于企业买家与风能和太阳能开发商之间使用的购电协议。 项目地点尚未确定，可能会在多个地点建设反应堆。谷歌可能会在靠近Kairos反应堆的地区拥有数据中心，但尚未确定这些数据中心是否会直接从核电站获得电力，还是通过电网供电。谷歌可能会将核电的增加计入其碳减排承诺中。 在阿尔伯克基的工厂，工程师们正在开发一种Kairos设计的反应堆泵系统，该系统使用氟化物熔盐作为冷却剂，而不是传统反应堆中使用的水。谷歌的反应堆装置将包括一个50兆瓦的单体反应堆，随后建设的三个电厂将各包含两个75兆瓦的反应堆。相比之下，传统核电站的反应堆通常具有大约1000兆瓦的功率。 Kairos需要通过美国核管理委员会的复杂审批，但已经获得在田纳西州建设演示反应堆的许可，该反应堆可能在2027年开始运行。 Kairos在新墨西哥州阿尔伯克基设有制造开发设施，正在建造测试装置。这些装置不含核燃料成分，主要用于测试系统、组件和供应链，充当未来全尺寸工厂的练习。 Kairos首席执行官兼联合创始人Mike Laufer表示，演示项目和阿尔伯克基工厂帮助公司避免了传统核电行业常见的成本飙升问题。 大局观 目前美国近20%的电力来自核电站，但由于高成本和长周期，新项目的进展陷入停滞。 今年春天，乔治亚州Vogtle核电站的两个新反应堆中的第二个完成建设。在此之前，田纳西河谷管理局于2016年和1996年分别完成了美国最新的核电反应堆建设。 科技公司如谷歌自2010年起开始与可再生能源开发商签署购电协议，这一举措帮助降低了这些技术的成本。核电倡导者认为，稳定的客户需求也有望随着时间的推移降低该行业的成本。 短期内，分析人士预计更多的天然气发电厂将加入，以满足美国对数据中心、新制造业、重工业和交通运输的巨大能源需求。

OpenAI 公布了其新 o1 模型家族的元提示（meta-prompt）。通过详细说明其提示系统的工作原理，OpenAI 帮助开发者改进和微调其产品与其日益增长的应用和网站生态系统的互动。 元提示（提示优化器）和系统提示（模型调节器）在后台运行，发出详细的指令，规定 AI 在整个互动过程中应如何表现。当用户发起对话时，元提示已经设定好了舞台，指导 AI 如何理解任务的主要目标，如何组织输出内容。这包括诸如保留用户原始内容、在必要时提供简明的改进，以及确保 AI 在得出结论之前遵循明确的推理步骤等细节。 OpenAI 在其官方平台指南中表示：“元提示指示模型根据任务描述创建一个好的提示，或改进现有的提示。” 这为最大限度发挥其模型的潜力提供了大量技术和相关信息，包括提示示例、提高准确性的技巧以及详细的提示工程指南。 这一发布紧随 OpenAI 主要竞争对手 Anthropic 之后。Anthropic 由前 OpenAI 员工创立，最近公开了其聊天机器人 Claude 的系统提示。我们在 Claude 提示发布时撰写了更详细的分析。 AI 的两种方式 深入研究这两款 AI 的核心，你会发现它们的工作机制截然不同，每个提示都能揭示这两家公司对产品的不同设想。总体而言，OpenAI 将 ChatGPT 概念化为一个强大的计算工具，而 Anthropic 则将 Claude 设想为一个友好且富有人情味的助手。 两者的比较： 总体方法 OpenAI 的提示更像是一本高性能机器的技术手册，重点在于效率、准确性和以最少的麻烦完成任务。其 AI 旨在作为一种工具，专注于提供结果，而不是参与闲聊。 相反，Anthropic 打造的 Claude 更像是一个知识渊博的朋友。其元提示勾勒出了一个具有独特个性、怪癖甚至幽默感的 AI。很明显，Anthropic 目标是创造一个可以进行有意义对话的 AI，而不仅仅是输出信息。 为什么这很重要：如果你想完成任务并继续下一个日程，OpenAI 似乎有更好的提示。 如果你想与模型互动，或与其共同改进结果，Claude…

不要购买H100s。市场已经从供应短缺（每小时8美元）转变为供大于求（每小时2美元），主要原因是预留计算资源的转售、开放模型的微调，以及新基础模型公司的减少。因此，租赁H100会更加划算。 AI竞赛的简史 ChatGPT于2022年11月发布，基于A100系列构建。H100s于2023年3月面世。投资者和创业者的想法很简单：与A100相比，H100的性能提升了3倍，而价格却仅为A100的2倍。 如果你能快速部署H100，你也许能建立更大、更好的模型，甚至超越OpenAI，达到通用人工智能的水平——前提是你有足够的资本与他们竞争。 因此，数百亿美元被投资到富含GPU的AI初创公司中，希望推动这场新的技术革命。结果是…… H100需求的突然激增 市场价格迅速飙升，H100的初始租赁价格大约为每小时4.70美元，后来上涨到每小时超过8美元。许多初创公司的创始人急于训练他们的模型，以向投资者证明他们值得获得下一轮1亿美元的融资。 Nvidia在2023年的投资者演示中，向其投资者和数据中心客户推销了这个市场机会，预计H100的租赁价格可以达到每小时4美元。 对于GPU农场来说，这似乎是“免费”的钱。如果你能让那些初创公司以每小时4.70美元甚至更高的价格租用H100 GPU，回本周期不到1.5年。之后，每年每块GPU都能带来超过10万美元的现金流。 6000亿美元的投资后…… 2023年的大部分时间，H100的价格似乎会一直保持在每小时4.70美元以上，除非你愿意提前支付大额预付款。 但到了2024年初，H100的价格已经降到大约每小时2.85美元。而随着更多供应商上线，我开始收到类似这样的邮件： 在2024年8月，如果你愿意在短时间内拍卖一部分H100时间（几天到几周），你可以以每小时1到2美元的价格找到H100 GPU。 我们正在见证H100价格每年下跌40%以上，特别是对于小型集群。Nvidia预计的4美元每小时的市场前景在不到1.5年内就已经瓦解。 新H100服务器的投资回报率 一个H100 SXM GPU的平均设置、维护和运营成本（即大部分资本支出）超过5万美元，不包括电力和冷却的运营支出。如果按5年的GPU寿命计算，目前的市场投资回报率如何？ 对于按需租赁，价格超过每小时2.85美元可以击败股市的年化收益率。如果低于这个价格，投资回报率将低于股市。如果降到每小时1.65美元以下，投资将出现亏损。 长期预订租赁（3年以上） 很多基础设施提供商并不天真，他们在2023年AI热潮时推销3-5年的预订合同，以锁定利润。今天，价格在2.85美元以上的长期合同依然存在。 当模型创作者完成训练后，他们通常会转售集群中的计算能力，部分收回成本。这使得市场上出现了大量的计算资源转售，从而加剧了H100的经济压力。 开源模型的崛起和市场的变化 随着开源权重模型（如LLaMA3）的兴起，市场上对AI推理和微调的需求不断增加。很多企业现在发现，与其从头训练大模型，还不如微调现有的开源模型，这大大减少了H100的需求。 微调模型所需的计算资源远远少于从头训练，因此导致对大型集群的需求下降。加上大量企业选择微调开源模型，投资者对新基础模型公司的兴趣也在减少。 目前，全世界正在创建基础模型的团队不到50个，H100的需求已经显著减少。 过剩的计算资源 许多公司预订了大量H100集群用于训练模型，但后来发现微调现有模型更划算。这些未使用的计算资源现在通过“计算转售商”流入市场，如Runpod、Vast.ai等，这进一步推动了H100的价格下跌。 GPU的替代方案 在推理方面，L40S、AMD的MX300和Intel的Gaudi 3等GPU提供了价格更低的替代方案。虽然这些替代方案在大规模集群训练方面尚不成熟，但它们在小型集群微调和推理方面已经表现出色。 结论：不要购买全新的H100 除非你能获得折扣的H100，或者你有巨大的集群需求，否则投资新的H100硬件很可能会导致亏损。与其投资H100，不如选择其他投资机会，或者直接投资股票市场。

过去两年，生成式AI（GenAI）的发展如火如荼。最初，有人把它和NFT一样看作昙花一现的潮流。但两年后，大部分人已经意识到，这不仅仅是个潮流，而是彻底改变工作方式的转折点，推动我们朝着更快速、更灵活的方向迈进。这些变化值得庆祝，而不是担心！ GenAI对数据管道开发的影响 GenAI在数据管道的开发中带来了显著的变化，尤其是自动生成样板代码的功能，让数据工程师能够专注于业务逻辑。例如，通过简单的提示，GenAI就能实现多个质量检查并执行写入-审核-发布的流程，极大简化了复杂流程。 开发时，如果写的代码超过五行但少于两百行，GenAI是非常合适的工具。对于小于五行的代码，自己写可能更快；而对于超过两百行的代码，使用GenAI可能引入更多的调试工作。 此外，GenAI在数据建模、质量检查和文档生成等方面表现出色。比如给定数据管道代码和业务背景，GenAI可以帮助生成高效的数据质量检查建议和文档样板，大大减少重复劳动。 GenAI对数据管道维护的影响 数据工程师经常面临维护数据管道的挑战，尤其是半夜被叫起来解决管道故障的情况。研究表明，97%的数据工程师曾经历过职业倦怠，其中主要原因之一就是数据管道的维护。 未来，LLMs（大语言模型）有望大幅减少这些故障。比如，GenAI可以根据历史数据自动识别和过滤误报的数据质量问题，大幅减少工程师深夜被叫醒的概率。此外，像内存不足这种常见问题，LLMs也能够自动检测并调整内存设置或执行自适应查询，极大降低维护成本。 GenAI将如何推动数据工程师职业发展的两大方向 生成式AI将使工程师能在更短时间内完成更多工作，从而减少公司对数据工程师数量的需求。未来，数据工程师的角色将逐渐融合为两大方向： 数据工程师如何为未来做好准备 对数据工程师来说，GenAI带来的变化应被视为积极的转变。使用LLMs可以让日常工作更加轻松，减少维护负担，避免职业倦怠。因此，数据工程师应当： 未来，数据工程师将更具广泛性和深度，能够更轻松地处理复杂的AI驱动任务。那些顺应变化并提升技能的工程师将在这个AI时代中大放异彩。