OpenAI备受瞩目的新一代人工智能项目GPT-5（代号Orion）正面临前所未有的挑战：进度落后、成本飙升，甚至可能面临无法实现的风险。据悉，该项目已进行至少两轮大规模训练，每次都消耗数月时间和高昂资源，然而结果却未能达到预期。业界普遍预估，单次六个月的训练成本就可能高达5亿美元。
GPT-5：承载无限期待的“未来大脑”
作为OpenAI的关键项目，GPT-5被寄予厚望，期望在科学发现、日常任务、复杂推理等领域实现突破，甚至能够自主识别错误并表达不确定性——这是当前大模型“幻觉”问题的一大难题。OpenAI首席执行官Sam Altman曾表示，GPT-5将是一个“显著的飞跃”，将彻底改变人们对人工智能的认知。
然而，实际进展却并不顺利。在过去18个月里，OpenAI团队投入巨资和精力进行训练，然而Orion的表现虽然有所提升，但尚不足以支撑其天价的训练与运行成本。
数据困局：互联网已被“榨干”
大语言模型的核心在于数据，而高质量的数据已经成为稀缺资源。互联网虽然看似浩瀚，但对于OpenAI来说，真正有价值的、高质量的数据却早已被“榨干”。
- 高质量数据难觅：传统的数据来源——书籍、学术论文、新闻文章等，已被广泛使用，难以再提供显著增量。
- 人工数据补充：OpenAI开始雇佣程序员和数学家，手动编写复杂的代码、解决数学问题，并详细记录推理过程，用作Orion的训练素材。
- 合成数据的困扰：AI生成AI训练数据（合成数据）是一种可行手段，但存在“反馈回路”问题，容易导致模型学习到错误或无意义的内容。
OpenAI试图通过o1模型生成更高质量的合成数据，以避免这些问题，但效果尚未明确。
巨额成本与内部动荡
训练大型语言模型不仅需要庞大的数据量，还需要海量的计算资源。据悉，GPT-4的训练成本已超过1亿美元，而未来的大模型训练成本甚至可能突破10亿美元。
与此同时，OpenAI内部也频繁传出动荡：首席科学家Ilya Sutskever与首席技术官Mira Murati相继离职，资深研究员Alec Radford也选择离开。这种核心人才的流失无疑让Orion项目雪上加霜。
推理：寻找突破口的新方向
在数据增长遇到瓶颈的背景下，OpenAI将希望寄托于推理能力的提升。相比于简单地堆叠更多数据和参数，增强AI的推理能力被认为是实现真正突破的关键。
- 推理模型o1：OpenAI的o1模型能够生成多个答案，并进行自我分析，选择最佳解决方案。
- 增强AI“思考”时间：OpenAI的科学家表示，让AI在单个任务上“思考”20秒，效果相当于将模型规模扩大100,000倍，训练时间延长100,000倍。
然而，这种新方向也面临高昂的计算成本，毕竟每次额外的“思考”都意味着更多的资源消耗。
内外夹击：竞争加剧与行业焦虑
OpenAI并非孤军奋战，来自Anthropic、Google DeepMind等竞争对手的压力不断加剧。今年，Anthropic推出的新模型在多个测试中超越了GPT-4，Google的NotebookLM也成为2024年最热门的AI应用之一。
同时，AI领域也正面临一个普遍问题：进步似乎开始触顶。不少业内人士开始担忧，大语言模型的提升似乎已经逐渐触及“天花板”。
未来：更多问题，更多可能
GPT-5的成功与否不仅关乎OpenAI的未来，也关乎整个AI行业的走向。OpenAI目前正试图在传统数据训练与推理能力提升之间找到平衡点，同时加大人工高质量数据的投入，试图突破当前的瓶颈。
Sam Altman最近宣布，他们正在开发一个更强大的推理模型，但他并未透露GPT-5是否会在2024年推出。
在巨大的投入和不确定性之间，OpenAI正走在一条未知而艰难的道路上。GPT-5能否成为那个“显著的飞跃”，不仅取决于技术的突破，更取决于整个团队在高压下的决策与执行。对于AI行业来说，这不仅是一场技术竞赛，更是一场对未来的豪赌。