OpenAI联合创始人伊利亚·苏茨凯弗（Ilya Sutskever）近日预言，随着大语言模型（LLM）的扩展遇到瓶颈，AI行业将进入一个新的“探索时代”。曾坚定支持“越大越好”理念的苏茨凯弗，如今表示，AI的核心不再是简单地扩大模型规模，而是要“扩大正确的部分”。
有消息人士透露，包括OpenAI、Google、Anthropic在内的主要AI实验室均面临类似的困难：大型LLM的训练成本高达数千万美元，系统结构极其复杂，有时甚至需要数月时间才能验证模型是否符合预期。近期的信息显示，OpenAI的新模型Orion、Google的Gemini 2.0以及Anthropic的Opus 3.5均遭遇了技术障碍。苏茨凯弗直言：“2010年代是AI扩展的时代，现在则回归到探索和发现的阶段，大家都在寻找下一个突破。”
为应对当前的技术瓶颈，AI公司纷纷转向“推理计算”（test-time compute），让模型在执行任务时投入更多计算资源。与传统的快速给出答案不同，推理计算方法让AI在给出最终答案前，生成多个备选方案并逐一评估，以此获得更优解。这一新方法有望降低成本，并在保持高效的同时提升模型解决复杂问题的能力。
这一变化或将打破Nvidia在AI硬件领域的垄断地位。过去，Nvidia的显卡在训练大型语言模型中占据主导地位，但推理计算的兴起为其他芯片制造商带来了新机遇，例如Groq等公司正专注于开发针对推理计算优化的芯片。
随着AI实验室逐渐尝试新策略，AI行业正在从单纯扩展模型规模转向更具智能化的计算方法。这一转变不仅有望提高模型性能，还可能从根本上重塑人机交互的方式，引领AI进入新的发展阶段。