Inflection团队激动地宣布已经完成了Inflection-2模型的训练,它是目前全球同类计算中最优秀的模型,也是世界第二强大的大型语言模型(LLM)。
Inflection的使命是为每个人打造个性化的AI。就在几个月前,发布了Inflection-1 —— 一个业内领先的语言模型,它目前是Pi的核心动力。新模型Inflection-2,比Inflection-1有了质的飞跃,无论是事实知识的准确性、风格控制,还是推理能力都大大提高。
图1:在常用的学术基准测试中,Inflection-1、谷歌的PaLM 2-Large和Inflection-2的比较。(括号内为N-shots)

Inflection-2是在约10²⁵ FLOPs的情况下,使用5000块NVIDIA H100 GPU以fp8混合精度进行训练的。这让它与谷歌的旗舰模型PaLM 2 Large处于同一训练计算类别,而在大多数标准AI性能基准测试中,包括著名的MMLU、TriviaQA、HellaSwag和GSM8k等,Inflection-2的表现都超过了PaLM 2 Large。
Inflection-2在设计时就考虑到了服务效率,不久将会为Pi提供动力。得益于从A100转向H100 GPU,以及高度优化的推理实现,尽管Inflection-2的规模是Inflection-1的数倍,但还是成功降低了服务成本,提高了速度。
这是实现为每个人构建个人AI道路上的一个重要里程碑,Inflection-2将为Pi带来的新能力感到兴奋。随着规模化之旅的继续,已经开始期待在22000块GPU集群的全能力下训练更大的模型。敬请期待!
训练如此大型的模型需要特别的关注和照顾,尤其是在安全、安全性和可信度方面。在Inflection,非常重视这些责任,安全团队继续确保这些模型经过严格评估,并集成了业界最佳的对齐方法。是第一个签署2023年7月白宫自愿承诺的公司,并继续支持为这项关键技术创建全球对齐和治理机制的努力。
感谢合作伙伴NVIDIA、微软和CoreWeave,在构建AI集群、使Inflection-1和Inflection-2的训练成为可能方面给予的合作与支持。