IBM刚刚发布了第三代Granite大型语言模型（LLM），其中核心包括Granite 3.0 2B Instruct和Granite 3.0 8B Instruct模型。作为开放源码模型，这些模型采用了Apache 2.0许可证，特别适用于在IBM watsonx AI平台上使用时免于法律责任风险。IBM强调，这些模型在12种人类语言和116种编程语言上进行了广泛的训练，共处理超过12万亿个令牌。Instruct模型意味着这些模型可以更准确地理解并执行指令。
企业用途及扩展能力
Granite 3.0系列专为企业任务优化，支持文本总结、信息提取、代码编写和解释性文档创建等任务。这些模型还可用于实体抽取和检索增强生成（RAG），显著提升文本生成的准确性。预计到2024年底，这些模型将支持文档理解、图表解释，甚至能够解答有关图形界面的产品屏幕问题。
新增的“代理型”用例让Granite 3.0具备自主识别需求、使用工具并在设定范围内自主行动的能力。例如在虚拟助手、客户服务和决策支持中，这些模型无需人工干预即可完成复杂任务。此外，IBM还推出了新的“推测解码器”，即Granite 3.0 8B Accelerator，这一功能可通过预测未来词汇来加速文本生成过程，推测解码速度可提高一倍。
在未来几周内，Granite 3.0的上下文长度将从4000个扩展到128,000个令牌，这对于长对话、RAG任务及代理型用例至关重要。同时，IBM还计划在年底前为Granite 3.0模型添加视觉输入，扩展其应用范围。
网络安全和未来发展
IBM的Granite 3.0模型在多个网络安全基准测试中表现优异，尤其在与Llama 3.1 8B Instruct和Mistral 7B Instruct的对比中显示出优势。IBM Research的团队在模型训练数据的筛选上投入大量研究，并开发了用于评估Granite模型网络安全性的专有基准。
未来IBM还将发布“专家混合架构”小型高效模型，如1B参数的Granite 3.0 1B A400M和3B参数的Granite 3.0 3B A800M。此架构将模型划分为多个专门子网络，以提升效率，同时仅在推理中使用少量参数，以实现更高效的边缘计算和CPU服务器部署。
Granite Guardian模型的安全保障
为确保输入和输出的安全，IBM还推出了Granite Guardian 3.0模型，用于检测潜在风险输入如越狱攻击，同时监控输出的偏见、公平性和暴力内容。Guardian模型在RAG流程中能检测到回答是否基于提供的上下文，若不符合则标记为异常。IBM计划到2025年将Granite Guardian模型规模缩小至1到4亿参数，以便更广泛应用于边缘设备、医疗、教育和金融领域。
持续更新和未来展望
Granite 3.0模型以其高性能和开放源码的灵活性在竞争中脱颖而出。IBM未来将增加JSON结构化提示等开发者友好功能，同时保持定期更新，使模型始终处于技术前沿。IBM对Granite系列模型的长期规划表明了其在推动AI技术创新方面的雄心。