自定义先进的视觉AI曾经是一项复杂且资源密集的任务，但现在已经截然不同。今年五月，PaliGemma横空出世，成为Gemma家族的首款视觉语言模型，这标志着高性能视觉AI向大众更进一步。如今，PaliGemma 2正式亮相，作为下一代可调视觉语言模型，它将强大的视觉能力推向新高度。
https://huggingface.co/collections/google/paligemma-2-release-67500e1e1dbfdd4dee27ba48
PaliGemma 2有何独特之处？
1. 性能规模多样化
PaliGemma 2提供多种模型规格（3B、10B、28B参数）和分辨率选项（224px、448px、896px），让任务性能优化更加灵活，适应不同需求。
2. 长篇图像描述
不止于简单的物体识别，PaliGemma 2生成的图像描述细致且富有语境感，不仅涵盖图像中的动作和情感，还能描述整体场景故事。
3. 开辟新领域
技术报告表明，PaliGemma 2在化学公式识别、乐谱识别、空间推理和胸片报告生成等方面表现卓越，为视觉AI的应用打开了全新局面。
升级到PaliGemma 2对现有用户来说十分便捷，作为替换方案，它无需大幅修改代码便能带来显著性能提升。同时，PaliGemma 2的灵活性使得针对特定任务和数据集的微调更加高效，帮助用户实现个性化定制。
详细了解PaliGemma 2的工作原理以及模型参数和分辨率选择方法，请参考技术报告。
PaliGemma的成功基础
自从推出以来，Gemma家族迅速发展成了一个充满活力的生态系统——“Gemmaverse”。数以万计的模型和应用诞生于这个社区，展现了用户的创新潜力。比如，ColPali在视觉文档检索上的突破，RoboFlow的微调技术，以及实时物体跟踪的进展，均彰显了Gemmaverse的无限可能。
立即入门PaliGemma 2
如何开始？
- 下载模型和代码
前往 Hugging Face 和 Kaggle 获取预训练模型和代码资源。 - 学习并集成
通过全面的文档和示例笔记本快速掌握使用方法。从推理入门，再尝试用自定义数据集进行微调。 - 使用熟悉的框架
无论是 Hugging Face Transformers、Keras、PyTorch、JAX，还是 Gemma.cpp，都可以轻松上手。
Gemma团队非常期待大家用PaliGemma 2创造出更惊艳的成果！加入充满活力的Gemma社区，在Gemmaverse中分享作品，共同探索AI的无限潜力。用户的反馈和贡献将成为推动创新的重要动力。