描述
IDEFICS（Image-aware Decoder Enhanced à la Flamingo with Interleaved Cross-attention）是一个开放访问的视觉语言模型，旨在提高 AI 的透明度和民主化。它是 DeepMind 的 Flamingo（一款未公开的、最先进的视觉语言模型）的开放复现版本。与 GPT-4 等模型类似，IDEFICS 可以处理任意顺序的图像和文本，并生成连贯的文本输出。
IDEFICS 完全基于公开可用的数据和模型（包括 LLaMA v1 和 OpenCLIP）构建，提供基础版本和指令版本两种变体。每个变体都有 90 亿和 800 亿两种参数规模。该项目通过仅使用公开数据、提供探索训练数据集的工具、分享技术经验教训以及在发布前通过对抗性提示（红队测试）进行内部伦理评估来强调透明度。
IDEFICS 在图像问答、视觉内容描述以及基于多张图像创作故事等任务上表现出色。在各种图像-文本理解基准测试中，其性能可与原始的闭源 Flamingo 模型相媲美。该模型在公开可用的数据集（如 Wikipedia、Public Multimodal Dataset 和 LAION）以及一个新创建的、包含 115B 词元、由 1.41 亿个交错图像-文本网页文档组成的 OBELICS 数据集上进行了训练。
开发团队致力于推动多模态 AI 系统的开放研究。IDEFICS 旨在为 AI 社区提供一个强大的基础，并与其他开放复现项目（如 OpenFlamingo）互为补充。项目的伦理章程指导了决策过程，优先考虑自我批评、透明度和公平性。鼓励用户探索演示、模型卡片和数据集卡片，并提供反馈以帮助持续改进这些模型以及大型多模态 AI 的可访问性。
IDEFICS Visual Language Model亮点
开放访问的视觉语言模型
复现最先进的性能
接受交错的图像和文本输入
生成文本输出
性能可与专有模型相媲美
提供 9B 和 80B 参数版本
提供基础版本和指令版本
在公开可用的数据和模型上训练
支持多模态 AI 研究
包含通过红队测试进行的伦理评估
提供训练数据集的交互式可视化
IDEFICS Visual Language Model入门
访问模型：在 Hugging Face Hub 上查找 IDEFICS 模型。
设置环境：确保您已安装最新的 transformers 版本。
加载模型和处理器：导入必要的类并加载所需的 IDEFICS 检查点。
准备输入：创建包含交错文本字符串和图像 URL 或 PIL 图像的提示。
通过 API 集成：使用带有准备好的输入和生成参数的 `generate` 方法。
解码输出：处理生成的 ID 以获取人类可读的文本。
运行推理：执行代码以根据多模态输入生成文本。
IDEFICS Visual Language Model的使用案例
- 图像问答
- 视觉内容描述
- 多模态叙事
- 开放研究基础
- AI 透明度
- AI 民主化
