多模态和大型多模态模型 (LMM)

OpenAI 在其 GPT-4V 系统卡中指出，"将其他模式（如图像输入）纳入 LLM，被一些人视为人工智能研发的关键前沿"。在 LLM（大型语言模型）中加入额外的模态，就形成了 LMM（大型多模态模型）。第 2 部分以 CLIP 和 Flamingo 为例，讨论了多模态系统的基本原理，前者为许多未来的多模态系统奠定了基础，而后者的出色表现则催生了 LMM。第 3 部分讨论了 LMM 的一些活跃研究领域，包括生成多模态输出和适配器以实现更高效的多模态训练，涵盖了 BLIP-2、LLaVA、LLaMA-Adapter V2、LAVIN 等较新的多模态系统。多模态数据也可指多模态分布，例如 双模态分布，与本帖中的多模态数据不同。第 1 部分.了解多模式 许多使用案例都离不开多模态技术，尤其是那些需要处理多种数据模态的行业，如医疗保健、机器人、电子商务、零售、游戏等。图片来自多模态生物医学人工智能（Acosta 等人，《自然医学》，2022 年） 不仅如此，结合其他模式的数据也有助于提高模型性能。