多模态模型

多模态模型同时处理文本、图像、音频、视频等信息，使系统能够在不同信息形式之间建立联系，例如看图回答、根据文字生成图片、理解视频内容或进行实时语音对话。

多模态不是简单拼接文件

不同模态的数据结构和时间尺度不同：

• 文本是离散 Token 序列。
• 图片是二维空间像素。
• 音频是高频时间信号。
• 视频同时包含空间、时间和音频。

系统需要分别编码，再把表示对齐到可共同建模的空间。

典型架构

图片 -> 视觉编码器 -> 视觉表示 --\
                                  -> 对齐/融合 -> 语言或生成模型 -> 输出
文本 -> Tokenizer -> 文本表示 ---/

融合可以发生在输入、网络中间或输出决策阶段。不同方案在效果、训练成本和模块复用上有差异。

对比学习与对齐

图文对比学习让匹配的图片和文本向量更接近，不匹配的更远。它支持跨模态检索、零样本分类和视觉语言模型的基础对齐。

对齐数据质量非常关键。图片说明过于笼统、音频转写错误或视频字幕错位，都会让模型学到不准确关系。

主要应用

• 图片问答和文档理解。
• OCR 后的版面与语义联合处理。
• 图文、文生图和图片编辑。
• 视频摘要、事件定位和内容审核。
• 实时语音对话。
• 机器人视觉、语言和行动协同。

视频为什么更难

视频包含大量重复帧，完整输入成本很高；关键事件可能只出现很短时间；画面、字幕和声音还需要时间对齐。工程上常先采样镜头、提取关键帧、转写语音，再进行分层理解。

评估

多模态系统不能只看生成结果是否自然，还要检查：

• 是否正确识别视觉和音频事实。
• 文本结论能否定位到对应时间和区域。
• 不同模态冲突时如何处理。
• 图片文字、数字和空间关系是否准确。
• 对缺失、模糊或损坏输入是否能拒答。
• 延迟和输入成本是否可接受。

安全与来源

多模态系统需要处理人脸、声音、位置、版权和深度伪造风险。生成内容应保留来源、授权和必要标识；高风险识别和行动不能只依赖模型单次输出。

多模态能力扩大了输入输出范围，但可靠系统仍需把每个模态的预处理、证据、权限和评估分别做清楚。