多模态AI术语速查

多模态 AI 指模型能处理文字、图片、音频、视频等多种信息形式。它让 AI 从“只读文字”走向理解截图、图表、声音和真实场景。

基础术语

Modality，模态：信息类型，例如文本、图像、语音、视频、传感器数据。

Multimodal，多模态：同时处理或生成多种模态。

VLM，视觉语言模型：能理解图像和文字关系的模型，例如看图问答、截图分析。

Alignment，对齐：让不同模态的表示对应起来，例如图片中的狗和文本“狗”表示同一概念。

常见任务

Image Captioning，图像描述：为图片生成文字说明。

Visual Question Answering，看图问答：根据图片回答问题。

OCR，文字识别：从图片中识别文字。

Speech-to-Text，语音转文字：把语音转成文本。

Text-to-Speech，文字转语音：把文本生成语音。

Text-to-Video，文本生成视频：根据描述生成视频片段。

应用场景

截图诊断、表格图片理解、课程课件讲解、产品图文检查、语音会议整理、短视频生成、智能客服上传图片识别问题。

易混淆点

能看图不代表能准确识别所有细节。小字、模糊图片、复杂图表、遮挡物都可能误读。视频理解还涉及时间顺序，不只是逐帧看图。

使用建议

提问时说明分析角度。例如“请只根据图片可见内容回答”“请把图表趋势转成三条结论”“无法判断的地方标注无法判断”。重要识别结果要人工核对。