多模态大模型现状调研报告

模态覆盖全景 · 各模态 SOTA 开源/闭源模型 · 按部署环境分类 · 评测基准与行业趋势
📅 数据截至 2026-09-18🌐 覆盖国际与中国模型📖 基于公开来源联网调研
17
模态方向(含垂直领域)
–
收录代表模型
–
开源 / 开放权重占比
4
部署层级:云端 · PC · 手机 · 边缘/车机
三条核心结论
  • 「文本 + 图像理解」已成旗舰标配,模态边界持续外扩。视频理解进入头部旗舰(Gemini 3、Qwen3-VL),语音由 Omni 分支模型覆盖,图像生成正被吸入主模型(原生统一理解+生成),世界模型、具身 VLA 等 2025 年起爆发但仍属早期。
  • 开源与闭源呈「理解追平、生成与长上下文仍落后 1-2 代」格局。Qwen3-VL / Kimi / InternVL / GLM 在图像理解榜逼近闭源旗舰;但小时级长视频、4K 视频生成仍由 Gemini、Veo、Kling 等闭源模型领先。
  • 端侧多模态已分层成型。手机端 4B 够用、8B 见顶(MiniCPM-V 4.6、Qwen3-VL-2B、Gemma 3n/4),PC 端 8-14B 为甜点区(Q4 量化),35B 是 24GB 消费级显卡硬上限,车端 3-20B VLA 已量产上车。
  • 01

    模态覆盖全景:多模态已经扩展到哪些模态?

    截至 2026 年 9 月,多模态能力已从「文本+图像」扩展到 17 个方向。按成熟度分三档:已成熟(主流旗舰标配 / 商品化)、快速发展(头部可用、格局未定)、早期探索(专用模型 / 研究阶段)。每张卡片标注代表模型,绿色=开源 / 橙色=闭源。

    已成熟 快速发展 早期探索 开源 / 闭源 = 代表模型标注

    🟢 已成熟 — 旗舰标配 / 商品化

    🖼️ 图像理解 已成熟
    VLM 旗舰标配,原生多模态输入
    GPT-5.2、Gemini 3.1 Pro、Claude Opus 5、Grok 4.1;Qwen3-VL、Kimi K3、GLM-4.6V、InternVL3.5、Llama 4
    🎨 图像生成 已成熟
    正从外挂模型走向「原生融入主模型」
    Nano Banana Pro(Gemini 3 Pro Image)、Seedream 4.5、GPT Image、Midjourney V7;FLUX.2、Qwen-Image、Z-Image Turbo
    🎙️ 语音识别 ASR 已成熟
    低延迟流式识别 + 方言/多语种
    Qwen3-ASR(API);Qwen3-ASR 0.6B/1.7B、Phi-4-multimodal(OpenASR WER 6.14%)、Kimi-Audio
    🔊 语音合成 / 实时对话 TTS 已成熟
    speech-to-speech 生产级落地
    gpt-realtime(→GPT-Live-1)、Gemini Native Audio;CosyVoice 3、Qwen3-Omni Talker、Step-Audio 2
    📄 文档理解 / OCR 已成熟
    并成为「视觉压缩长上下文」新范式
    DeepSeek-OCR / OCR-2(10× 光学压缩保留 97% 精度)、Qwen3-VL、MiniCPM-V 4.6、GLM-OCR、PaddleOCR-VL

    🔵 快速发展 — 头部可用,格局未定

    🎬 视频理解 快速发展
    小时级长视频 + 秒级时间戳定位
    Gemini 3 Pro(Video-MMMU 87.6);Qwen3-VL(256K→1M 上下文)、Molmo 2、VideoLLaMA3
    📹 视频生成 快速发展
    原生音频+4K 竞逐;Sora 因成本退场
    Sora 2(⚠2026-09 API 关停)、Veo 3.1、Kling 3.0、Seedance 2.0、Hailuo 2.x;Wan 2.2、HunyuanVideo 1.5
    🎵 音乐生成 快速发展
    商业产品主导,开始与音乐行业合作
    Suno v5.5→v6(2026-09,与 Believe/BMG 等合作开发);开源侧尚无对标
    🖥️ GUI / 计算机操作 Agent 快速发展
    看屏幕、点按钮、填表单的通用智能体
    OpenAI Operator/CUA、Claude Sonnet 4.5(OSWorld 领先);字节 UI-TARS-2
    🔗 统一理解 + 生成(Any-to-Any)快速发展
    单一模型内混合自回归/扩散
    GPT-4o 原生图像、Gemini 3 Pro Image;DeepSeek Janus-Pro、字节 BAGEL、Show-o
    🧊 3D / 场景生成 快速发展
    资产级 3D 可用,可交互世界仍受限
    腾讯 Hunyuan3D 2.5(10B/4K PBR)、微软 TRELLIS.2;World Labs Marble(商用世界模型)
    📡 全双工实时 Omni 快速发展
    「边看边听边说」的流式交互
    gpt-realtime、Gemini Live;Qwen3-Omni(211ms)、MiniCPM-o 4.5、Moshi(160ms)

    🟣 早期探索 — 专用模型 / 研究阶段

    🌍 世界模型 / 空间智能 早期
    文本→可导航可交互的持久世界
    DeepMind Genie 3 / Project Genie、World Labs Marble;NVIDIA Cosmos 3(物理 AI 开放权重)
    🤖 具身智能 VLA 早期→爆发
    视觉-语言-动作,2025 年起上车/上机
    π0.5、NVIDIA Isaac GR00T N1.6、面壁 Manip VLA;Gemini Robotics 2;车端:理想 MindVLA、小鹏、地平线 HSD
    📈 时序预测 垂直赛道
    通用旗舰未覆盖,专用基础模型路线
    Google TimesFM 2.5/3、Amazon Chronos-2、阿里 Sundial、Salesforce Moirai-MoE
    🧬 分子 / 蛋白质 科学多模态
    序列/结构/功能多模态生成
    ESM 3(登 Science,生成 esmGFP);AlphaFold 3(限制性许可)
    🩺 医疗影像 垂直开源
    放射报告起草、影像问答
    Google MedGemma 4B/27B → MedGemma 1.5(2026-01)

    🧩 全模态(Omni)模型输入 / 输出模态矩阵 ✓=支持 · —=不支持

    模型机构开源/闭源输入模态输出模态备注
    文心 ERNIE 5.0百度闭源✓✓✓✓✓✓✓2.4T,原生全模态统一自回归,理解+生成一体
    Gemini 3 / 3.1 系列Google闭源✓✓✓✓✓✓(Live)✓(3 Pro Image)全模态交互最成熟的商用实现
    GPT-5.x(含 Realtime)OpenAI闭源✓✓—✓(Realtime)✓✓(Realtime)—本体无音频;语音在 Realtime/产品层;图像生成为独立模型
    Qwen3-Omni-30B-A3B阿里开源✓✓✓✓✓✓(流式)—Thinker-Talker 架构,语音延迟 211ms
    MiniCPM-o 4.5面壁智能开源✓✓✓✓✓✓(全双工)—8B 端侧全双工,支持声音克隆
    Llama 4 Scout/MaverickMeta开源✓✓——✓——原生多模态 MoE,10M token 上下文
    MoshiKyutai开源✓——✓✓✓(全双工)—首个全双工实时语音模型,理论延迟 160ms
    Kimi-Audio-7B月之暗面开源———✓✓✓—1300 万小时音频训练的音频专用基座

    注:矩阵中「✓」指该系列模型官方声明的模态能力;GPT-5.x 的语音/图像生成通过 Realtime API 与独立产品层提供,非单模型本体输出。数据截至 2026-09-18。

    02

    各模态 SOTA 模型总表(开源 / 闭源)

    收录 2024 末至 2026-09 期间各方向的代表模型。可按方向、开源/闭源、部署环境筛选,或搜索模型名/机构。闭源模型官方普遍不公布完整多模态榜单明细,表中成绩标注来源性质;⚠ 表示第三方/单一来源、待权威核实。

    模型机构方向开源/闭源参数规模许可证发布代表成绩 / 备注可部署环境

    「可部署环境」为该模型实际可运行的层级(如 Qwen3-VL-235B 需多卡集群,只标云端;MiniCPM-V 4.6 可手机端运行)。许可证以各官方仓库为准;闭源模型参数规模未公开的以「未公开」标注。

    03

    部署分类:云端 → PC → 手机端侧 → 边缘/车机

    端侧多模态已形成三层生态 + 云端能力上界。关键分界线:4B 是手机「够用线」、8B 是手机「天花板」、~35B(Q4) 是 24GB 消费级显卡硬上限、>140B 基本只能数据中心。

    部署环境 × 参数规模 对照表

    部署环境典型硬件可行参数规模(量化后)内存 / 显存门槛代表模型(2026-09)典型性能
    ☁️ 云端 / 数据中心H100/B200、TPU 集群70B – 1T+(闭源未公开更高)多卡 80GB+Gemini 3、GPT-5.2、Claude Opus 5、ERNIE 5.0、Kimi K3、Qwen3-VL-235B能力上界;端侧 7-13B ≈ 旗舰 80-90% 实用质量(第三方评估)
    🖥️ PC / 消费级 GPURTX 4060 8GB → 4090 24GB;纯 CPU7B – 35B(8-14B 甜点区)显存 6-24GBQwen3-VL-8B/32B、InternVL3.5-8B、Gemma 4 12B、Mistral Small 24B、Llama 4 Scout、Qwen3-Omni 30B-A3B(24GB 全模态)纯 CPU 可跑 2B-8B Q4(吞吐低)
    💻 PC NPU(Copilot+)骁龙 X / 酷睿 Ultra / Ryzen AI(40-50 TOPS 标称)≤5B 驻留系统内存共享Phi Silica(⚠2026 年 10-11 月将替换为 Aion Instruct)、Phi-4-multimodal厂商托管模型,应用经系统 API 调用
    📱 手机端侧骁龙 8 系 / 天玑 9500 / 苹果 A 系(CPU+NPU)0.2B – 4B 甜点区,8B 上限RAM 4-8GBMiniCPM-V 4.6(1.3B)、Qwen3-VL-2B/4B、Gemma 3n/4 E2B·E4B、SmolVLM2、Phi-4-multimodal(旗舰机)12-35 tok/s;音频/视频可实时流式
    📦 边缘盒子 / 机器人Jetson Orin Nano 8GB → AGX Thor 128GB2B – 数百亿(Thor 面向 VLA)统一内存 8-128GBOrin:Qwen3-VL 4B/8B、Llama 3.2 11B Vision;Thor:Isaac GR00T 级 VLA实时感知-规划-控制闭环
    🚗 车机智驾征程 6P 560TOPS、Orin-X / Thor 车规版、自研芯片车端 3B – 20B VLA(云侧 32-72B 蒸馏)车规 SoC理想 MindVLA(~3.2B)、小鹏二代 VLA、地平线 HSD10-20Hz 推理,<100ms 时延
    💡 显存估算经验法则:Q4 量化显存 ≈ 参数量(B) × 0.55-0.6 GB + 视觉编码器/mmproj(0.3-1GB)+ KV cache。对应关系:8GB 显卡 → 4B-9B;12-16GB → 12B-14B(Q4-Q8);24GB → 27B-35B(Q4)或 30B-A3B 级 MoE 全模态;纯 CPU → 2B-8B Q4 可用但吞吐低。
    ☁️
    云端 / 数据中心
    H100/B200 · TPU · 多卡集群
    • 闭源旗舰:Gemini 3.1 Pro、GPT-5.2、Claude Opus 5、ERNIE 5.0(2.4T)
    • 开源旗舰:Kimi K3(2.8T MoE)、Qwen3-VL-235B、InternVL3.5-241B、GLM-4.6V
    • 推理框架:vLLM、SGLang(含 vLLM-Omni any-to-any 服务系统)
    🖥️
    个人电脑 PC
    消费级 GPU 8-24GB · 纯 CPU · Copilot+ NPU
    • 甜点模型:Qwen3-VL-8B(AWQ 约 7.5GB)、InternVL3.5-8B、Gemma 4 12B、Qwen3-VL-32B(4090 Q4)
    • 全模态:Qwen3-Omni 30B-A3B(24GB 单卡 Q3/Q4)
    • 工具链:llama.cpp(mtmd,通吃图像+音频+视频)、Ollama、MLX(Mac)
    📱
    手机 / 端侧
    骁龙 8 Elite Gen 5 · 天玑 9500 · 苹果 A 系
    • 代表模型:MiniCPM-V 4.6(1.3B,约 6GB 内存流畅)、Qwen3-VL-2B(手机 CPU 可跑)、Gemma 3n/4 E2B·E4B(含音频)、SmolVLM2(256M 起)
    • 手机 SDK:MNN(阿里)、MediaPipe/LiteRT-LM(Google)、ExecuTorch(Meta)、Qualcomm AI Hub
    • 厂商动态:骁龙 8E Gen5 端侧 220 tok/s、天玑 9500 计算内存架构、Galaxy S26「端侧优先」、苹果 Foundation Models 框架
    🚗
    边缘设备 / 车机
    Jetson Orin/Thor · 征程 6P · 车规 SoC
    • 平台:Jetson AGX Thor(2070 FP4 TFLOPS / 128GB,GR00T 指定平台)、Orin Nano Super(67 TOPS / 8GB)
    • VLA 量产:理想 MindVLA、小鹏二代 VLA(云端 72B 蒸馏上车)、地平线 HSD(征程 6P)
    • 范式:云端 32-72B 基座 → 蒸馏 3-20B 车端实时模型(20Hz、<100ms)
    04

    评测基准速览

    多模态评测分「理解类学术榜」与「生成类人工偏好竞技场」两大体系。闭源模型官方普遍只公布精选成绩,引用第三方快照时需注明榜单与日期。

    MMMU / MMMU-Pro
    大学多学科图文推理,VLM 综合能力核心榜;Pro 版更难、更抗污染。
    Video-MME / Video-MMMU
    视频理解(短/中/长视频、知识类视频);Gemini 3 Deep Think 长 78.4 领先约 7 分。
    AIR-Bench / MMAU / VoiceBench
    音频理解与语音对话;前三长期被 Step-Audio 2、Qwen3-Omni 包揽。
    OCRBench v2 / OmniDocBench
    OCR 与文档解析;DeepSeek-OCR-2、GLM-OCR、MiniCPM-V 4.6、Qwen3-VL 领先。
    arena.ai(原 AA)ELO
    文生图/文生视频人工偏好竞技场;2026-09 文生视频 48 模型、66.8 万票。
    VBench / OpenASR 等
    开源视频生成学术评测;OpenASR 榜单语音识别(Phi-4-multimodal 曾第一)。
    MMMU(%)— 图像理解综合
    Gemini 3.1 Pro *
    83.8
    Llama 4 Maverick
    73.4
    InternVL3-78B
    72.2
    * 第三方榜(pricepertoken,2026-09 快照),非 Google 官方公布。闭源新模型普遍不再公布 MMMU 明细。
    MMMU-Pro(%)— 抗污染加强版
    Gemini 3 Pro
    81.0
    GPT-5.1
    76.0
    Gemini 3 Pro 为官方口径;GPT-5.1 为第三方评测(Vellum)。GPT-5.2 / Claude Opus 5 未公布 MMMU 系明细。

    精选可溯源成绩

    模型Benchmark成绩来源性质时间
    Gemini 3 ProVideo-MMMU87.6官方2025-11
    Gemini 3 Pro(Deep Think)Video-MME(long)78.4官方(领先约 7 分)2025-11
    GPT-5.2 ProGPQA-Diamond93.2官方2025-12
    Claude Opus 4.5SWE-bench Verified80.9官方2025-11
    Qwen3-Omni-30B-A3B36 项音频/视听基准32 项开源 SOTA官方2025-09
    Qwen3-Omni-30B-A3BVoiceBench / 语音延迟85.5 / 211ms官方2025-09
    Qwen3-VL-8B(AWQ)OCRBench87.4官方2025-10
    Phi-4-multimodalOpenASR(WER)6.14%官方(发布时第一)2025-02
    MiniCPM-V 4.6OmniDocBench(英文)SOTA官方2026-05
    DeepSeek-OCR长文本视觉压缩10× 压缩保留 97%官方(被引 300+)2025-10
    05

    关键发布时间线(2025-01 → 2026-09)

    橙色节点为影响格局的关键事件。

    2025-01
    面壁 MiniCPM-o 2.6(8B 端侧全双工视听说)· OpenAI Operator/CUA 计算机操作 Agent · DeepSeek Janus-Pro 统一理解生成
    2025-02
    微软 Phi-4-multimodal(5.6B,OpenASR 第一)· SmolVLM2(256M 起最小视频 LM)
    2025-03
    GPT-4o 原生图像生成出圈 · NVIDIA 发布人形机器人基座 GR00T N1
    2025-04
    Meta Llama 4 Scout/Maverick(原生多模态 MoE)· Physical Intelligence π0.5(家庭环境长程操作)· Midjourney V7
    2025-06
    Google Gemma 3n(E2B/E4B 手机端含音频)· 字节 Seedance 1.0 登顶视频生成人工评测
    2025-07
    Veo 3 GA(首个原生音频视频模型)· 阿里 Wan 2.2 开源(27B-A14B)
    2025-08
    OpenAI GPT-5 + gpt-realtime · Qwen3-VL 首发与 MiniCPM-V 4.5 · Step-Audio 2 · Genie 3 世界模型 · Jetson AGX Thor 上市
    2025-09
    Qwen3-VL 全系开源 + Qwen3-Omni(开源全模态标杆) · Sora 2 · Claude Sonnet 4.5(computer use)· 骁龙 8 Elite Gen 5 / 天玑 9500 · 理想/小鹏/元戎 VLA 两周内先后量产上车 · UI-TARS-2
    2025-10
    DeepSeek-OCR(上下文光学压缩)· Veo 3.1 · Qwen3-VL 2B-32B 补齐 · ExecuTorch 1.0
    2025-11
    Gemini 3(MMMU-Pro 81.0)+ Nano Banana Pro · GPT-5.1 · Claude Opus 4.5 · FLUX.2 · HunyuanVideo 1.5 · World Labs Marble 商用世界模型
    2025-12
    GPT-5.2 · Ai2 Molmo 2(数据全开)· 字节 Seedream 4.5 · 微软 TRELLIS.2
    2026-01
    百度文心 ERNIE 5.0 正式版(2.4T 原生全模态)· Qwen3-ASR 开源(0.6B/1.7B)· MedGemma 1.5
    2026-02
    Kimi K2.5(视觉 Agent)· 阿里 Qwen3.5(397B-A17B 原生多模态 Agent)· 快手 Kling 3.0 · Gemini 3.1 Pro · MiniCPM-o 4.5
    2026-03
    阿里 Qwen3.5-Omni 转闭源(开源策略分化)· OpenAI 宣布停用 Sora 应用(成本约束显性化)
    2026-04 / 05
    Google Gemma 4(4B-31B 含音频)· 智谱 GLM-5V-Turbo · MiniCPM-V 4.6(1.3B 端侧新主力)
    2026-07
    Claude Opus 5(1M 上下文)· Kimi K3(2.8T MoE 开源旗舰)· 面壁 Manip VLA 开源
    2026-09
    Grok 4.1 全量 · Suno v6(与音乐行业合作)· GPT-Live-1 · 本报告数据截至 09-18 · Sora API 于 09-24 关停
    07

    数据来源与可信度说明

    可信度与免责声明
    · 本报告数据截至 2026-09-18,由三路并行联网调研汇总,绝大多数条目有官方/一手来源;多模态领域迭代极快,阅读时请注意时效。
    · 闭源模型(GPT-5.2、Claude Opus 5、Grok 4.1 等)官方普遍不公布完整多模态榜单明细,表中仅收录其官方披露的成绩;引用第三方快照处均已标注榜单名与日期。
    · 待核实项(已标注 ⚠ 或未收录):Kimi K3 具体榜单分数、Grok 4.1 视觉专项分数、Apple 端侧基座模型精确参数量、各 PC NPU 的 TOPS 标称值、Wan 2.5 开源状态(以 HF Wan-AI 仓库为准);网传「GPT-5.5」未经官方证实,未收录。
    · 「可部署环境」为基于公开量化/实测资料的综合判断,实际体验因设备、量化方案与框架而异;显存估算为经验法则,仅供选型参考。