多模态大语言模型（MLLM）- kimi-vl technical report论文阅读

前言

kimi-vl是月之暗面团队于2025年4月10日发布的多模态大模型。


代码链接：https://github.com/MoonshotAI/Kimi-VL

背景

随着人工智能技术的快速发展，人们对AI助手的需求已从单一文本交互转向多模态理解。新一代多模态模型如GPT-4o和Gemini虽展现出强大的跨模态能力，但开源社区在视觉语言模型（VLM）领域仍面临三大挑战：扩展性不足、计算效率低下以及缺乏长链推理能力。现有MoE架构的视觉语言模型如DeepSeek-VL2和Aria在视觉编码器设计（固定分辨率处理）和长上下文支持（仅4K窗口）等方面存在明显局限，如下图所示，传统视觉编码器与MoonViT的对比。

针对这些问题，本文提出了Kimi-VL——基于MoE架构的高效开源视觉语言模型。其核心架构包含三个创新模块：支持原生分辨率的MoonViT视觉编码器、动态MLP投影层以及仅激活2.8B参数的MoE语言解码器（总参数量16B）。这种设计在保持计算效率的同时，实现了多模态特征的深度融合，如下图所示模型架构中各组件的协同工作。

Kimi-VL展现出三大核心优势：

1. 多任务处理能力：在OSWorld等多轮代理任务中达到旗舰模型水平，支持跨图像/视频的大学级理解、OCR解析和数学推理
2. 长上下文支持：128K上下文窗口在LongVideoBench（64.5）和MMLongBench-Doc（35.1）等长视频/文档理解任务中表现优异
3. 高分辨率处理：MoonViT编码器实现原生分辨率处理，在InfoVQA（83.2）和ScreenSpot-Pro（34.5）等高精度需求场景保持低计算成本

通过长思维链监督微调和强化学习，本文进一步开发了Kimi-VL-Thinking变体。该版本在MMMU（61.7）、MathVision（36.8）和MathVista（71.3）等复杂推理任务中刷新了高效多模态模型的性能记录。这种创新方法为开源社区提供了首个支持长链推理的视觉语言模型解决方案。

方法

模型架构

Kimi-VL采用三层模块化设计，核心组件包含：

1. MoonViT视觉编码器：基于SigLIP-SO-400M初始化，本文引入原生分辨率处理机制
   • 采用NaViT图像分块拼接策略，将不同分辨率图像切割为patch后展平为1D序列
   • 融合双位置编码系统：
   ▫️ 可学习绝对位置编码（通过插值保留SigLIP原始空间感知能力）
   ▫️ 2D旋转位置编码(RoPE)（在高度/宽度维度增强高分辨率图像的细粒度空间关系建模）
   • 支持动态分辨率输入，通过FlashAttention优化ViT训练吞吐量
2. MLP投影层：
   • 采用两阶段特征压缩：
   ① 像素重排操作（Pixel Shuffle）进行2×2空间下采样，通道维度扩展4倍
   ② 双层MLP（隐藏层维度6144→8192）将视觉特征映射至语言模型嵌入空间
   • 输出特征维度与大语言模型严格对齐，确保跨模态特征融合效率
3. MoE语言模型：
   • 基于Moonlight架构，总参数量16B，激活参数仅2.8B，架构类似于DeepSeek-V3
   • Moonlight由5.2T 文本token预训练而来，支持8192 token的上下文
   • 通过对Moonlight做continue pretraining，数据包括多模态和2.3T token的文本数据。

优化器设计

采用改进版Muon优化器，关键创新包括：
• 动态权重衰减机制
• 基于ZeRO-1的分布式实现

预训练阶段

完整训练流程包含4个阶段（见图4和表1），累计消耗4.4T tokens：

阶段1：ViT专项训练（对齐图像模态、文本模态）
• 数据组成：20亿图文对（含OCR文本、定位框、合成描述）
• 双损失函数：
$$\mathcal{L}={\mathcal{L}}_{siglip}+2{\mathcal{L}}_{caption}$$
• 渐进式分辨率采样：从小尺寸图像逐步扩展至大尺寸图像
• 再利用额外的0.1T token数据，训练MoonViT和MLP映射层

阶段2：联合预训练（多模态联合训练）
• 数据混合比例：文本60% + 多模态40%
• 渐进式训练：先用文本token预训练，渐进式添加多模态token

阶段3：联合冷却（用高质量数据提升在数学、知识、代码等领域的多模态性能）
• 生成数据：
▫️ 数学、知识、代码领域：在预训练数据子集的基础上，通过拒绝采样合成高质量QA对。
▫️ 多模态部分：处理数据合成及拒绝采样外，加入了academic的多模态指令数据。

阶段4：激活长上下文能力
• 数据构成
▫️ 训练数据中，保证25%的比例是长文本；
▫️ 通过长视频、长文档，提升对多模态长上下文的理解；
▫️ 合成QA对
• 两个阶段扩展RoPE训练，第一个阶段实现上下文8192—>32784，第二个阶段实现上下文32784—>131072，下图是海底捞针效果。

后训练阶段

监督微调(SFT)
• 指令数据构造： 具备表单、agent grounding、OCR、QA、写作等指令微调数据；文本和图像token的比例基本上是1:1
• 两阶段训练：
① 32K窗口训练1 epoch：学习率2e-5→2e-6
② 128K窗口训练1 epoch：学习率1e-5→1e-6，启用动态序列打包

长思维链的监督微调（Long-CoT SFT）
通过提示工程构建了一个量极小，但质量高的长思维链（long-CoT）warmup数据集，包含针对文本和图像输入、验证后的长思维链。该方法类似于拒绝采样，但重点是生成长思维链。生成的warmup数据对规划、评估、反思、探索都能起到重要的作用。

强化学习(RL)
通过强化学习训练模型，使其能够自动生成结构化的思维链推理。类似于Kimi k1.5，采用online policy mirror descent作为RL算法，迭代优化policy model以提高问题解决的准确性。
在第$i$次训练迭代中，将当前模型视为reference policy model，优化以下目标函数：
$$\underset{\theta }{\max }{\mathbb{E}}_{(x,y^{\ast })\sim \mathcal{D}}\left[{\mathbb{E}}_{(y,z)\sim {\pi }_{\theta }}\left[r(x,y,y^{\ast })\right]-\tau \text{KL}({\pi }_{\theta }(x)\Vert {\pi }_{{\theta }_i}(x))\right]$$

• $r$ 是reward model，用于评估给定问题 $x$ 的答案 $y$ 的正确性。
• r ( x , y , y ∗ ) ∈ { 0 , 1 } r(x, y, y^*) \in \{0, 1\} r(x,y,y∗)∈{0,1} 基于真实答案 $y^{\ast }$ 进行评估。
• $\tau >0$ 是控制正则化程度的参数。

训练时，每次训练迭代从数据集 中采样问题批次，使用上述公式导出的策略梯度更新模型参数，优化后的策略模型在后续迭代中作为参考策略。为了提高RL训练效率，实施了基于长度的奖励来惩罚过长的回答，以减轻模型生成冗余推理链的过度拟合问题。此外，采用两种采样策略，包括课程采样和优先采样，利用难度标签和每个实例的成功率，将训练重点放在难样本上，优化训练效率。

基础设施

存储
• S3兼容的存储架构：
▫️ 支持动态data shuffling, mixing, tokenization等操作
▫️ 支持图像、文本的随机数据增强
▫️ 确保模型可复现，具备存档点
▫️ 具备高性能data loading能力

并行
包括Data Parallelism、Expert Parallelism、Pipeline Parallelism、Context Parallelism共4种并行策略，实现训练加速，吞吐量较7B dense模型提升60%。|

数据

预训练数据构建

• Caption数据：
▫️ 混合开源（LAION-5B、DataComp）与自研海量图文对，实施多重质量过滤
▫️ 添加合成数据，但限制比例，避免幻觉问题。

• 图像-文本交织数据：该数据可提升多图像理解能力，为图像提供详细的背景知识，以及实现长上下文的多模态理解，数据有：
▫️ 开源数据，包括Multimodal c4、Obelics
▫️ 从教科书、网页、教材里获取的多模态数据

• OCR数据：
▫️ 包括开源数据和独家数据，覆盖多模态文本、表单、网页、手写体等样本。
▫️ 数据增强，包括几何形变、光学干扰、多字体渲染等
▫️ 支持多页文档OCR识别

• Knowledge数据：类似于针对大语言模型的文本数据，但会提供多模态视角下的丰富信息。

• Agent数据：
▫️ 开源数据
▫️ 构建跨平台（Windows/Ubuntu/iOS）GUI交互数据集，收集屏幕截图和操作数据。为提升多步骤任务的规划能力，通过人工标注，收集了一组计算机使用轨迹数据，每条轨迹都附有合成的思维链

• 视频数据：
▫️ 长视频及长文本数据，用于理解长上下文序列
▫️ 短视频，用于感知细粒度的时空对应关系
▫️ 数据来源包括开源及独家数据。

• 文本数据：直接利用Moonlight数据，包括英语、中文、代码、数学与推理以及知识等5个领域

指令微调数据

对于非推理任务，包括图表解读、Agent、OCR、基于图像的对话、问答、写作和文本处理等任务。首先通过人工标注构建了一个种子数据集。这个种子数据集用于训练一个种子模型。随后，收集了一组多样化的提示（prompts），并使用种子模型为每个提示生成多个响应。标注员对这些响应进行排序，并对排名最高的响应进行优化，以生成最终版本。

对于推理任务，例如视觉编码、视觉推理以及数学/科学问题，基于规则和模型的验证比人类判断更加准确和高效，因此利用拒绝采样（rejection sampling）来扩展SFT（监督微调）数据集。整体数据中，文本和图像的比例为1:1。

推理数据

推理数据旨在激活和增强模型在长思维链的监督微调和强化学习阶段的能力。通过拒绝采样和提示词工程，合成了大量高质量的长思维链数据。
具体来说，首先整理了一个包含真实标注的问答数据集，这些数据需要多步骤推理，例如数学问题求解和特定领域的视觉问答（VQA）。随后，通过利用强大的长思维链模型——Kimi k1.5结合精心设计的推理提示，为每个问题采样多个详细的推理轨迹。
在拒绝采样过程中，将真实标签和模型预测输入到现成的奖励模型中进行判断。根据模型评估结果以及一些基于规则的奖励机制，错误的思维链被过滤掉，从而提高了推理数据的质量。

实验

和sota比较

College-level Academic Problems

在MMMU验证集(57.0%)超越DeepSeek-VL2(51.1%)，逼近Qwen2.5-VL-7B(58.6%)；VideoMMMU(52.6%)大幅领先Qwen2.5-VL-7B(47.4%)，仅落后Gemma3-12B-IT(57.2%) 4.6个百分点

通用视觉能力

在 MMBench-EN-v1.1 上，达到了 83.1% 的准确率，与 GPT-4o 表现相当。在 AI2D 数据集上，达到了 84.9%，超越了包括 GPT-4o（84.6%）在内的所有对比模型。在 MMVet 上，Kimi-VL 得分为 66.7%，与 Qwen2.5-VL-7B（67.1%）和 GPT-4o-mini（66.9%）非常接近。对于 RealWorldQA，实现了 68.1% 的准确率，优于 Gemma3-12B（59.1%），并接近 Qwen2.5-VL-7B（68.5%）。

在多图像推理任务中，在 BLINK 基准测试中得分为 57.3%，超越了 Qwen2.5-VL-7B（56.4%）、GPT-4o-mini（53.6%）、Gemma3-12B-IT（50.3%）以及 Llama3.2-11B-Inst.（39.8%）。

数学推理

在 MathVista 基准测试中，它达到了 68.7% 的准确率，超越了包括 GPT-4o（63.8%）和 Qwen2.5-VL-7B（68.2%）在内的所有对比模型。

在更难的MathVision 基准测试中，Kimi-VL 的表现优于 DeepSeek-VL2 和 Llama-3.2-11B-Inst.，但落后于 Qwen2.5-VL-7B 和 Gemma-12B-IT。

然而，经强化学习（RL）和测试时扩展（test-time scaling），Kimi-VL-Thinking 已经显著提升，其性能已经达到与 30B 级别视觉语言模型（VLM）相当的水平，见下表

文档理解和OCR

在 InfoVQA 上，它达到了 83.2% 的准确率，超越了 GPT-4o（80.7%）和 DeepSeek-VL2（78.1%）。在 OCRBench 上，得分 86.7%，超过了包括 GPT-4o-mini（78.5%）和 DeepSeek-VL2（81.1%）在内的所有其他模型。

Agent定位和多轮Agent交互

在单步Agent定位中，在 ScreenSpot-V2 上达到 92.0%，在极高难度的 ScreenSpot-Pro（4K 屏幕）上达到 34.5%，
在多步Agent交互中，具备出色的多步骤交互能力：在 OSWorld 基准测试中，Kimi-VL 达到了 8.22%，超越了 GPT-4o（5.03%）及其他领先的开源模型；在 WindowsAgentArena 上，实现了 10.4%，同样超过了 GPT-4o（9.4%）及其他模型。

长文档和长视频理解

长文档理解上，在 MMLongBench-Doc 上，要求对长达 100 多页的文档进行问答，Kimi-VL 达到了 34.7% 的准确率，超越了 GPT-4o-mini（29.0%）和 Qwen2.5-VL-7B（29.6%），仅次于 GPT-4o（42.8%）。

长视频理解上，在 Video-MME 基准测试中，表现优于所有其他模型，尤其是在更公平的“无字幕”设置下，模型必须从视频帧中寻找答案，而非依赖输入字幕；而在“有字幕”设置下，它也达到了惊人的 72.6% 准确率。在 MLVU 的多项选择题（MCQ）子集上，Kimi-VL 实现了令人印象深刻的 74.2% 分数，达到了当前最佳水平，超越了 GPT-4o（64.6%）和 Qwen2.5-VL-7B（70.2%）。在 LongVideoBench 上，它得分 64.5%，超越了除 GPT-4o（66.7%）之外的所有对比模型。

自我中心视角与细粒度感知

Kimi-VL 在更细致的视频感知任务中也表现出色。在 EgoSchema 全集上，达到了 78.5% 的准确率，显著优于 GPT-4o（72.2%）和 Qwen2.5-VL-7B（65.0%）。对于 VSI-Bench，要求理解视频中多个物体之间的空间关系和对应关系，模型得分为 37.4%，超越了 GPT-4o（34.0%）和 Qwen2.5-VL-7B（34.2%）。在 TOMATO 基准测试中，该测试考察视觉语言模型（VLM）对时间维度的细粒度感知能力，Kimi-VL 达到了 31.7%，优于 Qwen2.5-VL-7B（27.6%）和 GPT-4o-Mini（28.8%）。这些结果表明，kimi-VL在理解动态视觉内容、跟踪物体随时间的变化以及解读复杂动作序列方面具有强大的能力，使其非常适合需要时间维度视觉理解的应用场景。

Kimi-VL的推理扩展

通过链式思维（CoT）推理扩展赋予 Kimi-VL 更强的推理能力，并推出了一个长思考版本的模型——Kimi-VL-Thinking ，通过长链思维（long-CoT）激活和强化学习实现。在多个图像基准测试中验证了其卓越性能，如下图。![[Pasted image 20250425160114.png]]

Kimi-VL-Thinking 在基础版 Kimi-VL 模型的基础上显著提升，在 MathVista 上提升了 2.6%，在 MMMU 上提升了 4.7%，在 MathVision 上更是提升了 15.4%，展示了其利用测试时计算进行深度推理和更好处理复杂多模态查询的能力。

在表 4 中，Kimi-VL-Thinking 进一步超越或媲美当前最先进的思考型和非思考型模型：

• 在 MathVista 上达到 71.3%，优于 GPT-4o（63.8%）和 GPT-4o-mini（56.7%）；
• 在 MMMU 上得分为 61.7%，超越 GPT-4o-mini（60.0%）和 Qwen2.5-VL-7B（58.6%）；
• 在 MathVision 上达到 36.8%，超过 GPT-4o（30.4%）、Gemma-3-27B-IT（35.5%），甚至 QVQ-72B（35.9%）。

总结

有钱真好，超大规模数据+卓越的AI Infra+算法，造就多模态的性能小钢炮。