本文以 QwenVL 和 InternVL 系列模型为研究对象，探讨多模态大模型的演进路径，重点关注模型架构与训练流程两个维度。通过梳理这两个系列的迭代过程，可以总结出以下关键趋势：
在模型架构方面，主流设计逐渐收敛于“VIT-MLP-LLM”的三级架构范式，即视觉编码器（VIT）、轻量级适配层（MLP）与大语言模型（LLM）依次连接，结构趋于统一。
在训练流程上，多阶段训练策略成为共识，通常遵循“预训练—指令微调—强化学习”的递进流程。其中，预训练阶段的策略有明显演进：早期方法通常冻结语言模型，仅训练视觉编码器与适配层，随后再解冻语言模型进行整体微调；而近期方法则倾向于直接进行全局参数联合训练，以提升数据利用效率和模型性能。
此外，两个系列均广泛采用动态分辨率机制，在输入阶段尽可能保持图像原始比例，减少形变，从而提升视觉特征的提取质量。在数据层面，大规模、高质量的数据构建也成为关键方向，包括严格的真实数据清洗与高效的合成数据生成，共同推动模型性能的提升。
QwenVL系列
QwenVL 1
QwenVL1 较为简单，语言解码层只用了一个7.7B规格的Qwen1做初始化，视觉编码层用了一个1.9B的VIT，用VIT-bigG做初始化。中间适配层用的CrossAtten。QwenVL1只处理单图像数据。预处理时，会把图像统一缩放到固定大小（224/448）。经过适配层后，将图片特征压缩到一个固定长度，如256。
训练流程分三步：预训练时使用大规模，弱标注的图像文本对数据。冻结语言层，训练视觉编码层和适配层。多任务预训练时，使用高质量，细粒度标注的数据。涵盖7个任务，以提升模型的多任务能力。这一步会训练整个模型。最后一步有监督微调，使用对话数据，提升模型指令遵循和对话能力。在这步会冻结视觉编码层，训练语言层和适配层。
QwenVL 2
QwenVL2的视觉编码层是用一个675M大小的VIT，使用DFN模型做初始化。适配层改为简单的两层MLP层，语言层用了1.5/7/72B三个规格的Qwen2做初始化。预处理时，预定义一组长宽比，将图片缩放到最匹配的长宽比。改进点包括：
- 朴素动态分辨率: 引入了朴素动态分辨率机制，使模型能够动态地将不同分辨率的图像转换为不同数量的视觉令牌。为了支持这一特性，修改了VIT，去除了原始的绝对位置嵌入，并引入了2D旋转位置嵌入（2D-RoPE）来捕捉图像的二维位置信息。在推理阶段，不同分辨率的图像被打包成一个序列，并通过一个简单的MLP层压缩相邻的2×2令牌为一个令牌。
- ** 多模态旋转位置嵌入**: 引入了多模态旋转位置嵌入，以有效建模多模态输入的位置信息。M-RoPE将原始的旋转嵌入解构为三个组件：时间、高度和宽度。对于文本输入，这三个组件使用相同的ID，使其在功能上等同于1D-RoPE。对于图像，每个视觉令牌的时间ID保持不变，而高度和宽度组件根据令牌在图像中的位置分配不同的ID。对于视频，每个帧的时间ID递增，高度和宽度组件遵循与图像相同的ID分配模式。
- 统一的图像和视频理解: Qwen2-VL在训练阶段增加了多图和视频数据，以确保模型在图像理解和视频理解方面的全面能力。为了尽可能保留视频信息，每个视频以每秒两帧的速度采样。其次，集成了深度为2的三维卷积来处理视频输入，估计是把同一秒的两帧合并处理。然后再动态调整视频帧的分辨率，使每个视频的token数不超过16384。最后为保持一致，将每张图片当成两个完全一样的帧进行处理。
训练流程与QwenVL1一致，分为3个步骤。视觉层预训练、多任务预训练以及有监督微调。不同点是使用更多类型的数据，包括视频数据，Agent相关数据。同时也支持更多国家的语言，包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。
QwenVL 2.5
QwenVL2.5的语言层使用3/7/72B三个规格的Qwen2.5做初始化。视觉编码层使用一个676M大小的VIT，并从头预训练。适配层还是使用MLP层。处理过程中，会将相连两帧的视频图像做合并，图像中相连4块patch做合并。改进点包括:
- 窗口注意力：在视觉编码器的大部分层中，实现窗口注意力，以优化推理效率。窗口注意力确保计算成本与块的数量线性相关，而不是二次相关。
- 动态帧率采样：将动态分辨率扩展到时间维度，即不同视频可以有不同的fps采样率。通过适应可变帧率，模型能更好地捕捉视频内容的时间动态。
- 时间域MRoPE对齐：通过对齐MRoPE ID与绝对时间，促进更复杂的时间序列学习。这种方法允许模型通过时间ID之间的间隔学习一致的时间对齐。对于8秒的视频，当fps为0.5，则相邻帧的时间ID间隔为15。fps为1，时间ID间隔则为5。
- 高质量数据预训练：在预训练阶段，显著扩展了数据集规模，从1.2万亿标记增加到约4.1万亿标记。数据集包括图像字幕、交错图像文本数据、光学字符识别（OCR）数据、视觉知识、多模态学术问题、定位数据、文档解析数据、视频描述、视频定位和基于代理的交互数据。
训练流程分为4个步骤，前两个步骤与之前一致。第三步是专门针对长上下文进行预训练，将序列拉长至32k，整个模型都打开进行训练。最后一步增加了DPO强化训练，利用偏好数据来使模型与人类偏好保持一致。
QwenVL 3
Qwen 3VL的整体架构未做太多改变，还是三段式，但是将视觉编码器换成SigLIP。改进点如下：
- 文本视觉协同预训练：Qwen3-VL 在预训练早期即混合文本与视觉模态协同训练，文本能力持续强化，最终在纯文本任务上表现与Qwen3-235B-A22B-2507纯文本旗舰模型不相上下 。
- MRoPE-Interleave：在Qwen3-VL中采取了 t、h、w交错分布的形式，实现对时间，高度和宽度的全频率覆盖，提升对长视频的理解能力。
- DeepStack ： 融合ViT多层次特征，提升视觉细节捕捉能力和图文对齐精度。(不过在新版本中去掉了)
- 文本时间戳对齐机制： 采用“时间戳-视频帧”交错的输入形式，实现帧级别的时间信息与视觉内容的细粒度对齐。同时，模型原生支持“秒数”与“时:分:秒”（HMS）两种时间输出格式。
训练流程，相比2.5在预训练阶段将上下文窗口进一步扩展到256K。后训练阶段一个是将SFT窗口扩大，多了一步将大规格模型的能力蒸馏到小规格模型的过程。
InternVL系列
InternVL 1
InternVL1的架构稍微复杂，预训练阶段的语言层用7B的LLaMA进行初始化，SFT阶段改为13B的Vicuna进行初始化。视觉编码层用6B的InternVIT，并从头预训练。同样只处理单图，并将图片统一缩放到固定大小。中间适配层用的CrossAtten和MLP。
训练流程分三步，第一步参考CLIP，同时打开语言层和视觉编码层，进行对比学习。第二步，冻住语言层和视觉层，训练中间的CrossAttn适配层。第三步进行有监督微调，有两种实现方案：一种是直接用MLP层连接语言层和视觉层，对MLP层进行预训练。另外一种是将第二步的QLLaMA接进去，增加一个MLP层进行预训练。其中视觉层冻住，语言层打开或冻住都可以。
InternVL 1.5
InternVL 1.5在结构上进行了简化，语言层用20B的InternLM2进行初始化。视觉层还是6B的InternVIT，适配层用的MLP层。仍然只处理单图片数据。预处理时，将图片缩放到最匹配的预定义长宽比，并切成448*448大小的patch。同时将全图缩放到448*448的缩略图，一起做为视觉层的输入。经过VIT后，用pixel unshuffle进行采样，减少视觉token的个数。 改进点包括:
- 动态高分辨率：根据输入图像的宽高比和分辨率，将图像分割成从1到40个448x448像素的瓦片，支持高达4K分辨率的输入。
- 强大的视觉编码器：探索了一种针对大规模视觉基础模型InternViT-6B的连续学习策略，提升其视觉理解能力，并使其能够在不同大型语言模型之间转移和复用。
- 高质量双语数据集：精心收集了一个高质量的双语数据集，涵盖了常见场景、文档图像，并用中英文问答对进行了注释，显著提升了OCR和与中文相关的任务性能。
训练流程主要包含两步，第一步预训练，会冻结语言层，对视觉层和适配层进行训练。这其中又分两小步。1）去掉InternVIT6B后三层，并且与ous-Hermes-2-Yi-34B语言模型做整合，然后用固定的448*448 图像进行训练。2）改用动态的448*448 patch进行训练，并增大训练数据量级、质量和多样性。第二步有监督微调，语言层改回InternLM2，并打开整个模型进行微调。
InternVL 2.5
InternVL 2.5的语言层分别用了InternLM2.5和Qwen2.5，并训了0.5B到72B多种大小的规格。适配层用的MLP层。视觉层用了300M和6B两种规格的InternVIT。训练数据引入了多图和视频。改进点包括:
- 渐进式扩展：一种渐进式扩展策略，以有效地使视觉编码器与大型语言模型对齐(InternVL 1.5和2.0也有采用)。即先用一个小规格的语言层（如20B）和视觉层一起做大量预训练，然后将训练好的视觉层迁移到更大的语言模型（如72B），而无需重新训练，以此避免大语言模型训练时的高计算成本。这做法是源于他们的观察：使用NTP损失联合训练VIT和大型语言模型，得到的视觉特征是可泛化的，其他大型语言模型也能轻松理解。
- 训练增强：引入了随机JPEG压缩和损失重加权技术，以提高模型的鲁棒性和性能。随机JPEG压缩用于避免过拟合并增强模型对现实世界图像的鲁棒性，而损失重加权则通过平衡不同长度响应的贡献来提高模型性能。
- 多模态数据打包：通过将多个样本连接成更长的序列来减少填充，从而最大化利用模型的输入序列容量，以提高GPU的利用率并提升训练效率。
训练流程分三步，第一步是MLP层的热身(warmup)训练，这阶段冻住语言层和视觉层，只训练MLP层。数据采用结构化的ChatML格式，并用NTP损失进行优化。此外，应用更高的学习率以加速收敛。第二步是VIT增量训练，这一步会打开视觉层和MLP层一起训练，并使用和第一阶段相同的数据进行训练。同时采用较低学习率以防止灾难性遗忘。这第二步是可选的，即只在小规格的语言模型上训练，训完后直接将视觉层迁移到更大规格的语言模型上。第三步是全模型的指令调优，这一步打开整个模型，用高质量的数据进行微调。在一开始就使用对话形式进行预训练比较少见。
InternVL 3
InternVL 3的语言层采用多种规格的Qwen2.5和InternLM3做初始化。适配层和视觉层和INternVL2.5一致。改进点包括:
- 原生多模态预训练: InternVL3采用了一种统一的多模态预训练方法，通过在预训练阶段同时暴露于文本数据和多样化的多模态数据集，使模型能够同时获得语言和多模态能力。
- 变量视觉位置编码（V2PE）: 为了支持更长的多模态上下文，InternVL3采用了变量视觉位置编码（V2PE），使用较小的、更灵活的位置增量来处理视觉标记。
- 后训练策略: 采用了监督微调（SFT）和混合偏好优化（MPO）等先进的后训练技术，以及测试时间缩放策略和优化的训练基础设施。
训练流程分三步，第一步直接对整个模型进行预训练，这种统一的训练方案使预训练模型能够同时学习语言能力和多模态能力，最终增强其处理视觉-语言任务的能力，而无需引入额外的桥梁模块或后续的模型间对齐程序。数据上增加了与图形用户界面（GUI）、工具使用、3D场景理解以及视频理解任务相关的额外数据。损失函数使用NTP Loss，但只计算文本token的loss。第二步是有监督微调，相比上一版引入了更高质量和更多样化的训练数据。第三步是混合偏好优化（MPO）。通过引入来自正面和负面样本的额外监督，使模型响应分布与真实分布对齐，从而提高推理性能。MPO的训练目标是偏好损失、质量损失和生成损失三者的组合。 另外在预测时，做了测试时缩放（TTS）。通过预测N个结果，并使用VisualPRM-8B作为评估器模型来选择最佳的回应进行推理和数学评估。
InternVL 3.5
InternVL 3.5的语言层选用多种规格的Qwen3和GPT-OSS，适配层和视觉层维持不变。新增了一个视觉分辨率路由器，将高/低分辨率的图片送往不同的Pixel Unshuffle进行压缩。改动点包括:
- 级联强化学习（Cascade RL）: 通过离线RL阶段实现稳定收敛，在线RL阶段精细调整输出分布，从而提高推理能力。离线RL阶段作为有效的热身，确保高质量的rollouts用于后续在线阶段。
- 视觉分辨率路由器（ViR）: 动态选择视觉token的最佳分辨率，减少推理成本，同时保持性能。大体是同一样本，分别用1/4压缩率和1/16压缩率分别计算损失。然后将1/16压缩率的损失除以1/4压缩率的损失得到一个比率r。滑动保存历史r，并计算k 百分位数得到一个阈值。将小于阈值的样本采用1/16压缩率，否则用1/4，得到训练集后进行二分类训练。
- 解耦视觉-语言部署（DvD）: 将视觉编码器和语言模型部署在不同的GPU上，平衡计算负载，最大化并行性和硬件利用率。
训练阶段分为四步，第一步打开整个模型做预训练，没有提到将损失计算仅限于文本token。第二步是有监督微调，相比InternVL3，增加了“思考”模式下的多模态推理数据和新技能数据，包括基于GUI的交互、具身交互以及可伸缩矢量图形（SVG）的理解和生成。第三步是级联的强化学习，首先使用离线RL算法对模型进行微调，作为高效的热身阶段以达到满意的结果，这可以保证为后续阶段提供高质量的回放。随后，采用在线RL算法来进一步根据模型自身生成的回放细化输出分布。最后一步是视觉一致性训练，冻住主体模型，只微调视觉分辨率路由器。
三、其他模型
3.1 Flamingo
Flamingo 是 DeepMind 于 2022 年提出的多模态模型研究工作，旨在探索如何将预训练视觉模型与预训练文本模型进行有效融合，是这领域早期的工作。
视觉编码层采用冻结的NFNet-F6NF，它是一种无归一化层的ResNet变体，参数量约400M。适配层由两个核心组件构成。首先是Perceiver Resampler，它将视觉编码器输出的变长特征图重采样为固定数量的64个视觉Token，通过可学习的潜在查询向量（latent queries）与视觉特征进行交叉注意力交互实现压缩。其次是Gated Cross-Attention（门控跨注意力）模块，在LLM的每一层Transformer块中插入额外的跨注意力层，并通过Tanh门控机制将跨注意力输出与原始自注意力输出进行加权融合。语言层采用冻结的Chinchilla 70B作为语言模型基座。创新点如下：
- Perceiver Resampler压缩机制：通过固定数量的64个潜在查询Token将任意分辨率和数量的视觉特征统一压缩为固定长度的表示序列，解决了视觉特征变长与Transformer定长输入之间的矛盾 。
- Tanh门控机制：引入可学习的Tanh门控参数（初始化为0）控制跨注意力输出的融合权重，确保训练初期视觉模块的输出不会破坏LLM已有的文本生成能力，随着训练推进门控值逐渐增大，实现平滑的模态融合。
- 交错图文输入支持：原生支持任意顺序的交错图文输入，无需将图像统一放置在文本前后，极大提升了少样本学习场景下的灵活性。
3.2 BLIP-2
BLIP-2也是较早前的多模态融合工作，采用冻结的ViT-L/14或ViT-g/14作为视觉编码器。使用一个创新性的Q-Former结构作为适配层，最后采用冻结的OPT或FlanT5作为语言模型基座。创新性如下：
- Q-Former信息瓶颈设计：通过32个可学习查询Token构建了一个显式的信息瓶颈，将视觉编码器的高维特征压缩为紧凑的语义表示。这种设计迫使查询Token提取与文本最相关的视觉信息，天然实现了视觉冗余过滤 。
- 三合一训练目标：Q-Former同时采用图像-文本对比学习（ITC）、图像-文本匹配（ITM）和图像-文本生成（ITG）三种损失函数，从不同粒度优化视觉-语言对齐，使查询Token同时具备语义匹配和生成能力 。
- 两阶段渐进式训练：第一阶段进行视觉-语言表示学习；第二阶段进行视觉到语言的生成式学习（将Q-Former输出接入冻结的LLM），实现了从理解到生成的平滑过渡 。整个训练过程，仅188M可训练参数，训练成本低于同期其他多模态模型。
3.3 MiniGPT-4
MiniGPT-4 尝试将预训练的视觉编码器与先进的LLM对齐，从而实现类似GPT-4的多模态生成能力。视觉编码层用ViT-G/14来提取特征，同时复用了BLIP-2的Qformer，来进一步压缩成语义紧凑的查询Token表示。适配层仅使用一个单一线性投影层。语言层用的Vicuna-7B/13B。创新点如下：
- 极简适配层设计：MiniGPT-4以单一线性层作为视觉-语言桥梁，证明了在强大的预训练视觉编码器和语言模型基础上，仅需极轻量的对齐训练即可实现高质量的多模态对话 。
- 高质量数据精调策略：第二阶段使用仅3500条精心筛选的高质量多模态对话数据进行微调，远少于同期其他模型的数据量，证明了数据质量比数据量更为关键 。
- Q-Former复用策略：直接复用BLIP-2预训练的Q-Former作为视觉特征处理器，避免了从头训练视觉-语言桥梁的巨大成本，体现了模块化架构的组件复用优势 。
训练流程：MiniGPT-4的训练分为两个阶段。第一阶段：使用约500万条图文对数据（包括CC3M、SBU等）进行视觉-语言对齐预训练，训练目标为图像描述生成，仅更新单一线性投影层。第二阶段：使用仅3500条人工精心筛选的高质量多模态对话数据进行精调，使模型习得多模态对话能力 。
3.4 LLaVA系列（1.5 // NeXT / /OneVision）
视觉编码层：LLaVA-1.5使用CLIP-ViT-L/14，参数量约300M。LLaVA-NeXT延续使用CLIP-ViT-L/14但引入AnyRes动态分辨率机制。LLaVA-OneVision升级为SigLIP-SO400M，该编码器采用sigmoid损失函数替代softmax归一化，在同等计算量下实现更优的图文对齐效果，参数量400M 。 适配层：LLaVA全系列统一采用两层MLP作为适配层。LLaVA-OneVision增加了可选的Token Pooling层，用于压缩高分辨率图像产生的海量视觉Token 。 语言层：LLaVA-1.5使用Vicuna-7B/13B作为语言模型。LLaVA-NeXT扩展支持Mistral-7B和Llama-3-8B。LLaVA-OneVision进一步扩展至Qwen2系列（0.5B到72B），实现了从边缘设备到云端服务器的全规格覆盖 。创新点如下：
- 视觉指令微调范式：LLaVA-1.5首次系统性地确立了“视觉指令微调”（Visual Instruction Tuning）范式——使用GPT-4生成的多模态指令跟随数据对模型进行微调，使模型能够遵循复杂的视觉-语言指令。这一范式深刻影响了后续几乎所有开源MLLM的训练方法 。
- AnyRes动态分辨率技术：LLaVA-NeXT引入AnyRes策略，将高分辨率图像拆分为多个子图块，同时保留一个全局缩略图。每个子图块独立编码后，其视觉Token与全局缩略图的Token拼接输入LLM，使模型能够处理任意分辨率的图像而无需修改视觉编码器 。
- 单图/多图/视频统一架构：LLaVA-OneVision实现了任务级别的统一——无论是单张图像、多张图像还是视频帧序列，均使用相同的编码器和处理流程，仅在输入序列的组织方式上有所区别。视频以每秒两帧采样，帧序列与多图处理逻辑完全一致 。
- 全规格语言模型覆盖：LLaVA-OneVision支持从0.5B到72B的完整语言模型规格，使同一架构可部署于从手机端侧到云端集群的各类场景 。
LLaVA系列遵循标准的两阶段训练流程。第一阶段：视觉-语言对齐预训练，仅训练两层MLP适配层，使视觉Token被映射至LLM的词嵌入空间。第二阶段：多模态指令微调，使模型习得遵循复杂多模态指令的能力。
3.5 CogVLM / CogVLM2系列
CogVLM系列是智谱在研究多模态大模型架构的相关工作。CogVLM系列是使用EVA-CLIP-L/E作为视觉编码器，该编码器在LAION-2B上训练，具备强大的细粒度视觉语义提取能力。在适配层，使用两层MLP+SwiGLU激活函数，CogVLM2额外引入2×2卷积下采样层，将高分辨率图像的视觉Token数量压缩为原来的1/4 。语言层中CogVLM使用Vicuna-7B作为语言模型基座，CogVLM2升级为LLaMA-3-8B，GLM-4V-9B使用GLM4-9B。此外CogVLM系列还创新地提出了Visual Expert（视觉专家）模块。在LLM的每一层Transformer块中，CogVLM插入一套完整的、与文本处理并行的QKV矩阵和FFN层，专门处理视觉Token。每一层的视觉专家与文本自注意力模块完全独立，视觉Token和文本Token在各自通道中处理后，仅在输出端进行融合。创新点如下：
- Visual Expert深度融合架构：CogVLM在LLM的每一层插入独立的视觉处理模块，实现了视觉和语言在模型最深层的持续交互。这种设计避免了浅层对齐（如仅在输入端拼接视觉Token）导致的信息损失，使视觉特征能够参与LLM每一层的表示构建 。
- 模态并行处理机制：视觉专家模块与文本自注意力模块完全并行运行，视觉Token和文本Token在各自通道中独立处理，互不干扰。这种设计保证了文本处理能力不受视觉信息注入的影响，避免了纯文本能力的大幅下降 。
- 2×2卷积Token压缩：CogVLM2引入2×2卷积下采样层，将高分辨率图像产生的视觉Token数量压缩为原来的1/4，在支持更高分辨率输入的同时控制序列长度和计算开销 。
3.6 mPLUG-Owl系列（Owl2 / Owl3）
mPLUG-Owl系列是阿里巴巴在研究多模态架构上的相关工作。在视觉编码层中，mPLUG-Owl1/2使用ViT-L/14作为视觉编码器。mPLUG-Owl3升级为SigLIP-400M。适配层mPLUG-Owl1/2使用了一个类似Q-Former的Visual Abstractor结构来压缩视觉特征，mPLUG-Owl3则是简单使用一个线性投影层。语言层中，mPLUG-Owl 1/2使用LLaMA作为语言模型基座，mPLUG-Owl3升级为Qwen2。创新点如下：
- MAM模态自适应模块：mPLUG-Owl2在做Attention时，将视觉输入和文本输入各自做LN，再各自过不同的KV矩阵，以此来减轻不同模态数据之间的相互干扰。
- Hyper Attention：mPLUG-Owl3引入超注意力机制，通过稀疏扩展少量Transformer块来执行与自注意力并行的跨注意力，减少了额外的训练参数，促进了模型收敛，同时保持了低内存消耗和高推理效率。
- 自适应门控：自适应门控机制通过文本特征来调节从图像到语言模型的信息传递，平衡了视觉和文本信息的融合，提高了模型在处理复杂图像序列时的性能。
- 多模态交错旋转位置嵌入（MI-Rope）：MI-Rope通过记录图像在交错序列中的占位符位置，确保了图像的位置信息在跨注意力过程中得以保留，从而提高了模型在多图像场景中的性能。
3.7 DeepSeek VL 系列
DeepSeek VL系列是深度求索在多模态架构上的研究工作。对于视觉编码层，DeepSeek-VL采用混合视觉编码器策略——SigLIP-L（约400M参数）作为主编码器负责语义理解，SAM-B（约90M参数）作为辅助编码器负责细粒度空间定位。两者输出在特征维度拼接后输入适配层。DeepSeek-VL2转向**动态分块（Dynamic Tiling）**的SigLIP-SO400M（400M参数），将高分辨率图像动态拆分为多个子图块，每个子图块独立编码后拼接。原图做resize后编码，再与子图块拼接，做为图片的最终输入。适配层采样两层MLP层。语言层中，DeepSeek-VL使用DeepSeek-LLM 7B作为语言模型，DeepSeek-VL2升级为DeepSeekMoE架构。创新点如下：
- 混合视觉编码器策略：DeepSeek-VL创新性地结合SigLIP（语义理解）和SAM（空间定位）两个互补的视觉编码器，使模型同时具备强大的语义理解能力和精确的空间定位能力，在OCR和文档理解任务上表现突出。
- 多头潜在注意力（MLA）：DeepSeek-VL2引入MLA机制，通过低秩键值联合压缩将KV缓存大小降至传统MHA的1/5-1/10，在保持注意力质量的同时大幅降低推理显存占用和计算开销，使长序列多模态推理更加高效。
- MoE稀疏激活：DeepSeek-VL2采用MoE架构，总参数量巨大但每次推理仅激活部分专家（1B-4.5B），实现了“大模型容量、小模型推理成本”的理想平衡。
- 动态分块与Token压缩：DeepSeek-VL2引入动态分块策略处理高分辨率图像，同时通过2×2卷积下采样压缩视觉Token数量，在支持高分辨率输入的同时控制序列长度。
3.8 Cambrian-1
Cambrian是纽约大学的研究工作，有LeCun和谢赛宁大神参与署名。论文里做了大量实验来探讨评估集，预训练集，视觉编码器和模型架构等问题，可以深入阅读。 Cambrian采用多编码器集成策略，同时使用四种视觉编码器：SigLIP-SO400M（语义理解）、CLIP-ViT-L/14（图文对齐）、DINOv2（空间结构感知）和ConvNeXt（局部纹理特征）。四种编码器并行处理同一图像，各自输出互补的视觉特征表示。在适配层，Cambrian-1引入Spatial Vision Aggregator（SVA，空间视觉聚合器）。SVA基于跨注意力机制设计，以一组可学习的查询Token与四种编码器的输出进行交叉注意力交互，动态聚合来自不同编码器的互补视觉信息。SVA通过空间位置编码保留视觉特征的空间结构，使聚合后的表示同时具备语义深度和空间精度。最后使用LLaMA-3-8B作为语言模型基座。创新点如下：
- 视觉中心化设计哲学：Cambrian-1首次明确提出“视觉中心化”（Vision-Centric）的设计理念——将多模态系统的设计重心从语言模型转移到视觉理解，通过多编码器集成和SVA聚合器构建更强大的视觉前端。
- 四编码器互补融合：SigLIP提供语义理解，CLIP提供图文对齐，DINOv2提供空间结构感知，ConvNeXt提供局部纹理特征。四种编码器的互补组合使模型获得了超越任何单一编码器的视觉理解深度。
- SVA动态空间聚合：SVA通过跨注意力机制动态聚合多编码器输出，而非简单的特征拼接或求和。查询Token可学习关注不同编码器在不同空间位置的最优特征，实现了自适应、空间感知的多源视觉信息融合。
- Cambrian-7M高质量数据集：Cambrian-1配套发布了700万条高质量多模态指令微调数据（Cambrian-7M），为视觉中心化MLLM的训练提供了数据基础。