Gemma 4 Technical Report

代码链接：

摘要

我们推出了 Gemma 4，这是 Gemma 模型家族中新一代开源、原生多模态语言模型。Gemma 4 模型套件旨在提升计算效率和推理能力，包含密集架构和混合专家架构，参数量从 2.3B 到 31B 不等。除了针对所有模型规模改进的视觉和音频编码器外，我们还为 12B 模型提出了一种统一的无编码器架构，该架构能够直接接收原始音频和图像块。此外，我们还集成了一种思考模式，使 Gemma 模型能够在响应之前生成推理轨迹。通过关键的设计选择，我们提高了推理速度、内存占用和计算效率，以及长上下文处理能力。Gemma 4 在 STEM、多模态和长上下文基准测试中均实现了性能飞跃，并在人类评测任务中与规模更大的前沿开源模型相媲美。

1.Introduction

大语言模型的快速发展推动了对具备强大多模态理解、推理和计算效率的开放权重模型的需求。基于其前代模型的基础，我们推出了 Gemma 4，这是迄今为止 Gemma 模型家族中最强大、最高效的一代。Gemma 4 提供原生多模态架构，能够无缝处理文本、图像和音频，并在高度复杂的推理任务上实现前沿级的性能。Gemma 4 系列旨在服务于各种设备端硬件。该模型套件包含密集架构（2.3B、4.5B、12B 和 31B 参数）以及混合专家模型变体，该变体激活了 3.8B 参数，总参数量为 26B。我们引入了多项架构和方法论创新：

Thinking mode for advanced reasoning。我们在 Gemma 4 模型中引入了思考模式。通过在响应之前输出推理轨迹，模型在数学和编程等推理密集型领域展现出更强的能力。
Long-context efficiency。扩展上下文会导致键值缓存内存爆炸。我们保持局部滑动窗口与全局自注意力机制 5:1 的比例（2.3B 模型为 4:1），并使用 p-RoPE 作为位置编码。结合键值缓存共享和全局层中键值对的复用，这些优化措施可将全局键值缓存占用空间减少高达 37.5%。
Compute efficiency。我们发布了一个自回归多 token 预测 (MTP) 草稿头，专为推测性解码而设计，以提高我们模型的解码速度。
Memory efficiency。我们提供使用量化感知训练方法（QAT）训练的模型的量化版本，以减少其参数内存占用和延迟，同时最大限度地减少对质量的影响。
Encoder-free architecture。Gemma 4 模型的视觉和音频编码器是固定的。我们为 12B 模型引入了一种统一的无编码器架构，该架构将原始的 40 毫秒音频块和图像块投影到 LLM 嵌入空间中，从而无需单独的编码器并减少内存碎片。

在本技术报告中，我们概述了 Gemma 4 在不同模型规模下的架构，以及其预训练和后训练流程。通过全面的基准测试和人工评估（例如 Arena），我们证明 Gemma 4 在文本、图像和音频模态方面均达到了与更大规模的前沿开源模型相媲美的水平。我们以 Apache 2.0 许可证发布 Gemma 4 模型，使世界各地的开发者和研究人员能够在此基础上进行构建、定制和扩展。

2.Model Architecture

Gemma 4 模型采用仅解码器 Transformer 架构。我们的模型采用了具有 RMSNorm 的 pre-norm 和 post-norm，以及 QKNorm。

Dense and MoE。Gemma 4 系列模型包含密集架构，有效参数数分别为 2.3B (E2B)、4.5B (E4B)、12B 和 31B，以及一个 MoE 模型，该模型激活参数数为 3.8B，总参数数为 26B (26B-A4B)。E2B 和 E4B 采用与 Gemma 3n 相同的逐层嵌入方法，因此它们分别在 5B 和 8B 总参数数中有效参数数分别为 2.3B 和 4.5B。

Long-context efficiency。我们的局部注意力与全局注意力比例模式遵循 Gemma 团队 (2025a) 的方法，即 E2B 模型采用 4:1 的局部注意力块比例，其余模型采用 5:1 的比例。我们通过在全局注意力层中复用 key/value 来提高内存效率（E2B 和 E4B 模型除外），即 key = value。我们在全局注意力层中使用 p-RoPE 编码位置信息（p = 0.25），在局部注意力层中使用 RoPE 编码位置信息，从而有效地将全局键值缓存减少了 37.5%。全局注意力层和局部注意力层的 RoPE 频率分别设置为 1M 和 10k。最后，我们为 E2B 和 E4B 模型分别以 20/35 和 18/42 的比例共享键值缓存。

2.1 Vision modality

E2B 和 E4B Gemma 模型配备 150M 视觉编码器，而更大的模型则使用 550M 编码器（统一的 12B 模型除外）。两者均为视觉 Transformer 模型，图像块大小为 16，其架构差异详见附录表 10。我们的视觉编码器支持可变宽高比（参见图 2 和算法 1），并结合了轴向 2D-RoPE（带有非因果注意力机制）和 2D 绝对位置嵌入。我们将最大 token 数 $N_{max}$ 限制为 70、140、280、560 和 1120（实现细节参见算法 1）。

2.2 Audio modality

E2B 和 E4B Gemma 模型使用一个 305M 的音频编码器，以 40 毫秒为单位处理音频块，并采用梅尔滤波器组作为输入。该编码器架构基于通用语音模型（USM），由两个下采样卷积层和十二个 Conformer 层组成。虽然架构与 Gemma 3n 类似，但我们将参数数量减少了 55%（从 680M 减少到 305M）。我们不使用矢量量化；LLM 直接接收音频编码器生成的连续表示。与视觉编码器一样，我们在预训练期间保持权重不变。

2.3 Encoder-free architecture

Gemma 4 12B 基于一种全新的、统一的、无编码器的模型范式从零开始训练，用轻量级的投影模块取代了独立的视觉和音频编码器。对于视觉模态，Gemma 4 12B 接收 48×48×3 的 RGB 图像块，但用一个包含 35M 参数的大型矩阵乘法器取代了原有的 550M 视觉编码器。通过在最终的 LayerNorm 层之前，将基于二维坐标的位置嵌入直接添加到图像块表示中，来保持空间感知能力。

对于音频，完全舍弃了基于 305M USM 的构型编码器。原始音频被分割成 16kHz、40ms 的片段，每个片段生成 640 维向量。这些向量直接投影到 LLM 嵌入空间。由于音频是时间序列，因此不需要额外的位置编码。

2.4 Pre-training

我们遵循与 Gemma 3 类似的预训练过程。

Training data。我们的预训练数据集是一个大规模、多样化的数据集合，涵盖了广泛的领域和模态，包括网页文档、代码、图像和音频（适用于 E2B、E4B 和 12B），截止日期为 2025 年 1 月。

Tokenizer。我们使用与 Gemini 团队 (2025) 相同的 tokenizer，即带有数字分割、保留空格和字节级编码的 SentencePiece 分词器。词汇表包含 26.2 万个条目。

Filtering。我们对数据进行过滤，以净化基准数据，降低出现不必要或不安全言论以及背诵的风险。

2.5 Quantization-Aware Training

我们提供不同格式的量化模型和编码器，以及原始检查点。基于最流行的开源量化推理引擎（例如 llama.cpp）以及高效的硬件支持，我们重点关注两组权重表示：

移动端量化：每个通道低比特宽度权重（int2 和 int4 的混合）和激活量化（int8）。
Q4_0 量化：分块量化，通常称为 Q4_0。

表 3 列出了原始模型和量化模型在有无 KV 缓存的情况下，对 32k 个 token 序列的内存占用情况。此外，为了在 fp16 框架下实现稳定的推理，我们在每个数据块中引入标量尺度，以限制激活值范围，使其符合 fp16 框架的要求。

我们还对图像和音频编码器应用了 QAT。在 150M 图像编码器上，将激活值和权重量化到 8 位精度（W8A8）可使前向传递的总内存占用减少一半（从 400 MB 减少到 200 MB，包括设备端编译开销），并且相对于新硬件上的 Gemma 3n，设备端延迟降低了 44%。在音频编码器上，我们进一步将激活值精度降低到 8 位，权重精度降低到 $\{2, 4, 8\}$ 位，具体数值取决于层簇。总体而言，我们实现了磁盘占用空间减少 78%，从 Gemma 3n 的 390 MB 减少到此版本的 87 MB。

2.6 Multi-Token Prediction Drafter

我们使用模型训练了一个小型自回归 MTP 生成器头，用于推测性解码。在我们的 MTP 流程中，模型上一步的最后一层激活值和 token 嵌入被输入到 MTP 生成器头中。MTP 生成器头使用一个独立的嵌入器和一个 4 层 Transformer 模块按顺序生成未来的 token，该模块交叉关注主模型的键值对（图 1），从而无需 MTP 预填充，并支持任意长度的草稿。Transformer 模块的模型维度为：E2B 和 E4B 为 256，26B-A4B 和 31B 为 1024，包含三个局部注意力层和一个全局注意力层。

Efficient MTP Decoding。对于 E2B 和 E4B 草稿头，我们通过将对整个词表的投影操作替换为对 token 簇的 top-k 操作，来降低解码开销。因此，最终的矩阵乘法从 $d × 262,000$ 减少到 $d × 4096$ ，同时保持了相近的接受率。

2.7 Compute Infrastructure

我们使用表 2 中所示的 TPUv4 和 TPUv6e 来训练模型。每种模型配置都经过优化，以最大限度地缩短训练步骤时间。对于较大的模型，我们利用了切片粒度弹性，当出现局部故障时，可以使用较少的 TPU 芯片“切片”进行持续训练。这种重新配置将中断造成的延迟从几分钟缩短到几秒钟。

优化器状态使用 ZeRO-3 的实现进行分片。对于多 pod 训练，我们使用 Barham 等人 (2022) 提出的 Pathways 方法，在数据中心网络上执行数据副本缩减。我们使用 JAX 和 Pathways 的单控制器编程范式，以及 GSPMD 分区器和 MegaScale XLA 编译器。

3.Instruction Tuning

预训练模型通过与 Gemma 3 类似的后训练处理方法转化为指令微调模型。一个显著的区别是增加了思考模式，在该模式下，模型可以在回答问题之前输出推理过程。

Data filtering。我们精心优化后训练使用的数据，以最大限度地提升模型性能。我们过滤掉包含特定个人信息、不安全或有害模型输出、错误自我识别数据以及重复样本的示例。此外，纳入能够促进更佳上下文归因、对冲和拒绝最小化幻觉的数据子集，也能在不降低模型在其他指标上性能的前提下，提升事实性指标的性能。

PT versus IT formatting。所有模型共享同一个 tokenizer，其中一些控制分词符专门用于 IT 格式。一个关键区别在于，PT 模型在生成结束时输出 <eos> 分词符，而 IT 模型在生成结束时输出 <turn|> 分词符。表 11 给出了 IT 模型的示例。因此，对任何一种模型进行微调都需要添加它们各自的结束分词符。表 11 详细说明了如何激活思维以及模型如何处理函数调用。

Appendix

Conversation format。我们在表 11 中给出了一个对话示例，其中包括思考、函数定义和函数调用。

Vision。我们在表 10 中详细介绍了视觉编码器架构。然后，我们在图 2 中展示了图像在输入视觉编码器之前如何调整大小，并在算法 1 中详细介绍了调整大小的算法。我们在表 12 中展示了 Gemma 4 模型在低分辨率 ( $N_{max} = 280$ ) 下的视觉基准测试得分。