Skip to Content
ArchitectureTransformerRecurrent Transformer2025Hierarchical Reasoning Model

Hierarchical Reasoning Model

论文链接：https://arxiv.org/pdf/2506.21734 

代码链接：https://github.com/sapientinc/HRM 

摘要

推理，即设计和执行复杂的、目标导向的动作序列的过程，仍然是人工智能领域的一项关键挑战。当前的大语言模型（LLM）主要采用思维链（CoT）技术，但这些技术存在任务分解脆弱、数据需求量大以及延迟高等问题。受人脑层级式和多时间尺度处理的启发，我们提出了一种新型的循环架构—— Hierarchical Reasoning Model (HRM)。该模型在保持训练稳定性和效率的同时，实现了显著的计算深度。HRM 通过两个相互依赖的循环模块，在一次前向传播中执行序列推理任务，无需对中间过程进行显式监督：一个负责缓慢、抽象规划的高级模块，以及一个负责快速、精细计算的低级模块。HRM 仅需 27M 参数，就能在仅使用 1000 个训练样本的情况下，在复杂的推理任务上取得卓越的性能。该模型无需预训练或 CoT 数据，就能在包括复杂数独谜题和大型迷宫最优路径搜索在内的挑战性任务上取得近乎完美的性能。此外，在抽象与推理语料库（ARC）上，HRM 的性能优于规模更大、上下文窗口更长的模型。ARC 是衡量通用人工智能能力的关键基准。这些结果凸显了 HRM 作为通用计算和通用推理系统变革性进步的巨大潜力。

1.Introduction

深度学习顾名思义，源于通过堆叠更多层来增强表征能力和提升性能的理念。然而，尽管大语言模型取得了显著成功，但其核心架构却出人意料地浅薄。这对其最受青睐的能力——推理——施加了根本性的限制。标准 Transformer 模型的固定深度使其被归类为 AC0AC^0 或 TC0TC^0 等计算复杂度类别，从而无法解决需要多项式时间的问题。大语言模型并非图灵完备，因此至少在纯粹的端到端方式下，它们无法执行复杂的算法推理，而这些推理对于深思熟虑的规划或符号操作任务至关重要。例如，我们在数独任务上的结果表明，增加 Transformer 模型的深度可以提升性能，但即使是非常深的模型，性能也远未达到最优（见图 2），这印证了我们之前对大语言模型扩展范式局限性的推测。

大语言模型（LLM）文献主要依赖于思维链（CoT）提示进行推理。CoT 通过将复杂任务分解为更简单的中间步骤，并使用浅层模型按顺序生成文本，从而将推理过程外化为 token 级语言。然而，CoT 推理只是一种权宜之计，并非令人满意的解决方案。它依赖于脆弱的、人为定义的分解方式，任何一个步骤的错误或顺序的错乱都可能导致推理过程完全失败。这种对显式语言步骤的依赖将推理束缚在 token 级的模式上。因此，CoT 推理通常需要大量的训练数据，并且对于复杂的推理任务会生成大量的 token，导致响应速度缓慢。我们需要一种更高效的方法来最大限度地减少这些数据需求。

为了实现这一目标，我们探索了“潜在推理”，即模型在其内部隐藏状态空间内进行计算。这与语言是人类交流工具而非思维本身的理解相一致；大脑能够在潜在空间中高效地维持冗长而连贯的推理链，而无需不断地将其翻译回语言。然而，潜在推理的能力仍然从根本上受到模型有效计算深度的限制。由于梯度消失问题，简单地堆叠层数非常困难，这严重影响了训练的稳定性和有效性。循环架构是处理序列任务的自然选择，但它常常面临过早收敛的问题（隐藏状态的更新趋于稳定），导致后续的计算步骤失效，并且依赖于生物学上不合理、计算成本高昂且内存密集的反向传播算法（BPTT）进行训练。

人脑为实现当代人工智能模型所缺乏的有效计算深度提供了一个引人注目的蓝图。它将计算分层组织在皮层不同时间尺度上运行的区域，从而实现深度、多阶段推理。循环反馈回路迭代地完善内部表征，使得缓慢的高级区域能够引导，而快速的低级回路能够执行——在保持全局一致性的同时进行次级处理。值得注意的是，大脑在实现这种深度的同时，无需承担通常会阻碍循环网络进行反向传播的高昂信用分配成本。

受这种层级式、多时间尺度生物结构的启发：

  1. 我们提出了 Hierarchical Reasoning Model (HRM)。HRM 旨在显著提升有效计算深度。它包含两个耦合的循环模块：一个用于抽象、深思熟虑推理的高级模块（H），以及一个用于快速、精细计算的低级模块（L）。这种结构通过我们称之为“层级收敛”的过程，避免了标准循环模型的快速收敛。缓慢更新的 H 模块只有在快速更新的 L 模块完成多个计算步骤并达到局部平衡后才会更新，此时 L 模块会被重置以开始新的计算阶段。
  2. 此外，我们提出了一种用于训练 HRM 的单步梯度近似方法，该方法提高了训练效率，并消除了对 BPTT 算法的需求。该设计在整个反向传播过程中保持恒定的内存占用（O(1)O(1)，而 BPTT 算法在 T 个时间步时为 O(T)O(T)），使其具有可扩展性，并且更符合生物学原理。

凭借其增强的有效深度，HRM 在需要大量搜索和回溯的任务中表现出色。仅使用 1000 个输入输出示例，无需预训练或 CoT 监督，HRM 就能学习解决即使是最先进的 LLM 也难以处理的问题。例如，它在复杂的数独谜题（Sudoku-Extreme Full）中实现了近乎完美的准确率，并在 30x30 迷宫中找到了最优路径，而最先进的 CoT 方法在这些问题上完全失败（准确率 0%）。在抽象与推理语料库（ARC）AGI挑战赛（一项归纳推理基准测试）中，HRM 仅使用官方数据集（约 1000 个样本）从头开始训练，仅包含 27M 参数和一个 30x30 网格上下文（900 个 token），就达到了40.3%的性能，显著超越了领先的基于 CoT 的模型，例如 o3-mini-high（34.5%）和 Claude 3.7 8K context（21.2%），尽管它们的参数规模和上下文长度要大得多，如图 1 所示。这代表着开发具有通用计算能力的下一代 AI 推理系统的一个有希望的方向。

2.Hierarchical Reasoning Model

我们提出的 HRM，其灵感来源于大脑中观察到的三种基本的神经计算原理：

  • Hierarchical processing：大脑通过皮层区域的层级结构处理信息。高级区域整合较长时间尺度上的信息并形成抽象表征，而低级区域则处理更直接、更详细的感觉和运动信息。
  • Temporal Separation：大脑中的这些层级以不同的内在时间尺度运作，反映在神经节律中（例如，慢速 θ 波，4-8 赫兹；快速 γ 波，30-100 赫兹）。这种分离使得稳定的高级调控能够引导快速的低级计算。
  • Recurrent Connectivity：大脑具有广泛的循环连接。这些反馈回路能够实现迭代优化，从而产生更准确、更贴合上下文的表征，但代价是需要额外的处理时间。此外，大脑在很大程度上避免了与 BPTT 相关的深度信用分配问题。

HRM 模型由四个可学习组件构成：输入网络 fI(⋅;θI)f_I(·; θ_I)、低层循环模块 fL(⋅;θL)f_L(·; θ_L)、高层循环模块 fH(⋅;θH)f_H(·; θ_H) 和输出网络 fO(⋅;θO)f_O(·; θ_O)。模型的动态过程在 NN 个高层循环中展开，每个循环包含 TT 个低层时间步。我们将一次前向传播的总时间步数索引为 i=1,...,N×Ti = 1, ..., N × T。模块 fLf_L 和 fHf_H 各自维护一个隐藏状态——fLf_L 的隐藏状态为 zLiz^i_L，fHf_H 的隐藏状态为 zHiz^i_H——它们分别用向量 zL0z^0_L 和 zH0z^0_H 初始化。

HRM 将输入向量 xx 映射到输出预测向量 y^\hat y，具体步骤如下。首先，输入网络将输入 xx 投影到工作表示 x~\tilde x 中：

x~=fI(x;θI).\tilde x=f_I(x;\theta_I).

在每个时间步 ii，LL 模块根据其自身先前的状态、HH 模块的当前状态（在整个周期内保持不变）以及输入表示来更新其状态。HH 模块每个周期（即每隔 TT 个时间步）仅更新一次，更新时使用 LL 模块在该周期结束时的最终状态：

zLi=fL(zLi−1,zHi−1,x~;θL),z^i_L=f_L(z^{i-1}_L,z^{i-1}_H,\tilde x;\theta_L), zHi={fH(zHi−1,zLi−1;θ)if i≡0(mod T),zHi−1otherwise.z^i_H=\begin{cases} f_H(z^{i-1}_H,z^{i-1}_L;\theta) & if~i ≡ 0 (mod~T),\\ z^{i-1}_H & otherwise. \end{cases}

最后，经过 NN 个完整循环后，从 HH 模块的隐藏状态中提取预测值 y^\hat y：

y^=fO(zHNT;θO).\hat y=f_O(z^{NT}_H;\theta_O).

整个 NTNT 时间步过程代表 HRM 的一次前向传播。一个终止机制（本节稍后详述）决定模型是应该终止，在这种情况下，y^\hat y 将用作最终预测值，还是继续进行一次额外的前向传播。

Hierarchical convergence。尽管收敛对于循环神经网络至关重要，但标准循环神经网络的根本局限在于其过早收敛的倾向。随着隐藏状态趋于稳定，更新幅度会减小，从而有效地阻碍后续计算并限制网络的有效深度。为了节省计算资源，我们实际上希望收敛过程非常缓慢——但实现这种渐进式收敛却十分困难，因为过早收敛会导致系统不稳定。

HRM 的设计初衷正是为了通过我们称之为分层收敛的过程来对抗这种过早收敛。在每个循环中，L 模块（一个 RNN）会稳定地收敛到一个局部平衡点。然而，这个平衡点取决于该循环中提供的高层状态 zHz_H。完成 T 个步骤后，H 模块会整合子计算的结果（最终状态 zLz_L）并执行自身的更新。这种 zHz_H 更新为 LL 模块建立了一个新的上下文，本质上是“重启”了它的计算路径，并启动了一个新的收敛阶段，朝着不同的局部平衡点收敛。

该过程使 HRM 能够执行一系列独立、稳定且嵌套的计算，其中 H 模块指导整体问题求解策略，而 L 模块执行每个步骤所需的密集搜索或优化。虽然标准 RNN 可能在 T 次迭代内接近收敛，但分层收敛受益于 NT 步的有效深度提升。如图 3 所示，该机制使 HRM 能够在多个步骤中保持较高的计算活跃度（前向残差）（与活跃度迅速衰减的标准 RNN 形成对比），并实现稳定的收敛。如图 2 所示，这转化为在任何计算深度下都具有更优的性能。

Approximate gradient。循环模型通常使用 BPTT 算法计算梯度。然而，BPTT 算法需要存储前向传播过程中的隐藏状态，并在反向传播过程中将其与梯度结合起来，这需要 O(T)O(T) 的内存，对应 TT 个时间步。如此大的内存负担迫使模型使用较小的 batch size，并导致 GPU 利用率低下，尤其是在大规模网络中。此外，由于在生物学上保留完整的历史轨迹是不现实的，因此大脑不太可能采用 BPTT 算法。

幸运的是，如果循环神经网络收敛到某个固定点，我们可以在该平衡点处应用单步反向传播，从而避免展开其状态序列。此外，这种机制很可能仅使用局部学习规则就能在大脑中实现。基于此，我们提出了一种 HRM 梯度的一步近似方法——使用每个模块最后一个状态的梯度，并将其他状态视为常数。因此，梯度路径为：

Output head→final state of the H-module→final state of the L-module→input embedding\text{Output head}\rightarrow\text{final state of the H-module}\rightarrow\text{final state of the L-module}\rightarrow\text{input embedding}

上述方法需要 O(1)O(1) 内存，不需要时间展开，并且可以很容易地使用 PyTorch 等自微分框架实现，如图 4 所示。鉴于每个模块只需要通过其最近的局部突触活动反向传播误差，这种方法与皮层积分分配依赖于短程、时间局部机制而不是活动模式的全局重放的观点非常吻合。

单步梯度近似的理论基础是 Deep Equilibrium Models (DEQ) 的数学原理，该模型利用 Implicit Function Theorem (IFT) 绕过 BPTT，具体细节如下。考虑一个理想化的 HRM 行为，其中在高级周期 kk 期间，LL 模块反复更新，直到其状态 zLz_L 收敛到局部不动点 zL⋆z^⋆_L。给定当前高级状态 zHk−1z^{k−1}_H，该不动点可以表示为

zL⋆=fL(zL⋆,zHk−1,x~;θL).z^⋆_L=f_L(z^⋆_L,z^{k-1}_H,\tilde x;\theta_L).

然后，HH 模块使用这个收敛的 LL 状态执行一次更新：

zHk=fH(zHk−1,zL⋆;θH).z^k_H=f_H(z^{k-1}_H,z^⋆_L;\theta_H).

借助合适的映射 F\mathcal F，高层状态的更新可以写成更紧凑的形式：zHk=F(zHk−1;x~,θ)z^k_H = \mathcal F(z^{k−1}_H ; \tilde x, θ)，其中 θ=(θI,θL)θ = (θ_I , θ_L)，不动点可以写成 zH⋆=F(zH⋆;x~,θ)z^⋆_H = \mathcal F(z^⋆_H; \tilde x, θ)。令 JF=∂F∂zHJ_{\mathcal F} =\frac{∂\mathcal F}{∂z_H} 为 F\mathcal F 的雅可比矩阵，并假设矩阵 I−JFI − J_{\mathcal F} 在 zH⋆z^⋆_H 处可逆，且映射 F\mathcal F 连续可微。隐函数定理允许我们无需显式反向传播即可计算不动点 zH⋆z^⋆_H 关于参数 θθ 的精确梯度：

∂zH∗∂θ=(I−JF∣zH∗)−1∂F∂θ∣zH∗.(1)\frac{\partial z_H^*}{\partial \theta}= \left( I-\left.J_{\mathcal{F}}\right|_{z_H^*} \right)^{-1} \left. \frac{\partial \mathcal{F}}{\partial \theta} \right|_{z_H^*}.\tag{1}

计算上述梯度需要对矩阵 (I−JF)(I − J_{\mathcal F}) 进行求逆运算，这可能非常耗费计算资源。鉴于诺伊曼级数展开式，

(I−JF)−1=I+JF+JF2+JF3+...,(I-J_{\mathcal F})^{-1}=I+J_{\mathcal F}+J^2_{\mathcal F}+J^3_{\mathcal F}+...,

所谓的单步梯度通过仅考虑其第一项来近似该级数，即 (I−JF)−1≈I(I − J_{\mathcal F} )^{−1} ≈ I，并导致方程 (1) 的如下近似：

∂zH∗∂θH≈∂fH∂θH,∂zH∗∂θL≈∂fH∂zL∗⋅∂zL∗∂θL,∂zH∗∂θI≈∂fH∂zL∗⋅∂zL∗∂θI.(2)\frac{∂z_H^*}{∂\theta_{H}}\approx\frac{∂f_H}{∂\theta_{H}},\quad\frac{∂z_H^*}{∂\theta_{L}}\approx\frac{∂f_H}{∂z_L^*}\cdot\frac{∂z_L^*}{∂\theta_L},\quad\frac{∂z_H^*}{∂\theta_{I}}\approx\frac{∂f_H}{∂z_L^*}\cdot\frac{∂z_L^*}{∂\theta_I}.\tag{2}

低层不动点的梯度 ∂zL∗∂θL\frac{∂z^∗_L}{∂θ_L} 和 ∂zL∗∂θI\frac{∂z^∗_L}{∂θ_I} 也可以通过另一次应用单步梯度法来近似计算：

∂zL∗∂θL≈∂fL∂θL,∂zL∗∂θI≈∂fL∂θI.(3)\frac{∂z^∗_L}{∂θ_L}\approx\frac{∂f_L}{∂θ_L},\quad\frac{∂z^∗_L}{∂θ_I}\approx\frac{∂f_L}{∂θ_I}.\tag{3}

将公式（3）代入公式（2），即可得到最终的简化梯度。

在定义损失函数之前，我们必须首先介绍我们提出的方法的两个关键要素：深度监督和自适应计算时间。

Deep supervision。受周期性神经振荡调节大脑学习时机这一原理的启发，我们将深度监督机制融入 HRM 模型中，具体细节如下。给定一个数据样本 (x,y)(x, y)，我们对 HRM 模型进行多次前向传播，每次传播称为一个片段。令 MM 表示模型终止前执行的片段总数。对于每个片段 m∈{1,...,M}m ∈ \{1, ..., M\}，令 zm=(zHmNT,zLmNT)z^m = (z^{mNT}_H, z^{mNT}_L) 表示片段 mm 结束时的隐藏状态，其中包含高层和低层状态分量。

在每个片段 mm 处，我们应用如下深度监督步骤：

  1. 给定前一阶段的状态 zm−1z^{m−1}，通过 HRM 模型的前向传递计算下一个状态 zmz^m 及其相关输出 y^m\hat y^m：
(zm,y^m)←HRM(zm−1,x;θ)(z^m,\hat y^m)\leftarrow HRM(z^{m-1},x;\theta)
  1. 计算当前段的损失：
Lm←LOSS(y^m,y)L^m\leftarrow LOSS(\hat y^m,y)
  1. 更新参数：
θ←OPTIMIZERSTEP(θ,∇θLm)\theta\leftarrow OPTIMIZERSTEP(\theta,\nabla_{\theta}L^m)

该过程的关键在于，隐藏状态 zmz^m 在用作下一阶段的输入状态之前，会先从计算图中 “detached” 出来。因此，来自阶段 m+1m + 1 的梯度不会反向传播到阶段 mm，从而有效地对递归深度监督过程的梯度进行一步近似。这种方法能够为 HH 模块提供更频繁的反馈，并起到正则化机制的作用，与更复杂的基于雅可比矩阵的正则化技术相比，在深度平衡模型中展现出更优异的经验性能和更高的稳定性。图 4 展示了深度监督训练的伪代码。

Adaptive computational time (ACT)。大脑会在自动思维（““System 1”）和深思熟虑的推理（““System 2”）之间动态切换。神经科学证据表明，这些认知模式共享重叠的神经回路，尤其是在前额叶皮层和默认模式网络等区域。这表明大脑会根据任务的复杂性和潜在奖赏动态调节这些回路的“运行时间”。

受上述机制的启发，我们将自适应停止策略融入 HRM 中，使其能够“快速思考”和“缓慢思考”。这种集成利用了深度监督，并使用 Q-learning 自适应地确定分段数。一个 Q-head 使用 H 模块的最终状态来预测“停止”和“继续”动作的 Q-value Q^m=(Q^haltm,Q^continuem)\hat Q^m = (\hat Q^m_{halt}, \hat Q^m_{continue})：

Q^m=σ(θQ⊤zHmNT),\hat Q^m=\sigma(\theta^⊤_Qz^{mNT}_H),

其中 σσ 表示逐元素应用的 sigmoid 函数。停止或继续操作的选择采用随机策略，具体细节如下。令 MmaxM_{max} 表示最大分段数（固定超参数），Mmin 表示最小分段数（随机变量）。MminM_{min} 的值随机确定：以概率 εε 从集合 {2,⋅⋅⋅,Mmax}\{2, · · · , M_{max}\} 中均匀采样（以鼓励更深入的思考），并以概率 1−ε1−ε 将其设置为 1。停止操作在以下两种情况下选择：当分段数超过最大阈值 MmaxM_{max} 时，或者当估计的停止值 Q^halt\hat Q_{halt} 超过估计的继续值 Q^continue\hat Q_{continue} 且分段数至少达到最小阈值 MminM_{min} 时。

Q-head 通过 Q-learning 算法进行更新，该算法定义在以下分段马尔可夫决策过程 (MDP) 上。MDP 在第 mm 段的状态为 zmz^m，动作空间为 {halt,continue}\{halt, continue\}。选择动作“halt”终止当前回合，并返回一个二元奖赏，表示预测的正确性，即 1{y^m=y}1\{\hat y^m = y\}。选择“continue”则获得 0 奖励，状态转移到 zm+1z^{m+1}。因此，两个动作 G^m=(G^haltm,G^continuem)\hat G^m = (\hat G^m_{halt}, \hat G^m_{continue}) 的 Q-learning 目标由下式给出：

G^haltm=1{y^m=y},G^continuem={Q^haltm+1,if m≥Nmax⁡,max⁡(Q^haltm+1,Q^continuem+1),otherwise.\begin{aligned} \hat{G}_{\mathrm{halt}}^{m} &= \mathbf{1}\left\{\hat{y}^{m}=y\right\}, \\[4pt] \hat{G}_{\mathrm{continue}}^{m} &= \begin{cases} \hat{Q}_{\mathrm{halt}}^{m+1}, & \text{if } m \ge N_{\max}, \\[4pt] \max\left( \hat{Q}_{\mathrm{halt}}^{m+1}, \hat{Q}_{\mathrm{continue}}^{m+1} \right), & \text{otherwise}. \end{cases} \end{aligned}

现在我们可以定义学习过程的损失函数。每个监督片段的总体损失结合了 Q-head 损失和序列到序列损失：

LACTm=LOSS(y^m,y)+BINARYCROSSENTROPY(Q^m.G^m).L^m_{ACT}=LOSS(\hat y^m,y)+BINARYCROSSENTROPY(\hat Q^m.\hat G^m).

最小化上述损失可以实现准确的预测和接近最优的停止决策。

选择“停止”操作会结束监督循环。实际上，序列是分 batch 处理的，可以通过将 batch 中任何已停止的样本替换为数据加载器中的新样本来轻松处理。

图 5 展示了两种 HRM 系统的性能比较：一种采用了 ACT 算法，另一种则使用与 ACT 的 MmaxM_{max} 参数相同的固定计算步骤数。结果表明，ACT 能够根据任务复杂度有效地调整其计算资源，在对性能影响最小的情况下显著节省计算资源。

Inference-time scaling。有效的神经网络模型应在推理过程中利用额外的计算资源来提升性能。如图 5-c 所示，HRM 仅通过增加计算限制参数 MmaxM_{max} 即可无缝实现推理时间扩展，而无需进一步的训练或架构修改。

对于需要深度推理的任务，额外的计算能力尤为有效。例如，在数独题（一个通常需要长期规划的问题）上，HRM 展现出强大的推理时间扩展能力。另一方面，我们发现，在 ARC-AGI 挑战中，额外的计算资源带来的收益微乎其微，因为解决方案通常只需要少量转换。

Stability of Q-learning in ACT。我们 ACT 机制所依赖的 DQN 算法已知容易出现不稳定性，通常需要诸如回放缓冲区和目标网络等稳定技术，而这些技术在我们的设计中并未采用。然而，我们的方法通过模型和训练过程的固有特性实现了稳定性。Gallici et al. 的最新理论工作表明，如果网络参数有界、训练过程中引入权重衰减并实现 post-normalization 层，则 Q-learning 可以收敛。我们的模型通过其 post-normalization 架构满足了这些条件，该架构采用了 RMSNorm（一种层归一化变体）和 AdamW 优化器。AdamW 已被证明可以解决 L∞L_∞ 约束优化问题，从而确保模型参数保持在 1/λ1/λ 的范围内。

Architectural details。我们采用 sequence-to-sequence 架构实现 HRM。输入和输出均表示为 token 序列：x=(x1,...,xl)x = (x_1, . . . , x_l) 和 y=(y1,...,yl′)y = (y_1, . . . , y_{l′})。该模型包含一个嵌入层 fIf_I，用于将离散 token 转换为向量表示；以及一个输出头 fO(z;θO)=softmax(θOz)f_O(z; θ_O) = softmax(θ_Oz)，用于将隐藏状态转换为 token 概率分布 y^\hat y。对于小样本实验，我们用 stablemax 替换 softmax 以提高泛化性能。sequence-to-sequence 损失是对所有 token 取平均值得到的，LOSS(y^,y)=1l′∑i=1l′logp(yi)LOSS(\hat y, y) = \frac{1}{l′}\sum^{l′}_{i=1} log p(y_i)，其中 p(yi)p(y_i) 是分布 y^i\hat y_i 分配给 token yiy_i 的概率。初始隐藏状态 z0z_0 通过从标准差为 1、截断值为 2 的截断正态分布中采样来初始化，并在整个训练过程中保持不变。

底层和高层循环模块 fLf_L 和 fHf_H 均采用架构和尺寸相同的纯编码器 Transformer 模块实现。这些模块接受多个输入，我们使用简单的逐元素加法来合并它们，尽管更复杂的合并技术（例如门控机制）可能会提高性能，但这留待未来研究。对于本文中的所有 Transformer 模块（包括基线模型中的模块），我们都采用了现代 LLM（基于 Llama 架构）中的增强功能。这些改进包括旋转位置编码 (RPE)、门控线性单元 (GLU)、RMSNorm 以及从线性层中移除偏置项。

此外，HRM 和循环 Transformer 模型均采用后归一化架构，权重通过截断 LeCun 正态分布初始化，而 RMSNorm 则不包含尺度和偏置参数。所有参数均使用 Adam-atan2 优化器进行优化，Adam-atan2 是 Adam 的尺度不变变体，并结合包含线性预热的恒定学习率。

3.Results

本节首先介绍 ARC-AGI、数独和迷宫基准测试，然后概述基线模型及其结果。图 6-(a,b,c) 以可视化的方式呈现了这三个基准测试任务，选择这些任务是为了评估人工智能模型的各种推理能力。

3.1 Benchmarks

3.2 Evaluation Details

Last updated on