10 月 14 日，小米和北京大学皆集签字的论文发表于 arXiv，曾被曝获小米集团独创东谈主兼 CEO 雷军以千万年薪招募的 DeepSeek“天才青娥”罗福莉，出当今了这篇论文的通信作家之列，但值得注意的是，论文作家中并莫得标注罗福莉属于小米大模子团队。

通信作家中的罗福莉是 95 后，她本科就读于北京师范大学计较机专科，硕士毕业于北京大学计较说话学推敲所计较说话学专科。随后罗福莉曾在阿里巴巴达摩院主导开荒了多说话预闇练模子 VECO，并鼓舞了 AliceMind 的开源职责，2022 年入职 DeepSeek，参与了 MoE 大模子 DeepSeek-V2 的研发。旧年年底，小米被曝以千万年薪挖角 DeepSeek-V2 中枢开荒者之一罗福莉，使其冲上热搜，但两边于今都未公开声明是否细密入职小米。

这篇论文提议了进步 MoE 模子强化学习闇练的新步履 Rollout Routing Replay（R3）。实践适度讲明，R3 的全体性能优于 GRPO、TIS 这类强化学习边界进步模子性能的优化算法，且引入 R3 的扫数组合步履全经由无崩盘，闇练经由中闇练-推理 KL 散度等恒久较低，在不影响闇练速率的情况下，使得极点 token 比例减少一个量级。

当下，强化学习已成为进步大说话模子才略的要津步履。干系词，在 MoE 模子中，路由机制接续会引入不安详性，甚而导致强化学习闇练崩溃，但现存的引入贫困性采样机制等并不可进步闇练安详性。不同于此前选用诸如丢弃相反较大的数据之类的变通步履，这篇论文的推敲东谈主员但愿通过搞定路由踱步也便是 R3 来根人性搞定这个问题。

论文地址：https://arxiv.org/pdf/2510.11370

01.破解强化学习崩溃的要津步履，小米团队提议 R3

强化学习已成为大说话模子后期闇练的基石，附近大限度强化学习，大模子更深刻、更无为推理，赢得搞定复杂问题所需的高等才略，但其濒临的要津挑战是何如均衡效用和安详性。

当代强化学习框架通常使用不同的引擎进行推理和闇练用于部署，但这种架构上的差异可能导致 token 概率出现不对，甚而可能导致灾难性的强化学习崩溃。干系词，现存的更正步履并不可透澈搞定 MoE 模子上进行强化学习闇练时出现的强化学习离线计谋问题。

推敲东谈主员提议的 R3，其职责旨趣是在序列生成时刻从推理引擎拿获路由踱步，并将其径直重放到闇练引擎中。这照旧由不错松开闇练和推理之间的差距，其显耀特征是不同引擎生成的逻辑向量的 KL 散度（量化两个概率踱步之间的相反进度，值越演义明两个踱步越接近）显耀裁减，两个阶段之间概率相反显耀的 token 数目减少了梗概一个数目级。

此外，该步履同期适用于在线计谋（on-policy）和小批量（mini-batch）式离线计谋强化学习（off-policy）场景。

论文提到了推敲团队的三大主要孝顺：

1、系统识别和分析了 MoE 模子中闇练和推理之间的路由踱步相反，强调了它们在闇练不安详性中的作用；

2、提议 Rollout Routing Replay，它重用闇练引擎里面的推理期间路由踱步，以劝诱闇练和推理之间的路由举止；

3、将 R3 应用于多种强化学习开荒进行 MoE 强化学习，并标明 R3 在安详性和全体性能方面优于 GSPO 和 TIS。

02.可显耀松开闇练-推理相反，对 Agent 任务大有裨益

R3 的主要想路是在闇练前向传播经由中重用推理路由掩码 I，同期仍将 softmax 应用于闇练逻辑以保捏梯度流。

这种筹办主要有两个看法：一是对皆闇练和推理，确保闇练重放时刻使用的内行与推理时刻采纳的内行相匹配，从而铲除内行采纳中的不匹配；二是保留梯度数据流，通过仅重放掩码，梯度仍然不错流回 logits 而不会打扰计较图，这有助于灵验地优化路由器。

具体来看，R3 在效用优化上，通过路由掩码缓存（Router Mask Caching）适配多轮对话场景，裁减计较支拨。

其论文提到，缓存的路由掩码具有一样的属性，关于相易的前缀 token，MoE 路由器应该产生相易的适度，因此来自推理引擎的路由掩码不错与前缀 KVCache 一皆缓存。

关于每个层和 token 前缀，相应的路由掩码都存储在 KVCache 中。当相易的前缀出现并掷中缓存时，这些掩码不错被重用，从而无需再行计较，这使得 R3 粗略与前缀缓存机制无缝集成。

推敲东谈主员称，缓存路由掩码在 Agent 场景中有较大应用空间。举例软件工程和网页浏览等 Agent 任务，都波及自总结生成和器具调用之间的多轮交互，为了提高效用，这些经由径直重用了前几轮的 KVCache，因此无需再行生成已计较的数据。路由掩码缓存使 R3 粗略在强化学习代理任务中保捏高效，而无需再行预填充以生成路由掩码。

为了讲明 R3 在松开闇练-推理相反上的灵验性，推敲东谈主员使用 Qwen3-30B-A3B 模子进行了考据，其将推理经由中赢得的路由踱步缓存在 SGLang 上，并在 Megatron 框架内重放它们。

适度标明，应用 R3 后，闇练和推理之间的 KL 散度从 1.5×10⁻³ 减小到 7.5×10⁻⁴，接近于高兴模子的 6.4×10⁻⁴水平，这标明其闇练-推理相反减少。

推敲东谈主员还绘画了使用 R3 的闇练-推理相反比率的积聚踱步图，关于 MoE 模子，应用 R3 可将具有较大闇练推理相反的 token 的频率裁减一个数目级。

▲ a、MoE 模子中闇练-推理相反的阐明，b、MoE+R3 模子中闇练-推理相反的阐明，c、高兴模子中闇练-推理相反的阐明，d、极点 token 踱步函数

03.实测三大才略进步：全体性能、闇练安详、优化生成举止

为了评估 R3 对强化学习的性能更正，推敲东谈主员从 BigMath、ORZ 等开源数据集筛选约 10 万谈可考据数学题，经受 AIME24、AIME25、AMC23 和 MATH500 行为基准数据集进行评估，并在单次闇练经由中每 5 个全局轨范测量一次模子性能。

其采纳的模子是 Qwen3-30B-A3B-Base 偏激微调模子 Qwen3-30B-A3B-SFT。

评估形状是每 5 个全局轨范纪录模子性能，最终弘扬最好性能及对应闇练轨范，若模子后期性能骤降，同期跟踪闇练崩盘轨范”。

实践适度标明，全体性能上，R3 在多步更新场景，GRPO+R3 平均得分 68.05 分，比 GSPO 当先 1.29 分；GSPO+R3 进一步进步至 69.00，比单独 GSPO 高 2.24 分。

单步更新场景，SFT 模子上，GRPO+R3 平均得分 71.83 分，比 GRPO（62.23）高 9.6 分，比 GRPO+TIS（66.24）高 5.59 分；Base 模子上，GRPO+R3 平均得分 70.73，比 GRPO（61.69）高 9.04 分。

推敲东谈主员还发现，将 R3 与 TIS 结合使用并不可带来显着的性能进步，甚而可能裁减性能，举例在 SFT 模子的单小步开荒下，TIS+R3 的得分比单独使用 R3 低 1.69 分。由于 R3 已经显耀裁减了闇练和推理之间的计谋相反，因此 TIS 的额外修订效用聊胜于无。

闇练安详性方面：如 GRPO、GRPO+TIS 等无 R3 的步履在单步更新场景中均出现崩盘，GRPO 在 60 步崩盘、GRPO+TIS 在 105 步崩盘。

引入 R3 后，扫数组合步履均无崩盘，且闇练经由中闇练-推理 KL 散度等恒久较低。

优化与生成举止方面，在闇练经由中，R3 还能增强优化安详性、探索举止和生成动态。下图是推敲东谈主员绘画的单步 + 基础模子组闇练经由中的序列长度、梯度范数、生成熵和评估分数。

适度涌现，R3 具有更小的梯度范数、更平滑的序列增长模式和更安详的熵。实践中使用 R3 时，生成的序列长度在闇练运转时赶紧飞腾，标明 R3 粗略快速捕捉到正确的优化场所，比拟之下其他两个闇练经由在第 80 步之后才迟缓飞腾，况且波动更为显着；R3 恒久保捏较低的梯度范数，标明优化经由愈加安详；实践使用 R3 时，熵在梗概第 25 步后运转稳步飞腾，标明模子更早地运转探索更优计谋，不使用 R3 时，熵飞腾得更晚，况且波动较大。

04.结语：聚焦 MoE 模子闇练难题，小米提议新想路

MoE 架构如今已成为扩张当代说话模子的基石，其经受门控采集，对每个 token 疏淡地仅激活一部天职行参数，从而将模子的总参数数目与其推理本钱差异开来，从而大幅进步了模子容量。干系词，由于门控采集的敏锐性，MoE 模子容易受到闇练不安详性的影响，这使得路由清静性成为灵验模子敛迹的中枢挑战。

在这篇论文中，推敲东谈主员在闇练经由中重用推理时的路由踱步，以在保留梯度流的同期对皆内行采纳。这种想路或为行业提供了新的推敲想路。

本文来自微信公众号：智东西（ID：zhidxcom）现金九游体育app平台，作家：程茜，原标题《小米 AI 新论文！雷军千万年薪要挖的 DeepSeek 天才青娥签字》