LLM推理优化入门到精通：SDPO算法详解，看这篇就够了！

在大模型后训练中Reinforcement Learning with Verifiable Rewards 已成为代码与数学等可验证任务的主流方案。但是许多方法仍主要依赖序列级标量奖励通过/失败导致credit assignment长期受限。模型知道“错了”却不知道“具体错在哪”。本文解读的《Reinforcement Learning via Self-Distillation》正面回应这一瓶颈提出把环境返回的文本反馈转为稠密学习信号。该研究的核心贡献是Self-Distillation Policy OptimizationSDPO。它不依赖外部强教师也不额外训练 reward model而是让同一模型在两种角色间切换先以 student 身份生成答案再在获得反馈后以 self-teacher 身份回看原答案并将这种“事后纠错”的分布信息蒸馏回 student。作者进一步提出Reinforcement Learning with Rich FeedbackRLRF强调真实环境中可利用的信息远不止标量 reward。实验覆盖科学推理、tool use、LiveCodeBench v6 竞赛编程与 test-time discovery显示 SDPO 在样本效率、最终性能与推理紧凑性上均明显好于 GRPO 基线。2. 研究背景当前大模型后训练在 code reasoning、math reasoning、scientific reasoning 等任务上进展很快RLVR 与 GRPO 等方法推动了能力提升。但已有工作存在结构性问题训练信号过粗。例如一道编程题环境会给出 runtime error、failing test case、judge explanation 等丰富反馈但在 RLVR 中常被压缩为 0/1。奖励压缩带来两个直接后果优势估计方差大。当一组 rollouts 全部失败时group relative advantage 接近 0学习容易停滞。监督粒度过粗。模型无法在 Token 层面对错误位置做精细修正。既有改进大致有两条路线路线一依赖强教师做 distillation用高质量 token-level 信号弥补稀疏奖励。这在离线场景有效但在线 RL 中往往缺乏可持续调用的强 teacher且目标常是超越现有模型上限。路线二让模型在推理阶段进行反思式多轮改写利用 in-context feedback 提升单题成功率。该路线有效但“反思能力”没有稳定写入参数容易受上下文窗口与对话长度限制。作者据此提出新问题既然环境已经提供文本反馈能否直接用于在线策略优化而不是退化为标量 reward这就是RLRF视角。反馈不仅告诉模型对错还揭示错误机理。研究目标是将 rich feedback 转为可训练、可扩展、可接入现有 RL pipeline 的稠密梯度信号并保持 on-policy 学习的稳定性与泛化能力。图2RLVR标量奖励与 RLRF文本富反馈的对比示意3. 方法SDPO 的直觉很直接。student 基于问题 生成回答 环境返回反馈 如 runtime error、单元测试信息或同组成功样本形成的参考解随后模型再次前向这次在带反馈上下文的提示下得到 self-teacher 分布 。关键是不重新采样新答案只对原轨迹的 token log-prob 做重评估因此几乎不增加采样开销。形式化地作者最小化 student 与 self-teacher 的 token-level 分布差异其中 用于阻断 teacher 分支梯度避免 teacher 向 student 退化并忽略反馈。与 GRPO 的差异在于优势定义。GRPO 在序列内常使用常数优势SDPO 则在 token 分布层面对每个位置、每个候选 Token 建立细粒度优势当 teacher 更偏好某 Token优势为正反之为负。student 因此获得“该增强什么、该抑制什么”的密集信号。作者指出SDPO 本质仍是 policy gradient只是把优势估计从标量 reward 扩展到 feedback-conditioned logit 层因此可在现有 RLVR 实现中低成本接入实验上主要替换优势计算模块即可。图4SDPO 自蒸馏流程示意先生成再基于反馈重评估原轨迹 Token 概率方法采样方式训练信号反馈来源SFT / Distillation离策略off-policy稠密rich强教师模型On-Policy Distillation在策略on-policy稠密rich非环境反馈不依赖强教师RLVR如 GRPO在策略on-policy稀疏/较弱weak环境标量奖励SDPO本文在策略on-policy稠密rich环境富反馈 自蒸馏教师表论文 Table 1对比 SDPO 与蒸馏、RLVR 方法在“采样方式 / 信号密度 / 反馈来源”上的差异。工程开销方面SDPO 的新增成本主要是 teacher log-prob 计算。由于不需要额外生成序列该成本通常低于再采样。显存方面完整 KL 需同时持有 student 与 teacher 全词表 logits作者采用 top- distillation 近似将分布压缩为 top- Token 与 tail probability常用 即可保留主要信息并避免明显显存上升。稳定性是另一重点。teacher 与 student 共享参数并同步演化若 teacher 漂移过快会引发不稳定。论文给出两类正则EMA teacher用指数滑动平均参数构造更平滑教师。trust-region teacher在当前 teacher 与初始 teacher 间做受约束插值。实验表明这两种方案都明显好于无正则 teacher也好于完全冻结 teacher说明“可演化但受约束”的 self-teacher 更有效。作者还提出从 RLVR 到 RLRF 的连续扩展即混合优势并观察到弱模型上混合策略更稳强模型上纯 SDPO 往往更优。这与 bias-variance 权衡一致标量 reward 无偏但稀疏自蒸馏有偏但低方差、信息密度高。4. 实验与发现实验分三组。图1LiveCodeBench v6 上 SDPO 与 GRPO 的学习曲线对比Qwen3-8B第一组是“缺少 rich environment feedback”的标准 RLVR 场景。模型 / 方法Chemistry 1hChemistry 5hPhysics 1hPhysics 5hBiology 1hBiology 5hMaterials 1hMaterials 5hTool use 1hTool use 5hQwen3-8B基座41.241.259.259.230.830.858.958.957.557.5 GRPO65.974.563.872.735.159.974.377.164.967.7 GRPOon-policy63.363.463.663.649.849.873.974.160.265.7 SDPOon-policy73.280.966.675.650.656.872.178.468.068.5Olmo3-7B-Instruct基座22.822.837.737.716.216.236.736.739.339.3 GRPO39.756.755.363.335.655.870.975.056.465.0 GRPOon-policy51.457.562.762.749.849.873.373.556.860.6 SDPOon-policy68.080.059.966.148.052.873.779.160.862.1表论文 Table 3展示 SDPO 与 GRPO 在科学推理与工具使用任务上的 1h/5h 表现对比。任务包括 SciKnowEval 的 Chemistry、Physics、Biology、Materials 子集与 ToolAlpaca tool use模型为 Qwen3-8B 与 Olmo3-7B-Instruct。即便环境只返回标量奖励SDPO 仍可利用同组成功样本为失败样本提供隐式反馈。结果显示SDPO 在多数任务上超过增强版 GRPO且学习更快。例如在 Chemistry 上Olmo3-7B-Instruct 约 50 分钟即可达到 GRPO 约 5 小时的精度水平体现出明显 wall-clock 优势。第二组是具备 rich feedback 的 LiveCodeBench v6 竞赛编程。环境提供 LeetCode 风格执行反馈public test、runtime error 等。在 Qwen3-8B 上SDPO 最终验证精度约 高于 GRPO 的约 达到 GRPO 最终水平所需生成量约降至其四分之一。作者还报告SDPO 在中高难题上的增益更明显这与其精细纠错机制在复杂错误链路中的优势一致。第三组是 test-time self-distillation用于困难二值奖励任务的快速发现。作者定义 discovery在不超过 次尝试内至少找到一次可行解的概率。对 pass64 极低的 very hard 问题SDPO 相比 best-of- 与 multi-turn sampling 都有更高 discovery 曲线在多个预算点达到同等发现率所需尝试次数约降至三分之一。更关键的是一些基线在 2750 次内仍无法解出的题目SDPO 可在数百次内首次发现解说明“把反馈压缩进参数”好于单纯“把反馈堆在上下文”。图10左图展示不同 credit assignment 粒度的效果右图展示 self-teacher 在训练中持续提升方法LCBv6IFEvalArenaHard-v2hard promptArenaHard-v2creative writingMMLU-ProHoldout 平均Base27.983.914.013.762.543.5SFT on self-teacher42.783.711.28.961.941.4GRPO41.282.212.010.862.341.8SDPO48.883.212.311.162.942.4表论文 Table 5比较不同方法在训练任务与 holdout 任务上的性能与遗忘权衡。论文还给出关键消融credit assignment 粒度越细越好logit-level SDPO 好于 token-leveltoken-level 又好于 sequence-level。反馈来源互补environment output 与 sample solution 组合最佳仅保留 student 原始回答会降低 teacher 探索熵并削弱性能。规模影响 self-teacher 质量小模型上 SDPO 优势有限甚至可能不如 GRPO更强模型上优势扩大显示 retrospection 能力可能随规模涌现。在行为层面SDPO 还带来一个很有实用价值的副作用推理更短、更紧凑。论文报告 SDPO 平均响应长度明显低于 GRPO在部分任务上可达数倍差异同时精度更高。案例显示GRPO 更易出现 filler Token、重复计算与循环思考SDPO 则更倾向于直接修正关键错误点。这说明性能提升并非来自“更长链路”而是来自“更准的信用分配”。5. 结论与展望总体看这项工作明确指出了后训练中的核心矛盾RLVR 的信息瓶颈不在强化学习框架本身而在监督信号被过度压缩。SDPO 通过 self-teacher retrospection 将 rich feedback 转化为稠密优势建立了无需外部强教师的 on-policy 自蒸馏范式。在多个基准上它同时提升样本效率、最终性能与推理效率并在 test-time discovery 场景中表现出明显优势。这项工作至少带来三点长期启发环境文本反馈是一等训练信号。未来 agentic RL 基准应更重视反馈结构设计。credit assignment 粒度很关键。相比单纯增加采样量logit-level 训练可能更值得在大规模多任务 RL 中持续验证。test-time learning 与 train-time RL 可由同一机制统一。本质都是将上下文中的纠错信息压缩为参数更新。同时方法也有边界。它依赖模型具备足够强的 in-context retrospection 能力并依赖反馈质量若反馈噪声大或有误导self-teacher 可能产生偏差信号。此外虽然额外计算通常可接受但在小模型与短序列场景中边际成本更敏感。未来若结合更稳健的反馈过滤、置信度建模与 off-policy 扩展SDPO 与 RLRF 有望成为后训练的重要基础设施。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】