DPO 论文解读：直接偏好优化（编辑初稿）

先读结论

DPO 在特定推导条件下，把偏好学习写成可直接优化的分类式损失。它不需要在训练流程里显式拟合一个独立奖励模型，但仍依赖偏好数据。

接在 RLHF 讨论后，重点看训练目标如何改变。偏好优化并不等于已经解决真实性、可靠性或所有对齐问题。

给定同一提示下的偏好回答和非偏好回答，目标比较策略模型相对于参考模型的对数概率比。参考模型和温度式系数控制优化的尺度与约束。

\mathcal{L}_{DPO}=-\mathbb{E}\left[\log\sigma\left(\beta\log\frac{\pi_\theta(y_w\mid x)}{\pi_{ref}(y_w\mid x)}-\beta\log\frac{\pi_\theta(y_l\mid x)}{\pi_{ref}(y_l\mid x)}\right)\right]

公式中的比较是偏好回答相对非偏好回答，不是无条件提高所有训练样本的概率。

原文在情感控制、摘要和对话等任务中比较偏好学习方法。比较结论需要保留数据、模型和评测设置，不能直接推导出任何场景 DPO 都优于 PPO。

偏好数据质量、参考策略和超参数仍然重要。离线偏好学习的数据覆盖与分布偏移会影响结果。

**回顾性判断：**到这里可以把架构、规模、效率和对齐四条线重新连接，但第一卷仍不是大模型全部发展的完整历史。

回看 InstructGPT 对照训练流程；回看 Scaling Laws，区分“预测得更好”和“回答更符合偏好”两个目标。

阅读论文原文。以上为编辑初稿；正式发布前须按原文复核实验、版本、图表与历史表述。