キサラギの世界

3.1 Supervised Fine-Tuning#

从 OpenAI API 采集用户 Prompt 和标注员手动编写的指令，共约 13k 条。由标注员为这些 Prompt 编写高质量示范答案。直接在原生 GPT-3 上进行 有监督微调 。

3.2 Reward Model Training#

对同一个 Prompt，让模型生成 $K$ 个（如 4–9 个）候选回答，并由标注员进行排序标注。
采用 Pairwise Ranking Loss，将排序问题转化为成对比较学习。对于同一 Prompt 下的两个回答 $y^+$ (更优) 和 $y^-$ (较差) ，优化目标为：

其中 $r_\theta(x, y)$ 表示 Reward Model 对回答质量的标量评分。当 $r(y^+) > r(y^-)$ 时，loss 较小；当排序错误时，loss 会显著增大并推动模型修正。
相比回归式打分，pairwise 方法更稳定，因为人类更容易给出相对偏好而非绝对评分。
对于 $K$ 个候选回答，可构造 $C_K^2$ 个 pairwise 样本，从而提高标注数据利用效率。

3.3 Reinforcement Learning#

使用 PPO (Proximal Policy Optimization) 算法，以 Reward Model 的打分作为奖励信号，对 SFT 模型进行策略优化。
PPO 的核心思想是：在提升奖励的同时，限制每次策略更新的幅度，避免模型训练不稳定或策略崩塌。相比传统 Policy Gradient，PPO 通过 clipping 机制约束新旧策略之间的差异，从而实现更加稳定的强化学习优化。PPO 的具体实现较复杂，可见知乎链接。
RLHF 的优化目标可以表示为：

其中：

• $r_\phi(x, y)$ 为 Reward Model 给出的奖励
• $\mathrm{KL}(\pi || \pi_{\text{SFT}})$ 表示当前策略与 SFT 模型输出分布之间的 KL 散度
• $\beta$ 为 KL 惩罚系数

KL 散度 (Kullback–Leibler Divergence) 用于衡量两个概率分布之间的差异。在 RLHF 中，它用于约束当前策略不要偏离 SFT 模型过远。若模型为了获得更高奖励而生成异常、极端或不自然的文本，则 KL 会增大并受到惩罚。
因此，KL 项本质上是在“优化人类偏好”与“保持语言模型原有能力”之间进行平衡，防止出现 reward hacking、语言退化或分布漂移。
为了缓解“Alignment Tax”问题，论文还提出 PPO-ptx 变体，在 RL 训练中混入原始预训练目标，以保持模型在通用 NLP 任务上的性能，防止”灾难性遗忘”。

4.1 Fine-tuning Details#

• Optimizer ：Adam 优化器。
• Learning Rate Schedule ：Cosine Decay。
• Epochs ：SFT 训练 16 个 epochs。
• Batch Size ：PPO 阶段设为 512。

4.2 Database#

• Prompt Distribution：主要源自 API 用户请求，涵盖生成、开放问答、头脑风暴、聊天、摘要等 10 大类。
• Labeler：聘请了约 40 人的合同工团队进行数据生产和评估。