キサラギの世界

Week 1 (2026.5.21)#

最近完成了深度学习基础知识的学习，但为了建立对 LLM 研究主线的理解，我开始阅读一些经典论文。
本周阅读了 Transformer、BERT、GPT 1-3 以及 ViT 的论文，对 NLP 大模型的发展脉络有了初步认识。
Transformer 提供了高效的并行序列建模能力，使大规模训练成为可能；BERT 和 GPT 推动 NLP 逐步形成了以自监督预训练为核心的统一范式，GPT-3 也让我初步接触到 Scaling Law 的概念。
ViT 体现了 Transformer 架构在 CV 领域的可迁移性，同时也让我意识到模型设计开始越来越受到硬件与系统效率的约束与影响，模型在硬件执行上的效率同样关键。

Week 2 (2026.5.28)#

阅读了 InstructGPT 的论文和 Llama 3 Tech Report，对现代 LLM 的后训练范式有了初步认识。
SFT 让模型遵循指令完成任务，形成基本的对话能力；RLHF 则利用人类偏好数据对模型进行对齐，让其输出更符合人类需求，具体的优化方法有 PPO、DPO 等。
Llama 3 Tech Report 让我第一次较完整地看到工业级 LLM 的整体训练流程，我体会到现代 LLM 研发是涉及数据、系统、infra 与工程协同的完整 pipeline。

Week 3 (2026.6.4)#

阅读了 Qwen 2 Tech Report，以及 PPO 和 DPO 的论文，进一步了解后训练范式。
最近也对自己的笔记方法进行了一些反思，之前的笔记更多还停留在对内容的翻译，信息密度略低，且花费了我较多时间。
为了提高效率，我打算尝试一种新的笔记系统，就像我之前的 Llama 3 和 Qwen 2 笔记，仅记录论文中比较重要的方法，当然不止是方法本身，还包括方法的动机、核心贡献等，把真正重要的知识浓缩到方法的笔记中。
之后的笔记也会更多去围绕一个专题展开，而不是某一篇论文。
我目前正在写的笔记是以 RLHF 的优化算法为专题，介绍了从 PPO 到 DAPO 一系列的优化算法以及演化路径，这也是我的第一次尝试。

Week 4 (2026.6.11)#

完成了 GRPO 和 DAPO 的论文阅读，并整理了从 PPO 到 DAPO 的一系列 RLHF 优化算法。
GRPO 的论文中详细探讨了关于 RL 如何提升 math reasoning 能力，预训练的目标是学习大规模语料上的数据分布，RL 的目标则是重新加权这些分布，让符合目标的行为得到更高概率。
但是模型的 reasoning 能力不止是数学方面，目前模型的 agentic reasoning 的能力并没有想象中那么强，而且也没有统一的范式，这些都是需要解决的问题。

论文的阅读先暂时告一段落，目前应该是把大部分主线打通了，接下来的重心我打算放在实战上。
我向实验室借到了充足的算力资源，接下来可能打算在 Qwen2.5-VL-3B-Instruct 上复现一下 GRPO 后训练流程，总之目前范式补齐了，我迫切需要一些工程直觉。

Week 5 (2026.6.18)#

在 Qwen2.5-VL-3B-Instruct 上跑了一遍完整的 GRPO 的后训练流程，应该说效果比我预期的要好。
我写了一份训练分析，可以看出训练的过程还是比较稳定，由于 GPU 掉卡原因，实际只训练了原计划 epoch 的 1/5，但还是得到了和官方 baseline 相近的结果。
当然训练过程也发现了一些问题，比如答案正确的情况下，推理过程并不一定完全正确，这也体现出引入过程验证的必要性。

接下来我会聚焦 On-Policy Distillation (OPD) 方向，这也是目前较新的后训练范式，已被 DeepSeek-V4 等模型采用。
我会先去了解其背后的数学原理，再试着动手跑一遍完整流程，目前 OPD 还没有像 GRPO 系算法的 EasyR1 的训练框架，因此我可能需要在 EasyR1 的基础上进行一些修改。
最近面临期末考试，还是先以复习考试为主要任务，等考试结束再专心推进科研上的进度。

Week 8 (2026.7.9)#

之前两周在复习期末考试，从这周起继续推进科研的进度。
我动手跑了一遍 OPSD 的流程，训练框架复用了已有的 RL 训练框架 (EasyR1)，只需将 GRPO 中的 group-normalized advantage 替换为教师与学生的 log ratio，Thinking Machines Lab 的博客将其描述为 “a one-line change on top of RL implementations”。
选用的模型还是之前的 Qwen2.5-VL-3B-Instruct，训练数据集是 Geometry3K，除了 rollout_n=1 以外，训练预设和之前的 GRPO 基本一致，以便于对比两种方法的效果。
关于这次训练的实现细节以及评测结果，之后有空会写一篇博客详细介绍，接下来我会深入阅读 OPD 领域的相关论文。