GPT-1 论文链接
GPT-2 论文链接
GPT-3 论文链接
Keywords：自回归语言建模、Scaling Law、生成式统一范式、Prompt 学习、In-Context Learning、Decoder-Only
1. Background
在 ImageNet 等大规模标注数据集的推动下，CV 领域取得了显著进展。相比之下，NLP 长期面临标注数据获取成本高、任务碎片化严重的问题，使得传统监督学习方法难以构建统一且通用的建模框架。
具体而言，NLP 中不同任务（如分类、问答、推理等）通常需要设计不同的模型结构与训练目标，导致模型泛化能力较弱，缺乏统一的任务表达形式，从而限制了模型的通用性与扩展能力。
2. Methods
GPT 系列的核心思想是基于Transformer Decoder 架构，在海量无标签文本上进行自监督预训练，通过语言建模任务学习通用语言表示，其训练目标是根据前文上下文预测下一个词（Next Token Prediction）。
- GPT-1 (Generative Pre-training)：首次提出“预训练 + 微调（pre-train + fine-tune）”范式。模型先在大规模无监督语料上进行语言建模预训练，再在下游任务的标注数据上进行有监督微调，从而实现知识迁移。
- GPT-2 (Zero-shot Transfer)：进一步扩大模型规模，并展示了在无需任务特定微调的情况下，通过自然语言 prompt 进行零样本（zero-shot）任务求解的能力。但其 zero-shot 能力在不同任务上表现仍不稳定，尚未形成统一的通用解决框架。
- GPT-3 (In-context Learning)：进一步扩展模型规模，并系统性展示了 in-context learning 能力。模型无需更新参数，仅通过任务描述与少量示例（few-shot examples）即可完成新任务。这种能力并非显式学习新任务，而是通过上下文条件实现对任务模式的隐式建模。
3. Model Design
3.1 Architecture
GPT 系列均基于 Transformer Decoder 架构，相较于原始 Transformer Decoder，移除了 encoder-decoder attention，仅保留自回归结构。
- GPT-1：，总参数量约 1.1 亿
- GPT-2：，参数量约 15 亿
- GPT-3：，参数量约 1750 亿
其中 L 表示层数，H 表示隐藏维度，A 表示 attention head 数量。
在结构改进方面：
- GPT-2 引入了 Pre-LayerNorm Transformer 结构，提升深层模型训练稳定性
- GPT-3 延续该结构，并在大规模训练中验证其可扩展性
3.2 Input/Output Representations
- Tokenization：GPT-2/3 使用字节级 BPE (Byte-level Byte Pair Encoding)，有效缓解了词表规模过大及未登录词 (OOV) 问题。
- Task-specific Adaptation (GPT-1)：通过特殊分隔符将不同任务统一转换为序列建模问题，并配合任务特定输出层。
- Prompt-based Input (GPT-2/3)：采用自然语言 Prompt 统一描述任务及示例，不再依赖人工设计的任务特定输入格式。
3.3 Tasks
- Pre-Training：GPT 系列统一采用标准自回归语言模型目标，通过最大化下一个 Token 的条件概率进行训练，目标函数： 。
- Fine-Tuning (GPT-1)：在预训练模型基础上增加一个线性输出层，通过最大化监督数据上的条件对数似然进行训练，目标函数： 。微调时通常加入辅助的语言模型目标以提高泛化能力。
- In-context Learning (GPT-2/3)：将下游任务统一建模为文本补全任务。
- Zero-shot：仅提供自然语言 Prompt
- One-shot / Few-shot：在输入中加入少量示例
- 无需梯度更新或参数微调
4. Training
为了支撑大规模训练，GPT 系列不断升级数据集与计算策略：
- Datasets：
- GPT-1：BooksCorpus (7000 本书，8 亿词)
- GPT-2：WebText (Reddit 上 Karma 3 的链接，约 40GB 文本)
- GPT-3：混合数据集，包括过滤后的 Common Crawl、WebText2、BooksCorpus 和 Wikipedia（规模达数千亿 token）
以下为 GPT-3 的训练配置：
- Optimizer：采用 Adam 优化器，参数设置为
- Activation Function：采用 GELU 激活函数，提升深层 Transformer 的训练稳定性与非线性表达能力
- Batch Size：采用超大 Batch Size (3.2M Tokens) 进行训练，提高 GPU 利用率与训练效率
- Learning Rate：采用 Linear Warmup 与 Cosine Decay 相结合的学习率调度策略，以缓解训练初期不稳定问题并提升后期收敛效果
- Weight Decay：设置 Weight Decay 为 0.1，以增强模型泛化能力并抑制过拟合
- Gradient Clipping：采用梯度裁剪，阈值设为 1.0，以防止梯度爆炸
5. Result
- GPT-1：在多项 NLP 任务上显著优于传统基于特征的监督学习方法，在约 12 个任务中有 9 个达到或接近当时的 SOTA，验证了“预训练 + 微调”范式在迁移学习中的有效性。
- GPT-2：在 zero-shot 与 unsupervised setting 下表现出较强的语言生成与任务泛化能力，在多个数据集上取得具有竞争力的结果，但整体性能仍依赖任务形式与提示设计，尚未形成稳定统一的通用任务求解能力。
- GPT-3：展示了 Scaling Law 驱动下的能力提升规律，并首次系统性验证了 In-context Learning 的有效性。在 few-shot 设置下，模型在多种 NLP 任务中表现接近或在部分任务上超过微调模型，同时具备较强的长文本生成能力与任务适应能力。
6. Reflection
GPT 系列标志着 NLP 从“任务驱动的监督学习范式”转向“统一的生成式预训练范式”。其关键在于将不同 NLP 任务统一为自回归语言建模，使跨任务知识能够在同一参数空间中共享与迁移。
这一范式的重要基础是 Scaling Law 所揭示的经验规律：模型性能与计算量、参数规模及数据规模之间呈稳定的幂律关系。这使得能力提升在很大程度上可以通过规模扩展获得，而非依赖任务特定的结构设计。
在 Scaling Law 的驱动下，In-context Learning 可被理解为一种规模增长带来的涌现现象：当模型达到足够容量与数据覆盖时，能够在上下文中形成对任务的隐式建模，从而在不更新参数的情况下适应新任务。
然而，这种依赖规模的路径也存在局限：Scaling Law 的理论基础仍不完善，能力涌现机制尚未被严格解释；同时模型能力增长高度依赖算力与数据扩张，且仍缺乏显式的结构化推理与因果建模能力。
如果这篇文章对你有帮助，欢迎分享给更多人！
部分信息可能已经过时