GPT-1 论文发布

首次验证了仅用 Transformer 解码器进行语言建模的可行性,开创 “预训练 + 文本生成” 范式。
通过自回归生成模式,展示了大模型在少样本 / 零样本任务中的迁移能力,为后续 GPT 系列奠定技术框架。
证明了 “增大模型规模 + 海量文本预训练” 的有效性,推动 NLP 从 “任务特定模型” 转向 “通用语言模型”。

未经允许不得转载:一亩三分地 » GPT-1 论文发布
评论 (0)

8 + 5 =