预训练自然语言模型 (Pre-trained Models for NLP)

本文为 Pre-trained Models for Natural Language Processing: A Survey 和相关模型的读书笔记 1。在当下的 NLP 研究领域，随着计算机算力的不断增强，越来越多的通用语言表征的预训练模型（Pre-trained Models，PTMs）逐渐涌现出来。这对下游的 NLP 任务非常有帮助，可以避免大量从零开始训练新的模型。PTM 大致可以分为两代：第一代 PTM 旨在学习词嵌入。由于下游任务不在需要这些模型，因此为了计算效率，这些模型往往采用浅层模型，例如 Skip-Gram 2，GloVe 3 等。尽管这些模型可以捕获词的语义，但由于未基……