T5 由谷歌的 Raffel 等人于 2020年7月提出相关论文为“Exploring the Limits ofTransferLearning with a UnifiedText-to-Text Transformer”. 该模型的目的为构建任务统一框架将所有NLP任务都视为文本转换任务。比如英德翻译只需将训练数据集的输入部分前加上“translate English to German给我从英语翻译成德语” 就行。假设需要翻译That is good那么先转换成 translate English to GermanThat is good. 输入模型之后就可以直接输出德语翻译 “Das ist gut.”。 对于需要输出连续值的 STS-B文本语义相似度任务 也是直接输出文本。通过这样的方式就能将 NLP 任务都转换成 Text-to-Text 形式也就可以用同样的模型同样的损失函数同样的训练过程同样的解码过程来完成所有 NLP 任务。1.1 T5模型架构T5模型结构与原始的Transformer基本一致,除了做了以下几点改动作者采用了一种简化版的Layer Normalization去除了Layer Norm 的bias将Layer Norm放在残差连接外面。位置编码T5使用了一种简化版的相对位置编码即每个位置编码都是一个标量被加到 logits 上用于计算注意力权重。各层共享位置编码但是在同一层内不同的注意力头的位置编码都是独立学习的。一定数量的位置Embedding每一个对应一个可能的 key-query 位置差。作者学习了32个Embedding至多适用于长度为128的位置差超过位置差的位置编码都使用相同的Embedding。1.2 T5 训练过程自监督预训练采用类似于BERT模型的MLM预训练任务。多任务预训练除了使用大规模数据进行无监督预训练T5模型还可以利用不同任务的标注数据进行有监督的多任务预训练例如SQuAD问答和机器翻译等任务。encoder-decoder模型总结优点T5模型可以处理多种NLP任务并且可以通过微调来适应不同的应用场景具有良好的可扩展性相比其他语言生成模型如GPT-2、GPT3等T5模型的参数数量相对较少训练速度更快且可以在相对较小的数据集上进行训练缺点由于T5模型使用了大量的Transformer结构在训练时需要大量的计算资源和时间