搬运学习，或一种在数据丰厚的使命上先对AI模型进行预练习，然后再对另一使命进行微调的技能，已成功地应用于从机器人到方针分类的范畴。可是它在自然言语处理(NLP)子范畴中具有特别的期望，在自然言语处理(NLP)子范畴中，它发生了多种基准测验办法。为了进一步完善它，谷歌的研讨人员开发了一个新的数据集-巨大的洁净匍匐语料库-以及一个一致的结构和模型，称为“文本到文本转换器”，可以将言语问题转换为文本到文本格式。他们说，在运用有史以来提交给通用言语了解评价(GLUE)基准的最大模型之一进行的试验中，他们在基准上获得了最新的成果，涵盖了问题解答，文本分类等等。

一般来说，练习模型以履行NLP使命触及保证模型开发出使其可以“了解”文本的常识-常识的规划从初级(例如单词的拼写或意义)到高档(例如大号太大，无法包容大多数背包。 Google小组研讨了一种办法，该办法将文本作为输入并发生新的文本作为输出，并将相同的方针，练习进程和解码进程应用于所考虑的每个使命。

他们编写的通用常识练习语料库中的片段(即上述的“巨大的洁净匍匐语料库”)来自Common Crawl项目，该项目每个月从络上刮掉大约20 TB的英文文本。为了过滤出乱码，样板菜单和过错音讯，它们仅保存以终端标点符号(句点，感叹号，问号或完毕引号)结束的文本行，一起删去带有显着填充文本和重复项的页面。所得到的调集比大约用于预练习的大多数数据集大了一个数量级，约为750 GB。

研讨人员在语料库上练习了几种根据Transformer的模型，以评价其文本到文本办法的有效性。关于初学者来说，“变形金刚”是一种新式的神经体系结构，由Google AI研讨部分Google Brain的科学家一起编撰，于2017年宣布。与一切深层神经络相同，它们包括摆放在相互衔接的层中的神经元(数学功用)，这些层传输来自输入数据的信号并缓慢调整每个衔接的突触强度(权重)。这便是一切AI模型提取特征并学习进行猜测的办法，可是Transformers的共同之处在于，每个输出元素都衔接到每个输入元素。它们之间的权重是动态，有效地核算的。

最大的模型包括多达110亿个参数，或进行猜测时所需的模型内部装备变量。该小组说，他们对各种言语使命进行了微调，并在GLUE和阅览了解基准SQuAD和CNN / Daily Mail上取得了最新均匀分数(89.7)。并在SuperGLUE进步行了测验，该软件包括的使命超出了当时NLP体系的规划，但可以由受过大学教育的演讲者处理，它以89.8的得分简直与人类体现适当。

团队供认，他们的模型在比如翻译之类的言语使命中不尽人意，他们将此归咎于特定使命数据的相对缺少和训练规划的缺乏。因而，他们发起研讨运用较小的模型完成更强功用的办法，以便将搬运学习应用于影响最大的当地。

该论文的合著者写道：“咱们的研讨得出的令人惊奇的但重要的成果是，较大的模型往往体现更好。” “用于运转这些模型的硬件一直在变得越来越廉价，功用越来越强壮，这一现实标明，扩展规划或许仍然是完成更好功用的有出路的办法[Sutton，2019]。可是，在某些应用程序和场景中，总是存在运用较小或较廉价的模型有协助的状况，例如在履行客户端揣度或联合学习时。”