【详解】NLP之常用预训练模型详解

日期：2025-01-02 移动：http://fabua.ksxb.net/mobile/quote/5454.html

NLP中流行的预训练模型

BERT
GPT
GPT-2
Transformer-XL
XLNet
XLM
RoBERTa
DistilBERT
ALBERT
T5
XLM-RoBERTa

1 BERT及其变体

模型名称隐层数张量维度自注意力头数参数量训练语料bert-base-uncased1276812110M小写英文文本bert-large-uncased24102416340M小写英文文本bert-base-cased1276812110M不区分大小写的英文文本bert-large-cased24102416340M不区分大小写的英文文本bert-base-multilingual-uncased1276812110M小写的102种语言文本bert-large-multilingual-uncased24102416340M小写的102种语言文本bert-base-chinese1276812110M简体和繁体中文文本

: 编码器具有12个隐层, 输出768维张量, 12个自注意力头, 共110M参数量, 在小写的英文文本上进行训练而得到.
: 编码器具有24个隐层, 输出1024维张量, 16个自注意力头, 共340M参数量, 在小写的英文文本上进行训练而得到.
: 编码器具有12个隐层, 输出768维张量, 12个自注意力头, 共110M参数量, 在不区分大小写的英文文本上进行训练而得到.
: 编码器具有24个隐层, 输出1024维张量, 16个自注意力头, 共340M参数量, 在不区分大小写的英文文本上进行训练而得到.
: 编码器具有12个隐层, 输出768维张量, 12个自注意力头, 共110M参数量, 在小写的102种语言文本上进行训练而得到.
: 编码器具有24个隐层, 输出1024维张量, 16个自注意力头, 共340M参数量, 在小写的102种语言文本上进行训练而得到.
: 编码器具有12个隐层, 输出768维张量, 12个自注意力头, 共110M参数量, 在简体和繁体中文文本上进行训练而得到.

2 GPT

模型名称隐层数张量维度自注意力头数参数量训练语料openai-gpt1276812110M英文语料

: 编码器具有12个隐层, 输出768维张量, 12个自注意力头, 共110M参数量, 由OpenAI在英文语料上进行训练而得到.

3 GPT-2及其变体

模型名称隐层数张量维度自注意力头数参数量训练语料gpt21276812117MGPT-2英文语料gpt2-xl481600251558MGPT-2英文语料

: 编码器具有12个隐层, 输出768维张量, 12个自注意力头, 共117M参数量, 在OpenAI GPT-2英文语料上进行训练而得到.
: 编码器具有48个隐层, 输出1600维张量, 25个自注意力头, 共1558M参数量, 在大型的OpenAI GPT-2英文语料上进行训练而得到.

4 Transformer-XL

模型名称隐层数张量维度自注意力头数参数量训练语料transfo-xl-wt10318102416257Mwikitext-103英文语料

: 编码器具有18个隐层, 输出1024维张量, 16个自注意力头, 共257M参数量, 在wikitext-103英文语料进行训练而得到.

5 XLNet及其变体

模型名称隐层数张量维度自注意力头数参数量训练语料xlnet-base-cased1276812110M英文语料xlnet-large-cased24102416240M英文语料

: 编码器具有12个隐层, 输出768维张量, 12个自注意力头, 共110M参数量, 在英文语料上进行训练而得到.
: 编码器具有24个隐层, 输出1024维张量, 16个自注意力头, 共240参数量, 在英文语料上进行训练而得到.

6 XLM

模型名称隐层数张量维度自注意力头数参数量训练语料xlm-mlm-en-204812204816/英文语料

: 编码器具有12个隐层, 输出2048维张量, 16个自注意力头, 在英文文本上进行训练而得到.

7 RoBERTa及其变体

模型名称隐层数张量维度自注意力头数参数量训练语料roberta-base1276812125M英文文本roberta-large24102416355M英文文本

: 编码器具有12个隐层, 输出768维张量, 12个自注意力头, 共125M参数量, 在英文文本上进行训练而得到.
: 编码器具有24个隐层, 输出1024维张量, 16个自注意力头, 共355M参数量, 在英文文本上进行训练而得到.

8 DistilBERT及其变体

模型名称隐层数张量维度自注意力头数参数量训练语料distilbert-base-uncased667681266M/distilbert-base-multilingual-cased67681266M/

: 基于bert-base-uncased的蒸馏(压缩)模型, 编码器具有6个隐层, 输出768维张量, 12个自注意力头, 共66M参数量.
: 基于bert-base-multilingual-uncased的蒸馏(压缩)模型, 编码器具有6个隐层, 输出768维张量, 12个自注意力头, 共66M参数量.

9 ALBERT

模型名称隐层数张量维度自注意力头数参数量训练语料albert-base-v11276812125M英文文本albert-base-v21276812125M英文文本

: 编码器具有12个隐层, 输出768维张量, 12个自注意力头, 共125M参数量, 在英文文本上进行训练而得到.
: 编码器具有12个隐层, 输出768维张量, 12个自注意力头, 共125M参数量, 在英文文本上进行训练而得到, 相比v1使用了更多的数据量, 花费更长的训练时间.

10 T5及其变体

模型名称隐层数张量维度自注意力头数参数量训练语料t5-small6512860MC4语料t5-base1276812220MC4语料t5-large24102416770MC4语料

: 编码器具有6个隐层, 输出512维张量, 8个自注意力头, 共60M参数量, 在C4语料上进行训练而得到.
: 编码器具有12个隐层, 输出768维张量, 12个自注意力头, 共220M参数量, 在C4语料上进行训练而得到.
: 编码器具有24个隐层, 输出1024维张量, 16个自注意力头, 共770M参数量, 在C4语料上进行训练而得到.

11 XLM-RoBERTa及其变体

模型名称隐层数张量维度自注意力头数参数量训练语料xlm-roberta-base127688125M2.5TB的100种语言文本xlm-roberta-large24102716355M2.5TB的100种语言文本

: 编码器具有12个隐层, 输出768维张量, 8个自注意力头, 共125M参数量, 在2.5TB的100种语言文本上进行训练而得到.
: 编码器具有24个隐层, 输出1027维张量, 16个自注意力头, 共355M参数量, 在2.5TB的100种语言文本上进行训练而得到.

本文地址：http://fabua.ksxb.net/quote/5454.html 海之东岸资讯 http://fabua.ksxb.net/ , 查看更多

特别提示：本信息由相关用户自行提供，真实性未证实，仅供参考。请谨慎采用，风险自负。

相关最新动态

推荐最新动态

点击排行