pytorch-pretrained-bert 0.6.2

Pythorch Pretrained Bert:预培训变压器的大型扩展存储库

此存储库包含Op Pythorch重新实现的操作、预先培训的模型和微调示例：

• 谷歌的伯特模型，
• openai的gpt模型，
• google/cmu的transformer xl模型，和
• OpenAI的GPT-2模型

这些实现已经在几个数据集上进行了测试（参见示例），并且应该与相关的TensorFlow实现的性能相匹配（例如，Bert的Squad上约91 F1，OpenAI GPT的Rocstories上约88 F1，Transformer XL的WikiText 103上约18.3困惑）。您可以在下面的示例部分中找到更多详细信息。

以下是这些型号的一些信息：

伯特与雅各布·德夫林、张明伟、李肯顿和克里斯蒂娜·图塔诺娃的论文《伯特：深层双向变形金刚语言理解预培训》一起发布。 Bert的Pythorch实现提供了Google的预训练模型、示例、笔记本和命令行界面，用于加载Bert的任何预训练TensorFlow检查点。

openai gpt与alec radford、karthik narasimhan、tim salimans和ilya sutskever的论文一起发布。 openai gpt的pytorch实现是对huggingface的pytorch实现的一个改编，它与openai的预先训练的模型和用于转换pytorch中预先训练的numpy检查点的命令行界面。

google/cmu的transformer xl与论文《transformer xl:attentive language models beyond a fixed length context》一起发布拉克胡迪诺夫。 transformer xl的pytorch实现是对原来的pytorch实现的一个改编，pytorch实现经过了轻微的修改以匹配tensorflow实现的性能并允许重新使用pretrainED砝码。提供了一个命令行界面，用于转换pytorch模型中的tensorflow检查点。

OpenAI GPT-2与论文一起发布，该论文由Alec Radford*、Jeffrey Wu*、Rewon Child、David Luan、Dario Amodei**和Ilya Sutskever*撰写，作者是：语言模型是无监督的多任务学习者。 openai gpt-2的pytorch实现是对openai实现的一个改编，它提供了openai的预先训练模型和一个命令。-用于转换pytorch中tensorflow检查点的行接口。

内容

安装

此repo在python 2.7和3.5+上进行了测试（示例仅在python 3.5+和pytorch 0.4.1/1.0.0上进行测试

具有PIP

Pythorch预培训的BERT可由PIP安装，如下所示：

pip install pytorch-pretrained-bert

如果您想重现openai gpt文件的原始标记化过程，则需要安装ftfy（如果您使用的是python 2，则限制为4.4.3版）和spacy：

pip install spacy ftfy==4.4.3
python -m spacy download en

如果不安装ftfy和spacy，则openai gpt标记器将默认使用bert的basictokenizer和字节对编码进行标记（这对大多数使用来说应该很好，不用担心）。

来源

克隆存储库并运行：

pip install [--editable] .

此外，如果您想重现openai gpt模型的原始标记化过程，则需要安装ftfy（如果您使用的是python 2，则限制为4.4.3版）和spacy：

pip install spacy ftfy==4.4.3
python -m spacy download en

同样，如果您不安装ftfy和spacy，则openai gpt标记器将默认使用bert的basictokenizer和字节对编码（这对大多数使用来说应该很好）进行标记化。

一系列测试包含在测试文件夹中，可以使用pytest运行（如果需要，请安装pytest:pip install pytest）。

您可以使用以下命令运行测试：

python -m pytest -sv tests/

概述

此软件包包含以下类，这些类可以用python导入，并在本自述文件的doc部分中详细说明：

• 八个带有预先训练重量的Pythorch模型（torch.nn.module）（在modeling.py文件中）：

  • bert model-原始bert变压器模型（完全预先培训的），
  • bertformaskedlm-bert transformer带有预先训练的蒙面语言建模头（完全预先训练的），
  • bertfornextsentencepredition-bert transformer，上面有预先训练的下一个句子预测分类器（完全预先训练的），
  • bertforpretraining-带屏蔽语言建模头和下一个句子预测分类器的bert transformer（完全预先训练>）
  • bertforsequenceclassification-顶部有序列分类头的bert transformer（bert transformer是预先训练的，序列分类头仅初始化，必须训练），
  • bertformultiplechoice-顶部有多选头的bert transformer（用于swag之类的任务）（bert transformer是预先训练的，多选分类头仅初始化且必须训练，
  • bertfortokenclassification-顶部带有令牌分类头的bert transformer（bert transformer是预先训练的，令牌分类头仅初始化，必须训练），
  • bertforquestionanswering-顶部有令牌分类头的bert transformer（bert transformer是预先训练的，令牌分类头仅初始化，必须训练）。

• 三个带预先训练重量的Pythorch模型（torch.nn.module）（在modeling\u openai.py文件中）：

  • openai gpt model-原始openai gpt transformer模型（完全预先训练的），
  • openaigptlmheadmodel-openai gpt transformer，顶部是绑定语言建模头（完全预先训练的），
  • openai gpt doubleheadsmodel-openai gpt transformer具有绑定的语言建模头和顶部的多项选择分类头（openai gpt transformer是预先训练的，多项选择分类头仅为ini已初始化，必须接受培训），

• 两个带有预先训练重量的Pythorch模型（torch.nn.module）（在modeling_transfo_xl.py文件中）：

  • transfo xl model-transformer xl model，输出最后一个隐藏的状态和存储单元（完全预先训练的），
  • transfoxllmheadmodel-transformer xl顶部带有绑定的自适应SoftMax头，用于语言建模，输出登录/丢失和存储单元（完全预先训练的），

• 三个带预先训练重量的Pythorch模型（torch.nn.module）（在modeling\u gpt2.py文件中）：

  • gpt2模型-原始openai gpt-2变压器模型（完全预先培训的），
  • gpt2lmheadmodel-openai gpt-2 transformer，顶部是绑定语言建模头（完全预先训练的），
  • gpt2doubleheadsmodel-openai gpt-2变压器h绑定语言建模头和顶部的多项选择分类头（openai gpt-2 transformer是预先训练的，多项选择分类头只初始化，必须训练），

• 用于bert（使用词条）的标记器（在标记化.py文件中）：

  • basictokenizer-基本标记化（标点符号拆分、小写等），
  • wordpiecetokener-wordpiece标记化，
  • bertokenizer-执行端到端的标记化，即基本标记化，然后是字块标记化。

• 用于openai gpt的标记赋予器（使用字节对编码）（在标记化_openai.py文件中）：

  • openaigptokenizer-执行字节对编码（bpe）标记化。

• 用于transformer xl的标记赋予器（自适应softmax按频率排序的单词标记）（在标记化_transfo_xl.py文件中）：

  • openaigptokenizer-执行单词标记化，并可以按频率在语料库中对单词进行排序，以便在自适应softmax中使用。

• 用于openai gpt-2的标记化器（使用字节级字节对编码）（在tokenization\u gpt2.py文件中）：

  • gpt2tokenizer-执行字节级字节对编码（bpe）标记化。

• 用于bert的优化器（在optimization.py文件中）：

  • bert adam-adam算法的bert版本，具有权值衰减修正、预热和学习率的线性衰减。

• 用于openai gpt的优化器（在optimization_openai.py文件中）：

  • openai adam-openai gpt版本的adam算法，具有权值衰减修正、预热和学习率线性衰减。

• bert、openai gpt和transformer xl的配置类（分别位于modeling.py，modeling_openai.py，modeling_transfo_xl.py文件：

  • bertconfig-用于存储bertmodel配置的配置类，以及用于从json配置文件读取和写入的实用程序。
  • openaigptconfig-用于存储openaigptmodel的配置的配置类，以及用于读取和写入json配置文件的实用程序。
  • gpt2config-用于存储gpt2模型配置的配置类，以及用于从json配置文件读取和写入的实用程序。
  • transforxlconfig-配置类，用于存储transforxlmodel的配置，以及用于从json配置文件读取和写入的实用程序。

存储库还包括：

• 关于如何使用bert的五个例子（在examples文件夹中）：

  • extract_features.py-演示如何从bertmodel的实例中提取隐藏状态，
  • run_classifier.py-演示如何在Glue的MRPC任务上微调BertforSequenceClassification的实例，
  • run_squad.py-演示如何在Squad v1.0和Squad v2.0任务上微调BertforQuestionAnswing的实例。
  • run_swag.py-演示如何微调swag任务上的bertformultiplechoice实例。
  • simple_lm_fineting.py-演示如何在目标文本语料库上微调bertforpretraining的实例。

• 一个关于如何使用openai gpt的示例（在示例文件夹中）：

  • run_openai_gpt.py-演示如何微调rocstories任务中的opengptdoubleheadsmodel实例。

• 一个关于如何使用transformer xl的示例（在示例文件夹中）：

  • run_transfo_xl.py-演示如何在WikiText 103上加载和评估预先训练的transfoxllmHeadModel模型。

• 一个关于如何在无条件和交互模式下使用openai gpt-2的示例（在示例文件夹）：

  • run_gpt2.py-演示如何使用OpenAI GPT-2生成文本的实例（与原始OpenAI GPT-2示例相同）。

  这些示例在本自述文件的示例部分中有详细说明。

• 用于检查TensorFlow和Pythorch型号行为是否相同的三个笔记本（在笔记本文件夹中）：

  • 比较tf和pt models.ipynb-比较由bertmodel预测的隐藏状态，
  • 比较tf和pt models squad.ipynb-比较由BertforQuestionAnswering实例预测的跨度，
  • 比较tf和pt models mlm nsp.ipynb-比较bertforpretraining实例的预测。

  这些笔记本在本自述文件的"笔记本"部分中有详细说明。

• 一个命令行接口，用于转换关联pytorch模型的pytorch保存中的tensorflow检查点（bert，transformer xl）或numpy检查点（openai）：

  此cli在本自述文件的命令行界面部分中有详细说明。

用法

伯特

下面是一个使用bertokenizer，bert model和bertformaskedlm类和google ai的预先训练的bert base uncased模型的快速开始示例。有关这些类的所有详细信息，请参见下面的文档部分。

首先，让我们使用bertokenizer

importtorchfrompytorch_pretrained_bertimportBertTokenizer,BertModel,BertForMaskedLM# OPTIONAL: if you want to have more information on what's happening, activate the logger as followsimportlogginglogging.basicConfig(level=logging.INFO)# Load pre-trained model tokenizer (vocabulary)tokenizer=BertTokenizer.from_pretrained('bert-base-uncased')# Tokenized inputtext="[CLS] Who was Jim Henson ? [SEP] Jim Henson was a puppeteer [SEP]"tokenized_text=tokenizer.tokenize(text)# Mask a token that we will try to predict back with `BertForMaskedLM`masked_index=8tokenized_text[masked_index]='[MASK]'asserttokenized_text==['[CLS]','who','was','jim','henson','?','[SEP]','jim','[MASK]','was','a','puppet','##eer','[SEP]']# Convert token to vocabulary indicesindexed_tokens=tokenizer.convert_tokens_to_ids(tokenized_text)# Define sentence A and B indices associated to 1st and 2nd sentences (see paper)segments_ids=[0,0,0,0,0,0,0,1,1,1,1,1,1,1]# Convert inputs to PyTorch tensorstokens_tensor=torch.tensor([indexed_tokens])segments_tensors=torch.tensor([segments_ids])

# Load pre-trained model (weights)model=BertModel.from_pretrained('bert-base-uncased')model.eval()# If you have a GPU, put everything on cudatokens_tensor=tokens_tensor.to('cuda')segments_tensors=segments_tensors.to('cuda')model.to('cuda')# Predict hidden states features for each layerwithtorch.no_grad():encoded_layers,_=model(tokens_tensor,segments_tensors)# We have a hidden states for each of the 12 layers in model bert-base-uncasedassertlen(encoded_layers)==12

# Load pre-trained model (weights)model=BertForMaskedLM.from_pretrained('bert-base-uncased')model.eval()# If you have a GPU, put everything on cudatokens_tensor=tokens_tensor.to('cuda')segments_tensors=segments_tensors.to('cuda')model.to('cuda')# Predict all tokenswithtorch.no_grad():predictions=model(tokens_tensor,segments_tensors)# confirm we were able to predict 'henson'predicted_index=torch.argmax(predictions[0,masked_index]).item()predicted_token=tokenizer.convert_ids_to_tokens([predicted_index])[0]assertpredicted_token=='henson'

importtorchfrompytorch_pretrained_bertimportOpenAIGPTTokenizer,OpenAIGPTModel,OpenAIGPTLMHeadModel# OPTIONAL: if you want to have more information on what's happening, activate the logger as followsimportlogginglogging.basicConfig(level=logging.INFO)# Load pre-trained model tokenizer (vocabulary)tokenizer=OpenAIGPTTokenizer.from_pretrained('openai-gpt')# Tokenized inputtext="Who was Jim Henson ? Jim Henson was a puppeteer"tokenized_text=tokenizer.tokenize(text)# Convert token to vocabulary indicesindexed_tokens=tokenizer.convert_tokens_to_ids(tokenized_text)# Convert inputs to PyTorch tensorstokens_tensor=torch.tensor([indexed_tokens])

pip install pytorch-pretrained-bert

pip install pytorch-pretrained-bert

pip install pytorch-pretrained-bert

pip install pytorch-pretrained-bert

pip install pytorch-pretrained-bert

pip install pytorch-pretrained-bert

pip install pytorch-pretrained-bert

pip install pytorch-pretrained-bert

pip install pytorch-pretrained-bert

pip install pytorch-pretrained-bert

pip install spacy ftfy==4.4.3
python -m spacy download en

pip install spacy ftfy==4.4.3
python -m spacy download en

pip install spacy ftfy==4.4.3
python -m spacy download en

pip install spacy ftfy==4.4.3
python -m spacy download en

pip install spacy ftfy==4.4.3
python -m spacy download en

pip install spacy ftfy==4.4.3
python -m spacy download en

pip install spacy ftfy==4.4.3
python -m spacy download en

pip install spacy ftfy==4.4.3
python -m spacy download en

pip install spacy ftfy==4.4.3
python -m spacy download en

pip install spacy ftfy==4.4.3
python -m spacy download en

pip install [--editable] .

pip install [--editable] .

pip install [--editable] .

pip install [--editable] .

pip install spacy ftfy==4.4.3
python -m spacy download en

pip install spacy ftfy==4.4.3
python -m spacy download en

pip install spacy ftfy==4.4.3
python -m spacy download en

pip install spacy ftfy==4.4.3
python -m spacy download en