无法导入标记器

Question

我正在尝试使用transformers包中的BertTokenizer部分。首先，我安装如下

pip install transformers

这说明它成功了

当我尝试导入包的以下部分时，我得到以下结果

 from transformers import BertTokenizer
Traceback (most recent call last):

  File "<ipython-input-2-89505a24ece6>", line 1, in <module>
    from transformers import BertTokenizer

  File "C:\Users\User\anaconda3\lib\site-packages\transformers\__init__.py", line 22, in <module>
    from .integrations import (  # isort:skip

  File "C:\Users\User\anaconda3\lib\site-packages\transformers\integrations.py", line 42, in <module>
    from .trainer_utils import PREFIX_CHECKPOINT_DIR, BestRun  # isort:skip

  File "C:\Users\User\anaconda3\lib\site-packages\transformers\trainer_utils.py", line 10, in <module>
    from .tokenization_utils_base import ExplicitEnum

  File "C:\Users\User\anaconda3\lib\site-packages\transformers\tokenization_utils_base.py", line 31, in <module>
    from tokenizers import AddedToken

  File "C:\Users\User\anaconda3\lib\site-packages\tokenizers\__init__.py", line 17, in <module>
    from .tokenizers import Tokenizer, Encoding, AddedToken

ModuleNotFoundError: No module named 'tokenizers.tokenizers'

这个包在这里很详细，所以我想应该可以买到 https://huggingface.co/transformers/model_doc/bert.html

Answer 1

我也有同样的问题。我的系统是Win10

首先，我pip install transformers==4.10.0,tokenizers==0.10.3，然后它就不能工作了

from transformers import AlbertConfig, AlbertForPreTraining, load_tf_weights_in_albert

File "D:\python-venv\pytorch-venv\lib\site-packages\transformers\tokenization_utils_base.py", line 74, in <module>
    from tokenizers import AddedToken
  File "D:\python-venv\pytorch-venv\lib\site-packages\tokenizers\__init__.py", line 79, in <module>
    from .tokenizers import (
ImportError: DLL load failed:

然后，我安装了transformers==2.11.0,tokenizers==0.7.0，它就可以工作了。你可以试试这个

Answer 2

我也有类似的问题。问题似乎是我导入张量流库的方式。我把它从import tensorflow as tf改为import tensorflow

Answer 3

你可以这样做：

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('bert-base-cased')

它应该能正常工作

不管怎样，我做了一个测试，做了你做的，但它对我有效。我不能重现你的错误。可能您没有正确安装库。尝试创建新环境并从头开始安装