从T5Tokenizer导入t5base失败

2024-05-23 19:16:57 发布

您现在位置:Python中文网/ 问答频道 /正文

我一直在尝试从python中的T5Tokenizer转换器加载经过预训练的t5 base。但是,经过多次尝试后,它无法工作。 The Output shows "None"

!pip install sentencepiece==0.1.91
tokenizer = T5Tokenizer.from_pretrained("t5-base")
print(tokenizer)

上述代码的输出为:无

AGitHub page表示t5 base需要0.1.91版的句子片段库。但是,它仍然无法正常工作,如上图所示

在这种情况下可以做什么


Tags: installpipthe代码fromnoneoutputbase