使用预训练的BERT嵌入作为Spacy 3.0中textcat模型的输入

Question

我正在尝试转换到Spacy 3.0的培训配置文件框架，但在调整设置以满足我的需要时遇到了问题。简单地说，我想使用一种开箱即用的textcat模型（比如，单词包），但是在没有任何微调的情况下，传入由预训练的变压器（例如，bert base cased）生成的单词嵌入。到目前为止，我一直在使用Spacy网站上提供的texcat配置模板

任何帮助都将不胜感激。如有必要，我可以提供更多细节。谢谢大家!

Answer 1

尝试以下配置-G切换到transformer和-o accuracy切换到textcat集成模型：

spacy init config -p textcat -G -o accuracy config.cfg

见：https://spacy.io/api/architectures#TextCatEnsemble