我可以在文本分类模型中添加一层元数据吗?

2024-05-23 17:31:40 发布

您现在位置:Python中文网/ 问答频道 /正文

我正试图创建一个多类分类器来识别来自一群议会议员的Facebook帖子主题

我正在使用SimpleTransformers组合一个基于XML RoBERTa的分类模型。有没有办法添加一个带有元数据的嵌入层来改进分类器?(例如,在每个Facebook帖子中添加政党以及文本本身。)


Tags: 数据模型主题facebook分类器分类xml帖子
1条回答
网友
1楼 · 发布于 2024-05-23 17:31:40

如果您有大量的训练数据,我建议将元数据添加到输入字符串中(可能用[SEP]作为另一个句子分隔),然后只训练分类。如果您有足够多的培训示例(我猜数万个就足够了),那么该模型肯定足够强大,可以了解元数据如何与输入语句相互作用

如果您没有足够的数据,我建议只运行XLM RoBERTa来获取特征,独立嵌入元数据,连接特征,并使用多层感知器进行分类。这当然不是简单易懂的转换程序,但是如果您直接在PyTorch中编写分类代码,使用Huggingface的转换器应该很容易

相关问题 更多 >