在pytorch中实现位置嵌入
torch-position-embedding的Python项目详细描述
火把位置嵌入
安装
pip install torch-position-embedding
用法
fromtorch_position-embeddingimportPositionEmbeddingPositionEmbedding(num_embeddings=5,embedding_dim=10,mode=PositionEmbedding.MODE_ADD)
模式:
MODE_EXPAND
:负指数可以用来表示相对位置。MODE_ADD
:将位置嵌入添加到原始张量。MODE_CAT
:将位置嵌入连接到原始张量。