keras_attention_block 0.0.2

说明

路缘石注意块是路缘石增加注意的延伸。它是由于缺乏现有的功能而引起的。 模块本身是纯python，不依赖于标准python发行版和keras之外的模块或包。

关键词：Keras、深度学习、注意力

功能

• 支持一维注意，即输入的维度为批量大小*时间步长*隐藏大小
• 支持二维注意，即输入的维度都是批量大小*x*y*隐藏大小
• 支持自我注意，也就是接受张力。包括四种定义明确的计算：加法、乘法、点积和线性。
• 支持注意，即接受两个张量。包括三种定义明确的计算：加法、乘法和基于点积的计算。
• 支持关注。包括三种定义明确的计算：加法、乘法和基于点积的计算。
• 支持多头注意
• 支持自定义键和查询之间的相似度计算
• 支持自定义的值计算

示例

fromkeras.layersimportmergefromkeras.layers.coreimport*fromkeras.layers.recurrentimportLSTMfromkeras.layersimportConvolution2Dfromkeras.modelsimport*fromkeras.layers.normalizationimportBatchNormalizationfromkeras_attention_blockimport*INPUT_DIM=32TIME_STEPS=20SINGLE_ATTENTION_VECTOR=FalseAPPLY_ATTENTION_BEFORE_LSTM=Falseinputs=Input(shape=(TIME_STEPS,INPUT_DIM))attention_mul=SelfAttention1DLayer(similarity="linear",dropout_rate=0.2)(inputs)#MyLayer((20,32))(inputs)#lstm_units=32#attention_mul = LSTM(lstm_units, return_sequences=False)(attention_mul)attention_mul=Flatten()(attention_mul)output=Dense(1,activation='sigmoid')(attention_mul)m=Model(inputs=[inputs],outputs=output)m.compile(optimizer='adam',loss='binary_crossentropy',metrics=['accuracy'])print(m.summary())train_data=np.random.random((1000,20,32))train_lab=np.random.randint(0,2,1000)m.fit(train_data,train_lab,epochs=1,batch_size=100)

安装

• python -m pip install keras_attention_block

文档

Documentation on Readthedocs。

待办事项

• 三维注意力