Keras实施的目标辍学
keras-targeted-dropout的Python项目详细描述
Keras目标辍学
使用tensorflow后端非正式实现Targeted Dropout。 注意,在这个实现中没有模型压缩。
安装
pip install keras-targeted-dropout
用法
importkerasfromkeras_targeted_dropoutimportTargetedDropoutmodel=keras.models.Sequential()model.add(TargetedDropout(layer=keras.layers.Dense(units=2,activation='softmax'),drop_rate=0.8,target_rate=0.2,drop_patterns=['kernel'],mode=TargetedDropout.MODE_UNIT,input_shape=(5,),))model.compile(optimizer='adam',loss='mse')model.summary()
drop_rate
:每个像素的退出率。target_rate
:作为候选的底权重的比例drop_patterns
:要删除的权重的名称列表。mode
:TargetedDropout.MODE_UNIT
或TargetedDropout.MODE_WEIGHT
。
最终的辍学率将是drop_rate
乘以target_rate
。