我在试教程TensorFlow 2.0 Magnitude-based weight pruning with Keras 遇到了参数初始稀疏度
import tensorflow_model_optimization as tfmot
from tensorflow_model_optimization.sparsity import keras as sparsity
import numpy as np
epochs = 12
num_train_samples = x_train.shape[0]
end_step = np.ceil(1.0 * num_train_samples / batch_size).astype(np.int32) * epochs
print('End step: ' + str(end_step))
pruning_params = {
'pruning_schedule': sparsity.PolynomialDecay(initial_sparsity=0.50,
final_sparsity=0.90,
begin_step=2000,
end_step=end_step,
frequency=100)
}
教程说:
The parameter used here means:
Sparsity PolynomialDecay is used across the whole training process. We start at the sparsity level 50% and gradually train the model to reach 90% sparsity. X% sparsity means that X% of the weight tensor is going to be pruned away.
我的问题是,你不应该从0%的初始稀疏度开始,然后删掉90%的权重吗
以50%的初始稀疏度开始意味着什么?这是否意味着从开始修剪50%的权重,然后达到90%的稀疏修剪
此外,对于tfmot.sparsity.keras.ConstantSparsity,API如下所示:
pruning_params_unpruned = {
'pruning_schedule': sparsity.ConstantSparsity(
target_sparsity=0.0, begin_step=0,
end_step = 0, frequency=100
)
}
Initializes a Pruning schedule with constant sparsity.
Sparsity is applied in the interval [begin_step, end_step] every frequency steps. At each applicable step, the sparsity(%) is constant.
这是否意味着,如果一个神经网络模型已经处于50%的稀疏水平,但目标_稀疏度=0.5,那么修剪计划将执行以下操作:
你可以在PolynomialDecay和ConstantSparsity中读到它
谢谢
因此,我还发现关于权重修剪的Tensorflow文档非常稀疏,因此我花了一些时间与调试器一起研究如何工作。
修剪时间表是如何工作的
在最基本的层次上,修剪计划只是一个函数,它将该步骤作为输入并生成稀疏百分比。然后使用该稀疏值生成掩码,该掩码用于修剪绝对值小于绝对值权重分布和稀疏百分比给出的k-1值的权重
多项式
类定义:Github Link
上面的类定义中包含的注释帮助我理解了PolynomialDecay调度程序是如何工作的
根据上述等式,当
step == begin_step
时,则current_sparsity = initial_sparsity
。因此,在begin_step
参数指定的步长上,权重将被修剪为initial_sparsity
。我同意你的评估,因为你通常希望在低于50%的稀疏度下开始修剪,但我没有任何发表的研究可以引用来支持这一说法。您可以在多项式decay类定义中引用的paper中找到更多信息,尽管我自己还没有机会阅读它
恒常性
类定义:Github Link
这个调度程序的用途似乎非常有限。对于每个有效的修剪步骤,都会返回
target_sparsity
。因此,多个修剪步骤是非常冗余的。此调度器的用例似乎是在培训期间进行一次性修剪。使用此调度器进行多次修剪的能力是将其与其父抽象类和其他修剪调度器对齐创建自己的修剪计划程序
如果上面的两个调度器不能使您的船浮起来,那么抽象类PruningSchedule将公开一个端点,这使得创建您自己的修剪调度器非常容易,尽管它可能很复杂。下面是我自己创建的一个示例。
免责声明:此调度器是一名19岁大学生想象力的产物,在任何已发表的文献中都没有依据
使用修剪调度器
如果您只希望修剪某些层,而不是所有可修剪的层,则可以对要添加到模型中的层调用
prune_low_magnitude
函数还要确保将
UpdatePruningStep
实例传递给培训回调:相关问题 更多 >
编程相关推荐