当训练一个具有相同初始权值和相同d的模型时，结果不同

Question

我正在尝试做一些迁移学习来调整ResNet50到我的数据集。 问题是，当我用相同的参数再次运行训练时，我得到了不同的结果（train和val集的损失和精度，因此我猜测不同的权重，结果是测试集的错误率不同） 这是我的模型：

权重参数是'imagenet'，所有其他的参数值其实并不重要，重要的是它们对于每次运行都是相同的

def ImageNet_model(train_data, train_labels, param_dict, num_classes):
    X_datagen = get_train_augmented()
    validatin_cut_point= math.ceil(len(train_data)*(1-param_dict["validation_split"]))
    base_model = applications.resnet50.ResNet50(weights=param_dict["weights"], include_top=False, pooling=param_dict["pooling"],
                                                   input_shape=(param_dict["image_size"], param_dict["image_size"],3))  
    # Define the layers in the new classification prediction
    x = base_model.output
    x = Dense(num_classes, activation='relu')(x)  # new FC layer, random init
    predictions = Dense(num_classes, activation='softmax')(x)  # new softmax layer

    model = Model(inputs=base_model.input, outputs=predictions)
    #   Freeze layers
    layers_to_freeze = param_dict["freeze"]
    for layer in model.layers[:layers_to_freeze]:
       layer.trainable = False
    for layer in model.layers[layers_to_freeze:]:
       layer.trainable = True
    sgd = optimizers.SGD(lr=param_dict["lr"], momentum=param_dict["momentum"], decay=param_dict["decay"])
    model.compile(optimizer=sgd, loss='categorical_crossentropy', metrics=['accuracy'])
    lables_ints = [y.argmax() for y in np.array(train_labels)]
    class_weights = class_weight.compute_class_weight('balanced',
                                             np.unique(lables_ints),
                                             np.array(lables_ints))
    train_generator = X_datagen.flow(np.array(train_data)[0:validatin_cut_point],np.array(train_labels)[0:validatin_cut_point], batch_size=param_dict['batch_size'])
    validation_generator = X_datagen.flow(np.array(train_data)[validatin_cut_point:len(train_data)],
                                   np.array(train_labels)[validatin_cut_point:len(train_data)],
                                   batch_size=param_dict['batch_size'])
    history= model.fit_generator(
    train_generator,
    epochs=param_dict['epochs'],
    steps_per_epoch=validatin_cut_point // param_dict['batch_size'],
    validation_data=validation_generator,
    validation_steps=(len(train_data)-validatin_cut_point) // param_dict['batch_size'],
    class_weight=class_weights)
    shuffle=False,class_weight=class_weights)
    graph_of_loss_and_acc(history)
    model.save(param_dict['model_file_name'])
    return model

什么可以使每次运行的输出不同？ 由于初始权重是相同的，所以无法解释差异（我还尝试冻结了一些层，但没有帮助）。有什么想法吗

谢谢

Answer 1

当您在密集层中随机初始化权重时，权重会在不同的运行中以不同的方式初始化，并且也会收敛到不同的局部极小值

x = Dense(num_classes, activation='relu')(x)  # new FC layer, random init

如果希望输出相同，则需要在运行期间使用相同的值初始化权重。您可以阅读有关如何在Keras here上获得可再现结果的详细信息。这些是你需要遵循的步骤

1. 将PYTHONHASHSEED环境变量设置为0
2. 为numpy生成的随机数np.random.seed(SEED)设置随机种子
3. 为Python生成的随机数设置随机种子random.seed(SEED)
4. 为tensorflow后端设置随机状态tf.set_random_seed(SEED)