用不同的数据集训练同一个模型

Question

问题是： 我有一个模型，我想用独立的数据集来训练。然后，我想提取每个模型的权重（每个实例的模型都是相同的，但是使用不同的数据集进行训练），最后计算这些权重并求出平均值。基本上，我的目的是模拟在多个设备上运行的tensorflow，然后平均它们的权重，以便它们被一个模型使用。在

我的解决方案： 我将这个模型多次添加到tensorflow中，目前正在使用其唯一的数据集分别训练这些模型。。但这是使用GB的内存，我想知道是否有更好的方法来实现这一点？在

Answer 1

一种可能的解决方案是，您可以使用其他类似的网络（类似的数据集，即，如果您的数据集是图像，则可以使用AlexNet权重）来微调网络权重。不要担心，如果您的网络没有相同的架构，您可以通过“load_with_skip”函数根据需要加载层的权重 https://github.com/joelthchao/tensorflow-finetune-flickr-style/blob/master/network.py

从零开始，微调所需的时间远小于列车网络