准备VGG知觉损失的飞行超分辨率与keras

Question

基本上，我实现了来自论文https://arxiv.org/abs/1603.08155的单图像超分辨率的相同模型。当我试图生成地面真实面片的激活输出时，我遇到了记忆问题，这将用于计算训练期间的知觉损失。我想知道如何在运行中生成输出。在

我使用10k288x288图像块作为地面真实，相应的模糊和下采样的72x72块作为训练数据。对于损耗网络，我使用VGG-16和Relu2-2层的输出。我试着用模型.预测（）输入地面真实补丁并生成相应的激活输出，然后将其传递给模型.拟合（）用于培训。但是数据集似乎太大，它遇到内存问题。我知道在实际操作中，数据集过大是一个常见的问题，解决方法是使用安装发电机（）和ImageDataGenerator以动态生成数据。然而，我不确定如何在我的案例中实现这样的功能。有人能给我解释一下我应该如何实现这个功能，或者我应该采用什么其他方法来处理这个问题？在

### Create Image Transformation Model ###
mainModel = ResnetBuilder.build((3,72,72), 5, basic_block, [1, 1, 1, 1, 1])

### Create Loss Model (VGG16) ###
lossModel = VGG16(include_top=False, weights='imagenet', input_tensor=None, input_shape=(288,288,3))
lossModel.trainable=False
for layer in lossModel.layers:
    layer.trainable=False

### Create New Loss Model (Use Relu2-2 layer output for perceptual loss)
lossModel = Model(lossModel.inputs,lossModel.layers[5].output)
lossModelOutputs = lossModel(mainModel.output)

### Create Full Model ###
fullModel = Model(mainModel.input, lossModelOutputs)

### Compile FUll Model
fullModel.compile(loss='mse', optimizer='adam',metrics=['mse'])
trained_epochs=0
print("fullModel compiled!")

^{pr2}$

MemoryError                               Traceback (most recent call last)
<ipython-input-11-1f5c849e454a> in <module>
----> 1 y_train_lossModel = lossModel.predict(y_train,batch_size=1)
      2 print(y_train_lossModel.shape)
      3 with h5py.File('y_train_lossModel.h5', 'w') as hf:
      4     hf.create_dataset('y_train_lossModel', data=y_train_lossModel)

~/anaconda3/envs/fyp/lib/python3.6/site-packages/keras/engine/training.py in predict(self, x, batch_size, verbose, steps)
   1167                                             batch_size=batch_size,
   1168                                             verbose=verbose,
-> 1169                                             steps=steps)
   1170 
   1171     def train_on_batch(self, x, y,

~/anaconda3/envs/fyp/lib/python3.6/site-packages/keras/engine/training_arrays.py in predict_loop(model, f, ins, batch_size, verbose, steps)
    298                 for batch_out in batch_outs:
    299                     shape = (num_samples,) + batch_out.shape[1:]
--> 300                     outs.append(np.zeros(shape, dtype=batch_out.dtype))
    301             for i, batch_out in enumerate(batch_outs):
    302                 outs[i][batch_start:batch_end] = batch_out

MemoryError: 

### Train the full model
epochs=5
for n in range(trained_epochs+1,trained_epochs+epochs+1):
    print("Epoch",n)
    fullModel.fit(x_train, y_train_lossModel, batch_size=4, epochs=1)
    fullModel.save('full_model.h5')
trained_epochs=n

Answer 1

有两个原因可以解释为什么你会失去记忆：

1. 这个模型不适合你的记忆。如果要在GPU上移动所有计算，请尝试在CPU上运行它们。CPU将要求您的模型存储在RAM中，而RAM通常更大。如果这不起作用，唯一的解决方案就是简化模型（当然也可以升级系统）。在

   2.数据不适合你的记忆。从您的代码中，我不知道x_train的大小。一般来说，你不会把整个训练集作为数据的输入，因为这会减慢你的训练速度（大部分的梯度都是多余的），而且不需要提高性能（它不允许逃离局部最优）。这里的解决方案是将输入分成mini-batches的一小部分。因此，代码应该是这样的：

   for n_epochs in range(num_epochs):
       x_batch, y_batch = getMiniBatch(x_train, y_train)
       model.fit(x_batch, y_batch)