Keras：在训练示例中共享一层权重（不是层与层之间）

Question

问题如下。我有一个词汇量大小为25K的分类预测任务。在其中一个任务（输入词汇10K，输出维度即嵌入50），我想引入一个可训练的权重矩阵，用于输入嵌入（形状1，50）和权重（形状（50，128））（无偏差），得到的向量得分与其他特征一起作为预测任务的输入。在

关键是，我认为每个输入的可训练权重矩阵都是不同的，如果我简单地加进去的话。我希望这个权重矩阵在所有输入中都是通用的。在

我应该澄清-这里的输入是指培训示例。所以所有的例子都会学习一些特定于例子的嵌入，然后乘以一个共享的权重矩阵。在

每过这么多个时代，我打算做一次批量更新来学习这些常见的权重（或者使用其他目标变量来进行多个输出预测）

LSTM？这是我应该调查的吗？在

Answer 1

如果我正确地理解了这个问题，你可以在另一个模型中重用层甚至模型。在

以致密层为例。假设你有10个输入

import tensorflow as tf
from tensorflow.keras.layers import Input, Dense
from tensorflow.keras.models import Model
# defining 10 inputs in a List with (X,) shape
inputs = [Input(shape = (X,),name='input_{}'.format(k)) for k in 
range(10)]
# defining a common Dense layer
D = Dense(64, name='one_layer_to_rule_them_all')
nets = [D(inp) for inp in inputs]
model = Model(inputs = inputs, outputs = nets)
model.compile(optimizer='adam', loss='categorical_crossentropy')

如果输入具有不同的形状，此代码将无法工作。对D的第一次调用定义了它的属性。在本例中，输出直接设置为网络。但当然，你可以连接，堆叠，或任何你想要的。在

现在，如果你有一些可训练的模型，你可以用它来代替D：

^{pr2}$

该模型的权重在所有输入之间共享。在