lmu 0.3.0

勒让德记忆单元：递归神经网络中的连续时间表示

Paper

LMU是一种新型的神经再生记忆细胞 跨长时间窗口动态维护信息的网络 资源相对较少。已证明其性能与标准LSTM或 其他基于RNN的模型在各种任务中，通常具有较少的内部参数 （有关详细信息，请参见this paper）。特别是对于置换序列MNIST（psMNIST）任务，它已经被证明优于当前最新的结果。有关如何访问此模型的说明，请参见下面的注释。在

LMU是从数学上推导出来的，用于将其连续的时间历程正交化 因此，通过求解d耦合常微分方程（ODEs），其相空间为 通过Legendre多项式线性映射到滑动时间窗上 d−1（d=12的示例如下所示）。在

单个LMU单元表示以下计算图，该图接受输入 信号，x，并将一个最佳线性存储器m与一个非线性隐藏相耦合 状态，h。默认情况下，此耦合通过反向传播进行训练，而 记忆的动态保持不变。在

离散化的^{str1}$A和^{str1}$B矩阵根据LMU初始化 关于某些选定窗口长度的数学推导，θ。 反向传播可以用来学习这个时间尺度，或者微调^{str1}$A和^{str1}$B， 如有必要。在

内核W和编码器^{str1}$e都可以学习。直觉上，核 学习计算内存中的非线性函数，而编码器则学习 将相关信息投影到内存中（有关详细信息，请参见paper）。在

LMU实现

• ^{kera6}的实现 是最初的LMU实现，以前通常指的是 作为LMU回购）。在

示例

• State of the art performance on psMNIST using KerasLMU
• LMUs in Nengo (with online learning)
• Spiking LMUs in Nengo Loihi (with online learning)
• LMUs in NengoDL (reproducing SotA on psMNIST)

引文

@inproceedings{voelker2019lmu,
  title={Legendre Memory Units: Continuous-Time Representation in Recurrent Neural Networks},
  author={Aaron R. Voelker and Ivana Kaji\'c and Chris Eliasmith},
  booktitle={Advances in Neural Information Processing Systems},
  pages={15544--15553},
  year={2019}
}