如何表示多层感知神经网络的系数？

Question

出于学习目的，我尝试从stratch编写一个简单的多层感知器（MLP）神经网络，具有：

• 输入层有2500个输入
• 隐藏层1和2有100个神经元
• 输出层有10个输出

和反向传播，而不使用张量流等现成的工具。你知道吗

隐藏层#1中的每个神经元必须连接到2500个输入，并需要存储2500个系数。这同样适用于所有层的所有神经元。你知道吗

问题：从n-1层神经元到n层特定神经元的所有系数通常用哪种数据结构存储？

是否有一个唯一的数据结构（例如Numpy）可以存储整个MLP的所有这些系数？你知道吗

对于这样的事情，张量（n维数组）是必须的吗？你知道吗

Answer 1

神经网络大多只是一系列矩阵乘法和非线性变换。因此，n维数组是自然存储方法。根据应用程序的不同，可以使用存储系数和系数索引的稀疏矩阵。但一般来说，存储只是矩阵。你知道吗

在tensorflow这样的库的保护下，一个很好的方法是查看/实现一个neural network in numpy。你知道吗