节点激活的神经网络检测

Question

我参与了一个研究项目，该项目着眼于在安全关键环境中使用神经网络。这项研究的监管框架的一部分是针对系统内必须没有休眠代码的国家。系统的每个部分都必须有一条路径，并且该路径必须是可测试/可验证的

显然，神经网络是由许多节点组成的。输入/输出节点很容易测试激活，但是有人知道测试隐藏层节点激活的方法吗

显然，激活取决于节点的输入值和激活函数，可能有一种数学方法来实现这一点

最终代码将使用C/C++，但我们正在使用Python进行NN开发。因此，任何涉及相关工具集的想法都将受到感激。我还可以将NN结构和矩阵导出/导入到另一个包或环境中，如果这有助于此测试的话

希望你们都会有很多想法，因为谷歌没有提供任何东西

谢谢

Answer 1

不知何故，techytushar的评论推动了我的大脑进入了一条新的推理路线，我认为这非常有帮助：

因此，我要解决的问题是：“不可能有休眠代码。”也就是说，C行或数组元素永远不会被访问，也永远不会被访问

因此，当经过训练的神经网络作为编译的C应用程序运行时，应用程序将计算每个神经元的值，并计算其激活函数，而不考虑节点的输入值。所以实际上在这方面没有休眠代码或数组元素。此时该节点的激活只有一个真/假输出。它可能会在下一刻改变。它将全部重新计算，即使从数学上讲结果始终为“无激活”

因此，问题就从这个主题转移到确保节点激活的组合不会导致系统处于危险状态。这和原始问题的主题无关，所以我想我可以在这个