tfp.diag_jacobian的表现不佳

2024-05-15 09:02:19 发布

您现在位置:Python中文网/ 问答频道 /正文

在我的神经网络中,我使用了神经网络本身的雅可比矩阵,更准确地说,我使用了雅可比矩阵的对角线。我知道了tensorflow-probability函数tfp.diag_jacobian()。但它的表现似乎很糟糕

我在我的代码上运行了tensorflow profiler,它显示NN本身的执行大约需要7毫秒,优化需要5毫秒,但是评估tfp.diag_jacobian()需要2500毫秒!据我所知,tensorflow在每次迭代中都会对雅可比表达式求值,它只需要在编译时对表达式求值一次,而不是在运行时反复求值

我想我的问题是,有没有一种方法可以告诉tensorflow只在编译时计算epxpression,或者有没有更好的方法来替代tfp.diag_jacobian()


Tags: 方法函数代码表达式tensorflow矩阵神经网络nn