如何在tegrax2上使用TesnorFlowGPU模型进行推理？

Question

我是Jetson tegra x2董事会的新成员。在

我计划在TX2板上运行我的tensorflow gpu模型，看看它们在那里的表现。这些模型是在GTX GPU机器上训练和测试的。在

在tx2板上，Jetpack full没有tensorflow。所以tensorflow需要构建/安装，我已经看过几篇教程并尝试过了。我的python文件火车.py以及测试.py期望tensorflow gpu。在

现在我怀疑，如果tensorflow gpu建立在tx2板上是正确的方法吗？在

哦，TX2上有Nvidia TensorRT，这可以做一部分工作，但是怎么做呢？对吗？在

tensorflow和tensorRT会一起取代tensorflow gpu吗？但是怎么做呢？那么我需要在训练和测试python文件中做些什么修改呢？在

我真的需要为tx2构建tensorflow吗？我只需要推断我不想在那里训练。在

我研究了不同的博客，尝试了几种选择，但现在事情有点混乱。在

我的简单问题是：

使用GTX机器上训练的TensorFlow GPU深度学习模型在Jetson TX2板上进行推理的步骤是什么？

Answer 1

我根据这个指南在JetsonTX2上构建了tensorflow。它为python2和Python3提供了指令和控制盘。在

• https://github.com/jetsonhacks/installTensorFlowTX2

如果您是Jetson TX2的新手，也可以看看这个“使用TensorRT和NVIDIA Jetson部署深度学习推理网络和深度视觉原语的指南”。（*这不需要安装tensorflow，因为Jetpack已经构建了TensorRT）

• https://github.com/dusty-nv/jetson-inference#building-from-source-on-jetson

如果您有经过tensorflow训练的图，希望在Jetson上运行推理，那么您需要首先安装tensorflow。之后，我们建议（不是强制性的推断）使用tensorRT.检查这些用于对象检测/分类的repos示例使用TensorRT优化。在

• https://github.com/NVIDIA-AI-IOT/tf_trt_models
• https://github.com/NVIDIA-AI-IOT/tf_to_trt_image_classification

Answer 2

您可以在Nvidia的开发者论坛的这个链接中找到python2.7和python3.5的TX2的tensorflowgpuwheel文件。在

https://devtalk.nvidia.com/default/topic/1031300/jetson-tx2/tensorflow-1-8-wheel-with-jetpack-3-2-/

Answer 3

最简单的方法是安装NVIDIA提供的轮子：https://docs.nvidia.com/deeplearning/dgx/install-tf-jetsontx2/index.html

所有依赖项都已由JetPack安装。在

使用控制盘安装Tensorflow之后，您可以使用它，但是在其他平台上使用Tensorflow。为了运行推理，您可以将一个Tensorflow模型下载到TX2内存中，并在其上运行Tensorflow推理脚本。在

您也可以通过TF-TRT来优化张量流模型：https://docs.nvidia.com/deeplearning/dgx/integrate-tf-trt/index.html 只有一个API调用可以进行优化：create_inference_graph（…） 这将优化Tensorflow图（主要是通过融合节点），还可以让您为较低精度构建模型以获得更好的加速。在