Turbot-DL入门教程篇-深度学习框架TensorFlow安装

Turbot-DL入门教程篇-深度学习框架TensorFlow安装

说明：

• 介绍如何在turbot-DL上安装深度学习框架TensorFlow

准备：

• 利用Jetpack安装如下：

  • L4T 24.2.1 an Ubuntu 16.04 64-bit variant (aarch64)
  • CUDA 8.0
  • cuDNN 5.1.5

• TensorFlow安装需要用到CUDA和cuDNN

• TensorFlow占用比较多空间，TX1通常空间不足，最好增加64G+的U盘作为root分区启动，增加交换分区大小为8G+

• 或者挂载U盘作为分区，移植大文件或目录到U盘，并做好ln软连接到原来的目录位置。

• 总体测试下来，安装时间比较长，会有错误出现，根据错误做修复。

• 如果入口脚本命令报错的话，请根据脚本里面的命令一条条执行，并处理错误信息。并可以注释下载类命令，再重复执行。

安装：

• 下载脚本：

mkdir ~/dl
cd ~/dl
git clone https://github.com/jetsonhacks/installTensorFlowTX1.git
cd installTensorFlowTX1

• 使用/usr/local/lib库

$ ./setLocalLib.sh

• 安装依赖：

chmod +x installPrerequisites.sh
./installPrerequisites.sh

• 包含安装java，Protobuf，grpc-java ，Bazel等
• 下载tensorflow代码

$ ./cloneTensorFlow.sh

• 设置环境变量

$ ./setTensorFlowEV.sh

• 编译TensorFlow

$ ./buildTensorFlow.sh

• 编译时间比较长，中间会有自动退出的情况，继续执行命令直到完成
• 打包成whl文件，放在$HOME目录下,如：tensorflow-0.11.0-py2-none-any.whl

$ ./packageTensorFlow.sh

• 安装whl文件

$ pip install $HOME/tensorflow-0.11.0-py2-none-any.whl

• 提示权限问题的话，pip前加sudo

测试：

• 运行TensorFlow例子：

$ cd $HOME/tensorflow
$ time python tensorflow/models/image/mnist/convolutional.py

• 效果如下：

Minibatch loss: 1.662, learning rate: 0.006302
Minibatch error: 0.0%
Validation error: 0.8%
Step 7900 (epoch 9.19), 54.4 ms
Minibatch loss: 1.647, learning rate: 0.006302
Minibatch error: 0.0%
Validation error: 0.8%
Step 8000 (epoch 9.31), 54.6 ms
Minibatch loss: 1.671, learning rate: 0.006302
Minibatch error: 1.6%
Validation error: 0.9%
Step 8100 (epoch 9.43), 54.6 ms
Minibatch loss: 1.625, learning rate: 0.006302
Minibatch error: 0.0%
Validation error: 0.8%
Step 8200 (epoch 9.54), 54.2 ms
Minibatch loss: 1.633, learning rate: 0.006302
Minibatch error: 0.0%
Validation error: 0.9%
Step 8300 (epoch 9.66), 54.4 ms
Minibatch loss: 1.616, learning rate: 0.006302
Minibatch error: 0.0%
Validation error: 0.8%
Step 8400 (epoch 9.77), 54.5 ms
Minibatch loss: 1.604, learning rate: 0.006302
Minibatch error: 0.0%
Validation error: 0.7%
Step 8500 (epoch 9.89), 54.0 ms
Minibatch loss: 1.604, learning rate: 0.006302
Minibatch error: 1.6%
Validation error: 0.9%
Test error: 0.8%

real    8m34.741s
user    4m11.700s
sys         1m24.880s

问题集：

• 问题1：提示找不到http://zlib.net/zlib-1.2.8.tar.gz
• 解决：需要打补丁，cloneTensorFlow.sh里面的打补丁没执行好

• 问题2：提示junit.4.12.jar不能下载
• 解决：修改vim ~/tensorflow/tensorflow/workspace.bzl 更换地址，并去掉校验

  native.http_jar(
      name = "junit_jar",
      #url = "https://github.com/junit-team/junit4/releases/download/r4.12/junit-4.12.jar",
      url = "https://github.com/orrsella/bazel-example/blob/master/third_party/junit/junit-4.12.jar",
      #sha256 = "59721f0805e223d84b90677887d9ff567dc534d7c502ca903c0c2b17f05c116a",
      #sha256 = "fe3d4c56388dc3d74049abae83f4520f6703062e174e16bb5551cdf439ca4f81",
  )

• 问题3：可能会出现多次卡死在编译阶段:./buildTensorFlow.sh
• 解决：增加swap空间为4G，参考方法

参考：

• https://www.tensorflow.org/get_started/os_setup.html
• https://devtalk.nvidia.com/default/topic/901148/tensorflow-on-jetson-tx1/?offset=11
• https://github.com/tensorflow/tensorflow/
• https://github.com/tensorflow/tensorflow/issues/851
• http://www.jetsonhacks.com/2016/12/30/tensorflow-nvidia-jetson-tx1-development-kit/
• https://github.com/jetsonhacks/installTensorFlowTX1
• http://www.jetsonhacks.com/2016/12/30/install-tensorflow-on-nvidia-jetson-tx1-development-kit/
• http://www.jetsonhacks.com/2017/01/15/tensorflow-build-update-jetson-tx1/