银河麒麟(Kylin) - V4 移植Tensorflow-1.10.1版本 + Bazel编译工具编译

银河麒麟(Kylin) - V4 移植Tensorflow-1.10.1版本 + Bazel编译工具编译

原因

项目需求：需要用到Tensorflow工具处理数据，在网络上搜索发现ARM平台没有可以直接安装的安装包，想要用这个工具只能编译源码。在此期间测试了Tensorflow其他版本都是因为编译中报各种错误，导致编译失败。项目需求指定操作系统只能用银河麒麟系统V4版本，Tensorflow版本也是指定只能是1.X版本，不能用最新的2.X版本。还好不指定Tensorflow-1.X后面的小版本号。经过长达一个星期的测试编译各种Tensorflow1.X版本，终于在测试编译Tensorflow-1.10.1版本编译成功了！！！
在此记录、方便以后查看。

测试环境

电脑配置

• 主板 ：联想KaiTian M740J
• CPU：飞腾 D2000/8（64位，8核）
• 内存：16G
• 硬盘：256GB
• 系统：银河麒麟桌面操作系统V4
• 平台架构：ARM

准备工作

1、编译Tensorflow有对应的编译工具如图：

注意：

我编译的版本为CPU版本

如果需要GPU版本：点击查看构建工具与Tensorflow对应的版本

• 下载Tensorflow-1.10.1 源码

• https://github.com/tensorflow/tensorflow/tree/r1.10

• 下载 Bazel-0.15.0 源码

• https://github.com/bazelbuild/bazel/tree/0.15.0

2、TensorFlow 软件适配

安装编译需要的依赖包

• Java 8 (e.g. openjdk-8-jre) installed
• Python
• Pip
• NumPy
• python-virtualenv
• Bazel 0.15.0

$ apt-get install python-dev
$ sudo apt update
$ sudo apt install python-pip
$ pip install --upgrade pip
$ pip install setuptools six numpy wheel mock
$ pip install keras_preprocessing
$ apt-get install python-enum34

我的系统自带JDK8版本

没有的话自己下载一个安装：
Install OpenJDK 8

$ wget http://openjdk.linaro.org/releases/jdk8u-server-release-1708.tar.xz
$ tar xvf jdk8u-server-release-1708.tar.xz
$ cd jdk8u-server-release-1708
$ export JAVA_HOME=$PWD
$ cd jre/lib/security/
$ rm cacerts
 
(for CentOS 7) $ ln --symbolic /etc/pki/java/cacerts .
(for Debian Jessie) $ ln --symbolic /etc/ssl/certs/java/cacerts . 
 
 
$ cd jdk8u-server-release-1708/bin
$ export PATH=$PWD:$PATH

编译

1、编译安装Bazel

先创建一个bazel-0.15.0文件夹，在解压bazel-0.15.0-dist.zip文件指向这个创建的bazel-0.15.0文件夹。（不指向文件夹的话解压的所有文件都在当前目录下）
进入bazel-0.15.0文件夹

$ mkdir bazel-0.15.0
$ unzip bazel-0.15.0-dist.zip -d bazel-0.15.0
$ cd bazel-0.15.0

执行编译

$ ./compile.sh
#Copy bazel to $PATH
$ sudo cp output/bazel /usr/bin/

如图：出现这行代表编译完成

编译完成bazel在bazel-0.15.0文件夹的output文件夹里

最后打开output文件夹执行:./bazel会有个初始化的过程，如果正常打印，没有异常抛出那么恭喜你成功了。

把bazel文件拷贝到/usr/bin/下

$ bazel

安装完成

注意：

bazel和tensorflow有版本依赖关系，如果使用bazel编译tensorflow源代码切记版本不要搞错了。

RAM>=4GB,ROM>=16GB，编译整个过程RAM占用一度大于2GB，可能会内存溢出

CPU整个过程都几乎满载，编译过程中注意散热问题，不要编译到一半机器死掉

2、编译安装Tensorflow

• 编译选项和以及平台相关修改
• 针对飞腾平台，需要对部分源码进行少量修改，具体如下:

1. tensorflow/BUILD 文件：
   添加：

config_setting(
       name = "linux_aarch64", 
       values = {"cpu": "aarch64"}, 
       visibility = ["//visibility:public"], 
       )

2. tensorflow/contrib/lite/kernels/internal/BUILD 文件：
   注释掉所有 mfpu 相关的编译选项。

3. 编译选项

$ ./configure

Python 版本路径选择填写：/usr/bin/python

jemalloc的相关选项 Y。

其余选项均选择 N 或 n。

• 编译及安装
  进行编译：

$ bazel build -c opt --copt="-funsafe-math-optimizations"
--copt="-ftree-vectorize" --copt="-fomit-frame-pointer" --verbose_failures
tensorflow/tools/pip_package:build_pip_package

如图：出现这行代表编译完成

$ bazel-bin/tensorflow/tools/pip_package/build_pip_package
/tmp/tensorflow_pkg

如图：Build pip package

得到：tensorflow-1.10.1-cp27-cp27mu-linux_aarch64.whl

1. 编译完成后，tensorflow 包位于：/tmp/tensorflow_pkg/下。
2. 安装 TensorFlow：

$ pip install /tmp/tensorflow_pkg/tensorflow-1.10.1-cp27-cp27mu-linux_aarch64.whl

3. 查看TensorFlow

 $  pip show tensorflow  

4. TensorFlow 软件功能验证
   4.1 验证 TensorFlow 安装
   在 python 交互式环境下验证 TensorFlow 是否正确安装。

看到以上输出，说明 TensorFlow 已经安装完成。

5. 测试demo

#!/usr/bin/env python
import os
import tensorflow as tf
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
 
mnist = tf.keras.datasets.mnist
 
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0
 
model = tf.keras.models.Sequential([
  tf.keras.layers.Flatten(input_shape=(28, 28)),
  tf.keras.layers.Dense(128, activation='relu'),
  tf.keras.layers.Dropout(0.2),
  tf.keras.layers.Dense(10, activation='softmax')
])
 
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
 
model.fit(x_train, y_train, epochs=5)
model.evaluate(x_test, y_test)

执行结果如下

安装完成

编译成功：Kylin-4.0.2-desktop-sp4-arm64 编译完成 bazel-0.15.0

编译成功：Kylin-4.0.2-desktop-sp4-arm64 编译完成tensorflow-1.10.1-cp27-Linux