天河二号自备有caffe1.0.0的程序库,所以不需要自行编译(如果有特殊需要也可以自行编译)
运行caffe例程有以下几个步骤:
- 加载caffe:
module load caffe/1.0.0
这一步系统会自动加载对应的环境变量进入系统中
调用which caffe
可以查看caffe程序的具体位置。
2. 上传对应的数据和proto文件到相应的文件夹中。
CIFAR10数据需要自己下载,下载地址:
下载后,通过WinScp
上传到EXAMPLE/data
文件夹内
执行caffe自带的convert_cifar_data
程序,在当前目录为data
文件夹下,执行指令convert_cifar_data cifar10 ouput
,将原始bin数据文件转换成caffe能用的lmdb文件。然后执行compute_image_mean -backend=lmdb output/cifar10_train_lmdb output_mean/mean.binaryproto
生成图片的均值lmdb。
`
caffe设置文件使用caffe源码中自带的examples/cifar10中的例程,有两个文件是需要的,cifar10_full_train_test.prototxt
和cifar10_full_solver_lr1.prototxt
上传到EXAMPLE/data
文件夹内。并修改cifar10_full_train_test.prototxt
中的数据源为对应的数据源,包括mean_file,以及source,注意有两个空间需要修改,train
和test
都需要,如图所示。
最终目录如图所示
根目录
data
proto
最终在EXAMPLE/
目录执行执行yhrun -p 你所在的分区代号 caffe train --solver=proto/cifar10_full_solver_lr1.prototxt
启动caffe进程,提交到超算平台分配节点进行计算。