强化学习Reinforcement Learning需要工具的配置,包括(mujoco、mujoco_py、gym、baselines)
配置流程
0.电脑配置情况
网上有一些基本安装流程,在此前提下,根据自己安装以及遇到的问题,来总结下整个安装步骤以及问题解决,也欢迎各位一同来交流学习强化学习。
电脑系统ubuntu16.04,以下内容使用python3.5 (或python3.6),因此通过anaconda建立python3.5的环境。
本文针对CS294的强化学习的前面要求,所以根据课程需要安装以下配置。当然在使用强化学习RL的时候,这些工具也是很常用的。
课程链接:[click here]
这里的anaconda安装以及配置就不讲了,如果需要请看我的另外有一篇文章:
Anaconda常用操作整理
接下来进入正题。
1.安装Tensorflow
此步骤开始,建议配置conda环境,防止影响基本环境。
conda create -n mujoco python=3.5
# 可以根据我另外一篇,安装一下tensorflow
# 主要是后面的baselines需要,也可以先不安装
conda install tensorflow-gpu=1.12 # 这里tensorflow可以选择安装版本
2.安装mujoco150/200
注意:现在的mujoco-py的部分已经更新到v2.0了,可以将以下内容换成mujoco200,其他一样。
MuJoCo(Multi-Joint dynamics with Contact)是一个模拟机器人,生物力学,图形和动画等领域的物理引擎。用于物理仿真分析,主要用于机器人领域的开发和研究。
1)首先mojoco官网的上端菜单的License栏:[click here];
包括:
1.MuJoCo Trial License: 30 days;
2.MuJoCo Personal License: 1 year;
在校学生可以通过学校的Edu邮箱申请一年的使用权限。
申请学生版本的一年License,会在邮箱收到一串Account number;
这里说明一下,发送之后,因为是人工审核,需要大概1-2个工作日以内收到,30天Trial版是立刻收到。
2) 在License界面下载getid_linux,用于得到自己的电脑信息Computer id;
chmod +x getid_linux
./getid_linux
3) 等收到邮件后,将Computer id和Account number输入License界面的以下位置,会受到另一封邮件,包含mjkey.txt;
4) 下载软件,由于cs294课程建议版本是150,这里下载mjpro150 linux;
(同样最新版本地址:mujoco200 linux)
5) 在home的目录下,创建隐藏文件夹.mujoco,然后将安装包解压到此文件夹(也可以手动从下载位置复制到该目录下);
mkdir ~/.mujoco
cp mjpro150_linux.zip ~/.mujoco
cd ~/.mujoco
unzip mjpro150_linux.zip
6) 将前面邮件收到的mjkey.txt拷贝到.mujoco文件夹中;
cp mjkey.txt ~/.mujoco
cp mjkey.txt ~/.mujoco/mjpro150/bin
然后添加环境变量:
gedit ~/.bashrc
加入以下两句到末尾:
export LD_LIBRARY_PATH=~/.mujoco/mjpro150/bin${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export MUJOCO_KEY_PATH=~/.mujoco${MUJOCO_KEY_PATH}
这里提醒一下:mujoc150版本的安装为mjpro150,而200的名字为mujoco200,名字不一样,所以添加到bashrc中的环境变量注意修改。
或者,需要安装mujoco200的版本时,采用以下:
# mujoco200
export LD_LIBRARY_PATH=~/.mujoco/mujoco200/bin${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
7) 以上mujoco安装完成,测试如下:
cd ~/.mujoco/mjpro150/bin
./simulate ../model/humanoid.xml