强化学习平台安装 Mujoco、mujoco-py、gym、baseline

日萌社

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

---

Mujoco 安装
	1.MuJoCo是一个物理模拟器，可以用于机器人控制优化等研究。
	  官网下载MuJoCo 2.0 对应平台的安装包：https://www.roboti.us/index.html 中的 mujoco200 linux安装包
		mkdir ~/.mujoco
		cp mujoco200_linux.zip ~/.mujoco
		cd ~/.mujoco
		unzip mujoco200_linux.zip
		注意：
			必须把 ~/.mujoco/mujoco200_linux 修改为 ~/.mujoco/mujoco200，
			不论解压出来的文件名是什么都必须改为mujoco200，因为import mujoco_py的时候，
			会报错  You appear to be missing MuJoCo.  
					We expected to find the file here: /home/用户名/.mujoco/mujoco200
			正是因为默认只从~/.mujoco/mujoco200这个路径找。
			
	2.注册通过邮件获取注册码License文件：https://www.roboti.us/license.html
	  注意：MuJoCo 为收费的，30 days免费，下载免费30天的license，可以申请获取学生免费license，
			可以试用1年仅限教育邮箱，所以如果你有教育邮箱的话，就可以申请1年的试用期。
	 
		1.Computer id填写框旁边点击下载对应平台的获取Computer id的程序
		  此处下载的是linux平台的getid_linux可执行文件
			chmod 777 getid_linux 
			./getid_linux 
		2.提交注册信息后，收到邮件，下载附件：LICENSE.txt、mjkey.txt
		3.拷贝许可证：
			cp mjkey.txt ~/.mujoco
			cp mjkey.txt ~/.mujoco/mujoco200/bin
		4.添加环境变量
			vim ~/.bashrc
				export LD_LIBRARY_PATH=~/.mujoco/mujoco200/bin${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
				export MUJOCO_KEY_PATH=~/.mujoco${MUJOCO_KEY_PATH}
			使配置马上生效 source ~/.bashrc	
		5.测试是否安装成功：进入bin目录下 即可运行simulate 打开软件界面
			cd ~/.mujoco/mujoco200/bin
			./simulate ../model/humanoid.xml

mujoco200_linux 安装后运行 simulate 的图像 

---

mujoco-py 安装 
	1.更新、安装依赖项（可选择是否更新、安装）
		sudo apt-get update
		sudo apt-get upgrade
		sudo DEBIAN_FRONTEND=noninteractive apt-get install -y curl git libgl1-mesa-dev libgl1-mesa-glx libglew-dev libosmesa6-dev python3-pip python3-numpy python3-scipy net-tools unzip vim wget xpra xserver-xorg-dev	
		sudo apt-get install -y python-numpy python-dev cmake zlib1g-dev libjpeg-dev xvfb libav-tools xorg-dev python-opengl libboost-all-dev libsdl2-dev swig
		
	2.安装 mujoco-py
		1.下载mujoco-py源码包然后解压
			直接mujoco-py源码包：https://github.com/openai/mujoco-py
			或者 用git下载mujoco-py源码包：git clone https://github.com/openai/mujoco-py.git
			sudo apt install git #安装 git
		2.安装依赖
			cd ~/mujoco-py 或者为 cd ~/mujoco-py-master
			pip3 install -r requirements.txt
			pip3 install -r requirements.dev.txt
		3.安装方式一：
			pip3 install -U 'mujoco-py<2.1,>=2.0'
			  报错：Could not build wheels for mujoco-py which use PEP 517 and cannot be installed directly
			  解决：pip install --no-use-pep517 'mujoco-py<2.1,>=2.0'
			  报错：No such file or directory: 'patchelf': 'patchelf'
			  解决：sudo apt-get update -y
					sudo apt-get install -y patchelf
		4.安装方式二：
			cd ~/mujoco-py/vendor 或者为 cd ~/mujoco-py-master/vendor
			./Xdummy-entrypoint
			cd ..
			注意：
				使用python、pip命令安装时，应注意你的python、pip命令对应的是python的什么版本，
				否则可能会默认使用python2，同时也要注意mujoco-py安装到是哪个版本的python环境，
				后面运行mujoco-py的库代码就必须该python版本的环境。
			sudo python3 setup.py install 
			报错：ImportError: No module named setuptools
			解决：sudo apt-get install python-setuptools
 
		5.测试是否安装成功例子1：
			import mujoco_py
			import os
			mj_path, _ = mujoco_py.utils.discover_mujoco()
			xml_path = os.path.join(mj_path, 'model', 'humanoid.xml')
			model = mujoco_py.load_model_from_path(xml_path)
			sim = mujoco_py.MjSim(model)
			print(sim.data.qpos)
			#[0.  0.  1.4 1.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.  0.
			# 0.  0.  0.  0.  0.  0.  0.  0.  0.  0. ]
			sim.step()
			print(sim.data.qpos)
			#[-1.12164337e-05  7.29847036e-22  1.39975300e+00  9.99999999e-01
			#  1.80085466e-21  4.45933954e-05 -2.70143345e-20  1.30126513e-19
			# -4.63561234e-05 -1.88020744e-20 -2.24492958e-06  4.79357124e-05
			# -6.38208396e-04 -1.61130312e-03 -1.37554006e-03  5.54173825e-05
			# -2.24492958e-06  4.79357124e-05 -6.38208396e-04 -1.61130312e-03
			# -1.37554006e-03 -5.54173825e-05 -5.73572648e-05  7.63833991e-05
			# -2.12765194e-05  5.73572648e-05 -7.63833991e-05 -2.12765194e-05]
		5.测试是否安装成功例子2：
			cd ~/mujoco-py/examples/
			python3 setting_state.py 

测试是否安装mujoco-py的成功例子 

 mjpro150_linux 安装后运行 simulate 的图像

---

gym 安装
	1.sudo apt install git #安装 git
	2.git clone https://github.com/openai/gym.git #拉取源代码
	  cd ~/gym
	  pip install -e '.[all]' # 安装 Gym
		
		1.报错：注意该gym版本要求安装的是mjpro150
			You appear to be missing MuJoCo.  
			We expected to find the file here: /home/nagisa/.mujoco/mjpro150	
			
		2.解决：类似安装mujoco200 linux一样的步骤
			1.官网 https://www.roboti.us/index.html 下载 mjpro150 linux安装包
			   mkdir ~/.mujoco
			   cp mjpro150_linux.zip ~/.mujoco
			   cd ~/.mujoco
			   unzip mjpro150_linux.zip
			2.拷贝许可证：
				cp mjkey.txt ~/.mujoco
				cp mjkey.txt ~/.mujoco/mjpro150/bin
			3.添加环境变量：
				vim ~/.bashrc
					export LD_LIBRARY_PATH=~/.mujoco/mjpro150/bin${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
					export MUJOCO_KEY_PATH=~/.mujoco${MUJOCO_KEY_PATH}
				使配置马上生效 source ~/.bashrc
			4.测试是否安装成功：
				cd ~/.mujoco/mjpro150/bin
				./simulate ../model/humanoid.xml
	3.测试是否安装成功例子1：
		import gym
		env = gym.make("CartPole-v1") # 创建游戏环境
		observation = env.reset() # 游戏回到初始状态
		for _ in range(1000):
			env.render() # 显示当前时间戳的游戏画面
			action = env.action_space.sample() # 随机生成一个动作
			# 与环境交互，返回新的状态，奖励，是否结束标志，其他信息
			observation, reward, done, info = env.step(action)
			if done:#游戏回合结束，复位状态
				observation = env.reset()
		env.close()
		
	4.测试是否安装成功例子2：
		import gym
		env = gym.make('Hero-ram-v0')
		for i_episode in range(20):
			observation = env.reset()
			for t in range(100):
				env.render()
				print(observation)
				action = env.action_space.sample()
				observation, reward, done, info = env.step(action)
				if done:
					print("Episode finished after {} timesteps".format(t+1))
					break

测试是否安装成功gym的例子1 

测试是否安装成功gym的例子2

---

baseline 安装
	OpenAI Baseline是一系列高质量的强化学习控制算法，需要python>=3.5，
	且需要OpenMPI和zlib，有些Baseline example是基于Mujoco 物理仿真环境的。
	1.baseline 安装
		git clone https://github.com/openai/baselines.git
		cd ~/baselines
		pip install -e .
	2.在baseline 中对算法进行测试，需要安装pytest
		pip install pytest
	3.测试是否安装成功
		cd ~/baselines/baselines/her/experiment
		#play.py为调用训练好的参数进行执行
		python play.py policy_best.pkl (后面需要跟着训练好的参数文件)
		
		注意：还必须安装 Nvidia驱动、tensorflow-gpu、CUDA、cuDNN
			pip install tensorflow-gpu
			import tensorflow as tf
			print(tf.__version__)