Gym-mujoco_py环境下，如何将世界坐标转换到相机坐标

动机

我最近在Gym环境下使用强化学习算法对其进行机械臂的避障训练，使用的“FetchReach-v1”这个环境，已经在模拟环境中训练的比较成功，想要配合目标检测的算法进行新的尝试，在收集数据集的时候遇到了如何将世界坐标向相机坐标转换的问题，在经过我的尝试和搜索，完成了将mujoco_py环境下的世界坐标转换到指定的相机坐标的任务。

如何在Gym中获取图片

首先需要安装gym和Mujoco，并在官网获得license，这里默认已经安装成功，不在赘述。
使用gym的"FetchReach-v1"进行渲染并获取指定相机的图片。

render

import gym

env = gym.make("FetchReach-v1")  # 如果v1报错，可根据提示换成v0
env.reset()
while True:
	env.render()

这是一个最基本的render代码, 可以展现出工作环境，包含一个Fetch机器人、桌子和一个随机移动的目标点，每次reset可以重置机械臂位置和目标点的位置。

使用TAB键可以自由切换场景中存在的相机，我今天要用到的就是这个三号相机。

如何获取该相机下的图片？

“FetchReach”’分为robot_env和fetch_env，fetch_env继承了robot_env，所以会具体实现其函数，其中render()函数在robot_env中定义，在fetch_env中实现。
可以看到，我们能够切换到该相机视角，但是我们如何获取该图像呢？其实在gym中，我们去看它的render源码，会发现他有一种默认的模式叫：“human”：

进入到fetch_env中，可以看到：

我们会发现这里存在另一种渲染模式叫做：“rgb_array”，其返回的data其实就是我们的RGB图像，顺带一提，在data那一行有一个depth参数，如果指定为True的话，data就会返回image和depth两种图像的一个列表。*data[::-1, :, :]*是因为得到的渲染图片是倒像，需要对其进行翻转。
我们试一下:

import gym
import matplotlib.pyplot as plt

env = gym.make("FetchReach-v1")  # 如果v1报错，可根据提示换成v0
env.reset()
img = env.render(mode="rgb_array&