GymFetch-插孔-开抽屉任务介绍

本文主要是介绍GymFetch-插孔-开抽屉任务介绍，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

GymFetch-插孔开抽屉任务介绍

文章目录

GymFetch-插孔开抽屉任务介绍
- 前言：
- 插孔任务介绍：
- 插孔任务observation的设置：
- 最终效果：
- 抽屉任务：
- - 横版：
  - 竖版：
- 联系方式：

前言：

最近做HER相关对比实验，需要几个验证仿真环境，所以仿照原版gym-fetch的封装格式，借用了metaworld的素材，为了和push，pick有所区别，所以重新搭建了两个环境，一个是随机插孔任务，一个是开抽屉任务。前者目前看来是符合需要的。后者面临着穿模的问题，后面会有所讨论。

开源链接：https://github.com/kaixindelele/GymFetch

插孔任务介绍：

总所周知，mujoco是不能仿真凹形体的，所以如果导入一个3D建模好的插孔盒子，是无法正常模拟的，插入孔中都会出现碰撞的问题。

而插孔任务其实很多论文中都提到了，比如朱玉可的19年那篇best paper, 比如GUAPO算法：
在这里插入图片描述

但好用的，开源的插孔仿真环境，我还真的没怎么找到过，就连robosuite里面都没搭建一个好的插孔任务，我是没想到的，待会儿发个邮件问问他们。目前能找到的都是四个长方形拼成的一个带孔盒子：
在这里插入图片描述

现在有另一个问题，这里的四个box都是没有自由度的，mujoco的box 几何体如果加了joint自由度的话，那么被夹爪接触了之后，会发生偏移，哪怕是将关节阻尼damping='10000000000'都会从缝隙中插进去。

所以这四个box必须得是无自由度的。

这样的话，带孔盒子和孔就是固定的，不利于任务难度的提高。

我必须要随机初始化孔的中心位置，然后根据孔的中心位置，安排box的位置，这样的话，就需要一个坐标生成函数，一个每次reset时，设置box位置的函数。

box坐标生成函数：输入孔的中心坐标xy，和孔的大小，整个盒子的长度一半。
输出四个box的坐标和大小。

    def reset_hole(self, hole_center, half_hole_size=0.02, hsw1y=0.1):cx, cy = hole_centerhsw1x = (hsw1y - half_hole_size) / 2.0w1x = cx - hsw1x - half_hole_sizew1y = cyhsw2x = (2*hsw1y-2*hsw1x)/2.0hsw2y = (hsw1y-half_hole_size)/2.0w2x = w1x + hsw1x + (2*hsw1y-2*hsw1x)/2.0w2y = w1y - hsw1y + (hsw1y-half_hole_size)/2.0hsw3x = hsw2xhsw3y = hsw2yw3x = w2xw3y = w1y + hsw1y - (hsw1y-half_hole_size)/2.0hsw4x = (hsw1y-half_hole_size)/2hsw4y = half_hole_sizew4x = cx + half_hole_size + (hsw1y - half_hole_size) / 2.0w4y = cyreturn (w1x, w1y), (w2x, w2y), (w3x, w3y), (w4x, w4y)

设定body的pos，mujoco中除了set_joint_pos函数外，还能直接给body_pos设定值：

self.sim.model.body_pos[self.sim.model.body_name2id('w4')] = np.array([w4x, w4y, self.sim.model.body_pos[self.sim.model.body_name2id('w4')][2]])

这样就可以随机初始化孔的位置了。

插孔任务observation的设置：

关于环境观察值的输出格式，分为
‘observation’: obs.copy(), 除了desired_goal之外的都在里面
‘grip_goal’: grip_pos.copy(), 夹爪的末端坐标xyz
‘achieved_goal’: achieved_goal.copy(), desired_goal if grip2desire > 2cm else grip_goal，即离得远时，是目标点的坐标（加上移偏置），离的近了，直接变为夹爪坐标。即假设有一个虚拟物块在目标上方，到了之后，贴着夹爪随着夹爪移动。
‘desired_goal’: self.goal.copy(),

上面基本上说清楚了观察值。

关于奖励函数的设置，仍然是稀疏奖励，但是将距离阈值变成了1cm（如果难度过高，回头再调）。