RoboMIND数据集使用FAQ

Q：数据集支持用命令行下载吗
A：可以在页面上点击了下载以后，将浏览器的链接拷贝，wget +下载连接

Q：robomind数据能拿到相机位姿吗？
A：如果需要内参的话可以提供，外参因为相机产生过位置修改因此不提供

Q：在采UR数据的时候用的是gello+servoJ吗
A：是的

Q：是否有经常遇到C153A4或者类似的protective stop错误码，主要出现在末端受力或和刚性物体的接触中某些关节无法执行servoJ的动作，如果有遇到的话是如何解决的呢？
A：这个不太常遇到，因为是人遥操作的，很少碰撞的情况

Q：在跑模型的时，发现UR在操作有一定重量和刚性的物体的时候，相对franka容易卡住，感觉UR的关节很硬这个是否可调
A：跑模型的时候会保护性停止，这种就算任务失败

Q：用例程读取了数据，一个500M的hdf5文件，解包后只剩下30M左右的gif文件呢？是不是要用有什么特定的解压参数才能还原回原始文件？
A：不用转成gif，可以存成图片应该就正常了，gif是自动压缩了的

Q：下载速度限速了，要如何解决
A： 官方没有限速，猜测用户端网络检测到在下载大量数据所以限速了

Q：视频采集的帧率是多少呢
A： 默认是30Hz

Q：RoboMIND对采集视频的处理用的那个数据标注平台，
A：机械臂的动作数据是直接记录的机械臂的关节值和末端位姿，采集视频没有特殊的后处理，如果是自己采的数据正常用就行

Q：robomind用了那些评测的算法
A：用了ACT，BAKU，OpenVLA和RDT-1B评测。具体评测脚本没有开源，因为这涉及到内部控制机械臂的代码，现在还不太方便开源。目前论文发布在arxiv上了，https://arxiv.org/pdf/2412.13877

Q：开源的仿真环境相关模拟有开放源代码么？像rlbench、aloha、lerobot、pyballet这种相关的环境里跑的数据呢
A：暂未开源

Q：平台怎么登录，为何输入手机号，也获得验证码，但是输入验证码后总提示登录失败
A：尝试用二维码扫一扫登陆，关注一下以后会跳转下一个页面

Q：现在网站上能下载的数据里包含深度信息吗？
A：包含的，是rgbd图像

Q：生成的图片中，有camera_left、camera_right、camera_top，这些应该都不是机器人自己的camera吧，是额外的camera对么？
A：franka是三个外部摄像头，分别在左侧，顶部，右侧，松灵的是两个手眼+1个front摄像头

Q：数据集包含操作过程中同步收集的机器人end-effector轨迹和机器人本体信息吗？下载后，能区分出是什么task吗？
A：包含的，可以区分，每个二级目录就对应一个task

Q：1rgb和3rgb是什么意思？
A：分别来自两台franka机械臂进行采集，一台安装了一个摄像头，另一台安装了3个摄像头

Q：franka research 3有什么推荐的gripper和camera配置呢
A：正常用robotiq85夹爪 + Realsense D435相机，如果想和DROID数据集对齐用zed相机（手眼zed mini 外面zed 2）（但是不太好用，对线缆很敏感 而且sdk也不如Realsense好用）

Q：val的数据有没有保存image信息？
A：保存了，每个任务的轨迹按9:1随机划分为train和val

Q：数据 puppet 以及 master 分别是？
A：master就是遥操作时数据采集人员控制的机械臂，puppet是真正执行任务的机械臂，都是动作量 action，也是机械臂自身状态。

Q：深度数据会有吗
A：有的

Q：后续数据会上传huggingface吗？
>已经上传，链接：https://huggingface.co/datasets/x-humanoid-robomind/RoboMIND

Q：Tien Kung Gello 1RGB数据集的末端0和1哪个表示张开或闭合呢，为什么master和puppet的不一样
A：0是张开，1是闭合，但最好读一个轨迹看看，开始时手是打开的，执行到中间比如抓个东西就会闭合。master是遥操作杆的值，puppet是真机的值，操作时会因为一些传输或者解算的原因，数值上不会完全一样

Q：我想将robomind的hdf5转换成lerobot的结构，robomind数据中的end_effector可以用作action吗？
A：end_effector是末端位置

Q： master是用作action， puppet是用作observation吗？ 有些数据比如UR5 1rgb的master并没有包含末端执行器，是遗漏了还是没有？
A：master 可以理解为操作人员的遥操作装置记录的相关信息【没有的信息在该机型上并不会影响】；而puppet是机械臂实际当前状态的关节值。

一般在训练过程中直接预测puppet即可，因为这些机械臂 (ur/ franka/ 天工等)，都是可以直接驱动机械臂的关节值进行运动。故想要直接地控臂，只需要关注puppet即可。

而松灵机器，其厂家默认的控制接口为：master控puppet。故需要模型预测master。在推理过程中会将master锁住，只是看起来只有puppet在运动

Q：除了松灵机器以外的机器人的master可以作为observation么？
A：还有天工，master为action，puppet为observation

Q：数据集中的eef pose具体是eef的哪个点的呢
A：是机械臂末端法兰

Q：有robomind转lerobot数据的脚本吗？
A： 我们已经开源了x-humanoid-training-toolchain，欢迎关注

Q： puppet 这里是 state （也就是实际上的状态）吗？在实际数据中，有观察到 puppet总是比实际的状态快一点，并且当机器人抓取物体的时候，比如苹果，puppet 的 gripper 状态是完全闭合的 （穿透苹果），，因此推测 puppet 可能是 action，也就是机器人收到的指令而不是实际记录的状态。
A： puppet就是从机械臂读取到的实际到达的状态。除了master和puppet，没有其他记录状态信息的数据了

Q： 请问数据里的language_description_annotation 是人工标注的吗，之后会有更新吗
A： 是大模型进行了初步标注，然后人工进行二次检查和纠错。目前正在推进后续的更新计划

Q： tien kung gello 1rgb里面数据末端0和1表示张开闭合 我看了几个数据轨迹好像全是0没有1 这是啥情况…
A： 看具体任务，有些推拉的任务本身也没有把手闭合

Q： 有一些0.99这种数据，是做了什么处理么？并不是我理解的 0 1二值
A： 这个是一个连续值，不是0 1二值的。只是有的时候采集员扣扳机比较快，可能直接给瞬间拉到闭合状态了

Q： 请问下Robomind论文中提到的快速检查和逐帧检查是如何实现的么，都靠人看么
A：是的，人工质检

Q： 为什么天工gello的数据里面没有language_raw任务描述呢
A：请参考此文件，天工gello的数据对应到task那列 RoboMIND_v1_2_instr.csv

Q： 失败的数据有公开嘛
A：相关同学在抓紧处理了，处理好后会在各平台上传

Q： movement not smooth和mechanical arm shaking有什么区别嘛？
A： 都是轨迹的异常抖动，但是一个是人为操作导致，一个是硬件pid输出导致

Q：我们使用的单臂的机械臂拿取视觉拿取物品，机械臂品牌也不同，针对开源的数据集，有哪些地方是可采用取拿的数据。
A： 我们的数据集都是基于视觉的，看你们使用的机械臂品牌和需求然后选取对应的数据使用，其他数据也可以做一些预训练帮助提升效果。哪怕机械臂品牌不在提供样例数据的范围内，也可以先用这些数据训练，再用您的机械臂数据finetune

Q：尝试使用quick_start.ipyn和read_h5.py这两代码去解析h5_franka_3rgb/place_in_fruit_on_table这个任务，但是都无法成功解析，解析会出现 decode_rgb为None
A： 尝试如下方法，里面有很少的数据存的时候没有compress，所以decode出来是none，这时候直接frombuffer读出来然后reshape就可以了

1. rgb = cv2.imdecode(camera_rgb_image, cv2.IMREAD_COLOR)
   
2. if rgb is None:
   
3.     rgb = np.frombuffer(camera_rgb_image, dtype=np.uint8)
   
4.     if rgb.size == 2764800:
   
5.         rgb = rgb.reshape(720, 1280, 3)
   
6.     elif rgb.size == 921600:
   
7.         rgb = rgb.reshape(480, 640, 3)
   

复制代码