具身智能机器人机器人及夹爪硬件配置环境安装与运行

具身智能机器人机器人及夹爪硬件配置、环境安装与运行1主要内容23UMI硬件配置UMI软件环境部署全流程DiffusionPolicy网络训练1UMI硬件配置UMI硬件配置4UMI1.协作机器人2.夹爪3.视觉相机4.上位机协作机器人5UR5协作机器人末端执行器6大寰二指夹爪PGI-140-80完整组合亿佰特工业级RS485/232转以太网串口服务器模块视觉相机7Goprohero9鱼眼镜头扩展接口电池及充电器完整组合MicroHDMI转HDMI转接线绿巨能HDMI视频采集卡microsd卡上位机8推理（部署使用）训练1.只需可以安装环境并运行eval_real.py，无其它硬性要求；2.USB接口：连接相机；3.RJ45网口：连接机器人。1.显存要求至少24G；2.增加配置只是增加训练速度，对效果无影响；3.可租用云服务器。3DconnexionSpaceMouseWireless无线3D鼠标2UMI软件环境部署全流程1.机器人配置10使用

UR5

示教器获取机器人IP地址：打开eval_robots_config.yaml配置文件，更新robot_ip；设置负载参数，在UR5示教器上，进入Installation

>Payload

菜单；设置质量（mass）为1.81kg设置重心（centerofgravity,CoG）为(2,-6,37)mm，分别对应X、Y和Z轴的坐标评估脚本（evalscript）将自动设置TCP（工具中心点），因此无需手动设置。TCP标定11TCP，又叫工具中心点。机器人出厂设定的TCP在J6轴法兰正中心;tcp校准其实就是通过多次测量计算出工具顶点相对于工具法兰盘的位置;TCP的设置方法有三种：1

三点法2

六点法3

直接输入法2.夹爪配置12获取夹爪IP地址：打开eval_robots_config.yaml配置文件，更新gripper_ip；更改wsg_binary_driver和wsg_controller。3.相机配置13安装GoProLabs

硬件；

解压拷贝至microSD卡插入相机即可3.相机配置14设置日期和时间（推荐使用App）；扫描QR码。相机内参标定15相机内参（IntrinsicParameters）：内参是描述相机内部属性的参数，包括焦距、主点（光学中心）坐标、畸变系数等。内参通常在相机标定时确定，因为它们通常对于特定相机型号是固定的，不随时间变化。相机外参（ExtrinsicParameters）：外参是描述相机在世界坐标系中的位置和姿态的参数，通常包括旋转矩阵和平移向量。外参在不同的相机位置或拍摄时刻可能会发生变化。

针孔相机投影模型相机内参标定16使用OpenImuCameraCalibrator（openicc）标定相机内参得到gopro_intrinsics_2_7k.json拉取dockerimagedockerpullchicheng/openicc:latest运行dockercontainer，将标定数据集拷贝至相同文件夹sudodockerrun-it--rm-v/home/yejiangchen/Downloads/GoPro9:/datasetchicheng/openicc:latest运行标定程序cd/OpenImuCameraCalibratorpython3python/run_gopro_calibration.py--path_to_build/OpenImuCameraCalibrator/build/applications/--image_downsample_factor=2--camera_model=FISHEYE--checker_size_m=0.0246--path_calib_dataset/dataset/dataset3/相机内参标定—数据采集17将标定板.pdf打印到A4纸上，贴在坚硬物体上（如墙面），测量黑色方块的尺寸（以米为单位）（如0.021m）；录制3个视频：1.首先是校准相机，缓慢地绕着板子移动，不希望运动模糊或滚动快门影响结果，录制约20-30秒；2.将GoPro放在地板或桌子上，然后按下录制按钮，将其放置在那里10-20秒，不要触碰它，此视频将用于估计当前的IMU偏差；3.最后录制一段视频。再次录制标定板，确保光照条件良好；运动所有3个轴->3个平移和3个旋转；移动快，但不要太快（运动模糊）；确保标定板大部分可见；创建以下文件夹结构：UMI实现方法：演示接口设计及策略接口设计

182.演示接口设计利用收集到的演示数据，可以训练一个视觉运动策略，该策略接收一系列同步观测(RGB图像、6个自由度的末端执行器姿态和抓手宽度)，并产生一系列动作(末端执行器姿态和抓手宽度)。PD1:Inference-timeLatencyMatching（推理时的延迟匹配）关于如何处理不同硬件设备之间的延迟差异，以确保输入数据的同步性。PD1.1:ObservationLatencyMatching（观察延迟匹配）PD1.2:ActionLatencyMatching（动作延迟匹配）UMI实现方法：演示接口设计及策略接口设计

192.演示接口设计利用收集到的演示数据，可以训练一个视觉运动策略，该策略接收一系列同步观测(RGB图像、6个自由度的末端执行器姿态和抓手宽度)，并产生一系列动作(末端执行器姿态和抓手宽度)PD2:RelativeEnd-EffectorPose（相对末端执行器位置）关于如何表示和处理末端执行器（EE）的位置和动作，以提高策略的鲁棒性和跨硬件平台的通用性。PD2.1RelativeEETrajectoryasActionRepresentation（相对末端执行器轨迹作为动作表示）PD2.2RelativeEETrajectoryasProprioception（相对末端执行器轨迹作为本体感知）PD2.3RelativeInter-gripperProprioception（相对夹具间的本体感知）UMI框架中使用的不同动作表示方法的对比，包括相对轨迹（Relativetrajectory）、增量动作（Deltaaction）、以及绝对动作（Absoluteaction）。3DiffusionPolicy网络训练多卡训练

21Accelerate是为PyTorch用户设计的库，旨在简化分布式训练和混合精度训练过程。accelerateconfigcd~/.cache/huggingface/accelerategeditdefault_config.yamlacceleratelaunchtrain.py--config-name=train_diffusion_unet_timm_umi_workspacetask.dataset_path=example_demo_session/dataset.zarr.zipAutoDL大模型训练方案

22AutoDL平台Pycharm使用教程AutoDL平台4进阶提升相机内参标定

步骤(自制docker版)24使用OpenImuCameraCalibrator（openicc）标定相机内参得到gopro_intrinsics_2_7k.json运行环境：4.5.0<=OpenCV<4.7.0，Ubuntu18.04、20.04和22.041.4.5.0以上的OpenCV版本中包含contrib模块，满足Aruco码检测需求；2.在4.7.0及以上的OpenCV版本中，对ArUco的代码做调整，删去create函数。会出现如下报错：‘create’isnotamemberof‘cv::aruco::DetectorParameters’相机内参标定

步骤(自制docker版)251.下载安装OpenCV4.5.4，流程按照之前课程中介绍依次安装Eigen3、Pangolin、Boost、OpenCV；2.安装ceres2.1；gitclone/ceres-solver/ceres-solvergitcheckout2.1.0mkdir-pbuild&&cdbuild&&cmake..-DBUILD_EXAMPLES=OFF-DCMAKE_BUILD_TYPE=Releasesudomake-jinstall3.安装TheiaSfMfork.gitclone/urbste/pyTheiaSfMcdpyTheiaSfM&&gitcheckout69c3d37&&mkdir-pbuild&&cdbuildcmake..&&make-jsudomakeinstall相机内参标定

步骤(自制docker版)264.安装OpenImuCameraCalibrator；gitclone/urbste/OpenImuCameraCalibratormkdir-pbuild&&cdbuild&&cmake..make-j5.创建python>3.5的环境并安装依赖；condacreate-nenv_namepython=x.xpipinstall