基于三维视觉传感器的机器人无序抓取应用方案

温尔文， 何英武

（广州数控设备有限公司， 广东 广州 510530）

随着近年来制造业的转型升级，智能制造行业迎来了高速的发展。

其中，由于人力用工成本的持续攀升，以工业机器人为基础的智能化、 自动化应用在工业生产制造中，得到了大规模的推广。据中国机械工业联合会发布的数据，2021 年中国工业机器人市场累计销售工业机器人27.1 万台，年销量连续九年位居世界首位。而工业视觉技术，作为机器人的“眼睛”，是实现智能化应用的重要一环。目前基于平面特征的二维视觉识别技术已比较成熟，为了适应更复杂的现场应用环境， 提高生产线的柔性和智能化， 采用工业机器人结合三维视觉技术可以提供更多的解决方案，并提高现场部署和调试的效率，实现生产制造柔性化、智能化的加工。

在传统的工业机器人搬运作业场景中， 一般会将工件依次序排列整齐，使用工装夹具将工件精确定位后，再指令机器人到固定位置完成搬运的动作。

这种作业方式适用于大批量的单一产品生产模式， 面对越来越多的小批量、多品种的作业要求，在新形态下的智慧搬运作业模式需要工业机器人具备自动识别、分析、决策等功能，可以根据环境的情况，灵活地、动态地执行控制策略。

本文针对的应用场景为深框密集堆叠工件的无序抓取应用，通过三维视觉识别之后，指令工业机器人将料框内随机摆放、散乱、堆叠的工件逐一搬运到指定的位置。应用中提出的一整套解决方案，涉及三维视觉识别调试、智能决策、通讯协议、流程逻辑设计、运动安全规划等，最终实现三维空间内的自决策无序抓取作业。

为解决六关节工业机器人在深框无序堆叠应用场景下的自动化搬运问题，设计一套自动化解决方案，以各种不同的尺寸的纸质包装箱为目标工件， 自动化搬运系统由工业机器人、三维视觉传感器、抓取工具及其他辅助部件组成，设计示意图见图1 所示。

图1 设计方案示意图

方案主要组件与参数见表1。

表1 自动化搬运方案主要构成组件

1.1 工作流程

机器人自动抓取搬运方案的工作流程（见图2）步骤和要求可分为：

图2 作业流程

Step1：机器人运动到作业原点。在完成好基本的调试和相关工作准备之后， 通过机器人控制器启动整个自动化搬运作业流程。当程序启动后，机器人首先会先移动到预设的作业原点，作为运动的起始点，作业原点的位置应以不产生运动干涉、运动轨迹平顺、不遮挡相机视野为设置原则。

Step2：三维相机拍照。三维相机拍照的信号是由机器人发送给视觉系统的工控电脑进行触发。

Step3：处理图像数据。相机拍照后将数据传送回工控电脑，由电脑运行的软件对数据进行分析处理。软件功能模块包括有位置标定、视觉图像采集、特征识别、空间位姿数据转换、运动路径规划等，通过软件算法的处理，智能筛选出在物料深框中可实现自动化抓取的最合适工件，并将位置和姿态信息发送给工业机器人。

Step4：发送位置数据给机器人。机器人和视觉系统之间使用网络通讯进行双向信息交互，通讯协议自定义。

Step5：自动抓取工件。机器人根据接收到的信息自动移动到目标工件，并根据程序设计自动实现抓取动作。程序设计时需要注意运动路径规划、安全信号、运动干涉、数据通讯、以及与其他传感器的交互等内容。

Step6：
将工件搬运至目标位置。抓取到工件后，机器人运动到指定的放置点， 放下工件后，自动循环下一个动作流程。放置点可根据程序设计不同位置和数量。

1.2 通讯

工业机器人和视觉系统之间使用TCP/IP 协议进行数据交互， 应用层协议为自定义协议，交互的信息主要有：笛卡尔空间位置、 位姿数据、 触发信号、流程控制的握手信号等。

1.3 视觉系统工作模块

1.3.1 相机标定

相机的标定是构建视觉系统的关键步骤， 目的是计算出相机的内外参数，建立相机成像的几何模型，表征出空间物体的三维几何位置和在相机图像中对应位置的相互关系，相机标定的精度越高，三维重建得到的模型就越精准。

1.3.2 图像采集

通过使用视觉传感器， 对环境及相关目标进行图像采集，本系统中视觉采集模块由投影仪、可调节光栅，左右两个相机组成，可获取目标场景或工件的图像数据，包括平面轮廓和深度数据。

左右两个相机模拟人类的左右眼，通过图像处理算法进行三维重建，进行图像采集时应注意环境光线的影响及信号抖动滤波处理。

1.3.3 图像预处理

本方案的图像预处理范围较广， 实际上包括了通常的图像预处理、图像分割等操作。该操作将使用到图像增强算法、中值及均值滤波等算法、阈值分割、聚类分割、多种边缘检测算法、形态学数学处理等。

1.3.4 特征提取

视觉系统在获取到的图像处理过程中， 均需要进行特征提取，将主要的特征如几何形态特征、纹理特征、边缘特征等进行像素归类，组成对应的特征提取集合，提高辨识的特性。

1.3.5 点云数据处理

在三维重建过程中，由于采样数据和特征提取具有一定的的离散性，需要对点云数据进一步加工处理，一般有点云数据滤波、点云采样、点云分割、特征点配准等步骤。

1.3.6 三维模型匹配

通过对两个相机图像的极线校正， 可得到物体的视差图像信息，三维立体匹配可划分为四个步骤：匹配代价计算、代价聚合、视差计算和视差优化。

结合相关匹配算法生成三维空间模型，包含XYZ 和位姿信息。

1.3.7 三维重建

基于主动结构光的三维重建技术是目前主流产品所使用的解决方案， 通过结构光的前后变化以及编解码获得物体的深度信息，从而重建得到物体的三维模型点云。左右图像匹配后会得到视差值D（像素差值），标定时得到的焦距f，将D 和f 两个参数代入式（1）即可求出工件的空间三维坐标（X，Y，Z）。

式中：pixel—CCD 像素的物理尺寸（mm/像素）；
B—2 个摄像头透镜光心的距离（mm）；
px—工件抓取点在图像中x 方向的位置（单位：像素）；
py—工件抓取点在图像中y 方向的位置，（单位：
像素）；
m—图像像素的总行数 （单位：像素）；
n—图像像素的总列数（单位：像素）。

2.1 系统参数配置

三维视觉系统根据现场的条件要求选择好对应的硬件之后，需要通过软件对视觉系统的参数进行配置，建立模板。基于三维图像的重建是一个复杂的过程，采集的点云数据存在大量的噪声、离散点，与应用环境匹配度好的参数设置，可以对数据进行过滤处理，使三维视觉系统获取到稳定可靠的图像采样数据。其中，主要影响图像捕捉的参数有：相机过滤、拍照范围、相机曝光值，见图3。

图3 三维视觉系统建模

相机过滤（Maxcoeff）：相机会自动过滤掉匹配分数过低的图像，过滤值越高，识别越精确。

拍照范围（Range Setting）：相机拍照范围，拍照区域为矩形形状，在拍照范围内，若离相机镜头距离越近，拍摄区域越小，精度越好，若离相机镜头距离越远，拍摄范围越大，精度越低。

相机曝光值（CamExposureTime）：光线进入镜头照射感光元件的时间，若曝光时间越长，光线进入的量越大，成像也就越明亮，曝光时间越短，光线进入的量越小，成像也就越暗。

2.2 视觉标定

2.2.1 相机双目标定

双目标定的目的是求出相机的内、外参数，以及畸变参数（由于每个镜头的畸变程度各不相同，通过相机标定可以矫正这种畸变，生成矫正后的图像），其标定结果的精度直接影响相机工作产生结果的准确性，见图4。

图4 双目相机标定

获取校准图像（GetCalibImages）：
相当于相机标定的启动按钮， 按下该按钮后，相机将会持续识别出拍摄区域的标定板图像并计算，直至标定结束。

2.2.2 机器人手眼标定手眼标定属于相机的外参，表示机器人与相机之间的位姿转换关系，常用的标定方法有ETH（Eye to hand） 和EIH（Eye in hand） 两种方式，本方案采用的是ETH 方式。

在相机视野范围内不同的空间点定义多个不同的位姿，对每个位姿的图像采集后，相机检测到目标在图像中的像素位置， 通过标定算法坐标转换矩阵，将相机的像素坐标变换到机械手的空间坐标系。

2.3 视觉引导及工艺

当视觉系统经过参数匹配和标定之后， 能稳定地辨识出目标范围的工件， 在输入料框的模型数据导入系统后，便完成了整个场景空间物体的三维模型建立。视觉引导系统将对辨识的工件进行评估， 采用包括路径最短、碰撞避障、抓取与退出位姿规划等原则，计算出一个得分最高的目标， 从而实现工件抓取策略的规划， 达到较理想的清框率。

引导系统可以对抓取策略进行配置， 结合抓取手爪的倾角设计， 尽可能地规避由机器人奇异点引起的作业中断，见图6。

图5 手眼标定设置

图6 视觉工艺引导系统

3.1 机器人工具标定

开展机器人深框无序抓取的应用实验， 对机器人有一定的精度要求，需要对机器人进行运动学和工具标定。机器人的工具标定一般采用三点法或五点法来完成，结合本次实验的工况设计，在完成标定后，机器人TCP 工具精度为0.07mm，符合作业要求，见图7。

图7 机器人工具标定示意

3.2 配置通讯

在机器人控制器设置好网络通讯配置， 与视觉工控机进行信息交互，通讯格式可灵活配置（通过SOCKET.INI 文件可修改配置）。

3.3 机器人程序

机器人程序如下：

3.4 异常情况处理

3.4.1 机器人运动超行程范围

调试过程中， 偶有出现机器人运动时某一个轴超运动范围报警，经分析，当视觉系统通过图像分析选定的一个目标工件后，会规划出该目标工件的空间位姿数据，机器人接收到指令后执行。

而发生机器人超行程的原因是视觉系统与机器人之间的运动模型不是一致的， 同一个位姿目标在运动学中可能包含有多个解， 导致一些特殊的位姿状态下，机器人执行导常，出现报警。

改善的方法有：①增加视觉系统和机器人系统的交互，提高对异常数据的诊断能力；
②优化机器人程序设计，当出现报警时，通过干预能快速恢复，自动避开原路径；
③在工件装载容器上设计有倾斜或振动的装置，当遇到极端情况时，可自动改变工件放置状态。

3.4.2 与相机视野外的障碍物发生干涉

由于在视觉系统的模型中没有建立相机视野之外的环境信息，机器人在运动时可能会与某些物件发生碰撞。可以在机器人控制系统中定义一部分干涉区， 使其对这些作业区域进行运动规避。

3.5 实验结果与分析

实验主要在清框率、工作节拍、稳定性三方面进行验证，通过实验开展得出，机器人无序抓取系统的清框率为99%，工作节拍3s/件。

在稳定性方面，自动抓取实验在不同的环境光照条件下分别做了连续运行的验证， 均能保持上述清框率和工件节拍。

通过实验分析， 该应用场景的技术指标可达到应用要求，但在工艺规划、节拍提升、以及部署效率上，仍存在较多问题需要优化，整体系统性能有待提高。工艺规划方面，在机器人运动路径、避障与干涉、工件抓取点和回退点等方面目前需要花费较多时间调试。

为提升工艺规划的智能化，可结合离线编程技术对整体应用环境进行模拟仿真，达到全面性的运动数据和规划。

节拍提升可从控制流程和机器人运动参数两方面展开，加强机器人与视觉系统之间的信号交互，启用多任务管理，使机器人运动过程中即开始视觉拍照和相关的图像处理流程。

另外，整体应用方案的调试效率可提升的空间很大，应加强在三维建模、工件匹配、工艺调试方面的智能化水平，体现更大的柔性化。

最终通过实验的验证， 该三维视觉自动抓取方案性能指标达到实际应用的需求， 并且通过视觉匹配可适用于不同的产品类型，具有推广意义。

同时，在整个实验过程中也了解到，目前的方案在调试和部署时，仍需要耗费较多的工时，主要分布在工艺性的路径规划、节拍提升、安全避障等环节，后续应通过改善规划算法和工艺流程，引入离线编程技术等不同技术方案来探索整体性能的提升，达到更高的智能化水平。

猜你喜欢位姿标定工件融合二维图像和三维点云的相机位姿估计光学精密工程(2022年22期)2022-11-28曲轴线工件划伤问题改进研究装备制造技术(2020年11期)2021-01-26船舶清理机器人定位基准位姿测量技术研究浙江海洋大学学报(自然科学版)(2020年5期)2020-06-19使用朗仁H6 Pro标定北汽绅宝转向角传感器汽车维修与保养(2020年11期)2020-06-09考虑非线性误差的五轴工件安装位置优化制造技术与机床(2019年7期)2019-07-22三坐标在工件测绘中的应用技巧现代机械(2018年1期)2018-04-17基于匀速率26位置法的iIMU-FSAS光纤陀螺仪标定中国惯性技术学报(2017年1期)2017-06-09小型四旋翼飞行器位姿建模及其仿真湖北工业大学学报(2016年5期)2016-02-27基于Harris-张正友平面标定法的摄像机标定算法西安建筑科技大学学报（自然科学版）(2014年6期)2014-11-10水下相机标定算法研究燕山大学学报(2014年3期)2014-03-11