您好、欢迎来到现金彩票网!
当前位置:2019欢乐棋牌 > 姿态识别 >

一种基于RGBD相机的堆叠工件姿态识别及拾取方法

发布时间:2019-07-27 03:51 来源:未知 编辑:admin

  该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于同济大学,未经同济大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】

  针对以上问题和需求,本发明提出一种基于RGBD相机的堆叠工件姿态识别及拾取方法,对已经加工完成但未进行分类整理的工业零件进行姿态识别,应用场景包括零件堆叠状态下的拾取与分类、零件单个传输过程中的定位拾取等。检测给定区域内符合指定模型的工件,将其识别并进行姿态的估计,得到工件质心的空间坐标,以及工件在检测区域内相对于指定模型姿态的俯仰角度以及旋转角度。通过和机械臂的配合工作,实现工件的定位抓取以及分类的功能。

  如图1所示,本发明提供一种基于RGBD相机的堆叠工件姿态识别及拾取方法,该方法包括如下步骤:

  (2)利用预先获得的待抓取工件的CAD模型进行训练,得到用于匹配的模型。

  (4)将二维彩色图像与训练好的模型进行匹配,框选出工件的轮廓,得到工件在二维平面上的像素位置以及在相机坐标系下粗略的六自由度位姿,并根据工件自身位置及堆叠工件的空间分布情况,对识别出的工件进行打分。

  (5)利用RGBD相机的相机参数将二维位置信息映射到三维,找到三维点云中对应的坐标点,利用最小二乘法进行拟合,确定工件在三维空间中精确的六自由度位置和姿态信息。

  2.对RGB图像进行匹配识别,筛选出符合度最高的轮廓区域,同时获得待检测目标粗略的六自由度位姿;

  该步骤的目的,目标工件实际的位姿状态存在许多种情况,首先我们要知道目标工件的具体形状,即需要预先给定3D的模型,再来判断摄像头视野中的二维平面在三维平面中的具体姿态,所以需要先通过对3D模型进行训练,模拟空间中全方位摄像头视角产生的二维视图,从而得到二维的样板形状;然后进行平面的形状匹配。

  设计的算法与实现:基于3D的CAD模型,将该模型假设作为一个球形空间中的圆心,球面为各个角度的虚拟摄像头对其进行图像采集,遍历每个角度的摄像头可以得到各个角度的不同姿态。如图3和图4所示,图3表示对3D模型进行全视角的二维视觉记录,若此时虚拟相机所处位置如图3红色标记点所示,则此时对应的2D工件模型为图4所示。

  对3D模型进行全视角扫描时,为减少扫描生成的二维模型的大小,缩短训练的时间,提高后期匹配的效率,可对虚拟扫描相机的位姿进行限制,根据球面坐标系的定义,从经度(Longitude)、纬度(Latitude)和距离(Distance)三个维度进行限制:Longitude∈[λmin,λmax],Distance∈[dmin,dmax]。

  根据(1)中所述算法可得到待检测三维对象在不同虚拟相机视角下的2D匹配模板,接下来利用该模板在RGB图像中匹配得到对象轮廓,本方法采用两级多尺度金字塔的穷举算法,寻找待检测对象的轮廓。

  所谓两级多尺度金字塔,是指将(1)中训练得到的多姿态2D模板进行金字塔式的划分。第一级金字塔根据2D模板的姿态范围(指经度、纬度和距离的范围)进行划分,多尺度指划分为每个尺度所覆盖的姿态范围是不同的,这里以最大尺度为Level4为例,则Level4节点所覆盖的姿态范围为Longitude∈[λmin,λmax],Distance∈[dmin,dmax],以Level4的节点为父节点,创建子节点作为Level3的节点,Level3中每个节点的所覆盖的姿态范围均是Level4父节点的子集。以此类推,低尺度Level的节点所覆盖的姿态范围均是高尺度节点所覆盖姿态范围的子集。

  以上阐述了第一级根据姿态范围所划分的金字塔,接下来阐述第二级金字塔,第二级金字塔根据图像的尺寸进行划分,指将图像分成不同级别的尺寸,比如原始图像(尺度Level1)是600×400,Level2图像尺寸为300×200,Level3图像尺寸为150×100,以此类推,进行多个尺度的划分。

  以上阐述了两级多尺度金字塔式划分的含义,在此基础上对待检测对象进行穷举搜索。在根据姿态范围划分的金字塔上,从最高级Level向Level1进行遍历,按照自顶而下的搜索方向,直到找到Level1中能够成功匹配的叶子节点;在根据图像尺寸划分的金字塔中,为了需求更好的速度和满足更高的精度,从金字塔最高级开始,即从较小的尺寸进行搜索,可以匹配比较鲜明的边缘特征,为后面在较大尺寸上进行搜索节约时间,从而整体上提高了搜索速度,也提高了准确性。

  经过以上所算法,能够在二维RGB图像中检测出待识别对象的轮廓信息,并且能够得到工件的重心在图像坐标系中的坐标。以上为接下来六自由度位姿的计算做好准备。

  在对工件实现抓取的过程中,我们需要确定工件的三个维度的信息,本方法中确定出工件重心的x、y、z三个维度的位置信息。通过步骤(2)的算法,我们已经能够确定工件重心在像素坐标系中的二维位置信息,接下来阐述如何利用所得二维位置信息得到工件在相机坐标系下的三维位置坐标。

  首先介绍本方法基于RGBD相机采集的彩色数据流和深度数据流所涉及相机模型及其所涉及的几个坐标系,三维世界中的物体,其图像信息经过摄像机的采集最终成为二维像素坐标点呈现出来,其经历的流程如图7所示。

  数字图像在计算机内存储为M×N的数组,M行N列的图像中的每一个元素(称为像素,pixel)的数值即是图像点的灰度值。如图所示,像素坐标系的坐标原点O0在图像的左上角,U轴为水平方向,V轴为垂直方向,该坐标系的基本单位为像素,矩阵下标为(m,n)的元素存储第(m,n)个像素点的值(如深度、灰度、颜色值等)。

  图像物理坐标系,顾名思义,即以物理单位表示的图像坐标系,根据采集图像的视觉传感器的不同,基本单位是米或毫米等;以摄像机光轴和图像平面的交点作为图像物理坐标系的原点O1,x轴/y轴平行于摄像机坐标系的Xc轴/Yc轴,如下图说明了像素坐标系、物理坐标系及其相互关系。

http://gardenerus.com/zitaishibie/241.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有