基于实时视觉的乒乓球机器人标定和汇集跟踪技术研究——论文笔记

基于实时视觉的乒乓球机器人标定和汇集跟踪技术研究

浙江大学——2009年

 

跟踪目标：乒乓球飞行速度为5m/s

 

目标跟踪方法:

 可变协方差的轨迹

 卡尔曼滤波

 

关键技术：

（1）多目：对多个摄像机的采集同步和曝光时间补偿问题提出了解决方案;

（2）对高速运动物体成像导致的运动模糊现象进行了快速滤波和识别;

（3）采用ROI动态预测算法提高了图像处理和目标跟踪过程的快速性;

（4）单目：在基于/灯/影/摄像机和/乒乓球构建的单目视觉模型上,采用空间的几何约束关系,应用小孔成像和透视原理,给出了一种最小二乘法优化的单目视觉标定方法,不仅标定了摄像机的参数,同时也标定了灯的参数;

（5）双目视觉，对双目视觉下的乒乓球位置的三维空间定位方法和双目摄像机标定方法进行了研究

 

实现步骤：（1）实时图像采集系统；

 实时图像处理和目标识别技术;

 视觉标定技术;

 轨迹跟踪和轨迹预测技术;

 球拍姿态调整策略和手臂控制技术

 

2.1实时图像采集模块

2.1.1 图像采集同步触发和时间传输延迟补偿

采用BalserA6OZFC摄像机  理论帧速率100帧，实际60-89帧

多个相机需要曝光时间相同，windows软件不能完成，需要硬件保证同步

2.1.2软件框架

     VC++和汇编

 

2.2实时图像处理和目标识别

2.2.1颜色空间的快速

数字摄像机的Bayer滤镜和像素点的颇色转换

背景差法对目标物体进行识别，区分前景和背景

2.2.2运动模糊区域的中心定位

曝光时间长，图像亮，模糊区域大，定位困难

椭圆拟合方法，采用最小二乘法的最优化算法，适用于实时处理，利用计算椭圆的中心推测出乒乓球的中心。运行速度0.5ms

2.2.3二维图像中ROI快速跟踪

单目视觉：球、影子、背景

双目视觉：球、背景

图像分割算法，区分背景和目标，背景差，中值滤波，腐蚀和膨胀

框出ＲＯＩ防止遍历扫描，浪费时间

 

动态更新ROI区域的伪代码

图像处理速度小于１０ｍｓ，与图像采集速度同步

2.3精确视觉标定技术

在图像采集和目标识别后，已经获取目标的二维信息，要根据相机情况转化为三维坐标。

视觉标定，需求解内参数，外参数，参数畸变

2.3.１应用于第一代乒乓球机器人的单目视觉标定方法

通过定义空间几何约束方程,在估计平面映射矩阵的基础上,给出辅助灯的灯心三维坐标和摄像机光心三维坐标的最优估计。

详见第３章

2.3.2应用于第二代和第三代乒乓球机器人的双目视觉标定方法

由单目视觉改为双目视觉，因为影子受干扰

详见第４章

２.４快速轨迹跟踪和预测

机器人对乒乓球轨迹的跟踪和预测,基本分为下面的四个步骤(如下图所示):

1,轨迹跟踪阶段,主要是动态跟踪球的飞行状态；

2,反弹前轨迹预测,主要是通过轨迹跟踪中得到的初始速度和初始位置等信息,给

出球和桌面碰撞前的轨迹；

3,碰撞模型,对乒乓球和桌面的碰撞过程进行建模；

4,反弹后轨迹预测阶段,用于预测乒乓球和桌面碰撞后的轨迹。

2.4.１基于一阶空气阻力模型的轨迹预测

轨迹预测,是对轨迹跟踪过程在时间轴上的进一步延伸。

2.4.3桌面乒乓球反弹模型

２.４.４基于神经 络的轨迹预测方法（详见第４章）

2.4.5基于动力学的在线角速度估计

2.5实时球拍姿态和手臂控制策略

3基于单目视觉的标定方法研究

 

图3.12006年单目视觉乒乓球机器人的击球视频截图

由于该视频由普通录像机在１５帧/s的频率下拍摄,乒乓球B因运动模糊呈现一个长条形的区域。乒乓球影子S该影子由飞行中的乒乓球在悬挂于天花板的单个辅助灯照射下产生。

相对而言,单目视觉方案能够快速的完成系统的构建和标定工作,成本低廉,尤其适合乒乓球机器人研制的初始阶段,因此,本实验室自2004年研制第一代乒乓球机器人时,选择了单目视觉系统进行尝试,并积累了相关经验,为后续研究奠定基础。

3.1单目视觉方案的定位原理

3.1.1对Acosta提出的单目视觉方案的改进

仅依靠一个单目摄像机和一个辅助灯,通过获取落在桌面上的影子这个辅助位置信息,实现了乒乓球的三维空间位置的实时定位。

视场：长2740ｍｍ宽1525ｍｍ,离地面高760ｍｍ

３.１.２三维乒乓球位置的定位原理

 

３.１.３单目视觉标定的缘由

借助灯　摄像机　乒乓球实体和乒乓球影子的几何关系,采用最小二乘法对几何参数进行估计,操作简便,对于单目场景中/灯和/摄像机位置的改变具有较强适应能力

第一步,先标定平面映射/投影矩阵的参数,

第二步,标定/灯心和/摄像机光心的位置。

３.１.4摄像机的小孔模型和线性透视变换

3.2平面映射参数标定,桌面映射点I,S三维坐标估计

3.2.1化简后的平面映射关系

公式化简

3.2.2归一化单应性矩阵

计算得到对应于球桌平面的点I三维坐标

同理,根据乒乓球影子在图片中的坐标,可以计算点S的三维坐标。

３.３基于影子的光心Ｆ和灯心L的三维坐标估计

 

3.3.1点到直线的最短距离计算

 

3.3.2空间直线等效交点最优估计

通过此法可以求得空间中若干条光线的汇聚点,也就是F和L点的最优估计．

 

选取图3.5中点X0到X,的距离,作为F和L点的估计误差。测量过程中将标定物摆放于n处不同的位置,则可以得到通过F或者L的n条直线,同时也得到n个误差的统计特征

３.３.３乒乓球三维坐标计算

根据F和L的位置,以及平面映射关系求解S和I的位置,就获得了两直线(直线Fl和直线LS)的方程。

 

乒乓球的三维坐标,即为两条异面直线最短距离的线段中点

３.４实验结果和误差分析

３.４.１验证实验和误差分析

验证标定方法准确性的实验步骤可以分三步进行

3.4.2标定平面映射矩阵实验（求解平面映射矩阵）

3.4.3标定物体 格摆放示意图（求解Ｓ和Ｉ）

3.4.4求解等效的F结果的示意

 

４基于双目视觉的目标定位和轨迹预测研究

采用双目视觉定位乒乓球的步骤,大致分为如下几步:

1,双目视觉标定:即对左右两个摄像机分别进行标定,计算出两个摄像机的内外参

数和崎变参数“

2,二维目标识别:在同步采集得到的左!右摄像机的图片内,分别进行/乒乓球区

域0的目标识别,得到左!右图像坐标系下的二维目标位置,分别记为Pl(u1,vl)和p2(u2,v2)”

3,三维目标定位:根据三角测量和定位理论,通过求解方程组,由Pl和P2计算乒

乓球在三维世界坐标系下的坐标P(xw如八),完成双目视觉关于乒乓球空间位置的定位。

4.2.2基于平面靶标的内外畸变参数标定及实验（张正友标定）

具体标定的过程方法为两步进行:

第一步:先假设摄像机不存在畸变,即采用公式(4.1)和(4.5)所示的线性模型,对采集

得到的图片中的 格点进行识别,利用基于0消失点/的摄像机内参数标定方法!601,得到

初始估计下的摄像机内参数和外参数“

第二步:采用公式(4.6)中的畸变参数模型,按照由三维空间中的点到图像坐标系上做

重投影(reProjection)后的误差最小准则作为优化指标,采用最速梯度下降法对摄像机的各

个参数进行优化,最终得到优化后的摄像机内外参数和畸变参数

利用了Matlabeameraealibrationtoolboxl具箱

４.２.３二维图像坐标系中的定位目标

 

５.１实时轨迹跟踪中的难点问题

５.１.１运动模糊

５.１.２摄像机非线性畸变

５.２隐马尔可夫链和Kalman滤波

 

因此,具体实现算法过程中,在每次采样结

束后,都需要更新夕的值”

主要是卡尔曼滤波