点击上方“小白学视觉”,选择加"星标"或“置顶”

点击上方“计算机视觉life”,选择“星标”

快速获得最新干货

整理:公众号@新机器视觉 
本文仅做学术分享,如有侵权,请联系删除。

随着机器视觉应用的日益广泛,大幅面 多相机 视觉系统的需求越来越多,主要应用方向为大幅面高精度的定位与测量和场景拼接等。

重磅干货,第一时间送达

相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图1)

本文转自|新机器视觉

相机标定是进行视觉测量和定位的基础工作之一数码相机资讯,标定参数准确与否直接关系到整个系统的精度,为此根据自己项目中的经验及参考相关的商用视觉软件的做法将相机标定过程中标定图片的获取过程中需要注意的问题总结如下:

标定板拍摄的张数要能覆盖整个测量空间及整个测量视场,把相机图像分成四个象限(如图1所示),应保证拍摄的标定板图像均匀分布在四个象限中,且在每个象限中建议进行不同方向的两次倾斜,图2是一组推荐摆放方式图片。

标定图片的数量通常在15~25张之间,图像数量太少,容易导致标定参数不准确。

多相机视觉系统的难点在于多相机坐标系的统一. 可以分为两类,一是相机视野间无重叠部分,二是相机视野间有重叠部分。

圆或者圆环特征的像素数尽量大于20,标定板的成像尺寸应大致占整幅画面的1/4

用辅助光源对标定板进行打光,保证标定板的亮度足够且均匀

标定板成像不能过爆,过爆会导致特征轮廓的提取的偏移,从而导致圆心提取不准确。

标定板特征成像不能出现明显的离焦距,出现离焦时可通过调整调整标定板的距离、光圈的大小和像距(对于定焦镜头,通常说的调焦就是指调整像距)。

相机间无重叠部分的情况主要用于大幅面多相机高精度的定位和测量,相机间有重叠部分的情况主要用于场景的拼接等。


============================一. 相机间无重叠部分,介绍两种典型方法。1. 使用大标定板统一坐标方案简介: 此方法采用一块大标定板来统一各个相机的坐标,每个大标定板中有若干小标定板,各个小标定板间的位置关系都是已知的,各个相机都能拍摄到一个小标定板。通过各个小标定板可以标定每个相机的内部参数和外部参数,每个相机的坐标都可以转换到各个小标定板的坐标系上,从而统一各个相机的坐标。 
系统结构:相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图2)相机在各个位置拍摄Mark图像,通过图像处理方法得到Mark坐标常用的标定板形式:
相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图3)上图所示为单个标定板图像,大标定板由若干单个标定板组成,标定板的大小和数量根据实际测量情况而定。多个标定板组合示意图:
相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图4)案例分析:(1) 检测目标分析 测量产品需要若干个测量指标。如下图所示。相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图5)(2)图像获取 
采用4只相机来完成所有项目的测量,分别拍到的照片如下图所示。相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图6)(3)检测流程
先分别利用每张图的两条垂直边计算出它们的交点,那么得到的4个交点就可以算出L1和L2的值,如下图所示(以右下角相机为例)。相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图7)注意事项: 
此种方法需要将多只相机的坐标统一到一个坐标系中,并且单一相机还要做自己的校准,保证精度。 根据检测要求,设置取多少个点作为参考,但是这影响测试的时间,需酌情考虑。 应用领域: 
手机和平板电脑面板尺寸的检测。2. 使用相对运动统一坐标方案简介:此方法采用相机和被测物之间的相对运动来统一相机的坐标,相机和被测物只要一方运动即可,记录各个位置的坐标,然后通过数学运算来统一坐标。通常情况下是相机位置固定,被测物通过机械手等运动装置进行移动,然后把相机坐标系统一到机械手等运动装置的原点。 总体结构:相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图8) 方法介绍: 
通过相机拍摄的图像对Mark点进行定位,从而计算出被测物相对于标准位置的偏差,包含角度偏差和位移偏差,最终确定机械装置需要旋转的角度和平移的距离。选用手机触摸屏和手机外壳的定位系统来介绍算法原理。 
手机触摸屏和手机外壳的定位系统,使用多支相机代替一支相机的方法进行定位,使手机触摸屏和手机外壳精确组装。相机分为两组,每组两支相机,一组拍摄手机外壳(组1),一组拍摄触摸屏(组2),两组相机标定方法相同,下面只介绍拍摄手机外壳的两支相机的标定。相机固定,机械手吸住手机外壳移动,两支相机分别拍摄手机外壳的两个定位孔,使用模板匹配的方法对两个定位孔进行识别,如下图所示:相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图9)(1) 通过机械手的移动获取标定所用坐标 (三点线性标定法)组1相机1: 把Mark点移动到相机视野中,定相机的初始位置,得到初始Mark点的中心坐标Point11(cRow11, cColumn11),机械手沿X方向移动一定距离(5mm)后得到Mark点的中心坐标Point12 (cRow12, cColumn12),机械手沿Y方向移动一定距离(6mm)后得到Mark点的中心坐标Point13(cRow13, cColumn13),同时可以得到在上述三个位置机械手的空间坐标Robot11(X1[0],Y1[0])、 Robot12(X1[1],Y1[1]) 、Robot13(X1[2],Y1[2])。 
组1相机2: 同上,把相同Mark点移动到相机视野中,通过相同的操作得到坐标:Point21 (cRow21, cColumn21)、Point22 (cRow22, cColumn22)、Point23 (cRow23, cColumn23)、Robot21 (X2[0],Y2[0])、 Robot22(X2[1],Y2[1])、Robot23(X2[2],Y2[2])。
(2) 图像距离和实际距离之间转换比例关系的确定: 通过数学运算可计算得到比例关系。 (3)  旋转中心的确定 依据三个点就可以确定一个圆的原理,让机械手在初始位置旋转三次,得到Robot31,Robot32和Robot33三个相对于机械手坐标系的坐标点,三个点的坐标就可以求出旋转圆心的坐标。(4) 标准线斜率求取: 需要在两个相机的视野中各选取一点作为标准线的起始点和终点,然后求取此标准线在机械手坐标系中的斜率。调整机械手到合适位置,确定此处为标准位置,此时组1的两支相机分别拍摄初始位置的两个不同的Mark点的图像。通过模板匹配方法找到两个相机初始位置视野中两个Mark点的中心坐标Point10(Row10,Column10)和Point20(Row20,Column20),Point10和Point20确定为标准线的起始点和终点。求取Point10在机械手中的坐标如下图所示,下图中XOY是机械手坐标系,X1O1Y1是组1相机1的图像坐标。
相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图10)通过点到直线的距离运算可以得到d14,d15和d16的实际长度,由于在移动过程中使用的是同一个mark点,d1,d2,d3在相机1和相机2的视野中的值是一样的。从而可以得到Point10在机械手坐标系中的实际坐标为: 
 Point10X=X1[1] d16 d2,Point10Y=Y1[1] (d1-d15)。 
 同样可以得到Point20在机械手坐标系中的实际坐标: 
 Point20X=X2[1] d26 d2,Point20Y=Y2[1] (d1-d25)。求取该标准线斜率; 
 K  = (Point20Y-Point10Y) / (Ponit20X-Point20X)      = (Y2[1]-Y1[1]-d25 d15) / (X2[1]-X1[1] d26-d16) 之后在每次定位时需要和此标准线的斜率进行比较,从而得到和标准线的夹角,最后进行旋转校正。 注意:由于Point10和Point20会落在不同的位置,在计算Point10和Point20的实际坐标时上述公式会有所变化,但原理相同。 定位校准 
以后在每次进行检测时,得到的结果都和标准线进行比较,可以得到和标准线的夹角和相对于标准位置的位置偏差,根据得到的角度和位置偏差进行校正。在校正过程中需要先旋转后平移,做一个闭环反馈系统实时校正。应用领域: 
手机或平板电脑触摸屏和外壳的装配定位。
相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图11)

============================二. 相机间有重叠部分,介绍两种典型方法。1. 标定方法拼接图像 方案简介: 对于有些大幅面物体 ,可以通过拍摄多幅图像,每幅图像覆盖物体的不同的部分。如果摄像机经过标定并且它们与一个共有的世界坐标系之间的相对关系已知,就可以通过不同的图像进行精确测量。 甚至可以将多幅图像拼接为一副覆盖整个物体的大图,这个可以通过将每幅图像都校正到同一个测量平面上实现。在结果图像上,可以直接在世界坐标系中进行测量。 图像拼接示意图:
相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图12)安装: 
两个摄像机或多个摄像机必须安装在一个稳定的平台上,并且每幅图像覆盖整个场景的一部分。摄像机的方位可以随意,也就是说不需要它们看起来平行或垂直于物体表面。调整摄像机焦距、灯光以及交迭区域,使用一个大的可以覆盖整个视野的参照物。为了保证可以将多幅图像拼接为一副大图,它们之间必须存在一个小的交迭区域。交迭区域可以很小,因为这个交迭区域只是为了保证在拼接的结果图像中没有缝隙,下图为交叠区域示意图。
相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图13)标定: 
图像的标定可以分为两个步骤。 
确定每个摄像机的内参。可以分别对每个摄像机进行标定求取摄像机的内参。 
确定所有摄像机的外参。因为最后要将所有的图像转换到某一个世界坐标系中,所以需要使用一个大的标定物,这个标定物可以出现在所有的图像中,它可以由多个标定板组合而成,标定板的数量和使用摄像机的数量一致。下图为两个相机分别拍摄到的标定图像。 
  
注意:为了确定摄像机的外参,每个摄像机只需要拍摄一副标定图像就已经足够。标定物在多个摄像机分别进行拍摄标定图像的过程中不可以移动。理想情况下,这些标定图像应该同时获取。相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图14)将单个图像拼接为一个大图: 
首先,每幅图像都必须进行校正,将这些图像转换到一个共有的坐标系中,它们之间就会正确匹配。在得到所有进行校正图像需要的映射图后,使用两个摄像机拍摄的每个图像对都可以进行校正并且高效的拼接。拼接的结果图由两幅校正后的图像组成,每个校正后的图像占图像的一个部分,下图为校正后的图像和拼接结果。相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图15)应用领域: 
液晶面板表面质量的检测 2. 非标定方法拼接图像 简介: 
此种方法和前三种方法相比精度较低,适用于不需要实现高精度拼接的应用场合。这种拼接方法的优点是不需要进行摄像机标定,并且每幅单独的图像可以自动进行排列。 
拍摄单幅图像规则: 

在拍摄每幅图像时需要遵循下面这些规则: 
(1) 相邻的图像之间必须有交迭 
(2) 图像之间的交迭区域必须有比较明显的特征,这样就可以保证比较精确的自动匹配过程。如果在某些交迭区域内的特征不明显那么可以通过定义合适的图像对来克服。如果整个物体的特征都不是特别明显,那么交迭区域就应该更大一些。 
(3) 交迭的图像的缩放比例必须大约相等。一般情况下,缩放比例的不同不

标定过程,相机的光圈、焦距不能发生改变,改变需要重新标定。

相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图16) 
图1 图像的四象限位相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图17)
图2 标定板合适摆放位置

相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图18) End 相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图18)

下载1:OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复:扩展模块中文教程,即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2:Python视觉实战项目52讲在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。
下载3:OpenCV实战项目20讲在「小白学视觉」公众号后台回复:OpenCV实战项目20讲,即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等群(以后会逐渐细分),请扫描下面号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关群。请勿在群内发送广告,否则会请出群,谢谢理解~

相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图20)

相机标定——标定图片拍摄规范多相机视觉系统的坐标系统标定与统一及其应用(图21)