视觉测量使用的日益广泛和频繁,对于基础知识的学习是掌握机器视觉的学习的关键;本文针对成像模型,坐标系转换和相机标定等知识进行简介,虽然网上相关资料很多,但是本人在学习过程中同样为某些概念所困扰,写下学习总结一方面希望通过本文能为初学者解答相关概念,另一方面希望能够作为总结,加深自身印象。

文章包含 3 大部分,第一部分介绍相机成像模型,针对小孔成像原理和透视成像原理进行描述;第二部分介绍成像过程中的四个坐标系和三次坐标转换;第三部分介绍使用最多的自由平面相机标定法:张氏标定法;


成像简介

在实际成像过程中,经常会使用针孔模型作为相机成像模型的近似;针孔成像的原理:现实世界源于物体的光线穿过针孔,在底板上投影成一幅倒立的图像;


点击上方“小白学视觉”,选择加"星标"或“置顶”

工业相机标定相关知识整理相机模型与张氏标定(图1)

重磅干货,第一时间送达

图一:针孔成像原理

工业相机标定相关知识整理相机模型与张氏标定(图2)

工业相机标定相关知识整理相机模型与张氏标定(图3)

本文转自 | 新机器视觉相机标定内参和外参

在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为相机标定(或摄像机标定)。无论是在图像测量或者机器视觉应用中,相机参数的标定都是非常关键的环节,其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性,做好相机标定和提高标定精度是做好后续工作的前提。

图二:左图为2维针孔成像模型;右图为透视投影模型

相机标定中所要确定的几何模型参数分为内参和外参两种类型。相机内参的作用是确定相机从三维空间到二维图像的投影关系。相机外参的作用是确定相机坐标与世界坐标系之间相对位置关系。

对针孔模型进行二维化简,可以看出物体光线经过小孔后成倒立的像;但是成倒立的像表述比较口;因此对小孔成像进行化简成右图的形式,右图也称为透视投影模型;透视成像模型与小孔模型相比,光心位于成像平面的后方,成正立的实像,更符合实际成像过程;

透视投影将三维空间点投影到二维平面上,对于三维空间中一点,与相机光心,投影点三点连线在同一条线上;后续我们将使用透视投影模型作为成像分析的基础。

相机内参共有6个参数(f,κ,Sx,Sy,Cx,Cy),其中:

        f为焦距; 


坐标系转换

在投射投影模型中成像具有以下几个过程,涉及到 4 个坐标系之间的三个转换:

工业相机标定相关知识整理相机模型与张氏标定(图4)

图三:相机成像过程

        κ表示径向畸变量级,如果κ为负值,畸变为桶型畸变,如果为正值,那畸变为枕型畸变。


坐标系介绍

1.空间三维坐标系

三维空间坐标系即世界坐标系,是一个绝对的坐标系,所有三维点在世界坐标系下能够反映各自的位置关系;世界坐标系的原点是不固定的,随着应用场景不同,世界坐标系原点不同;在相机标定过程中,世界坐标系置于标定板的棋盘格的左上端。

工业相机标定相关知识整理相机模型与张氏标定(图5)

        Sx,Sy是缩放比例因子。一般情况下相机成像单元不是严格的矩形的,其在水平和垂直方向上的大小是不一致的,这就导致在X和Y方向上的缩放因子不一样,所以需要分别定义两个缩放因子。对针孔摄像机来讲,表示图像传感器上水平和垂直方向上相邻像素之间的距离;                   

        Cx,Cy是图像的主点,即过镜头轴心垂直于成像平面与图像平面的交点。对针孔摄像机来讲,这个点是投影中心在成像平面上的垂直投影,同时也是径向畸变的中心 。

图四:世界坐标系

世界坐标系和相机三维坐标系都是三维坐标系,但是坐标系原点不同;两个三维坐标系可通过平移和旋转进行相互转换;物理意义:一个三维点在世界坐标系下的坐标可通过平移和旋转,转换到另一个不同原点的三维坐标系下。

工业相机标定相关知识整理相机模型与张氏标定(图6)

图五:平移和旋转转换三维坐标系

假设世界坐标系下物体点 P 的坐标( Xw, Yw, Zw),经过旋转矩阵 R 和平移矩阵 t 变换后,转换为相机坐标系下坐标( Xc, Yc, Zc ),则转换过程可表为:

 摄像机外参共有6个参数(α,β,γ,Tx,Ty,Tz),相机坐标与世界坐标的关系可以表述为:

                               Pc= RPw + T

     其中Pw为世界坐标,Pc是摄像机坐标。式中,T= (Tx,Ty,Tz),是平移向量,R =R(α,β,γ)是旋转矩阵,分别是绕摄像机坐标系z轴旋转角度为γ,绕y轴旋转角度为β,绕x轴旋转角度为α。6个参数组成(α,β,γ,Tx,Ty,Tz)为摄像机外参。

工业相机标定相关知识整理相机模型与张氏标定(图7)

通常情况下,通过镜头,一个三维空间中的物体会被映射成一个倒立缩小的像,然后被成像传感器感知到。

●理想情况下,镜头的光轴(就是通过镜头中心垂直于传感器平面的直线)应该是穿过图像的正中间的,但是,实际由于安装精度的问题,总是存在误差,即光轴偏移,这种误差需要用内参来描述; 

●理想情况下,相机对x方向和y方向的尺寸的缩小比例是一样的,但实际上,镜头如果不是完美的圆,传感器上的像素如果不是完美的紧密排列的正方形,都可能会导致这两个方向的缩小比例不一致。内参中包含两个参数可以描述这两个方向的缩放比例,不仅可以将用像素数量来衡量的长度转换成三维空间中的用其它单位(比如米)来衡量的长度,也可以表示在x和y方向的尺度变换的不一致性;

●理想情况下,镜头会将一个三维空间中的直线也映射成直线(即射影变换),但实际上,镜头无法这么完美,通过镜头映射之后,直线会变弯,所以需要相机的畸变参数来描述这种变形效果。以下三种畸变分别为枕形畸变、桶形畸变和线性畸变。

用矩阵表达:

工业相机标定相关知识整理相机模型与张氏标定(图8)

工业相机标定相关知识整理相机模型与张氏标定(图9)            工业相机标定相关知识整理相机模型与张氏标定(图10)            工业相机标定相关知识整理相机模型与张氏标定(图11)

工业相机标定相关知识整理相机模型与张氏标定(图12)是相机模型的外参

2.相机三维坐标系

相机坐标系是以相机光心 O 为原点的三维坐标系,世界坐标系下的三维点通过欧式变换(平移和旋转),可转换到相机坐标系中;相机坐标系的点到图像坐标系的点,通过透视变换进行转换;其中图像坐标系是一个二维坐标系,可理解为相机坐标系中距离相机光心 距离为f(Zc=f) ,与光心 Zc=0平 面平行的一个平面;

相机标定的方法

相机标定方法有:传统相机标定法、相机自标定法、主动视觉相机标定方法。

工业相机标定相关知识整理相机模型与张氏标定(图13)

图六:透视变换

传统相机标定法需要使用尺寸已知的标定物,通过建立标定物上坐标已知的点与其图像点之间的对应,利用一定的算法获得相机模型的内外参数。根据标定物的不同可分为三维标定物和平面型标定物。三维标定物可由单幅图像进行标定,标定精度较高,但高精密三维标定物的加工和维护较困难。平面型标定物比三维标定物制作简单,精度易保证,但标定时必须采用两幅或两幅以上的图像。传统相机标定法在标定过程中始终需要标定物,且标定物的制作精度会影响标定结果。同时有些场合不适合放置标定物也限制了传统相机标定法的应用。

传统的相机标定方法的优点是可以使用于任意的摄像机模型,标定精度高,缺点是标定过程复杂,需要高精度的标定模板,在一些场合下无法使用标定块。

将所有相机光心的坐标投影到 Zc=f 的平面上则:

目前出现的自标定算法中主要是利用相机运动的约束。相机的运动约束条件太强,因此使得其在实际中并不实用。利用场景约束主要是利用场景中的一些平行或者正交的信息。其中空间平行线在相机图像平面上的交点被称为消失点,它是射影几何中一个非常重要的特征,所以很多学者研究了基于消失点的相机自标定方法。自标定方法灵活性强,可对相机进行在线定标。但由于它是基于绝对二次曲线或曲面的方法,其算法鲁棒性差。仅仅依靠多幅图像之间的对应关系进行标定,优点是仅需要建立图像之间的对应,灵活性强,潜在应用范围广,缺点是非线性标定,鲁棒性不高。

工业相机标定相关知识整理相机模型与张氏标定(图14)

矩阵形式:

工业相机标定相关知识整理相机模型与张氏标定(图15)

基于主动视觉的相机标定法是指已知相机的某些运动信息对相机进行标定。该方法不需要标定物,但需要控制相机做某些特殊运动,利用这种运动的特殊性可以计算出相机内部参数。基于主动视觉的相机标定法的优点是算法简单,往往能够获得线性解,故鲁棒性较高,缺点是系统的成本高、实验设备昂贵、实验条件要求高,而且不适合于运动参数位置或无法控制的场合。

3.图像坐标系

主动视觉相机标定方法应用的前提是已知相机的某些运动信息,优点是可以线性求解,鲁棒性较好,缺点是不能使用与相机运动信息未知和无法控制相机运动的场合。

工业相机标定相关知识整理相机模型与张氏标定(图16)

图七:图像坐标系

图像坐标系( Zc = f 的平面)是二维坐标系,描述相机坐标系中投影点在图像上的投影位置,一般坐标中心在相机Zc坐标轴上,xy坐标轴分别与相机坐标系中 XY轴平行;图像坐标系描述透视变换后空间点在图像上成像的位置坐标;

4.像素坐标系

标定模板

标定模板(标定板 Calibration Target) 在机器视觉、图像测量、摄影测量、三维重建等应用中,为校正镜头畸变;确定物理尺寸和像素间的换算关系;以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,需要建立相机成像的几何模型。通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算,可以得出相机的几何模型,从而得到高精度的测量和重建结果。而带有固定间距图案阵列的平板就是标定模板(标定板 Calibration Target)。

常见标定模板种类

图像坐标 (x,y) 转换到像素坐标 (u,v) ,通过量化像素大小,计算投影点所在的像素位置;其中单个像素在x轴上的大小dx,y轴上的大小dy;一般在摄影测量中像素坐标系的原点在左下方;计算机视觉中像素坐标系的原点在左上方;本文以计算机视觉为准,原点在左上方如图7所示;

1)等间距实心圆阵列图案 Ti-times CG-100-D

工业相机标定相关知识整理相机模型与张氏标定(图17)

2)国际象棋盘图案 Ti-times CG-076-T

工业相机标定相关知识整理相机模型与张氏标定(图18) 

工业相机标定相关知识整理相机模型与张氏标定(图19)

    一般需要20张图片,这只是一个经验值,实际上太多也不好,太少也不好。单纯从统计上来看,可能越多会越好,但是,实际上图片太多可能会让参数优化的结果变差,因为棋盘格角点坐标的确定是存在误差的,而且这种误差很难说是符合高斯分布的,同时,标定过程所用的非线性迭代优化算法不能保证总是得到最优解,而更多的图片,可能会增加算法陷入局部最优的可能性。

使用矩阵的形式表达:

拍照时的标定板位置和朝向的多样性,会让内参的估计更为准确。准确的内参可以较好地把整个图像的畸变都进行矫正,但如果给定的标定板的位置过于单一,比如都是在图像的左上角,那么优化得到的内参也可能只会比较好地纠正图像左上角的畸变。推荐找个畸变较大的镜头做做实验,会更形象。·        

工业相机标定相关知识整理相机模型与张氏标定(图20)

为了获取齐次坐标,最后一行可以添加 1 进行补充;

由于存在加工误差,像素不是绝对的矩形,是平行四边形形状;引入倾斜因子 工业相机标定相关知识整理相机模型与张氏标定(图21)

工业相机标定相关知识整理相机模型与张氏标定(图22)

图八:像素倾斜

此时公式(3)可描述成工业相机标定相关知识整理相机模型与张氏标定(图23),在实际标定过程中有时可认为 s=0,进行省略。 

世界坐标系、相机坐标系、图像坐标系

世界坐标系(Xw、Yw、Zw)


成像过程介绍

联立(1)(2)(3)式可以获得,世界坐标系一点P(Xw,Yw,Zw) 到像素坐标的计算过程:

工业相机标定相关知识整理相机模型与张氏标定(图24)

是由用户定义的空间三维坐标系,用来描述三维空间中的物体和相机之间的坐标位置,满足右手法则,世界坐标系是物理世界中反映物体位置的真实坐标。

工业相机标定相关知识整理相机模型与张氏标定(图25)

相机坐标系(Xc、Yc、Zc)

以相机的光心作为原点,Zc轴与光轴重合,并垂直于成像平面,且取摄影方向为正方向,Xc、Yc轴与图像物理坐标系的x、y轴平行。

图像坐标系(u、v)或(x、y)

是以图像的左上角为原点的图像坐标系(u,v),以像素为单位,

工业相机标定相关知识整理相机模型与张氏标定(图26)

工业相机标定相关知识整理相机模型与张氏标定(图27)

张正友标定法

通过在图像上一个二维点m=[u,t]后加上一个1的向量,在相机坐标系中一个3D点M=[X,Y,Z]后也加上一个1的向量,在针孔模型中,3D点M和它的图像投影m的关系为:

通过推导相机模型,知道相机的内参 K 和外参[R t],下面将介绍如何求解相机内参和外参;对于相机标定我们介绍张氏标定;后续会出相机标定的专题,介绍 DLT 直接线性求解法,Tsai 两步法等常见的标定方法,畸变矫正方法以及相关的非线性优化知识等。


张氏标定求解基础知识

相机标定,是使用大量观测值进行参数模型拟合的过程,在此拟合的参数模型是已知的,所以尽可能探索获取大量观察值的方案,如果观测值之间还满足一些其他的几何约束,就更有助于求解具体单个参数值;

张氏标定是一种提供观察值的方案,同时观察值之间还满足一定的几何约束(平面约束);

假设某图像上坐标m=工业相机标定相关知识整理相机模型与张氏标定(图28),齐次表达式m̅ =工业相机标定相关知识整理相机模型与张氏标定(图29),世界坐标系一点坐标