点击上方“计算机视觉life”,选择“星标”

论文推荐|袁枫:非量测数字相机实验室几何标定总结 | 相机标定的基本原理与改进方法(图1)
    非量测数字相机的几何标定,包括内方位元素和畸变的精确测定,直接影响其用于航空摄影测量的最终精度。本文研制出一套非量测数字相机实验室几何标定系统。该系统采用平行光管加星点板作为目标发生器,在测量出一组目标点在相机的CCD靶面上的像点坐标及对应的平行光线的入射角后,结合几何标定的数学模型,可以实现相机的高精度几何标定。采用佳能EOS 5D Mark Ⅱ和哈苏H3D两款典型的数字相机进行了试验与分析。试验结果验证了本文标定方法的正确性以及精度的可靠性。

快速获得最新干货

1、相机模型(1)各个坐标系确定空间某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型(各个坐标系),这些坐标系之间的转换参数就是相机参数,求解参数的过程叫做相机标定(摄像机标定)。建立立体视觉系统所需要的各个坐标系,包括世界坐标系、相机坐标系、以及图像坐标系(物理和像素坐标系)。

坐标系名称

与胶片式传统航空摄影测量相比,基于数字相机的航空摄影测量具有成图周期短、精度高、天气要求低等优点,已成为地形测量的主要方法之一。随着计算机和CCD等技术的快速发展,国际市场已出现了多款成熟的大面阵高分辨率数字相机产品。具有实时性和数字化特点的数字相机正逐渐取代传统的胶片式相机成为获取航空摄影测量数据的重要设备。由于地形测量精度的要求,航测相机本身需要较高的精度,但数字相机不是专门为摄影测量而设计制造的,它的内方位元素未知,并存在光学畸变差等缺陷。因此,在开展摄影测量工作前,必须对数字相机进行精确几何标定,这是数字航空摄影测量的基础性工作之一[1-2]。

坐标系描述

世界坐标系(3D)

描述目标在真实世界中的位置引入的参考坐标系(Xw,Yw,Zw)

非量测数字相机的几何标定方法主要有实验场标定法和实验室标定法[3-5]。

相机坐标系(3D)

联系世界坐标系与图像坐标系的桥梁,一般取摄像机的光学轴为z轴(Xc,Yc,Zc)

图像物理坐标系(2D)

根据投影关系引入,方便进一步得到像素坐标,单位为毫米,坐标原点为摄像机光轴与图像物理坐标系的交点位置(x,y)

图像像素坐标系(2D)

真正从相机内读到的信息,图像物理坐标的离散化,以像素为单位,坐标原点在左上角(u,v)

首先明确各个坐标系之间的转换关系:

实验场标定法分为室内实验场法[6-9]、室外实验场法[10]和飞行实验场法[11-13]。实验场标定法的原理通常建立在共线方程的基础上,实验场可以是三维场、二维场,甚至是纯平液晶显示器等,一般由一定数量已知精确坐标的标志点组成。利用待标定相机获取实验场影像后,可依据直接线性变换、单片空间后方交会、光束法平差、区域网空中三角测量或者自检校等方法来解算内方位元素及几何畸变参数,包括光学畸变差、胶片变形(或CCD器件内部变形)、底片压平(或CCD器件表面不平整)等。

①  世界坐标系与相机坐标系

实验室标定法通常基于测角法的原理,并以多筒固定准直仪或可转动的精密测角仪器为基本设备[14]。传统胶片航测相机几何标定时需要在相机的承片框上安置一个精密网格板,调整相机入瞳中心与测角仪器的转轴重合,通过网格板来观测像点位置拍摄技巧,并利用网格板上的格值计算像场角,再结合测角仪器测得的入射角就可以计算出相机的内方位元素和畸变。

由于实验室标定法的标定过程中要利用相机标定的专门设备,并且整个标定工作都在实验室内进行,标定条件可控,标定过程标准规范。国内一些科研院所也积极开展了非量测数字相机实验室标定方法的研究[15-17],但尚未有成熟完善实验室标定系统的报道。本文基于测角法的原理以及数字相机的特点,研制出一套实用的非量测数字相机几何标定系统。该系统以精密测角仪器为基本设备,可以实现面阵数字相机的精确几何标定。采用两种典型数字相机进行试验,验证了该系统的正确性以及精度。

这是将一个三维的坐标系转换成另一个三维的坐标系,这两个坐标系之间的转换属于刚体转换,物体只改变在两个坐标系中的空间位置(平移)和朝向(旋转),而不改变其形状。它们之间的转换关系可以用旋转矩阵R和平移矩阵T来完成,这两个矩阵反映了世界坐标系与相机坐标系之间的转换关系,合称外参矩阵Lw。获得了外参矩阵,这样已知世界坐标系中的一点通过转换关系就可以得到此点在相机坐标系的位置,反之亦成立。 


论文推荐|袁枫:非量测数字相机实验室几何标定总结 | 相机标定的基本原理与改进方法(图2)

系统主体

②  相机坐标系与图像物理坐标系

论文推荐|袁枫:非量测数字相机实验室几何标定总结 | 相机标定的基本原理与改进方法(图3)

这是一个将三维的坐标系转化为二维的坐标系,这两个坐标系之间的转换要通过几何投影模型关系获得,下面是两个坐标系的投影关系示意图: 

论文推荐|袁枫:非量测数字相机实验室几何标定总结 | 相机标定的基本原理与改进方法(图4)

系统结构原理

转臂的编码器位于几何标定系统转臂的内部,工控机通过串口与该编码器通讯,控制转臂的转动并获取转臂的角度值;平行光管位于转臂的内部,用于提供一个无穷远的点目标,通过转臂的旋转就可以提供一系列带有精确角度值的无穷远点目标。此外,工控机通过串口与相机支架的编码器通讯,控制相机支架的水平旋转并获取对应的旋转角度。

该系统具有测量速度快,受环境变化影响小,测量精度高等优点,其技术特点如下:

(1) 标定时,相机镜头朝下,与工作状态一致,标定结果可信。

(2) 转臂由电机驱动,速度快,定位精度好。

(3) 转臂的转动范围可达±45°,可实现视场角达90°的大面阵数字相机的几何标定。

③   图像物理坐标系与图像像素坐标系

首先以一个形象的例子来说明两个坐标系间的区别。物理坐标系是一个连续的概念,它是以毫米为单位,就好比某一观众在电影院里的具体坐标值(3.4,5.9);而像素坐标系是一个离散的概念,它是以像素作为单位,只能是整数值坐标,就好比某一观众在电影院里的位置是(第三排,第六列)。另外还需要注意的是,这两个坐标系的原点位置也不相同,物理坐标系将原点定为摄像机光轴与图像物理坐标系的交点位置,通常称其为主点;而像素坐标系则以像素图像的左上角为原点。

(4) 采用基于数字化测量方式的轴角编码器,角度测量误差小,精度可达1″。

(2)相机畸变模型
一般只考虑径向畸变k和切向畸变p

(5) 计算机进行测量过程的控制和数据处理,自动化程度高,使用方便。

论文推荐|袁枫:非量测数字相机实验室几何标定总结 | 相机标定的基本原理与改进方法(图5)

 其中论文推荐|袁枫:非量测数字相机实验室几何标定总结 | 相机标定的基本原理与改进方法(图6)

一般选择2或3个k值,这个是经验证过可以获得较好的结果,如果k取得再多影响不会很大可以忽略,甚至可能反而导致效果不好。
畸变模型:枕型畸变(k>0)和桶型畸变(k<0)

面阵数字相机几何标定时,把相机安装固定在相机支架上,使相机的入瞳通过转臂的转轴中心。然后,由相机获取由平行光管形成的无穷远点目标的图像,并通过相机支架调平螺杆的调整和相机支架的旋转,使转臂在转动过程中,目标像始终位于CCD靶面的中心行上,再通过转臂的转动,使得目标像位于CCD靶面中心行的中心像素,并将对应的转臂角度设置为0°。根据被测相机的幅宽及焦距等参数,设置测量时转臂转动的角度范围及间隔,当转臂每转动到一个目标角度时,将相机对无穷远点目标成像,同时,软件记录下相应的转臂角度值。测完一个方向后,将相机旋转90°,按照同样的方法测量中心列方向,进而完成几何标定的数据获取。

    数字相机的几何标定是其在摄影测量中应用的基础。本文构建了一套非量测数字相机实验室几何标定系统,详细介绍了该系统的组成原理及目标像的高精度定位、几何标定参数的计算等数据处理中的关键技术,并采用两种相机进行了试验与分析。试验结果表明:该系统能够实现多种类型面阵数字相机的精确几何标定,结果具有可靠性。

    随着科学技术的发展以及多面阵组合数字相机在覆盖面大等方面的优势,越来越多的多面阵组合数字相机应用到摄影测量中,例如DMC、UCD和SWDC4等。这类相机在普通面阵相机几何标定的基础上,还需要标定多面阵相机之间的几何关系。下一步将针对多面阵相机的几何标定开展研究,为多面阵组合数字相机在摄影测量中的应用提供技术支撑。

论文推荐|袁枫:非量测数字相机实验室几何标定总结 | 相机标定的基本原理与改进方法(图7)

基金项目:测绘地理信息公益性行业科研专项(201512010);**测绘科学研究院专项基金(7771531)

第一作者简介: 袁枫(1981-),男,博士,主要研究方向为数字摄影测量、机载LiDAR。E-mail:yf8426@126.com

全文内容请点击下方“阅读原文”

更多精彩内容:

2016你最值得关注的空间信息公众号Top20

编辑部公告|《测绘学报》官方征稿启事

当k>0时,r越大(点离中心越远),畸变量越大,r越小,畸变量越小,呈枕型。

当k<0时,r越大(点离中心越远),畸变量越小,r越小,畸变量越大,呈桶型。

论文推荐|谭凯: 国产高分辨率遥感卫星影像自动云检测

(3)相机标定参数

论文推荐|隗寿春:重力网的分段线性动态平差

【高层观点】**测绘地理信息局局长库热西·买合苏提:适应新常态、服务新常态

内参:


论文推荐|袁枫:非量测数字相机实验室几何标定总结 | 相机标定的基本原理与改进方法(图8)
全文内容请点击下方“阅读原文”



(单位长度的像素个数)论文推荐|袁枫:非量测数字相机实验室几何标定总结 | 相机标定的基本原理与改进方法(图9)

(主点坐标)论文推荐|袁枫:非量测数字相机实验室几何标定总结 | 相机标定的基本原理与改进方法(图10)

(畸变系数)论文推荐|袁枫:非量测数字相机实验室几何标定总结 | 相机标定的基本原理与改进方法(图11)

外参:R、T(旋转和平移矩阵)

2、张正友标定法

(1)标定基本原理

目标函数:

论文推荐|袁枫:非量测数字相机实验室几何标定总结 | 相机标定的基本原理与改进方法(图12)

这里A为内参,R、T为旋转平移矩阵。n代表n张图片,m代表每张图片上有m个角点。

可以将三维空间中的点都投影到二维空间的对应点m^处,在二维平面上通过角点提取算法可以提取出对应角点论文推荐|袁枫:非量测数字相机实验室几何标定总结 | 相机标定的基本原理与改进方法(图13)。通过选择合适的内外参数来使得目标函数达到最小,将这一组内外参数作为实际求得的内外参数。

提出问题:为什么张正友没有使用这样一种简单直观的方式?

因为这样做要优化的量太多,如果初始值不好很容易陷入局部最优。

张正友的贡献:通过数值解法解出了一个比较准确的初始值(内外参),使得后面做最优化的方法有一个非常好的初始值,所以结果比较准。

(2)张正友标定原理

先求解单应性矩阵,根据单应性矩阵求解相机的内外参,这里不做详细过程介绍。张正友标定法通过代数求解出了一个代数意义上的内外参最优解,最后也需要将多组代数意义上的最优解代入目标函数中验证,获得物理意义上的最优解。

也可以将畸变因子考虑在内,做进一步优化,目标函数就变为如下形式:

论文推荐|袁枫:非量测数字相机实验室几何标定总结 | 相机标定的基本原理与改进方法(图14)

3、一些改进

(1)明确张正友的方法没有限制棋盘格或者圆环。

只要可以检测出需要的特征点就可以,至于图案形状是没有限制的。

(2)圆环与棋盘格的优缺点分别是什么

圆环标定板的精度会好一些,原因是因为圆的特征检测(提取圆心坐标)的鲁棒性要比正方形的特征检测(检测边缘的交点作为角点)好。

(3)比较圆环与棋盘格标定板

圆检测精度高,表现为中心拟合精度高,但是具有偏心误差,这是由于空间中的圆的圆心投影不等于投影出的椭圆的圆心。

棋盘格检测精度低,可能是因为实际的棋盘格标定板的边缘存在过渡带,不是直接的由白瞬间变黑,但不存在偏心误差,这是由于空间中两条相交直线的交点,投影到二维图像上仍然是这两条投影直线的交点,故棋盘格检测不存在偏心误差。。      

解决办法:可以将椭圆先投影为正圆,检测正圆的圆心,再通过透视投影的方法将其对应到原图像中,而不是检测椭圆的中心,通过这样一个变换把真实的圆心提取出来,这样就不存在偏心误差了。

以下是使用棋盘格标定板和圆环标定板的实验数据:

论文推荐|袁枫:非量测数字相机实验室几何标定总结 | 相机标定的基本原理与改进方法(图15)

(4)标定板选择

如果知道怎么纠正偏心误差,用圆环标定板的精度一定会更高;如果不知道如何纠正偏心误差,则选择圆环标定板和棋盘格标定板的精度差不多或更差。

4、实际操作

(1)OpenCV中的函数cv::calibrateCamera

calibrateCamera(

object_points,//3维物点坐标

image_points,//通过角点检测出的2D像点坐标

imageSize,//图片尺寸

cam_intr_para,//相机内参

distCoffs,//相机畸变矩阵

rvecs,//旋转矩阵

tves//平移矩阵

)

(2)拍摄机位和数量的选择

至少需要拍不同视角的3张照片,大概需要拍20张不同视角照片,照片最好覆盖图像的每一个位置,不能只固定在中间位置上拍摄。

论文推荐|袁枫:非量测数字相机实验室几何标定总结 | 相机标定的基本原理与改进方法(图16)

(3)标定结果的评判标准

重投影误差Re-projection error

用目标函数,将三维物点投影至二维图像中与二维图像中提取出的对应角点坐标做某种差值计算(目标函数)求和。

提出问题:重投影误差是否可以完全正确的反应出标定(内外参)结果是否正确?

不一定,这个重投影误差还受以下因素影响:

①图像角点检测精度,如果角点检测精度差,会直接影响到重投影误差;

②相机本身存在噪声,相机抖动;

③与相机分辨率有关,由于单位是像素。在其它条件一致的情况下,分辨率越大的相机,它的像素越密集,得到的重投影误差也会大;

④优化算法

其它评判标准:

选择两个三维的点,将其投影在二维图像上,计算这两个点的距离。用角点检测算法在这个图像上检测出对应点,也计算这两个像点之间的距离。判断两个距离的偏差。

(4)应用

①单目:PnP问题

根据三维标定靶与二维平面之间的对应点坐标,求解三维标定靶与二维平面之间的转换关系(旋转和平移矩阵)。

在OpenCV中可通过函数solvePnP实现。

②双目测量

用两个相机拍摄的图片中可以恢复三维信息,这是由于二维图片中的一点对应于三维空间中的一条射线,由两条射线的交点可以确定这个点在三维空间中的位置。

从0到1学习SLAM,戳↓

一文概览视觉SLAM详细学习路线、思维脑图

交流群

欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等群(以后会逐渐细分),请扫描下面号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关群。请勿在群内发送广告,否则会请出群,谢谢理解~

打赏

  • 打赏支付宝扫一扫
  • 打赏扫一扫