点击上方“计算机视觉工坊”,选择“星标”

光学摄影测量卫星发展



王建荣   王任享   胡莘

(地理信息工程**重点实验室)
(西安测绘研究所)

干货第一时间送达

立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图1)

0

亲爱的同学们,我们的世界是3D世界,我们的双眼能够观测三维信息,帮助我们感知距离,导航避障,从而翱翔于天地之间。而当今世界是智能化的世界,我们的科学家们探索各种机器智能技术,让机器能够拥有人类的三维感知能力,并希望在速度和精度上超越人类,比如自动驾驶导航中的定位导航,无人机的自动避障,测量仪中的三维扫描等,都是高智机器智能技术在3D视觉上的具体实现。立体视觉是三维重建领域的重要方向,它模拟人眼结构用双相机模拟双目,以透视投影、三角测量为基础,通过逻辑复杂的同名点搜索算法,恢复场景中的三维信息。它的应用十分之广泛,自动驾驶、导航避障、文物重建、人脸识别等诸多高科技应用都有它关键的身影。本课程将带大家由浅入深的了解立体视觉的理论与实践知识。我们会从坐标系讲到相机标定,从被动式立体讲到主动式立体,甚至可能从深度恢复讲到网格构建与处理,感兴趣的同学们,来和我一起探索立体视觉的魅力吧!本课程是电子资源,所以行文并不会有太多条条框框的约束,但会以逻辑清晰、浅显易懂为目标,水平有限,若有不足之处,还请不吝赐教!

随课代码地址:在公众号「计算机视觉工坊」,后台回复「坐标系与相机参数」,即可直接下载。

文章目录针孔模型Pinhole mode坐标系简介影像坐标系相机坐标系   内参矩阵世界坐标系    外参矩阵    投影矩阵总结练习作业针孔模型Pinhole mode在科学研究中,一个现象内部的过程总是复杂而难以清晰看透,而聪明的学者们总会用最简单的模型去做初始描述,提出一个相对简单的模型。成像过程亦不例外,他们将三维世界中的坐标点映射到二维图像平面的过程用一个几何模型进行描述,这个模型有很多种,其中最简单的称为针孔模型。针孔成像的原理大家都学过,现实世界中源于某个物体的光线穿过针孔,会在底板上投影成一幅倒立的图像。如图1所示:立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图2)图1 针孔模型1将针孔模型对应到成像过程中,现实世界的物体即为三维空间的成像目标,针孔为摄像机中心,倒影成像平面则为二维影像平面。如图二(左)所示,我们用简单的线条来绘制这样的关系,摄像机中心到成像平面之间的距离我们称之为焦距ff。但是倒立的成像总感觉别扭,因此转换一下,将成像平面拿到相机前方来,保持焦距为ff,由成像过程可知,图像此时不再是倒立的了,解放了大家的脖子,见图2(右)所示。立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图3)立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图4)图2 针孔模型2从针孔模型中,我们可以找到一个特征,那就是现实世界的任一点、其在成像平面上的投影点、相机中心在一条直线上,这种特征称为中心投影或者透视投影,也是做成像分析的基础。透视投影将三维空间投影到二维平面上,是一种降秩空间透射变换(三维空间降成了二维空间)。坐标系简介通过针孔模型,我们了解了成像过程,似乎非常简单,但它此时只是一张图片,给你感官上的理解,要基于它完成复杂的3D测量,必须借用那一连串噼里啪啦让人又爱又恨的数学公式,而公式建立的基础,就是一个个坐标系,具体来说,是一个个笛卡尔坐标系。如果你不知道什么是笛卡尔坐标系,我想你也不会点开我的博客看到这里,所以介绍就此略过。我认为你们已经掌握了一个前提知识:立体视觉的三个关键坐标系是影像坐标系、相机坐标系、世界坐标系。如果没有,那我就强塞给你这个概念。影像坐标系

立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图5)

立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图6)立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图7)图3 影像坐标系上面提到像主点,特别说明一下,它是摄影中心到成像平面的垂点,它是一个非常重要的点位。

立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图8)

1

为了便于矩阵运算,我们会写成矩阵形式:
                                             立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图9)
公式两边的三维矢量是一种齐次表达方式,即把第三维设置为1来用三维矢量表示二维矢量,这样做的好处是可以用矩阵运算的方式完成三维到二维的变换。为什么要做这个转换呢?是因为xy坐标系和相机坐标系的紧密联系,同学们往后看。
相机坐标系相机坐标系是一个三维空间坐标系,是非常关键的一个坐标系,它承担着建立影像坐标系和世界坐标系之间联系的重任。所以前人们在建立相机坐标系时,有一个很关键的考量是如何能更好的把影像坐标系和世界坐标系之间联系起来。两个三维坐标系(相机和世界)之间的转换用旋转和平移就可以方便表达,重点是三维的相机坐标系和二维的影像坐标系之间如何更好转换。方案是这样的:相机坐标系的原点在相机中心,XY轴和影像xy坐标系的xy轴平行,Z轴垂直于像平面且朝向像平面,Z轴和像平面的交点正是影像xy坐标系的原点(像主点)。如图4所示。立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图10)图4 相机坐标系在此方案下,像平面上的所有像素点在相机坐标系下的ZZ坐标等于焦距f,XY坐标和影像xy坐标系下的值相等,即若像素点p在影像xy坐标系下的坐标为(x,y),则其在相机坐标系下的坐标为(x,y,f)。根据中心投影的特征,假设像素点p是空间点P的投影点,那么如何建立两兄弟之间的坐标关系呢?立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图11)图5 相机坐标系2

立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图12)

为了便于矩阵运算,我们会写成矩阵形式:
立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图13)
还记得上一节,我们把xy坐标系转换成uv坐标系,结合上式,便可以把相机坐标系转换成uv坐标系,即
立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图14)

立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图15)

内参矩阵

立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图16)

额外需要了解的一点是,由于制造工艺的偏差,像素不是绝对的矩形(图6左),而是一个平行四边形(图6右)。
立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图17)立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图18)图6 倾斜像素

立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图19)

世界坐标系
世界坐标系是一个固定的三维坐标系,是一个绝对坐标系,它旨在将空间中的所有点都统一到同一个坐标系下表达,在不同的应用场景中,世界坐标系的定义并不一样,比如大地测量中,将水准原点当做世界坐标系的原点;在相机标定中,将标定板的某个角点作为世界坐标系。
                             立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图20)图7 世界坐标系世界坐标系和相机坐标系都是三维坐标系,它们之间可以用旋转平移来做转换  立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图21)图8 坐标系之间的旋转平移

立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图22)

 引言

光学卫星摄影测量是获取全球地理空间数据的有效手段相机评测。近半个世纪以来,光学摄影测量卫星从以胶片框幅式相机为载荷的返回式卫星,发展为以CCD 相机为载荷的传输型卫星。20 世纪80 年代,美国提出MAPSAT 卫星工程用于实现全球无地面控制点条件下摄影测量,推动了从无控定位研究到依靠少量控制点参与处理的转变。

或者写成另一种形式:
立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图23)
我们把旋转矩阵 R和平移矢量 t称为相机的外参矩阵。

0

外参矩阵外参矩阵也是相机的关键参数之一,由一个3x3的单位正交旋转矩阵 R 和3x1的平移矢量 t 组成,它们描述的是世界坐标系到相机坐标系之间的转换关系。需要提一点的是,在不同学科中外参矩阵会有一些定义区别,比如在摄影测量学科中,将相机坐标系转换到世界坐标系的旋转矩阵 R 以及摄影中心在世界坐标系中的位置 C 作为外参。它们目的一致,都是为了描述相机和世界坐标系之间的转换关系。同样用一个简单表达式来描述世界坐标系到相机坐标系的变换:
立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图24)投影矩阵虽然我们花很多篇幅介绍了相机坐标系,但是在实践过程中,最直接接触的却是影像uv坐标系和世界坐标系,在影像三维重建中,通常前者是输入,后者是输出,所以将世界坐标系转换成uv坐标系是很关键的转换。上文已经得到了世界到相机,相机到uv的转换公式,因此世界到uv并没有什么难度:
立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图25)
世界坐标系到影像坐标系的转换实际上表达的是透视投影中空间点到像点的投影关系,所以把该转换矩阵叫做投影矩阵M,通过矩阵运算可知投影矩阵是一个3x4的矩阵,它是内参矩阵和外参矩阵的乘积。同样用一个简单表达式来表达这种转换:
立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图26)总结本节我们通过针孔模型引入以透视投影为基本原理的相机成像模型,并对一切公式推导的源头:三大坐标系(影像/相机/世界) 做了详细的介绍,在深入了解坐标系的过程中,几类关键的相机参数(内参/外参)也缓缓而出。用图示加公式推导,让大家直观且有逻辑性的掌握这方面的知识,希望能够给入门的同学一些帮助,下一节我们

2

 光学卫星摄影覆盖模式

   光学卫星摄影测量摄影模式主要包括全球连续覆盖和局部区域覆盖。

   全球连续覆盖模式的光学卫星,主要特点是光学有效载荷采用立体相机(双线阵或三线阵相机)获取同轨立体影像,立体影像地面覆盖宽度较大。

   局部覆盖摄影模式的光学卫星,通常搭载单线阵相机获取影像,其主要特点是影像分辨率高、敏捷机动性强及重访周期短等。在无控定位方面,无控定位精度的提高主要得益于以星敏感器为主的姿态测定系统精度的提升,与影像分辨率关系较小。

0

3

 摄影测量处理的关键技术

1. 相机几何参数在轨标定

   在有控制点定位中,几何参数变化影响的定位误差大部分可以被应用的地面控制点消除,但在无控定位中,需采用在轨几何标定方法加以改正。目前,大部分遥感卫星普遍采用附加参数的自检校区域网平差方法进行在轨标定,其标定对象主要针对单个相机,将单个传感器的系统误差予以消除。但对于立体测绘相机而言,相机之间的交会角是影响高程精度的重要因素。参数在轨标定若仅从单个相机出发,忽视立体相机的整体性,将会影响后期的定位精度,尤其是高程精度。利用空中三角测量光束法平差也是进行相机参数在轨标定的有效途径。

   基于LMCCD影像的光束法平差,采用等效框幅式影像构网的思想,将4个小面阵影像坐标作为连接条件,较好地解决了航线模型的系统变形。在此基础上,按反解空中三角测量原理进行三线阵相机的参数重组,并且在解算中增加了主距精确预估和自适应调整等措施,解决了宽高比太小问题,实现对相机参数可靠的在轨标定,其标定结果适用于全球,无需在国外设立标定场。

2. 空中三角测量平差

   空中三角测量光束法平差是提高卫星影像定位精度的有效手段,通过光束法平差,可以使外方位元素误差对摄影测量精度的影响缩小约0.6倍。对于线阵卫星影像,航线影像系动态摄影,目前主要采用定向片法和等效画幅法进行光束法平差。在线阵影像无地面控制条件下光束法平差中,定位精度不仅受制于轨道测量、姿态测量以及像点量测等误差大小,还受卫星平台稳定度、有效载荷的稳定性以及相机参数在轨标定精度等因素的影响。

   对于光学卫星影像而言,在一个有效摄影条带中三线交会区的影像只有约三分之一,会造成影像利用效率的极大降低。全三线交会EFP光束法平差理论,可使两线交会区的精度达到三线交会区的水准,解决了短航线三线阵影像光束法平差精度低的难题。同时,偏流角修正的余差、姿态测定系统低频误差以及姿态测定系统突变等因素,均影响着无控定位精度,需在空中三角测量光束法平差中加以处理。

0

4

 无控定位的实质及评估

1. 无控定位的实质

   有控定位精度主要取决于参与计算地面控制点的数量、精度及分布等因素,可用于评价卫星影像内部符合精度。无控定位是仅依靠卫星获取的影像以及配套的辅助测量数据实施的高精度定位。有些遥感卫星影像处理时,将公开发布的SRTM和Google影像作为底层数据,在后台隐性参与计算,用于提高和保证“无控”定位精度,这并不是真正意义上的无控,全球定位精度的一致性和可靠性难以保证。

2. 无控定位精度评估

   首先应保证检查点或控制点具有较高的精度,无粗差存在,且点位在卫星影像上易于判读。其次,这些点不能参与摄影测量处理,仅作为外部独立条件用于统计无控定位精度。在定位精度统计过程中,要明确误差统计时的置信区间,在与其它卫星影像定位精度比较时,换算至统一标准进行比较,避免出现偏差。

   无控定位精度检测必须在全球范围内进行,这样才能得到全面、可信的定位精度结果,作为卫星定位精度的评价依据。

0

5

 结束语

   基于全球连续覆盖模式的光学卫星摄影测量实现全球高精度无控定位,对星上硬件设备和卫星影像地面测绘处理均提出较高要求。对于以三线阵CCD相机为有效载荷的光学卫星,其无控定位技术和理论都已成功应用并得到验证;对于以双线阵CCD相机为有效载荷的光学卫星,其无控定位理论与三线阵影像无控定位理论还有较大差别。

0

6

 作者简介

   王建荣,男,1975年生,获长安大学博士学位,副研究员。研究方向为摄影测量理论及工程实践。 

   王任享,男,1933年生,**工程院院士,摄影测量与遥感专家,长期从事摄影测量与遥感的科学研究工作。

0

7

 引用格式

   王建荣, 王任享, 胡莘. 光学摄影测量卫星发展[J]. 航天返回与遥感, 2020, 41(2): 12-16.

  WANG Jianrong, WANG Renxiang, HU Xin. Development of Optical Satellite Photogrammetry[J]. Spacecraft Recovery & Remote Sensing, 2020, 41(2): 12-16. (in Chinese)

文章选自《航天返回与遥感》2020-02

高分七号卫星遥感技术专刊

立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图27)

登载此文出于传递更多信息之目的,版权归原作者及刊载媒体所有,如本文中图片或文字侵犯您的权益,请联系我们。

联系方式

广东省珠海市唐家湾中山大学珠海校区榕园4号313房

sges@mail.sysu.edu.cn

联系:0756-3668354

来源:航天返回与遥感

作者:王建荣 王任享 胡莘

编辑:卢宇煌

初审:陈楚

审核:惠凤鸣

终审:许粤

立体视觉入门指南-坐标系与相机参数专业科普丨光学摄影测量卫星发展(图28)