近景摄影测量控制点快速自动识别与定位专业科普丨光学摄影测量卫星发展(图1)

来源:《测绘地理信息》2018年第6期

光学摄影测量卫星发展



王建荣   王任享   胡莘

作者:邹进贵,孟丽媛

(地理信息工程**重点实验室)
(西安测绘研究所)

摘 要:近景摄影测量数据处理过程中,控制点的识别和定位需要耗费时间和人力,但该环节也是实现近景摄影测量数据自动处理的关键所在。设计了一种具有抗仿射变换特征的控制点,并将模板匹配和Harris特征点提取算法结合,实现了控制点的自动识别与定位,提高了数据处理自动化程度,并通过实验证明了该方法的可行性。

0

1

关键词:抗仿射性;Harris算法;模板匹配;控制点自动识别

近景摄影测量是摄影测量的一个分支,是指利用非量测相机等影像采集工具近距离拍摄待测物体[1],通过对所拍摄影像进行处理,提取有用信息,以达到获取待测物体的几何结构、位置、性质、相互关系等信息的目的[2]。近景摄影测量作为摄影测量的一个分支,具有获取数据瞬时性、摄影设备非量测性、外业作业时间短[3]等优点,目前已经成为广泛使用的测量方式。

 引言

近景摄影测量数据处理流程主要包括非量测相机的标定、特征匹配完成内定向、引入控制点完成绝对定向以及平差解算点位坐标,其中在引入控制点时,控制点的识别和定位需要消耗大量的人力和时间,目前主流的一些近景摄影测量软件,如Lensphoto多基线摄影测量系统[4],MetrolDMP数字工业近景摄影测量系统[5]等,都需要人工来进行控制点的识别与定位工作,难以实现数据的自动化处理。因此,本文提出了一种利用特征提取算法和相关匹配算法结合的方法来实现控制点的自动识别与定位。

光学卫星摄影测量是获取全球地理空间数据的有效手段。近半个世纪以来,光学摄影测量卫星从以胶片框幅式相机为载荷的返回式卫星,发展为以CCD 相机为载荷的传输型卫星。20 世纪80 年代,美国提出MAPSAT 卫星工程用于实现全球无地面控制点条件下摄影测量,推动了从无控定位研究到依靠少量控制点参与处理的转变。

0

1 关键技术研究

1.1 模板相关匹配法

2

 光学卫星摄影覆盖模式

模板匹配方法是通过在输入图像上滑动图像块对实际的图像块和输入图像进行匹配[6],其主要的方法有平差匹配法、乘法相关匹配法以及本文所使用的相关匹配法等。

相关匹配法是将模板对其均值的相对值与图像对其均值的相对值进行匹配,用I来表示输入图像,T 表示模板,R 为结果。1表示完美匹配,-1表示最糟糕的匹配,0表示没有任何相关性[7]。其基本原理为:

   光学卫星摄影测量摄影模式主要包括全球连续覆盖和局部区域覆盖。

   全球连续覆盖模式的光学卫星,主要特点是光学有效载荷采用立体相机(双线阵或三线阵相机)获取同轨立体影像,立体影像地面覆盖宽度较大。

   局部覆盖摄影模式的光学卫星,通常搭载单线阵相机获取影像,其主要特点是影像分辨率高、敏捷机动性强及重访周期短等。在无控定位方面,无控定位精度的提高主要得益于以星敏感器为主的姿态测定系统精度的提升,与影像分辨率关系较小。

0

近景摄影测量控制点快速自动识别与定位专业科普丨光学摄影测量卫星发展(图2)

3

 摄影测量处理的关键技术

近景摄影测量控制点快速自动识别与定位专业科普丨光学摄影测量卫星发展(图3)

采用OpenCV与VS2010平台对该算法进行了实现,如图1所示。正下方窗口内为查找的模板,大图中用绿色框标出的部分即为查找到的与模板相关的图形区域。图中采用的是单模板多匹配,即在一幅图像中匹配多个与模板相似的区域,这与摄影测量过程中一幅影像中包含多个控制点的实际符合。

1. 相机几何参数在轨标定

近景摄影测量控制点快速自动识别与定位专业科普丨光学摄影测量卫星发展(图4)

图1 相关匹配的实现

   在有控制点定位中,几何参数变化影响的定位误差大部分可以被应用的地面控制点消除,但在无控定位中,需采用在轨几何标定方法加以改正。目前,大部分遥感卫星普遍采用附加参数的自检校区域网平差方法进行在轨标定,其标定对象主要针对单个相机,将单个传感器的系统误差予以消除。但对于立体测绘相机而言,相机之间的交会角是影响高程精度的重要因素。参数在轨标定若仅从单个相机出发,忽视立体相机的整体性,将会影响后期的定位精度,尤其是高程精度。利用空中三角测量光束法平差也是进行相机参数在轨标定的有效途径。

   基于LMCCD影像的光束法平差,采用等效框幅式影像构网的思想,将4个小面阵影像坐标作为连接条件,较好地解决了航线模型的系统变形。在此基础上,按反解空中三角测量原理进行三线阵相机的参数重组,并且在解算中增加了主距精确预估和自适应调整等措施,解决了宽高比太小问题,实现对相机参数可靠的在轨标定,其标定结果适用于全球,无需在国外设立标定场。

2. 空中三角测量平差

1.2 Harris角点探测

   空中三角测量光束法平差是提高卫星影像定位精度的有效手段,通过光束法平差,可以使外方位元素误差对摄影测量精度的影响缩小约0.6倍。对于线阵卫星影像,航线影像系动态摄影,目前主要采用定向片法和等效画幅法进行光束法平差。在线阵影像无地面控制条件下光束法平差中,定位精度不仅受制于轨道测量、姿态测量以及像点量测等误差大小,还受卫星平台稳定度、有效载荷的稳定性以及相机参数在轨标定精度等因素的影响。

   对于光学卫星影像而言,在一个有效摄影条带中三线交会区的影像只有约三分之一,会造成影像利用效率的极大降低。全三线交会EFP光束法平差理论,可使两线交会区的精度达到三线交会区的水准,解决了短航线三线阵影像光束法平差精度低的难题。同时,偏流角修正的余差、姿态测定系统低频误差以及姿态测定系统突变等因素,均影响着无控定位精度,需在空中三角测量光束法平差中加以处理。

0

4

提取点特征的算子称为兴趣算子,即运用某种算法从图像中提取我们所感兴趣的点[8]。计算机视觉领域传统的、知名的提取算子有Moravec算子、Forstner算子,随着计算机视觉应用领域的拓广,出现了比较经典的Harris算子[9]。

Harris特征点提取是提取物体上的角点作为特征点[10]。如果给出一个窗口在图像上移动,在平坦区域,图像比较均匀,没有什么明显的特征信息,窗口在各个方向移动,窗口内的没有变化;在边缘上,窗口沿着边缘的方向上移动,窗口里的内容没有变化,而在其他方向上移动时,会出现变化;在角点处,无论窗口在任何方向上移动,窗口内的内容都会出现变化。Harris角点提取正是利用了这个直观的物理现象,笔者在提取图像时,给出一个合适的窗口,通过窗口扫描图像,根据窗口在各个方向上的变化,判断是否为角点[11]。

 无控定位的实质及评估

Harris角点探测的基本步骤如下。

1)确定一个N×N 大小的窗口(常用3像素×3像素),对窗口内的像素点进行描述,即求每一个像素点在x 和y 方向的梯度。

2)利用高斯卷积模板对梯度值进行高斯滤波。

1. 无控定位的实质

3)利用卷积后的x 和y 方向梯度所组成的矩阵M 来计算兴趣值,其中det是矩阵的行列式,tr为矩阵的迹,k为常数,一般默认为0.04[12],M 为:

近景摄影测量控制点快速自动识别与定位专业科普丨光学摄影测量卫星发展(图5)

4)选取兴趣值的局部极值点,根据具体要求选出兴趣值最大的若干个点作为最后的结果。

   有控定位精度主要取决于参与计算地面控制点的数量、精度及分布等因素,可用于评价卫星影像内部符合精度。无控定位是仅依靠卫星获取的影像以及配套的辅助测量数据实施的高精度定位。有些遥感卫星影像处理时,将公开发布的SRTM和Google影像作为底层数据,在后台隐性参与计算,用于提高和保证“无控”定位精度,这并不是真正意义上的无控,全球定位精度的一致性和可靠性难以保证。

2. 无控定位精度评估

Harris具有较好的数学描述,且计算简单,能较好地提取角点,提取的点特征均匀而且合理[13]。 并且具有抗旋转的能力,无论图像怎样旋转,角点的特征性没有变化。因此,本文选用Harris方法做角点的提取。

   首先应保证检查点或控制点具有较高的精度,无粗差存在,且点位在卫星影像上易于判读。其次,这些点不能参与摄影测量处理,仅作为外部独立条件用于统计无控定位精度。在定位精度统计过程中,要明确误差统计时的置信区间,在与其它卫星影像定位精度比较时,换算至统一标准进行比较,避免出现偏差。

采用OpenCV与VS2010平台对该算法进行了实现,如图2所示。红色即为利用Harris算子探测到的角点。

近景摄影测量控制点快速自动识别与定位专业科普丨光学摄影测量卫星发展(图6)

图2 Harris角点提取的实现

1.3 控制点中心的确定

   无控定位精度检测必须在全球范围内进行,这样才能得到全面、可信的定位精度结果,作为卫星定位精度的评价依据。

由于摄影测量的照片拍摄过程中,随着拍摄角度的不同,控制点标志影像会发生仿射变换和投影变形,要对控制点进行识别,就需要设计一种具有抗仿射变换特征的控制点。除抗放射特性外,控制点还应具有目标清晰、便于全站仪观测和影像识别等特征。根据需要,将控制点设计成如图3的形式。

0

5

 结束语

无论从何种角度拍摄,该控制点中心O 周围一定可以找到4个角点,依次编号为J1、J2、J3和J4,且J1、O、J3位于一条直线上,J2、O、J4位于一条直线上。

识别控制点的流程为:①将图像灰度化并做图像增强处理;②将任意一个Harris点设定为中心O,将其周围任意一个特征点点设为角点J1,计算O到该J1的距离,设为S,在0.7~1.3倍S 范围内寻找是否有特征点,将找到的点组成一个待判断的集合C;③分别计算集合内的每个点到O 和J1连线的距离,将距离小于0.4倍S 的点组成集合Q,其余点不予考虑;④分别判断集合Q 内的点与J1连线的线段中点和标志中心O 的关系,若距离小于0.06倍的S,则认为它是与J1相对的另一个角点J2;⑤若没有找到与J1对应的J2,则将下一个点设为J1;⑥当一个Harris点周边有两对J1J2时,则认为该点是一个控制点的中心点;⑦重复步骤②~步骤⑥,寻找其他的中心点。

   基于全球连续覆盖模式的光学卫星摄影测量实现全球高精度无控定位,对星上硬件设备和卫星影像地面测绘处理均提出较高要求。对于以三线阵CCD相机为有效载荷的光学卫星,其无控定位技术和理论都已成功应用并得到验证;对于以双线阵CCD相机为有效载荷的光学卫星,其无控定位理论与三线阵影像无控定位理论还有较大差别。

0

近景摄影测量控制点快速自动识别与定位专业科普丨光学摄影测量卫星发展(图7)

图3 控制点中心的确定

图3中,红色为利用Harris算子探测到的角点。蓝色圆圈内为确定的控制点中心。

6

 作者简介

   王建荣,男,1975年生,获长安大学博士学位,副研究员。研究方向为摄影测量理论及工程实践。 

2 实验与分析

   王任享,男,1933年生,**工程院院士,摄影测量与遥感专家,长期从事摄影测量与遥感的科学研究工作。

0

2.1 实验方案

7

将以上3种算法进行集成,实现对控制点的自动识别。①利用相关匹配算法将位于影像中的控制点识别出来,大致确定控制点所在的范围,可以剔除不需要Harris探测的地方,提高控制点的自动查找效率。②对确定出的控制点所在位置附近K×K区域使用Harris算法,提取出该区域内的角点,并用红色标注。边长K 取搜索模板边长的1.5倍。③利用控制点的几何特征,对Harris算法所确定的角点逐个判断其是否为控制点中心。若为中心,用蓝色圈出。

 引用格式

   王建荣, 王任享, 胡莘. 光学摄影测量卫星发展[J]. 航天返回与遥感, 2020, 41(2): 12-16.

  WANG Jianrong, WANG Renxiang, HU Xin. Development of Optical Satellite Photogrammetry[J]. Spacecraft Recovery & Remote Sensing, 2020, 41(2): 12-16. (in Chinese)

采用OpenCV与VS2010平台对该算法进行了实现,基本流程图如图4所示。

近景摄影测量控制点快速自动识别与定位专业科普丨光学摄影测量卫星发展(图8)

图4 控制点自动识别流程图

2.2 实验结果

实验共拍摄3组数据,控制点个数分别为5个、10个和15个。

文章选自《航天返回与遥感》2020-02

高分七号卫星遥感技术专刊

5个点的实验结果如图5所示,图中共有5个控制点,利用相关匹配算法成功找到5个控制点的大致位置,如图1所示。Harris算法仅对模板匹配出的位置进行角点提取,对于控制点所在区域内的控制点角点探测成功率为100%。控制点中心确定的算法成功探测到4个控制点的中心。

近景摄影测量控制点快速自动识别与定位专业科普丨光学摄影测量卫星发展(图9)

登载此文出于传递更多信息之目的拍摄技巧,版权归原作者及刊载媒体所有,如本文中图片或文字侵犯您的权益,请联系我们。

近景摄影测量控制点快速自动识别与定位专业科普丨光学摄影测量卫星发展(图10)

图5 5个点的识别

联系方式

图6为用Harris方法对整张影像做提取,可以看到,不使用模板匹配时,Harris算法会提取出整张影像的特征点。对于特征点众多的摄影测量影像,在识别控制点时将整张影像进行特征探测,会降低控制点识别的速度,因此,利用模板匹配来预先获得控制点的大概位置是必要的。

近景摄影测量控制点快速自动识别与定位专业科普丨光学摄影测量卫星发展(图11)

广东省珠海市唐家湾中山大学珠海校区榕园4号313房

sges@mail.sysu.edu.cn

联系:0756-3668354

来源:航天返回与遥感

作者:王建荣 王任享 胡莘

编辑:卢宇煌

初审:陈楚

审核:惠凤鸣

终审:许粤

近景摄影测量控制点快速自动识别与定位专业科普丨光学摄影测量卫星发展(图12)

图6 整张影像角点探测

10个点的实验结果如图7所示,利用模板匹配算法成功找到10个控制点的大致位置,Harris算法仅对模板匹配出的位置进行角点提取,将控制点所在区域内的控制点角点全部成功找出。控制点中心确定的算法成功探测到8个控制点的中心。

近景摄影测量控制点快速自动识别与定位专业科普丨光学摄影测量卫星发展(图13)

图7 10个点的识别

15个点的实验结果如图8所示,利用模板匹配算法成功找到15个控制点的大致位置,Harris算法仅对模板匹配出的位置进行角点提取,将控制点所在区域内的控制点角点全部成功找出。控制点中心确定的算法成功探测到15个控制点的中心。

近景摄影测量控制点快速自动识别与定位专业科普丨光学摄影测量卫星发展(图14)

图8 15个点的识别

实验结果如表1所示。从表1中可以看出,该方法的稳定性比较好,从5个点到15个点成功率均在80%以上。而利用模板匹配来优化Harris算子的方法成功率更是高达100%,大大提高了人工寻找控制点的效率。

3 结束语

本文采用计算机视觉方法,将模板匹配和Harris角点提取算法结合,利用摄影测量控制点的几何特征,提出了一种快速识别和自动定位控制点的方法。并通过实验初步实现了该方法。

表1 实验结果统计

近景摄影测量控制点快速自动识别与定位专业科普丨光学摄影测量卫星发展(图15)

本方法主要的误差来源为控制点的中心定位方法,只要设计的控制点具有足够强的几何特征,并且找到抗干扰的控制点中心提取算法,则可以在模板匹配和Harris特征点提取的基础上,实现完全脱离人工的控制点识别与定位。

参考文献:略

声明:勘测联合网转载本文仅限行业学习交流之用,版权、著作权归原载平台及作者所有。

推荐阅读

自然资源部:2019年1月1日起,全面停止提供54、80坐标系测绘成果

致敬!我军唯一一支航空摄影测量中队

无人机海岛礁航空摄影测量技术应用

1:500、 1:1000 、1:2000地形图航空摄影测量内业规范

多旋翼无人机倾斜摄影系统在航空摄影测量使用中的经验总结

基于无人机遥感的海岛礁监测技术研究

GPS-RTK辅助近景摄影测量光束法平差及精度分析

基于近景摄影测量的基坑土方量计算及精度评价

近景摄影测量控制点快速自动识别与定位专业科普丨光学摄影测量卫星发展(图16)