案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图1)

项目简介




目前,实景三维建模主要采用倾斜摄影技术来实现。而既然要做到实景建模,我们当然希望模型效果尽可能地反映真实世界,但是直接通过现有建模软件生成的三维模型肯定有瑕疵。而这些瑕疵可能是由原理性因素与主观性因素两种情况造成的。

去年,一家名为Realworld工程咨询公司的台资企业联系了Phase One工业部门在台北的合作伙伴—迅联光电有限公司,表达了他们对在3D倾斜摄影系统中使用Phase One航空相机的兴趣。迅联与Phase One工业部门共同探讨了这一需求,随即被引荐至德国的GGS有限公司。除了是Phase One集成项目合作伙伴以外,GGS在创新和集成IMU/GNSS以及飞行管理系统(FMS)解决方案领域拥有良好声誉。

Realworld公司对此次集成有三个要求:

必须使用Phase One航拍相机

整套倾斜相机必须能够安装于公司现有的SOMAG AG Jena GSM 4000®云台(陀螺仪卡口)

相机阵列必须能与Applanix公司的PosAV (GNSS/IMU) 510兼容



01原理性因素

因为现有主流倾斜摄影三维建模软件的原理都是基于影像特征点提取和匹配来实现模型建立的,这就会导致当测区包含以下四种场景时,建模就可能出现问题。

基于上述要求,GGS公司为客户做了全面的可行性研究并提出了新型倾斜相机的设计。这一提议已被Realworld公司采纳,GGS公司获得借助Phase One航空相机建立完整的倾斜摄影系统的批准。

1、无法反映物体真实纹理信息的反光面。

案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图2)

研发与设计

例如水面、玻璃、大面积单一纹理面的建筑物。

案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图3)

该项目看上去进展顺利,但是创建倾斜摄影系统对于GGS公司而言是一项挑战,需考虑的3个主要领域如下:

2、慢速运动的物体,例如十字路口的汽车。


案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图4)

3、随风晃动的植被。

无法匹配特征点或者匹配的特征点误差较大的场景,例如树木、灌木丛等。


案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图5)

4、复杂、镂空的建筑物。

例如护栏、基站、铁塔、高压线等。

机械设计-机械设计包含将5个相机整合至一个固定支架内,以适应GSM4000内有限的空间。此外,该设计必须能稳定地固定以防震。

电子设计-电子设计必须满足:为每仓库相机、IMU、嵌入式PC及控制单元供电。


案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图6)

对于1、2类型场景,无论怎么提高原始数据质量,模型效果都不会有太大改善,甚至有可能随着模型分辨率的提高,建模的效果还会更差。而对于3、4类型场景,虽然可以通过提高模型分辨率来改善一定的模型效果,但是仍然很容易出现空洞和拉花,而且低效。这四种场景下的模型瑕疵,是由倾斜摄影原理性问题导致的。而在现阶段,这类问题不可避免。

数据管理-数据管理系统的设计必须优化相机、IMU/GNSS、飞行管理系统及陀螺仪卡口之间的数据传输。

案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图7)

机械设计

GGS设计了一个固定的金属框架,可以分别固定5台相机。框架底部安装相机,顶部安装有IMU、PC以及其他电子元件。整个结构能与套管相匹配,套管与GSM4000的开口位置齐平。套管能防止相机和电子设备受使用环境的影响,方便整个系统进出飞机。顶部的外壳上开了5个槽,用于存放热插拔固态硬盘。 


02主观性因素

第二种瑕疵主要是由航飞作业参数的设置、航飞光影条件、数据采集设备、建模软件等主观因素变化导致的。其表现为模型建筑物出现重影、整体拉花、融化、光影严重斑驳、建筑错位、变形、建筑粘连等问题。

电子设计


案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图8)案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图9)

当然,这些问题也可以通过后期软件修补的方式来解决。但是,接触过相关工作的客户应该比较了解,如果要进行大面积、大规模的模型修饰工作,花费的人力、时间成本是非常庞大的。

电子系统需要为所有相机、PC及其它稳态功率的电子元件供电。至关重要的是,若因飞机电源不相容性造成功率峰值时,元件不能受到影响,因此安装了内部不间断电源来应对电源波动。


案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图10)

原始建模效果

这一系列相机通过Phase One的多机同步电缆串联在一起,以确保触发信号快速同步。然后相互连接所有元件。各相机通过USB 3.0连接至PC以传输数据,PC通过单独连接控制相机。IMU连接至PC和其中一部相机顶部的插座上。所有电缆均已做好屏蔽并且紧密连接,以防止飞行中出现松动。

案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图11)

精修模型效果


模型的修饰和精修不是本文讨论的方向,如果大家感兴趣,可以在评论区留言。我们将根据大家的关注程度,评估是否给大家介绍一些模型精修的经验。

作为倾斜摄影相机研发厂家,睿铂从设备研发的角度对这两类瑕疵进行了深入思考:如何设计倾斜摄影相机,才能够保证在不增加重叠度或者航片数量的条件下,提高建模效果呢?

为了方便大家理解,文章分成两到三个部分。首先给大家讲解一些相关参数的背景知识,以及大家可能对这些参数存在的误解。后面再介绍睿铂如何基于这些参数的相互关系,以提高模型效果为目标,来指Pros系列产品的研发。

数据管理

03什么是焦距(f)

焦距是光学镜头一个非常重要的参数。镜头焦距的长短决定了被摄物在成像介质上的大小,也就相当于物和象的比例尺。

对于数码照相机(DSC)来说,其成像介质为图像传感器(主要是CCD与CMOS两类传感器)。数码相机在航测中使用时,镜头焦距的长短就决定了地面影像分辨率(GSD)。

最终设计的一个关键部分是数据管理。该系统需要管理4个不同的互相通信的系统:

飞行管理系统系统在飞越既定区域时触发相机,相机随即将事件脉冲信号发送至IMU/GNSS系统,以标记正确的触发点,以便后续处理外部定位。

当在相同距离拍摄同一个目标物体时,镜头焦距长的,所成物象大;镜头焦距短的,所成物象小。镜头焦距的长短决定成像大小,视场角大小,景深和画面的透视强弱。根据用途的不同,相机镜头的焦距相差可以非常大,有短到几毫米,十几毫米的,也有长达几米的。航空摄影镜头焦距一般选在20mm~100mm这个区间(不考虑镜头畸变的影响)。

IMU与陀螺仪卡口通信,将定位信息发送至PC以便同时在事件期间存储位置信息。通过获取IMU的信息并加上陀螺卡口定位,客户可以在后续处理过程中计算出悬浮杠杆臂,从而提高了在IMU/GNSS系统水平以上的外部位置精度。

相机接收IMU/GNSS系统的信息,并将数据录入每个图像文件的标头。图像写入固态硬盘。


案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图12)

焦距示意图

为完成该系统相机评测,GGS推荐了Phase One的iX Capture软件,这是一款能够自由控制、捕捉和转换的软件,让操作员能完全控制相机阵列。操作员设置相机参数,并能够在拍摄时监控单个捕捉画面——甚至可以将单个捕捉画面放大至100%。该软件使操作员能够很轻松地控制相机。

校准飞行

04什么是视场角(FOV)

在光学仪器中,以其镜头中心点为顶点,以被测目标物像可通过镜头的最大范围边缘所构成的夹角,称为视场角。 视场角的大小决定了光学仪器的视野范围,视场角越大,视野就越大,光学倍率就越小。通俗地说,如果目标物体不在视场角范围内,则该物体反射或发射的光线就不会进入镜头内,也就无法成像。

相机在交付给客户之前已经在德国进行了校准。在校准飞行中,每个相机拍摄258幅图像,并将IMU/GNSS系统数据写入每个图像中。每个曝光位置的5幅图像没有重叠,但在最后一组中,大约200幅图像中都出现了重叠。每张照片平均包含110个分布良好、可测量的连测点。飞行前,先使用AeroTopoL软件进行精确的任务规划,该软件也可用于整个倾斜摄影任务规划。

整个项目都需要借助后续处理软件进行计算,相机校准一步完成。在迭代过程中,确定了每个相机头部的相机校准参数。倾斜相机没有用作Nadir相机的共用传感器。所有的相机图像都以单向数据的形式输入到航空三角测量过程中。

除了校准数据外,还通过Nadir相机和偏移量对每个倾斜相机的偏移量进行了瞄准线的校准。这为整个系统生成了高度精确的传感器模型,并实现了进一步项目的全自动化的数据提取。在校准飞行成功后,相机被送至台湾客户,并在GGS工作人员的支持下进行安装。


案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图13)

视场角与焦距

05焦距(f)与视场角(FOV)的关系

关于倾斜摄影相机焦距,客户一般存在两个误解:

案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图14)

总结

GGS的首席执行官Gerhard Kemper说:“Phase One的航空相机非常适合我们的产品,能够轻松易集成到我们现有的系统中。我们从一开始就使用Phase One的航拍产品,并将在新品上市后继续与之合作。我们已将Phase One相机集成至多个航空解决方案中,世界各地的客户都在使用这些解决方案。

1)焦距越长,飞机飞行高度越高,影像覆盖面积越大;

2)焦距越长,覆盖面积越大,作业效率越高;

客户之所以会有上面两种误解,原因就是没有认识到焦距和视场角的关系。

二者的关系为:焦距越长,FOV越小;焦距越短,FOV越大。所以在画幅物理尺寸、画幅分辨率和采集分辨率相同的前提下,焦距的改变只会影响航飞的高度,而相机在地面覆盖的投影面积一般是不变的。

有了这个一站式的倾斜摄影解决方案,3D城市模型和其他需要倾斜摄影的项目将变得简单。随着越来越多的客户要求使用倾斜成像,带Phase One相机的倾斜系统,如GGS设计的系统,正变得越来越普及,用户们能够向当今的市场提供倾斜摄影航空数据。

案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图15)

-END-

案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图16)

联系我们

Phase One**北京办公室

还有一种更容易理解的方式。比如DG3pros每个镜头像素是6000x4000,以正射镜头为例:整张航片覆盖的地面投影面积计算公式为GSD*6000XGSD*4000。如果航飞分辨率是2cm,那么就表示每一个像元覆盖的地面投影面积为2x2cm,那么整张航片覆盖的地面投影面积为12000x8000cm,即120x80m。

电话:13818904420

从覆盖面积计算公式可以看出:航片覆盖面积与焦距无关,所以当分辨率一确定,航片的覆盖面积也就确定了,无论焦距如何变化,都不会影响航片的实际覆盖面积。

电子邮箱:jnl@phaseone.com


06焦距与效率的问题

明白了焦距与FOV的关系,大家可能会认为焦距的长短对于航飞效率没有影响。对于正射摄影测量来说,这句话相对正确。(但严格来说,焦距越长,无人机飞的越高,耗能就越多,续航时间就会变短,整体效率也就降低了。)

Phase One 授权经销商

北京量子星光科技有限公司

         电话 010-82601095  

而对于倾斜摄影来说,焦距越长,作业效率反而越低。倾斜摄影相机的倾斜镜头一般是倾斜45°放置,为了保证采集到测区边缘外立面的影像数据,航线需要外扩。因为镜头45°倾斜,则会形成直角等腰三角形,假设不考虑无人机飞行姿态,以倾斜镜头主光轴正好拍摄到测区边缘线作为航线规划的要求,则无人机航线外扩距离等于无人机飞行高度。

所以如果航线覆盖面积不变,短焦镜头的有效面积大于长焦镜头的有效面积。在之前的介绍Riy-pros作业效率分析一文中,才特别注明了表格作业效率仅代表无人机作业飞行的投影面积,有效区域面积小于航飞投影面积。

中测瑞格测量技术(北京)有限公司 


案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图17)

如果客户只在地势比较平坦的区域做地籍测量相关项目,为了提升作业效率,我们一般会推荐D2pros倾斜相机。如果客户除了地籍项目,还有固定翼城市大面积项目,或者作业区域地势比较复杂,在这种综合场景下,我们一般会推荐DG3pros或者性能更优的DG4pros倾斜摄影相机。

         电话 010-65858516

案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图18)

通过上面的介绍,相信大家对焦距与视场角之间的关系有了一个初步的了解。从作业航飞参数设置,到后期模型的建立,这两个参数的影子贯穿始终。

Phase One系统集成合作伙伴

北京四维远见信息技术有限公司

那么到底这两个参数对模型效果有什么影响?下面,我们就介绍睿铂是如何在产品研发过程中发现其中的联系,又如何在航高与效果的矛盾中寻求平衡。

从D2到D3

RIY-D2是专门针对地籍测量项目研发的一款产品,也是市场上最早采用下托挂式和镜头内对设计方案的倾斜摄影相机。


D2建模精度高,模型效果好,适合用于地势平坦,楼层不太高的场景建模。但是对于落差较大,地形、地貌复杂(含高压线、烟囱、基站等高层建筑的场景),无人机的飞行安全会受到影响。

案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图19)

         电话 010-59795858

RIY-D2

上海航遥信息技术有限公司


实际作业中,的确有客户因为没有设计好航高,导致无人机挂高压线或者撞基站;或者有些无人机虽然侥幸掠过危险点,但检查航片时才发现,无人机离危险源非常近。这些危险和隐患,往往会造成客户巨大的财产损失。

         电话 010-88112279


案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图20)

航片中的基站


所以有众多客户反馈:能否设计一款长焦距倾斜摄影相机,使无人机的作业高度更高,让作业更安全?基于客户的需求,我们在RIY-D2的基础上,研发了长焦距版本的RIY-D3。相比于D2,在相同的分辨率下,D3可以让无人机作业航高提升约60%。

案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图21)

分辨率与其对应航高


在研发D3的过程中,睿铂研发人员一直认为更长的焦距可以有更高的飞行高度,更好的建模效果和采图精度。


案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图22)

可实际作业后,才发现完全不是预想的那样,D3相对于D2,建立的模型在屋檐下的拉花变得严重,而且效率相对较低。


为什么焦距更长的D3的建模效果反而没有D2建模效果好呢?

焦距与建模效果

关于焦距与建模效果的关系,大多数客户都存在一些误解,甚至很多倾斜摄影相机厂家都会错误地认为长焦距镜头对建模效果有帮助。



实际情况是:在其他参数相同的前提下,对于城市立面建筑建模场景,焦距越长,模型的建模效果反而越差。


上文中第5点讲解了焦距与视场角的关系:在其他参数相同的前提下,焦距只会影响航高。如图所示,现有两个镜头,红色表示长焦镜头,蓝色表示短焦镜头。长焦镜头与墙面所形成的最大夹角是α,短焦镜头与墙面所形成的最大夹角是β。

案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图23)

显然:β>α

这个夹角大小表示什么呢?镜头视场边缘线与墙面的夹角越大,镜头相对于墙面也就越水平。在建筑物立面信息采集时,短焦镜头能够更水平地采集墙面信息,建立的模型也就能够更好地反映出立面的纹理。


所以对于有立面的场景,镜头焦距越短,采集的立面信息越丰富,建模效果越好。


前面我们说到,对于有屋檐的场景,D3的建模效果没有D2好。这是因为在地面分辨率相同的条件下,镜头焦距越长,无人机航高越高,屋檐下面的盲区就会越多,那么模型的拉花就会越严重。


如下图所示,若虚线表示屋檐,则长焦镜头的视野被遮挡的部分相对更多。

案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图24)

所以这种场景中,拥有更长焦距镜头的D3比D2采集数据建立的模型拉花更加严重。

航高与效果的矛盾

根据上述焦距与模型效果的逻辑,如果镜头焦距足够短,视场角足够大,实际根本不需要多镜头,一个超广角镜头(鱼眼镜头)就可以把所有方向视角信息采集完。

案例分享 | GGS倾斜摄影系统倾斜摄影相机与建模效果的关联你真的了解吗?(图25)

超广角镜头拍摄的航片

那是不是把镜头焦距尽可能地设计短,就万事大吉?


显然不是!先不提超短焦距会导致大畸变的问题,假如将DG3pros的正射镜头焦距设计成10mm,按2cm分辨率采集数据,无人机航飞高度只有51米。


如果无人机搭载这样设计的倾斜相机外出作业,肯定险象环生。


PS:虽然超广角镜头在倾斜摄影建模中使用场景有限,但是对于激光雷达建模却很有实际意义。之前,美国的phoenix激光雷达公司就曾委托睿铂,希望设计一款搭配其激光雷达产品的广角镜头航测相机,用于地物判读和纹理采集。

从D3到DG3

D3的实测数据让我们认识到,对于倾斜摄影而言,焦距并不能单调追求长或者短。焦距的长短与模型的效果,航飞效率,作业飞行的高度密切相关。


根据《低空数字航空摄影规范》,相对航高的技术公式为:

H=f*GSD/a

H:相对航高

f:摄影镜头的焦距

GSD:影像地面分辨率

a:像元尺寸大小


通过公式我们可知:

相对航高(H)与镜头焦距(f)是正比例函数,影像分辨率(GSD)决定函数的斜率。无论焦距增加或者降低,航飞高度边际变化的效用是不变的。


镜头视场角可以用下列公式表示:

θ=2arctan(d/2f)