点击上方“计算机视觉life”,选择“星标”

Phase One 280MP航拍解决方案(PAS 280)包含了两种航拍相机型号:

快速获得最新干货

Phase One IXM-RS280F RGB——包括两个90mm镜头,用于捕获RGB信息

Phase One IXM-RS280F 4波段——包括一个附加的50mm焦距镜头和消色差150MP传感器,用于捕获近红外信息并提供4波段(RGB,NIR)和CIR影像。

PAS280系统利用了两个影像传感器和两个镜头的集成。这种光学集成以及专用软件可以实现用两个150MP正射影像生成一张单中心投影的280MP影像。

标题:Intrinsic Calibration of Depth Cameras for Mobile Robots using a Radial Laser Scanner

作者:David Zu~niga-Noel, Jose-Raul Ruiz-Sarmiento, and Javier Gonzalez-Jimenez

PAS280系统是一个完整集成的系统,它包括陀螺稳定座架、GNSS、航线设计软件、飞行管理、影像和GNSS处理软件。

iXM-RS280F 光学设计

来源:arxiv 2019

播音员:

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图1)

iXM-RS280F包括两个90mm镜头和两像素尺寸为3.76µm 的CMOS影像传感器,且相对于镜头的主光轴有向外偏移。每个镜头都垂直放置,可提供具有相等地面分辨率的正射影像。每个影像传感器都捕获相对飞行航线另一侧的影像,也就是说右侧传感器会捕获左侧,而左侧传感器会捕获右侧。影像之间有重叠区域以供拼接。影像传感器的长边沿着航线方向安装。每个传感器在垂直航线方向上提供10,652像素的影像,在沿着航线方向上提供14,204像素的影像。这两个拼接的影像可以形成一个大幅面影像,它的垂直航线方向有20,150像素,沿着航线方向有14,118像素,从而提供一个2.8亿像素的影像。垂直航线方向的总视场角为45.7度,沿着航线方向的总视场角为32.9度。

标定程序

摄影测量中对相机的标定可以通过两种方式完成:机载标定和实验室标定。机载标定的描述包括以下步骤:

在Phase One Industrial设计的测试场进行飞行准备和执行。

编译:赵键

分别对左右影像组建立平差区域网。

使用包含所有影像的空三工程进行地面控制点的量测。

使用所有的地面控制点对独立影像进行光束法平差,并计算独立的左右影像的标定参数以及它们之间的相对定向参数。数据将被写入标定文件,并在制造过程中被嵌入相机存储器中。

使用iX Capture创建由左右影像拼接成的无畸变大幅面影像。将标定参数应用于每个影像,并创建无畸变影像。接下来,进行两幅影像之间的匹配以及右影像(辅相机)到左影像(主相机)坐标系的转换。拼接变换后的影像,以创建无畸变、无拼缝的大幅面影像。

以下计算出的左右影像的标定参数将作为标定过程的结果被写入文件:

审核:万应才,李鑫

表1

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图2)

摘要

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图3)

  大家好,今天为大家带来的文章是--Intrinsic Calibration of Depth Cameras for Mobile Robots using a Radial Laser Scanner 该文章2019年发表于https://arxiv.org /abs/1907.01839。

  作者该文提出了一种基于2D激光扫描仪与低成本RGBD相机的融合深度标定校正方法,该方法巧妙的利用了目前普遍配置在移动机器人上的2D激光扫描仪和RGBD相机来对深度相机进行内参标定,能有效的校正深度相机的局部形变和全局误差,其方法快捷精确,且无需任何外在的标定板或标志物。因此,具有较强的工程实用性和有效性,代码已开源于https://github.com/dzunigan/depth_calibration,相关测试数据下载地址为 :https://doi.org/10.5281/zenodo.2636878。

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图4)

在iX Capture中最终生成的拼接大影像具有主相机(左影像)的焦距,所有其他参数均等于零。校准表如下所示:

表2

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图2)

主要贡献

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图6)

执行以下步骤检验标定成果并生成大幅面影像:

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图3)

   1.本文所提标定方法不需要任何标定板或标志物,因此能在移动机器人平台上实现快捷自动的应用;

   2.将结构光深度相机的系统深度测量误差用更为简洁的参数化表示方法来表达,即通过最大似然估计框架来表示测量偏差函数;

使用大的无畸变影像进行光束法平差,并获得大影像的畸变残差。

   3.该标定方法的输出为逐像素的二次偏差函数,因此可用实时方式同时实现深度相机的局部形变和全局测量系统误差的校正。

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图2)

算法流程

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图3)

 1、深度误差模型:

用7个地面控制点计算影像外方位元素并用38个检查点检验精度。

标定测试场

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图10)

地面控制点测量过程包括:

大地观测是根据一个基准站中的静态GPS测量过程而执行的。       

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图11)

图1 深度相机随着成像距离增加而呈现的系统误差,左图为深度相机对垂直墙面在1-4m距离上的观测结果。右图为深度相机俯仰60度后同一墙面的观测结果。                                     

通过两个独立的1小时长时间段观测,对照CSAR永久GPS站对测区基站进行了测量。

每一个地面控制点都通过两个独立的半小时静态观测以测量。

如图1所示,结构光RGBD相机的系统误差主要来源于两种误差,即局部形变和全局误差。其中,局部形变表现为点云出现的非线性的形变,而全局误差则是指随着成像距离增加,测量的平均深度会相比于真实距离存在着整体上的偏差。我们可将两种来源的误差用深度偏差来表示:

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图12)iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图13)

图2 两个不同像素处的观测偏差(2a)与偏差噪声(2b)与测量深度值之间的二次曲线拟合结果

图2a中给出了通过计算不同像素处的测量深度值与对应的真实深度值所得到的偏差与测量深度值之间的函数关系,可见每个像素处都具有不同的偏差值,但整体可通过一个二次方程来拟合其与测量值之间的关系。但如果我们利用偏差的标准差来表示,如图2b所示,不同于偏差,测量偏差的不确定性对于不同像素而言却是近似相同的,因此我们可以用一个方差函数来表示所有像素处的误差。最后,系统深度误差可以用以下公式来表示:

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图14)

2拍摄技巧、标定方法:

机载标定飞行和单张左右影像平差

每次机载标定飞行均使用以下参数进行:

2.1 基准深度的计算:

     标定方法的输入值是深度相机和激光扫描仪对同一个垂直平面的观测值,深度相机得到的是深度图像,而激光扫描仪则用几何参数形式来表达观测到的平面:

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图15)

设深度相机和激光扫描仪的外参参数为(R,t),则可通过外参将激光扫描仪的坐标系转换到深度相机坐标系下:

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图16)

由深度图像和内参可得到三维点坐标,这样可最终得到每个像素下的测量和基准深度值对。

2.2 偏差函数的最大似然估计:

一旦计算得到了深度测量-基准数据对后,估计偏差函数主要分为两步:首先,对所有像素可对观测的方差进行二次函数拟合,其次,再对每个像素独立的计算实际的偏差参数。

首先,估计偏差噪声的最佳二次函数的参数,可利用最小二乘方法来求解:

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图17)

使用在所有影像上测得的所有GCP,可以同时对左右摄像机捕获的影像进行平差。左右单个影像的同时区域网平差的典型结果如下所示:

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图18)iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图19)

平差后,单张影像的标定参数及其相对定向参数(表1)将被接收并用于生成大型拼接的无畸变影像。

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图20)

在估计了偏差不确定性的参数后,可针对每个像素来求解偏差函数的二次估计拟合的参数。本文中就将标定问题用最大似然估计函数的形式来表示如下:

应用标定参数后的畸变残差

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图21)

将上式取负对数可得到下列等同的最小二乘问题:

在生成大幅面拼接无畸变影像过程中,将相应的畸变参数应用到每个单张影像中,从而生成无畸变的单张影像。无畸变单张拼接影像上的最大畸变残差小于0.2个像素(<0.7µm)。

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图22)

这样通过求解上式(12),我们可估计初在每个像素处测量深度值所对应的偏差函数。

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图23)

280MP拼接影像

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图24)

空三测量精度评估

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图2)

主要结果

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图3) iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图27)

图3. 左图为实验所采取的Giraff机器人及其所安装的传感器,右图为机器人面对墙面进行标定数据的采集

生成的无畸变大图幅拼接影像将用于三个新的区域网平差,以进行准确性检查。

如图3所示,基于Giraff机器人系统,采集了两个RGBD相机(奥比中光)和一个2D激光扫描仪(Hokuyo URG04LX-UG01)的数据。在采集过程中,让机器人朝向一睹平面墙体来回往返运动,同时记录下各个传感器的测量数据。为了可复现我们的标定结果,采集的数据可在https://doi.org/10.5281/zenodo.2636878下载。

1、定量分析:

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图28)

图4 两个RGBD相机局部形变校正效果对比(a为安装在上面的RGBD相机,b为安装在下面的RGBD相机)

由图4可见,相比于原始的深度测量值,经过本文标定方法校正后的局部深度测量值均得到了较大的精度提升。

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图29)

图5 两个RGBD相机全局误差校正效果对比(a为安装在上面的RGBD相机,b为安装在下面的RGBD相机)

由图5可见,相比于原始的深度测量值,经过本文标定方法校正后的全局的深度测量值均得到了较大的精度提升。

2、定性分析

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图30)

在第一个区域网中,使用了来自11 + 2条带的所有拼接影像。第二个区域网包含了每隔一个航带和两个交叉航带的影像,第三个区域网仅由每隔一个航带的影像组成,而不包括交叉航带。在所有配置中,使用了7个用于外部定向的控制点和38个用于区域网精度评估的检查点。

下表展示了结果:

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图31)

立体量测精度分析

另一个地面采样分辨率为2.1厘米的架次数据被用于立体量测精度测试。飞行中包含251张影像和45个地面控制点。在测试过程中,测量了325个立体像对,平均每一个地面控制点有7.3个立体像对覆盖。下表中显示了结果:

   由图6可见,原始的深度测量值如右图所示,而左图为经过本文标定校正后的数据,可见,无论近距离还是远距离情况下,本文方法均能将局部形变和全局误差减少,对精度的提升有明显的效果。

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图32)

图6 左图为原始数据所成的平面点云数据,右图为标定校正后的数据,基准平面为1-4m的黑色直线

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图33)

Abstract 

Depth cameras, typically in RGB-D congurations, are common devices in mobile robotic platforms given their appealing features: high frequency and resolution, low price and power requirements, among others. These sensors may come with signicant, non-linear errors inthe depth measurements that jeopardize robot tasks, like free-space detection,environment reconstruction or visual robot-human interaction. ThiXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图34)

结论

 iXM-RS280F大幅面相机是一款量测型相机,具有稳定且可清晰定义的标定参数

相机拍摄的影像具有很高的几何和辐射质量,可确保相机在包括立体测图在内的高精度制图项目中的实用性。

区域网的摄影测量精度在影像平面中约为0.5个像素

检查点的平面精度为0.7个像素,高程精度为1个像素

地面采样间隔为2cm的区域网的立体量测平面精度为1个像素,高程精度2个像素。

-END-

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图35)

联系我们

Phase One**北京办公室

:13818904420

电子邮箱:jnl@phaseone.com

Phase One 授权经销商

北京量子星光科技有限公司

         010-82601095  

中测瑞格测量技术(北京)有限公司 

         010-65858516

Phase One系统集成合作伙伴

北京四维远见信息技术有限公司

         010-59795858

上海航遥信息技术有限公司

         010-88112279

iXM-RS280F 机载标定程序及精度评估基于激光扫描仪的移动机器人深度相机内参标定方法(图36)