创新型摄影测量教学实验系统的设计

摘 要:为了在测绘学科教学实践中提高学生的理论水平和分析解决问题的能力,该文以摄影测量的生产流程为主线,研究实现从航空数据获取、像控点测量、空中三角测量、“4D”数据产品生成、三维建模与仿真到GIS属性入库的全过程模拟,旨在解决摄影测量课程教学过程中所面临的抽象、枯燥、高成本、高风险的问题;并以摄影测量实验系统采集的数据为基础,增加了控制测量、GIS入库、三维GIS等实验内容,以期为测绘学科的教学发展以及学生的实践能力提高作出贡献。

随着摄影测量学的发展,我国高等院校的测绘工程及相关专业都开设了摄影测量学课程,**部高等学校测绘学科教学指导委员会已经将其作为测绘类专业的最核心、最重要的主干课程之一。随着摄影测量技术的不断发展及其理论的进一步完善,摄影测量如今已进入数码摄影测量时代,在“数字城市”“智慧城市” “地理国情普查”等领域发挥了非常重要的作用。摄影测量技术的不断发展对测绘人才的培养提出了更高的要求,不仅理论功底要扎实,而且实践创新能力要突出。

摄影测量学是一门内容抽象、逻辑严密、实用性强的专业课,学生通过该课程的学习应系统地掌握摄影测量学的基本理论与方法。摄影测量学课程具有“多、繁、广” 的特点:基本概念多,公式推导多, 综合运用了高等数学、线性代数、测量平差、GPS 原理等多个学科的知识, 尤其是高等数学中的微积分、泰勒级数, 线性代数中的矩阵运算和测量平差中的最小二乘等; 空间关系复杂,空间立体感强, 摄影测量处理过程涉及到多个坐标系之间的转换, 空间关系较为复杂, 侧重由空间到平面、由平面到空间的思维过程, 需要学生具有较强的空间想象能力; 知识面广, 内容衔接紧密, 它是一门重要的对地观测技术, 涉及到数学、物理、网络与数据库技术、数字图像处理技术、模式识别、人工智能、计算机图形学等多种技术,要加强学科间的联系。

当前摄影测量教学过程中,主要存在的问题在于学生对摄影测量的理解仅仅停留在课本上的感性认识,即一大堆公式的理解和推导,而在实际生产中原理与实践的结合却存在脱节,因此对课程学习的效果并不理想。摄影测量实践教学是该课程学习的重要环节,其目的在于使学生通过各类摄影测量仪器、软件的使用及相应的编程实现,进一步理解、巩固摄影测量学的基本理论知识,掌握摄影测量数据处理与产品生成的全过程,并了解其应用。但目前绝大多数高校在摄影测量学实践教学中存在问题,主要体现在实践场地有限甚至没有,基本上都是利用VirtuoZo和JX4等软件进行一些航摄的数据处理,完成几个相对独立简单的模块功能使用,结果导致学生对航测作业的全过程没有一个整体认识,缺乏实践操作,不利于课堂教学,造成学生普遍感到学习该课程非常吃力。鉴于此,课题组根据摄影测量规范要求, 充分考虑到当前摄影测量实验教学及传统测绘实验方式单一的不足, 同时结合实际的生产流程, 联合国内部分高校设计、研发了一套测绘模拟实验系统,实现了摄影测量全流程的真实模拟,成果精度可以满足摄影测量规范要求; 与此同时,利用沙盘模型还可以开展控制测量、地形测量实习和GIS等诸多实习。

点击上方“计算机视觉life”,选择“星标”

 多功能测绘模拟系统的设计。该系统通过3条“工”字形高强度导轨,配以步进电机,设计专门的无线控制系统, 搭建室内模拟飞行轨道系统; 通过对民用单反相机进行钢架外框加固,基于高精度室外检校场进行相机标定,实现民用相机的量测化改造; 设计专门的沙盘模拟地形地貌,通过结合以上三者实现模拟航空摄影飞行,无线控制系统可根据航线设计软件的参数控制相机在轨道范围内的运动及曝光, 获取沙盘的航空影像, 并对获取的影像数据进行空三加密、矢量测图、三维建模等一系列处理及应用。

轨道及曝光控制设计。该控制软件主要采用航线设计当中的横向与纵向位移参数来控制“工” 字形轨道中横梁在平行直轨中的精确运动, 以及安装于横梁之上的数字相机的精确运动及曝光。当相机运行至曝光点时,相机将在电脑控制下曝光。

沙盘设计。系统沙盘模型的设计对于培养学生的实践能力具有非常重要的作用, 在沙盘设计当中充分考虑了学校一线教师及生产单位作业人员的建议,设计具有典型地貌特征的山体, 同时在城市建筑结构、城市设施等方面做了一些特殊处理。例如:将房屋高低结构复杂化、在城市当中设计结构复杂的立交桥系统等, 这样便于培养学生的立体感知能力及三维测图的技能。与此同时, 在模型当中还设计有高等级公路及河流, 其目的在于后期可以开展基于GIS 技术的道路改扩建分析、河流淹没区分析, 加强学生对GIS 技术的应用认识。

快速获得最新干货

标题:Intrinsic Calibration of Depth Cameras for Mobile Robots using a Radial Laser Scanner

摄影测量学是一门理论与实践并重的课程,其实践教学部分对于培养学生扎实的摄影测量学处理技能、完成从理论学习到实践应用的过程有关键意义。本文结合测绘类学生培养的实际情况、当代摄影测量学发展的趋势, 联合国内多所高校共同完成了创新性多功能摄影测量实验系统设计与开发, 完全具有自主知识产权, 它改变了传统的摄影测量实验教学模式, 实现了摄影测量全流程的真实模拟, 成功完成了基于沙盘模型的“4D” 数据生产, 并完成了沙盘模型的三维可视化建设。该系统的优势主要体现在能够节省成本、规避野外风险、打破时间空间的限制, 这对国内高校的测绘类创新型人才培养具有重要的作用。随着计算机技术、传感器技术及空间技术的发展, 整个测绘学科以及摄影测量学都处于动态发展之中, 课题组将紧跟测绘新技术的发展步伐, 逐步开发并完善高精度室内定位、模拟航空LiDAR、模拟倾斜摄影测量等新的实践教学内容, 为全能型高端测绘人才的培养提供支持。

引用格式:胡倩伟,刘先林,曲建光,等.创新型摄影测量教学实验系统的设计[J].测绘科学,2016,41 (3):181-184.

作者:David Zu~niga-Noel, Jose-Raul Ruiz-Sarmiento, and Javier Gonzalez-Jimenez

来源:arxiv 2019

播音员:

编译:赵键

审核:万应才,李鑫

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图1)

摘要

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图2)

  大家好,今天为大家带来的文章是--Intrinsic Calibration of Depth Cameras for Mobile Robots using a Radial Laser Scanner 该文章2019年发表于https://arxiv.org /abs/1907.01839。

  作者该文提出了一种基于2D激光扫描仪与低成本RGBD相机的融合深度标定校正方法,该方法巧妙的利用了目前普遍配置在移动机器人上的2D激光扫描仪和RGBD相机来对深度相机进行内参标定,能有效的校正深度相机的局部形变和全局误差,其方法快捷精确,且无需任何外在的标定板或标志物。因此,具有较强的工程实用性和有效性,代码已开源于https://github.com/dzunigan/depth_calibration,相关测试数据下载地址为 :https://doi.org/10.5281/zenodo.2636878。

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图1)

主要贡献

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图2)

   1.本文所提标定方法不需要任何标定板或标志物,因此能在移动机器人平台上实现快捷自动的应用;

   2.将结构光深度相机的系统深度测量误差用更为简洁的参数化表示方法来表达,即通过最大似然估计框架来表示测量偏差函数;

   3.该标定方法的输出为逐像素的二次偏差函数,因此可用实时方式同时实现深度相机的局部形变和全局测量系统误差的校正。

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图1)

算法流程

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图2)

 1、深度误差模型:

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图7)

图1 深度相机随着成像距离增加而呈现的系统误差数码相机资讯,左图为深度相机对垂直墙面在1-4m距离上的观测结果。右图为深度相机俯仰60度后同一墙面的观测结果。                                     

如图1所示,结构光RGBD相机的系统误差主要来源于两种误差,即局部形变和全局误差。其中,局部形变表现为点云出现的非线性的形变,而全局误差则是指随着成像距离增加,测量的平均深度会相比于真实距离存在着整体上的偏差。我们可将两种来源的误差用深度偏差来表示:

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图8)创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图9)

图2 两个不同像素处的观测偏差(2a)与偏差噪声(2b)与测量深度值之间的二次曲线拟合结果

图2a中给出了通过计算不同像素处的测量深度值与对应的真实深度值所得到的偏差与测量深度值之间的函数关系,可见每个像素处都具有不同的偏差值,但整体可通过一个二次方程来拟合其与测量值之间的关系。但如果我们利用偏差的标准差来表示,如图2b所示,不同于偏差,测量偏差的不确定性对于不同像素而言却是近似相同的,因此我们可以用一个方差函数来表示所有像素处的误差。最后,系统深度误差可以用以下公式来表示:

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图10)

2、标定方法:

2.1 基准深度的计算:

     标定方法的输入值是深度相机和激光扫描仪对同一个垂直平面的观测值,深度相机得到的是深度图像,而激光扫描仪则用几何参数形式来表达观测到的平面:

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图11)

设深度相机和激光扫描仪的外参参数为(R,t),则可通过外参将激光扫描仪的坐标系转换到深度相机坐标系下:

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图12)

由深度图像和内参可得到三维点坐标,这样可最终得到每个像素下的测量和基准深度值对。

2.2 偏差函数的最大似然估计:

一旦计算得到了深度测量-基准数据对后,估计偏差函数主要分为两步:首先,对所有像素可对观测的方差进行二次函数拟合,其次,再对每个像素独立的计算实际的偏差参数。

首先,估计偏差噪声的最佳二次函数的参数,可利用最小二乘方法来求解:

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图13)

在估计了偏差不确定性的参数后,可针对每个像素来求解偏差函数的二次估计拟合的参数。本文中就将标定问题用最大似然估计函数的形式来表示如下:

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图14)

将上式取负对数可得到下列等同的最小二乘问题:

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图15)

这样通过求解上式(12),我们可估计初在每个像素处测量深度值所对应的偏差函数。

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图1)

主要结果

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图2) 创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图18)

图3. 左图为实验所采取的Giraff机器人及其所安装的传感器,右图为机器人面对墙面进行标定数据的采集

如图3所示,基于Giraff机器人系统,采集了两个RGBD相机(奥比中光)和一个2D激光扫描仪(Hokuyo URG04LX-UG01)的数据。在采集过程中,让机器人朝向一睹平面墙体来回往返运动,同时记录下各个传感器的测量数据。为了可复现我们的标定结果,采集的数据可在https://doi.org/10.5281/zenodo.2636878下载。

1、定量分析:

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图19)

图4 两个RGBD相机局部形变校正效果对比(a为安装在上面的RGBD相机,b为安装在下面的RGBD相机)

由图4可见,相比于原始的深度测量值,经过本文标定方法校正后的局部深度测量值均得到了较大的精度提升。

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图20)

图5 两个RGBD相机全局误差校正效果对比(a为安装在上面的RGBD相机,b为安装在下面的RGBD相机)

由图5可见,相比于原始的深度测量值,经过本文标定方法校正后的全局的深度测量值均得到了较大的精度提升。

2、定性分析

   由图6可见,原始的深度测量值如右图所示,而左图为经过本文标定校正后的数据,可见,无论近距离还是远距离情况下,本文方法均能将局部形变和全局误差减少,对精度的提升有明显的效果。

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图21)

图6 左图为原始数据所成的平面点云数据,右图为标定校正后的数据,基准平面为1-4m的黑色直线

创新型摄影测量教学实验系统的设计基于激光扫描仪的移动机器人深度相机内参标定方法(图22)

Abstract 

Depth cameras, typically in RGB-D congurations, are common devices in mobile robotic platforms given their appealing features: high frequency and resolution, low price and power requirements, among others. These sensors may come with signicant, non-linear errors inthe depth measurements that jeopardize robot tasks, like free-space detection,environment reconstruction or visual robot-human interaction. Th