点击上方“计算机视觉life”,选择“星标”

激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图1)

点击图片上方蓝色字体“慧天地”即可订阅

激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图2)文章转载自公众号**测绘学会数码相机资讯,来源:测绘遥感信息工程**重点实验室,Geoscience Cafe,版权归原作者及刊载媒体所有。

快速获得最新干货

激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图3)

作者丨十点雨@知乎来源丨https://zhuanlan.zhihu.com/p/404762012转载自3D视觉工坊LiDAR Camera Calibration (LCC)系列,主要介绍激光雷达相机外参标定相关内容。本文主要介绍相关的开源代码和软件,主要包括target-based和targetless两类方法,每个方法对应标题后说明了方法的提出年份和开源代码的语言(c : c++, p: python, m: matlab)。Github同步更新:https://github.com/Deephome/Awesome-LiDAR-Camera-Calibration1. target-based方法一般就是使用标定板,可以是一块普通的矩形板,可以添加视觉效果(比如棋盘格,ArUco),可以在矩形板上镂空出特定形状。1.0 CamLaserCalibraTool (2004c)

激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图4)

主要参考了华盛顿大学2004年的论文,旷视提供了开源实现和博客解读。2D激光雷达和相机标定。主要利用点到平面和边缘的约束。详情见旷视的博客和开源:
1)github:https://github.com/MegviiRobot/CamLaserCalibraTool2)博客:标定系列三 | 实践之Camera-Lidar标定(https://zhuanlan.zhihu.com/p/137501892)3)参考论文:Extrinsic Calibration of a Camera and Laser Range Finder (improves camera calibration)(http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.80.7118&rep=rep1&type=pdf)1.1 LCCT (2005m)来自CMU Robotics Institute, 已知最早3D Laser与相机标定的工作(2005年),基于matlab的图形用户界面,进行激光雷达相机外参标定。target-based方法,使用标定板,采集多个点云图像对,在点云对应的深度图(range image)上框选标定板平面区域,即可求解外参(两阶段)。第一阶段,分别最小化两个坐标系中相机中心到平面距离和平面法向量的差异,依次线性求解平移和旋转;第二阶段,最小化point-to-plane距离,迭代求解。激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图5)
官方网站:http://www.cs.cmu.edu/~ranjith/lcct.html参考论文:2005_Fast Extrinsic Calibration of a Laser Rangefinder to a Camera1.2 cam_lidar_calib (2010c)来自密歇根大学,ROS / C++实现。

激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图6)

使用checkerboard,最少需要3个视图。自动提取特征,图像中提取checkerboard在相机坐标系中的法向量和距相机原点的距离,点云中提取checkerboard的平面点。Github开源:https://link.zhihu.com/?target=https://github.com/SubMishMar/cam_lidar_calib参考论文: http://robots.engin.umich.edu/publications/gpandey-2010a.pdf
1.3 lidar_camera_calibration (2017c)来自印度IIIT Robotics Research Lab,ROS package (C++)实现, 介绍了两种方法。第一种方法是基于2D-3D correspondence,采用中空矩形纸板作为目标,在图像上手动标记角点2D像素,在点云中手动框选线段,利用直线相交求解3D角点,然后利用PnP+ransac求解外参。缺点是手动标记像素点,误差较大。激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图7)第二种方法是基于3D-3D correspondence,与方法一主要区别是图像中特征的提取。通过采用ArUco二维码,可直接计算出角点在相机坐标系的3D坐标,然后利用ICP求解外参。激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图8)github开源:github.com/ankitdhall/l参考论文:LiDAR-Camera Calibration using 3D-3D Point correspondences (2017)(https://arxiv.org/pdf/1705.09785v1.pdf)
1.4 ILCC (2017p)来自日本名古屋大学Nagoya University,python实现。完整流程如下:

激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图9)

张祖勋院士结合自身六十余年的求学与科研经历,为大家详细介绍了VirtuoZo背后的一系列故事。

该方法的3D角点提取方式比较独特。基于点云反射强度和chessboard颜色模式的相关性,利用一个chessboard model来拟合(匹配)分割的点云,从而利用chessboard model的角点位置表示chessboard点云中角点位置。
激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图10)
github开源:https://github.com/mfxox/ILCC参考论文:2017_Remot Sensing_Reflectance Intensity Assisted Automatic and Accurate Extrinsic Calibration of 3D LiDAR and Panoramic Camera Using a Printed Chessboard(https://arxiv.org/pdf/1708.05514.pdf)
1.5 plycal (2018c)来自HKUST,C++实现。采用要给矩形板作为target。首先对激光雷达和相机时间同步,图像纠正。全自动地在图像中提取矩形板角点和边缘,在点云中提取矩形板的边缘和平面点。矩形特征2D-3D匹配。采用point-to-line和point-inside-polygon约束进行优化。激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图11)
github开源:https://github.com/ram-lab/plycal参考论文:2018_ROBIO_Extrinsic Calibration of Lidar and Camera with Polygon
1.6 Matlab Lidar Toolbox (2018m)target-based方法,使用了chessboard, 理论上采集一个pose就可以求解。特征提取分别自动提取chessboard在相机和激光雷达坐标系的平面和边缘信息,利用line correspondence (direction constraint + point to line constraint)和plane correspondence (normal constraint + point to plane constraint)进行标定。激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图12)
官方文档:https://ww2.mathworks.cn/help/lidar/ug/lidar-and-camera-calibration.html
参考论文:Lipu Zhou and Zimo Li and Michael Kaess, "Automatic Extrinsic Calibration of a Camera and a 3D LiDAR using Line and Plane Correspondences", "IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems, IROS", Oct, 2018.
csdn博客:MATLAB终于可以完成相机与激光雷达的标定啦!!(包含matlab2020下载链接)只能使用matlab的lidar toolbox,看不到源代码
该方法与plycal(2018c)的标定板点云特征提取方法类似。

1.7 extrinsic_lidar_camera_calibration (2020m)

来自 Robotics Institute, University of Michigan。matlab实现。主要创新点是标定板点云的角点估计方法。假设在lidar原点有一个大小已知的参考标定板(reference target),希望标定板点云通过H变换后,与这个参考标定板尽量重合。优化求解H,将参考标定板角点反变换,即可得到点云中的角点位置。之前方法采用先拟合边缘再直线相交的思路,只利用了边缘点,受点云深度测量误差影响,最后提取的四个角点可能与target真实几何不兼容。该方法的角点估计考虑了所有点,估计的四个角点也是与真实target形状兼容。
该方法与ILCC(2017p)方法类似,都是通过与一个参考的标定板拟合,从而对标定板点云参数化建模,求得角点。只是ILCC利用了点云反射强度,本方法只利用点云几何信息。激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图13)github开源:https://github.com/UMich-BipedLab/extrinsic_lidar_camera_calibration该开源代码也实现了Matlab Lidar Toolbox (2018m)参考论文中点云边缘提取的方法:1)先ransac拟合平面,2),找到每条scanline的端点(边缘点),3)将标定板点云投影到拟合平面,4)拟合每条scan line, 5)将边缘点投影到拟合的scan line, 6)用ransac拟合边缘,去除边缘点粗差
参考论文:2020_IEEE access_Improvements to Target-Based 3D LiDAR to Camera Calibration1.8 livox_camera_lidar_calibration(2020c)
Livox官方提供的Lidar-Camera标定代码,图像和点云都是手动标点。 github开源: https://github.com/Livox-SDK/livox_camera_lidar_calibration1.9 ACSC (2020p)来自北航,python实现,针对固态激光雷达Livox.提出多帧点云集成精化算法(temporal-spatial-based geometric feature refinement)和基于反射强度分布的角点估计方法(reflectance intensity distribution-based 3D corner estimation )。自动提取2D和3D角点,然后用基于Ransac的PnP求解。激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图14)github开源:https://github.com/HViktorTsoi/ACSC参考论文:ACSC: Automatic Calibration for Non-repetitive Scanning Solid-State LiDAR and Camera Systems
1.10 velo2cam_calibration (2021c)来自 Intelligent Systems Lab (LSI), Universidad Carlos III de Madrid, Leganes, ROS + C++实现。可以将激光雷达、单目相机、立体相机进行任意成对标定。需要比较特殊的标定板:激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图15)github开源:https://github.com/beltransen/velo2cam_calibration参考论文:Beltrán, J., Guindel, C., and García, F. (2021). Automatic Extrinsic Calibration Method for LiDAR and Camera Sensor Setups. arXiv:2101.04431 [cs.RO]. Submitted to IEEE Transactions on Intelligent Transportation Systems.
1.11 autoware采用标定板的方法 (calibration_tookit, autoware1.10之后没有)github: https://github.com/XidianLemon/calibration_camera_lidar博客: 无人驾驶汽车系统入门(二十二)——使用Autoware实践激光雷达与摄像机组合标定、Autoware calibration toolkit激光雷达与相机外参联合标定直接手动选点的方法 :https://dlonng.com/posts/autoware-calibr-1
最新版只有autoware_camera_lidar_calibrator, 直接手动选点的方法,在下文介绍。

使用标定板结果更准确一些,但是操作不方便。1)需要手动grab多个关键帧,2)使用glviewer显示点云,不好调整视角,3)需要手动选择平面点云2 targetless方法2.1 apollo是基于自然场景的targetless方法,不需要手动标记,但是需要较准确初值。激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图16)2017年张祖勋院士做客Geoscience Cafe时,从VirtuoZo软件发展谈到摄影测量在不同时代的发展等问题,在今天仍然很值得我们学习,现与各位读者分享。

2017年11月24日,张祖勋院士做客Geoscience Cafe第179期学术交流活动。从带领他走进摄影测量专业大门的反光镜,尊敬的老师恩师王之卓先生,到VirtuoZo软件研发过程及其在全世界的应用与评价,张祖勋结合自身六十余年的求学与科研经历,为大家详细介绍了VirtuoZo背后的一系列故事,也从VirtuoZo的发展谈到了摄影测量不同时代的开始与结束的发展历程。最后,张祖勋还简单介绍了近年大热的人工智能对摄影测量发展的推动作用。

师从名师,储备知识

1955年,张祖勋考入同济大学。从反光镜出发,开始了为期五年的摄影测量专业学习。上世纪五十年代,摄影测量还处于模拟摄影测量时代,国内没有用于摄影测量的先进仪器,测量人员工作量大、效率低。张祖勋回忆大学的第一次实习是利用一个简单的45°夹角的反光镜和钢尺完成了测量任务。之后师从我国摄影测量与遥感学科的奠基人王之卓先生,随着对计算机程序的了解与深入学习,也源于王先生分配给他的关于相对定向编程的任务,他开始了与计算机编程的不解之缘,至今仍然保持着编程的习惯。

张祖勋还向大家讲述了在瑞士WILD学习半年的经历。当时,**测绘局从瑞士进口了大量的B8S仪器,以此换来了他和另一位老师出国学习的机会。在瑞士学习期间,张祖勋珍惜每个机会,仔细研究了当时除T4外所有的经纬仪和水准仪。正是这种不断学习的精神,使得他一次又一次地提出新的理论,促进摄影测量的跨越式发展。

VirtuoZo诞生的背景

1978年,当王之卓先生提出“全数字化自动测图系统”的构想时,国内外反对声络绎不绝。由于当时技术发展的限制,多数人认为“胶片是影像最好的信息载体”,影像“数字化”理论显得非常另类,不可实现。而张祖勋觉得王先生的想法很有挑战性,不管最终能否用于生产也值得一试,值得为之一搏。

张祖勋提到,王之卓先生的全数字化自动测图研究的构想建立在前人研究基础上的,也并非完全原创,但只要在原有基础上有一点突破,就是创新。

对于VirtuoZo课题项目成立的背景,张祖勋讲到,在理论基础方面,摄影测量全数字化在国内没有任何参考资料,国际上也寥寥无几,必须从零开始;在资金方面,**拨款120万元,这在当时是一笔不菲的费用,但对于“全数字化”而言,这笔资金少之又少。他们花费其中大部分钱从英国购置了影像扫描仪SCANDIG 3与NOVA 3/12计算机。相对于一张影像上百兆的数据量与如今具有几个G内存的计算机而言,这套设备相当简陋。

VirtuoZo的研制过程

对于VirtuoZo的研究过程,张祖勋称之为既艰苦(痛苦)而又好玩的研究过程。

1979年,张祖勋领导的课题组开始了项目试验。当时,数据输入靠早已淘汰了的穿孔纸带,逐点人工读数、记录、穿孔,工作繁琐,速度极慢。到1985年初,历经整整6年,课题组终于编制出“全数字化自动测图系统软件包”,研究成果达上世纪80年代国际先进水平,引起整个测绘界震动。然而,张祖勋并没有就此满足,果断提出:“我们的研究成果从严格意义上来说还只是停留在理论阶段,必须做出能够应用的实际产品。”1986年,张祖勋又领导课题组开始研究“全数字化自动测图系统中间成果的应用”。1992年6月,经过扩充与完善,一个具有实用性的研究成果——全数字化自动测图系统软件诞生了。演示软件期间,两位国外教授看中其价值,为之后与澳大利亚的合作奠定了基础。1992-1994年,张祖勋团队实现了这套全数字化自动测图系统软件的商品化。

这项由王之卓倡导、由张祖勋历时14年主持完成的全数字化自动测图科研成果,于1993年获得**自然科学二等奖。

VirtuoZo商品化的谈判过程

1994年,张祖勋决定借助国外资金与技术,快速实现科技成果商品化。他与澳大利亚合作,在澳大利亚黄金海岸首次推出具有我国自主知识产权VirtuoZo的SGI工作站版。

张祖勋把当时的谈判过程称为有趣且艰难。谈判伊始,澳方要求1992年开始合作后知识产权属双方共同所有,张祖勋称如果同意澳方的要求,我们就没有今天的VirtuoZo。他据理力争一个多星期,对方同意在长达22页的合同上注明:武汉测绘科技大学拥有版权!谈判过程中的另一个问题就是销售问题。在软件的销售范围上,澳方坚持拥有全球独家销售权,但张祖勋坚持,在**市场上澳方不能独家代理。张祖勋说,**人要从外国进口**开发的产品,这是他不想看到的,因此保留了该软件在亚洲地区(中东除外)的销售权。

全数字化自动测图系统软件原名为SoDAMS(数字化自动测图系统软件),后更为WuDAMS,最后张祖勋接受一位外国朋友的建议,确定为:VirtuoZo,在英文中有“艺术家”、“虚拟摄影测量”等多种意思。

VirtuoZo的推广和应用

VirtuoZo在国内外的水利、铁(公)路、城市、电力、世界**遗产保护等领域得到广泛应用。早在1997年,VirtuoZo就开始应用于三峡工程,进行三峡坝区每年一次地形图的快速更新,制作高清晰大视野的全景影像图;敦煌研究院将其应用于敦煌壁画的保护;苏黎世高等工业大学利用VirtuoZo对被毁前的阿富汗巴米扬大佛图像进行半自动量测,成功实现了三维重建;德国、比利时用于处理CORONA卫星影像;英国用于处理ASTER立体卫星影像;韩国应用于数码城市……

VirtuoZo也因此在国际上获得了很高的声誉。1996年国际摄影测量与遥感学会的维也纳大会上,美国Leica公司产品总监Walker先生、英国GLASGOW大学Petrie教授所作的特约报告中称,“VirtuoZo是一个羽翼丰满、具有很多创新特点并正在参与全球竞争的产品。”2000年国际摄影测量与遥感学会的阿姆斯特丹大会上,瑞士苏黎世联邦技术大学称,他们将国际上主要的三个摄影测量系统(Match-T、LHS DPW770、VirtuoZo)用于冰川的研究并进行了比较,发现VirtuoZo完成任务是最好的,也适用于起伏的地形;计算时间是最短的,比其它两个系统快一个数量级;三个系统中,在精度、速度、价格和易使用方面VirtuoZo都是最好的。2001年,在GIM杂志上VirtuoZo(Supersoft)被列为数字摄影测量的第一类产品。2002年,国际摄影测量与遥感学会原主席、东京大学教授村井俊治在日本《测量》杂志撰文《**的IT行业登陆日本》称:“最先商品化的软件是张祖勋教授开发的利用数字影像匹配进行数字摄影测量的软件,名称叫VirtuoZo,这个软件就是一个数字摄影测量的优秀产品。我想我们已经到了该向**学习的时候了。”

VirtuoZo的成功意味着摄影测量由“贵族”宝座走向了“平民化”,人人都能用摄影测量,也意味着摄影测量时代已经由模拟(解析)摄影测量转变为数字摄影测量,而数字摄影测量时代的完成也意味着信息与智能化时代的开始。

VirtuoZo的后续发展

VirtuoZo之后,张祖勋并未就此止步,提出了更加先进成熟的数字摄影测量系统——数字摄影测量网格(DPGrid)。DPGrid实现了从单机到网格(grid)的发展,充分利用当前先进的数字影像匹配、高性能并行计算、海量存储与网络通讯等技术,实现航空航天遥感数据的自动快速处理和空间信息的快速获取,其性能远远高于当前的数字摄影测量工作站。而DPGrid与esri的强强联合、优势互补,实现了我国数字摄影测量技术整体水平的进步。张祖勋也表示,从VirtuoZo到DPGrid的发展并不是摄影测量发展的竞争者,摄影测量真正的竞争者是计算机视觉。

张祖勋也从人工智能的角度说明了现阶段摄影测量较为欠缺的方面:GPU的深度学习、GPU的并行处理能力不够,这大大限制了摄影测量技术的进步。而人工智能的发展极大地推动信息与智能化摄影测量时代的发展,其中人工智能对传统摄影测量改变最为明显的是不再存在传统的摄影测量航线。

最后,张祖勋表达了对年轻人的寄语:“把论文写在祖国的大地上!愿各位年轻人将信息化智能化摄影测量更上一层楼!”

激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图17)

张祖勋作精彩报告

互动交流
Q:

GeoScience Cafe公众号征集问题:请问张院士,在带领团队开发VirtuoZo的时候,想必困难重重,请问张院士是如何建设团队和凝聚团队的?


A:

张祖勋院士:我觉得成功不是一个人的成功,是一个团队的成功。我曾经在武测一个设备处的工作会议中,我就说过,一个项目如果想真正地成功,仅仅靠教授、,仅仅靠博士是不行的,还需要高级的实验员。当时我觉得我们团队的中一个实验员的手非常巧,他也懂电,如果没有他,我们也可能不会成功。在研究过程中,该投入的要投入,该回报的要回报,但是必须记住的一点是必须靠团队。工程院的院长曾经说,什么叫做工程,什么叫团队,大家围在一起做一件事,这件事才能成功。所以团队是非常重要的。



Q:

观众A:请问怎么看地图制图综合问题的研究?以及gisGIS室内定位的研究?那个哪个更适合做未来以及个人长期稳定的课题研究计划?


A:

张祖勋院士:这是两个完全不同的问题。根据我的了解,地图综合确实是一个非常大的难题,包括现在郭仁忠院士团队也一直在研究这个问题。而室内定位现在也是一个很重要的问题,目前室外主要是摄影测量、GPS等,定位的研究很多。室内定位的研究目前也不少,包括同济大学的一个做地质相关工作的老师也在研究室内定位。地图综合和室内定位的确是两个不同的问题,不好比较。



Q:

观众B:张院士您好!请问您是如何看待航空摄影测量未来的发展的?现在计算机视觉已经得到了迅速发展,在这个过程中,三维重建这一方面您怎么看?


A:

张祖勋院士:航空摄影测量这一方面我可以发表一下感想,大家很多人问我摄影测量与计算机视觉的不同。摄影测量还是摄影测量,因为摄影测量含有测量两个字。摄影测量和计算机视觉最大的差别是含有测量两个字,测量是讲究精度的,而计算机视觉做出来的几何很多软件都没有精度评价标准,甚至会出现错误的情况,这就是计算机视觉。也有人跟我说,计算机视觉一开始就是为了解决摄影测量中的一些问题,包括现在同名点的产生问题,以及大规模范围的解算问题,计算机视觉肯定是走在摄影测量前面的,因为它不会死机,摄影测量经常会在解算大规模范围时出现死机的情况,但是摄影测量中解算不出来时还是会有精度评价。这就是目前我觉得摄影测量与计算机视觉最大的差别之一。包括现在相机标定问题,以前有大量关于计算机相机标定的文章,但是现在基本上没有了。但是目前计算机视觉相机标定的精度如何?有没有未知数的中误差?这些都是没有的。摄影测量中有一个方程能够解算精度问题,但是计算机视觉中没有,计算机视觉还需要一段时间才会考虑到精度问题。测量必须讲规范,没有规范就不是测量,而计算机视觉不需要讲究规范。



Q:

观众C:张院士您好!我想问您一个问题,您刚才强调了我们摄影测量现在面临着一个计算机视觉的竞争和压力,我们现在找工作的过程中也发现本来和我们摄影测量没有关系的一些企业,比如华为、百度、腾讯这些企业也有很多摄影测量方面的人才需求,在这种情况下,您对我们这些应届的博士或者硕士毕业生找工作有什么建议或者看法?


A:

张祖勋院士:这是一件大好事,拓宽了你们就业的渠道。我们团队的一个老师也被调去华为工作,工资不错。有摄影测量的支持,也有市场对人才的需求,计算机视觉现在也提供了很多就业机会。我曾经到北京一个公司去看过,他们有一个2013年理工大本科毕业的学生做GIS,他花了2年多的时间把整个国外的商业重建的开源代码全部理解,他能把西藏的某个地方将近400多张照片全部用自己的软件跑通,所以本身的专业基础还是很重要的。



激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图18)观众认真听报告


激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图19)

观众提问

激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图20)张祖勋为GeoScience Café赠言

激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图21)张祖勋与GeoScience Café团队成员合影留念


激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图22)激光雷达和相机联合标定之开源代码和软件汇总(2004-2021)从软件发展看摄影测量时代变迁(图23)(点击图片即可查看详细信息)
打赏
  • 打赏支付宝扫一扫
  • 打赏扫一扫