首页 国产精品 国产免费

国产免费

你的位置:久热国产精品 > 国产免费 > 【顶会100秒】救援机器人为何如此强大

【顶会100秒】救援机器人为何如此强大

发布日期:2021-10-19 06:47    点击次数:93

中文标题:利用RGB-d相机的深度对热红外相机和毫米波雷达进行极端校准。

利用RGB-D相机的深度对热红外相机和毫米波雷达进行外部校准。

来源:2019年IEEE智能机器人和系统国际会议(2019年,IROS)。

作者:尹成浩,金阿英。

编制人:叶明欢、关淑萍、刘博一,农业机器人集团。

中文:尽管RGB相机和光探测与测距(LiDAR)有广泛的用途,但据报道在火灾或烟雾下的低能见度环境中容易受到攻击。为了解决这个问题,我们引入了一个传感器系统,该系统由热红外(IR)摄像机和毫米波雷达组成。这样做需要两个传感器之间的外部校准,并且来自雷达的14位温度和稀疏距离测量难以校准。我们提出了一种解决这种多模态校准方法的方案,使用RGB-D传感器作为基于深度的优化的媒介。作为相对姿态估计的验证,我们通过将雷达的深度投影到热摄像机框架上来呈现定性结果。

尽管RGB相机和激光雷达具有广泛的适用性,但据报道它们在低能见度环境中容易受到火灾或烟雾的影响。为了解决这个问题,我们引入了一种由热红外摄像机和毫米波雷达组成的传感器系统。在这种情况下,两个传感器之间需要外部校准,并且很难校准来自雷达的14位温度和稀疏距离测量。提出了一种以RGB-D传感器为中介的基于深度优化的多模态标定方法。作为相对位姿估计的验证,我们通过将雷达深度投影到热成像相机的框架上给出了定性的结果。

核心内容:

救援机器人需要在充满挑战的灾难环境中具有强大的定位和障碍物检测能力。RGB光栅和光探测与测距激光雷达都广泛应用于机器人导航;然而,在极端情况下,如浓烟、低照度和高温环境下,它们在灾难场景中受到限制。据报道,在这种情况下,热红外摄像机和雷达可以替代RGB摄像机和激光雷达。该传感器系统(如图1所示)不仅在不可见的环境中稳健地工作,而且能够利用温度和目标速度的语义信息,使用调频连续波调频连续波(FMCW)雷达进行稳健的感知。使用校准的热摄像机和雷达系统,通过利用温度和物体速度的附加语义信息,在低能见度环境中实现可靠的定位。

尽管实用性很高,但由于两者之间的传感器特性不同,外部校准可能无法明确定义。本文旨在通过引入一个RGB-D摄像机作为媒介,解决基于深度的优化问题,从而解决热像仪与雷达之间的外部标定问题。

救援机器人在充满挑战的灾难环境中需要强大的定位和障碍物检测能力。RGB摄像机、光探测和激光雷达在机器人导航中应用广泛,但在浓烟、低照度、高温等极端环境下,其在灾害场景中的应用受到限制。据悉,在这种情况下,热红外相机和雷达是RGB相机和激光雷达的替代品。该传感器系统(如图1所示)不仅可以在不可见环境下稳定工作,还可以利用FMCW雷达鲁棒地感知温度和目标速度的语义信息。利用标定后的热像仪和雷达系统,利用温度和物体速度的附加语义信息,可以实现低能见度环境下的可靠定位。

虽然具有很高的实用性,但由于它们之间的传感器特性不同,可能无法明确定义外部校准。本文以RGB-D摄像机为中介,采用基于深度的优化方法,解决了热像仪与雷达之间的外部标定问题。

主要实验条件:

因为RGB-D相机已经在RGB和深度图像之间进行了校准,所以我们使用RGB-D相机作为热红外相机和雷达之间的校准介质。给定一个热感相机和一个RGBD传感器之间的相对姿态,如R和t,我们可以很容易地在世界坐标上投影深度图像。然后,如图1(b)所示,深度点被投影在热图像上作为像素位置ut。

由于RGB-D相机已经在RGB和深度图像之间进行了校准,因此我们使用RGB-D相机作为热红外相机和雷达之间的校准介质。假设热像仪和RGB-D传感器之间的相对姿态为R和T,我们可以很容易地取消深度图像在世界坐标上的投影。然后,深度点被投影到热图像上作为像素位置ut,如图1(b)所示。

Fig. 1. Extrinsic calibration results. (b) Reprojected depth image on the thermal image. (c) Overlaid radar points on thermal image using the estimated extrinsic parameters.图1。外部校准结果。(b)热图像上的再投影深度图像。(c)使用估计的外部参数在热图像上叠加雷达点。

图1。外部校准结果。(b)在热图像上重新投影深度图像。以及(c)通过使用估计的外部参数在热图像上叠加雷达点。

K is an intrinsic parameter of a thermal camera, u is a pixel, and the subscripts t, c, and r respectively represent a thermal camera, an RGB-D camera, and a radar.k是热感相机的本征参数,u是像素,下标t、c、r分别代表热感相机、RGB-D相机、雷达。

为了找到热像仪和雷达之间的最佳外部参数,我们获得热像仪图像上每个RGB-D和雷达深度点的最小、最大和中值的N个数。由N个元件构成的损耗函数被优化,如等式(2)所示。

我们使用勒温伯格-马夸特方法来解决这个无约束非线性优化问题。

k是热像仪的本征参数,u是像素,下标t、c和r分别表示热像仪、RGB-D相机和雷达。

为了找到热像仪和雷达之间的最佳外部参数,我们获得了n幅热像仪图像上每个RGB-D和雷达深度点的最小值、最大值和中值。如等式(2)所示,由n个元素组成的损耗函数被优化。

我们使用Levenberg-Marquardt方法来求解这个无约束非线性优化问题。

和结论:

图1表示使用估计的外部参数在热图像上投影的雷达点。如结果所示,两个视点对齐良好。基于这一验证,我们提出所提出的校准方法能够在热红外相机和毫米波雷达之间提供非本征矩阵。

图1显示了使用估计的外部参数投射到热图像上的雷达点。结果表明,这两种观点是一致的。基于这种验证,我们目前的校准方法可以提供热红外相机和毫米波雷达之间的外部矩阵。