无人驾驶如何使用立体视觉实现距离估计

在自动化系统中,深度学习和计算机视觉已经疯狂地流行起来,无处不在。计算机视觉领域在过去十年中发展迅速,尤其是是障碍物检测方面。

障碍物检测算法,如YOLO或RetinaNet,提供2D的标注框,该标注框指明了障碍物在图像中的位置。

现在,看看下面的描述。

使用激光雷达这种方式存在价格昂贵的问题。而对此,工程师使用的一个有用的技巧是:对齐两个像机,并使用几何原理来计算每个障碍物的距离。我们称这种新设置为 伪激光雷达。

通常,我们使用棋盘格和自动算法来执行它。 当我们这样做时,我们告诉算法棋盘上的一个点(例如:0,0,0)对应于图像中的一个像素(例如:545、343)。

我们的目标是估算出O点(代表图像中的任何像素)的Z值,即深度距离。

每一个计算机视觉工程师都必须了解和掌握摄像机的标定。这是最基本、最重要的要求。我们习惯于在线处理图像,从不接触硬件,这是个错误。

  单目视觉和立体视觉

要校准相机,我们需要将世界坐标转换为通过相机坐标的像素坐标。

固有参数是我们称为K的矩阵。

如果您查看矩阵尺寸,则不匹配。

通常,必须进行校准才能消除图像失真。 针孔摄像头模型包括变形,即“ GoPro效果”。 为了获得校正的图像,必须进行校准。 变形可以是径向的或切向的。 校准有助于使图像不失真。

该“ 1”称为齐次坐标。

许多企业搬迁后“危”中转“机”,迎来绿色发展新机遇。湖北山水化工2007年从宜昌城区搬到姚家港化工园的长江边,总体运行情况良好。2017年,公司因处沿江一公里范围内,再次面临搬迁,这给企业带来很大压力。“但我们认识到破解化工围江是大势所趋,搬迁是必答题而不是选择题。”湖北山水化工总经理曾小兵表示,在搬迁改造时,企业调整了产品结构,淘汰了高能耗、高污染工艺,实现了工艺、产品、设备和管理“四个升级”,公司一期搬迁项目投产后,预计实现产值5亿元。(完)

每个摄像机都需要校准。校准意味着将具有[X,Y,Z]坐标的3D点(世界上)转换为具有[X,Y]坐标的2D像素。

X 为对齐轴; Y 为高度; Z 为深度; 两个蓝色平面对应于来自两个相机的图像。

该园区在建的三宁化工60万吨乙二醇项目已进入最后冲刺阶段,预计2020年内可全部建成使用。三宁化工董事长李万清介绍,2018年公司投资100亿元,实施搬迁转型,淘汰工艺相对落后、紧靠长江的尿素厂,利用先进的水煤浆加压气化节能环保技术,实现从煤炭到乙二醇产品的高效清洁转化。项目建成后预计公司总能耗将下降18.39万吨标煤,减排废水1万吨,将建成湖北首个5G智能化工厂。

湖北宜昌姚家港化工园周围绿树成荫。中新社记者董晓斌摄

3.先建立视差图,再建立深度图

宜昌把化工企业“关改搬转”作为转型升级、跨越发展的历史机遇,高标准建设宜都化工园和枝江姚家港化工园,并以项目建设为纽带促进全市化工产业集聚发展,化工产业进入精细化、高端化、绿色化、循环化、国际化发展新阶段。

以下5步伪代码用于获取距离:

湖北宜昌姚家港化工园在建的三宁化工60万吨乙二醇项目全景。中新社记者董晓斌摄

1.校准2台照相机(内部和外部校准)

-尝试运行OpenCV进行摄像机校准。

视差是什么?视差是一个三维点从两个不同的相机角度在图像中位置的差异。

立体视觉是基于两张图像来寻找深度。

现在从鸟瞰的角度来考虑这个问题。

湖北宜昌姚家港化工园在建的三宁化工60万吨乙二醇项目全景。中新社记者董晓斌摄

然后,深度图将与障碍检测算法结合在一起,我们将估算边界框像素的深度。本文结尾处有更多内容。

假设你有两个相机,一左一右。这两个相机在相同的Y轴和Z轴上对齐。基本上,唯一的区别就是它们X值不一样。

下面是立体相机设置的示例。你会在大多数自动驾驶汽车上发现类似的东西。

world到图像的转换

如果你运用泰勒斯定理,你会发现我们可以得到两个方程

作为维护长江流域水环境安全、承担流域环境调节功能的重要枢纽,宜昌自2017年9月启动化工产业转型升级,计划3年内“关改搬转”134家沿江化工企业,确保一江清水东流。

为此,我们必须使用相机拍摄棋盘格的图像,并且在经过一些图像和某些点之后,校准算法将通过最小化最小二乘方损失来确定相机的校准矩阵。

湖北宜昌姚家港化工园在建的三宁化工60万吨乙二醇项目全景。中新社记者董晓斌摄

2.极线几何–立体视觉

world到相机的转换

如果图像中间没有障碍物,那么每条光线都会通过,图像会变得模糊。它还使我们能够确定用于变焦和更好清晰度的焦距f。

我们的眼睛就像两个相机。因为它们从不同的角度看同一幅图像,它们可以比对两种视角之间的差异,并计算出距离估计。

从世界坐标到摄像机坐标的转换称为外部校准。外在参数称为R(旋转矩阵)和T(平移矩阵)。 从相机坐标到像素坐标的转换称为固有校准。它需要相机的内部值,例如焦距,光学中心等。

“2017年以来,宜昌已累计关停38家企业,就地转型升级企业55家,34家企业搬迁入园,还有7家企业已全部转产非化工项目。”宜昌市经信局副局长周华茂介绍,通过转型发展,宜昌精细化工占比由原来的20%提升到36%,化工企业总体占比由原来的30%下降到19%。

xL 对应于左相机中的光心,xR对应于右相机中的光心。 b 是基线,它是两个相机之间的距离。

过相机校准可以找到K矩阵。

伪激光雷达利用几何原理构造深度图,并将其与物体探测相结合,以获得三维的距离。

为了获取每个障碍物的距离,工程师将相机与激光雷达(光探测和测距)传感器融合,使用激光返回深度信息。利用传感器融合技术将计算机视觉和激光雷达的输出融合在一起。

立体相机鸟瞰图说明:

f是焦距-(u₀,v₀)是光学中心:这些是固有参数。

姚家港化工园是2008年10月湖北省发改委批准成立的专业化工园,园区建成投产企业43家,2019年实现产值320亿元,利税26亿元。

立体相机如何估算深度

如何利用立体视觉实现距离估计?

放在一起,我们可以找到正确的视差 d =xL — xR和目标正确的 XYZ 坐标。  

在相机校准过程中,我们有两个公式可以将世界上的点O设为像素空间:

当您进行数学运算时,您将得出以下等式:

当今的相机使用针孔相机模型。这个想法是使用针孔让少量光线穿过相机,从而获得清晰的图像。

以下是相机校准返回的矩阵:

宜昌地处长江中上游结合部,矿产资源丰富,加之紧邻长江,运输便利,水资源丰富,化工企业沿江集中布局,“化工围江”问题突出。