PGD-Probabilistic and Geometric Depth_ Detecting Objects in Perspective

本文整理了Probabilistic and Geometric Depth_ Detecting Objects in Perspective论文主要内容

本文核心思想：利用目标之间的相对位置关系构造深度传播图以获取更准确的深度估计值。

0.Overview

• 作者提出的主要观点
  • 深度估计误差是限制单目3D检测性能的关键因素。通过目标间的相对位置关系，可以进一步优化深度估计结果以提高3D检测性能。
• 本文具体实现
  • 本文主要是在FCOS3D的基础上替换了深度估计模块，该模块的设计方面主要有以下两点考量
    • 1. 作者认为准确地估计物体深度其实是一件非常难的事情，因此把原本的确定性深度转化为概率性深度，有点类似于hard label → soft label
    • 1. 作者认为仅依靠单一物体进行深度估计是不准确的，因此引入了Graph-Based Depth Propagation，利用多个物体间的关系获得更准确的深度估计结果。

1.Method

1.1 Uncertainty Modeling with Probabilistic Representation

To establish an effective depth propagation mechanism, modeling the uncertainty of depth estimation for each instance is an important preliminary, which can provide useful guidance for weighing the propagation among instances.

为了建立有效的深度传播机制，对每个实例的深度估计不确定度进行建模是一个重要的前期工作，可以为实例间的传播赋权提供有益的指导。

是_probabilistic depth_，

是每个孤立实例的局部深度估计，它与得到的深度评分一起作为构造深度传播图的基础。

1.2 Depth Propagation from Perspective Geometry

针对深度估计问题，我们提出了一种几何深度传播机制，考虑了实例之间的相互依赖性。我们将首先推导两个实例之间的透视关系，然后给出带有边缘修剪和门控的基于图的深度传播方案的细节。

Perspective Relationship

注：本文的方法也是基于平面假设的

Graph-Based Depth Propagation

From our observation, the same category of nearby objects can well satisfy the “same ground” condition, so we select the following 3 most important factors to decide which edges are influential and reliable, including the depth confidence sd j , 2D distance score s2D ij , and classification similarity scls ij .

此处针对地面假设的部分做了补充。

1.3 Probabilistic and Geometric Depth Estimation

2.Coding

PGD在代码实现上，实质上就是FCOS3D的基础上扩充了深度估计模块。模型的Backbone为DCN v2，Neck为FPN，Head部分的结构图如图1

3.Conclusion