【转载】C++讲义[提高]

贴一个原文链接

很可惜这篇文章的代码没有开源

---

Abstract

在多目标跟踪中，准确的数据关联十分重要，但是现有的方法大多进行简单的全局数据关联，忽略了轨迹的多样性以及外观线索存在的冲突性，导师检测-轨迹对存在混淆。为了解决这一问题，作者提出了一个简单、即插即用的数据关联方法，称为分解数据关联（DDA），此外还引入了遮挡感知的非极大值抑制（ONMS）来保留更多遮挡检测。基于这两种方法提出了DeconfuseTrack。

Introduction

近年来大多数MOT方法都遵循TbD范式。在该范式中，数据关联建立轨迹与跟踪之间的的对应关系实现匹配。为了实现数据关联的准确性，许多方法引入额外的线索作为运动线索的补充。包括外观线索、深度信息、置信度分数、运动方向、自然语言信息等等，这些额外的线索可以一定程度上缓解运动线索的模糊，但是传统的数据关联具有一定的局限性。

图1(a)展示了全局关联导致的混乱，针对这些问题，文章提出了DecofuseTrack。将全局问题分解为多个子问题，包括单个轨迹与多个检测之间的关联、多个轨迹与单个检测之间的关联以及多个轨迹与多个检测之间的关联，并且将外观线索的使用限制在一定范围，仅在子问题中运动线索的判别力不足时补充外观线索，尽量减少对运动线索的干扰。

如图1(b)所示，通过检测消歧模块(DDM)，我们识别出虽然不可靠，但更适合轨迹1的检测1，从而释放出检测2。利用轨迹消歧模块(TDM)，我们在轨迹3和轨迹4之间做出正确的选择，用于检测3。

通过关联消歧模块(ADM)，我们避免了轨迹5和轨迹6之间的关联混淆。其次，为了提高检测性能并减轻因遗漏检测而引起的混淆，我们设计了遮挡感知非最大抑制(ONMS)来保留更多的遮挡检测进行关联。

完整的模型结构如图所示：

Method

Notation

类似于ByteTrack，将检测分为两类 $D_{first}^{t}$ 和 $D_{second}^{t}$ 用于第一轮和第二轮的数据关联。

Decomposed Data Association (DDA)

利用卡尔曼滤波预测每个轨迹T的位置：$L$ = {$ l $ $_j$ = $(x,y,w,h)$ | $j$ $\in$ $\Bbb T$ }。$d_i$ 和 $T_j$ 的位置相似性用检测和轨迹之间的IoU来表示：

$$\begin{aligned} LocSim ( d_i , \cal{T}_j ) = \mathit{IoU} ( d_i , T_j ) . \end{aligned}$$

代价公式如下：

$$\begin{aligned} C_{ij} =1- LocSim ( d_i , \cal{T}_j ) , d_i \in \mathit{D}_{first}^t, \cal{T}_i \in \Bbb T. \end{aligned}$$

最后利用匈牙利算法求解 $C$，得到分配结果

$$\begin{aligned} P = \lbrace{(d, \cal{T}) | d \in \mathit{D}_{matched}^t, \cal{T} \in \Bbb T_{matched}}\rbrace. \end{aligned}$$

以往的方法会直接输出匹配的结果，但是这种全局的关联过于模糊粗糙，因此需要细化 $P$ ，实现更加细粒度的分配。

Detection Disambiguation Module (DDM)

DDM旨在解决多个检测与单一轨迹之间的混淆问题。

将低置信度中与 $\cal{T}_j$ 匹配度更高的 $d_i$ 定义为 $D_{blur}$ ，表示可能该轨迹存在更适合的低置信度检测。

$$\begin{aligned} D_{blur}^j = \lbrace d_i | LocSim ( d_i , \cal{T}_j ) - \mathit{LocSim} ( d_j , \cal{T}_j ) > \kappa , \\ d_i \in D_{second}^t, d_j \in D_{matched}^t, \cal{T} \in \Bbb T_{matched} \rbrace. \end{aligned}$$

接下来定义 $P_{new}$ :

$$\begin{aligned} P_{new} = \lbrace (d_i, \cal{T}_j) | d = \mathop{argmax}\limits_{d_i \in D_{blur}^t}LocSim(d_i, \cal{T}_j) \\ if D_{blur}^t \neq \emptyset , d_j \in D_{matched}^t, \cal{T} \in \Bbb T_{matched} \rbrace . \end{aligned}$$

将与轨迹匹配的低置信度检测移到 $D_{first}$ 里面，并在 $D_{second}$ 里将其删除。

$$\begin{aligned} D^{t}_{first}{'} = D_{first}^{t} \cup \lbrace (d, \cal{T}) \in \mathit{P_{new}} \rbrace \\ D^{t}_{second}{'} = D_{second}^{t} - \lbrace (d, \cal{T}) \in \mathit{P_{new}} \rbrace . \end{aligned}$$

获得 $P_{new}$ 后，释放 $P$ 中的一些可靠检测，因为它们虽然被更合适的不可靠检测所取代，但这些不匹配的可靠检测仍然有可能与不匹配的轨迹相关联。因此，在最后一步，在保证 $P_{new}$ 中赋值关系有效性的前提下，首先对 $T$ 和 $D_t$ 进行重新赋值，得到检测消歧后新的分配关系 $P_{ddm}$ 。

Trajectory Disambiguation Module (TDM)

这个模块将多个轨迹与单一检测进行匹配。

首先 $\Bbb T_{lost}$ = $\Bbb T - \Bbb T_{matched} $

$$\begin{aligned} T_{blur}^j = \lbrace \cal{T}_i | \mathit{LocSim} ( d_j , \cal{T}_j ) - \mathit{LocSim} ( d_j , \cal{T}_i ) < \kappa , \\ \cal T_i \in \Bbb T_{lost} , d_j \in D_{matched}^t, \cal{T}_j \in \Bbb T_{matched} \rbrace \cup \cal{T}_j. \end{aligned}$$

接下来采用外观模型实现更加精确的分配：

$$\begin{aligned} T_{best}^j = \mathop{argmin}\limits_{\cal{T} \in \Bbb{T}_{blur}^j} CostDist(f_d, f_{\cal{T}}). \end{aligned}$$

其中 $CostDist(\cdot{})$ 表示余弦距离，最后得到轨迹消歧后的新分配关系:

$$\begin{aligned} P_{tdm} = \lbrace (d_j , \cal{T}_{best}^j) | d_j \in \mathit{D}_{matched}^t \rbrace. \end{aligned}$$

Association Disambiguation Module (ADM)

在这个模块处理多个轨迹和多个检测关联的混淆问题。
可以分为多个二对二的问题解决。
对于配对中任意两个不同的任务，使用变异系数来量化他们之间的混淆：

$$\begin{aligned} Cv(i,j) = \frac{Std(\lbrace LocSim(d_{k_1}, \cal{T}_{k_2}|k_1,k_2 \in \lbrace i,j \rbrace \rbrace) )}{Mean(\lbrace LocSim(d_{k_1}, \cal{T}_{k_2}|k_1,k_2 \in \lbrace i,j \rbrace \rbrace) )}, \\ d_i,d_j \in D_{matched}^t, \cal{T}_i,\cal{T}_j \in \Bbb T_{matched} ,i \neq j . \end{aligned}$$

变异系数较小时，说明分配对之间的位置线索差异不大。接下来，我们识别所有表现出强烈混淆的配对:

$$\begin{aligned} P_{blur} = \lbrace (d_i , \cal{T}_i), (d_j , \cal{T}_j) | Cv(i,j) < \kappa. \rbrace \end{aligned}$$

接下来，类似于TDM，我们利用外观线索来解决Pblur中的位置混淆，并找到更合适的分配关系:

$$\begin{aligned} P_{new} = &\lbrace (d_i , \cal{T}_j), (d_j , \cal{T}_i) | \mathit{CostDist}(f_{d_i}, f_{\cal{T}_j})\\+&\mathit{CostDist}(f_{d_j}, f_{\cal{T}_i}) < \mathit{CostDist}(f_{d_i}, f_{\cal{T}_i})\\+&\mathit{CostDist}(f_{d_j}, f_{\cal{T}_j}), (d_i,\cal T_i), (d_j,\cal T_j)\in \mathit{P}_{blur}. \rbrace \end{aligned}$$

在涉及多个检测和轨迹交叉关联的复杂匹配过程中，可能会产生冲突。为了解决这些冲突，我们再次使用外观线索执行匈牙利匹配算法来消除 $P_{new}$ 中的冲突。最后，将修正后的赋值关系 $P_{new}$ 与原集合 $P$ 结合，得到关联消歧后的新匹配关系 $P_{adm}$ 。

Module Combination

三个模型可以串行组合，得到完整的DDA。所有三个模块共用参数 $\kappa$ ,当 $\kappa$ 增加时，我们在TDM和ADM中考虑更多的混淆，而在DDM中考虑更少的不可靠检测。因此， $\kappa$ 值越大表明对位置线索的依赖程度越低，而 $\kappa$ 值越小表明对运动线索的依赖程度越高。 $\kappa$ 的值可以根据数据集中摄像机和被跟踪对象的运动特征灵活调整。

Occlusion-aware NMS (ONMS)

该模块用于提高检测的质量。
$u^t$ 表示置信度大于 $d_i$ 的检测中IoU最大的检测:

$$\begin{aligned} u_i^t = \mathop{max}\limits_{d_j^t \in \lbrace d^t | c^t > c_i^t, d^tb \in D^t \rbrace } IoU(d_i^t,d_j^t). \end{aligned}$$

如图3显示，传统的跟踪器设置了置信阈值 $\eta_{conf}$ 和NMS阈值 $\eta_{nms}$ ，仅仅保留置信值在这两个之间的检测，然而这种方法放弃了许多正确的检测。ByteTrack通过设置两个置信阈值 $\eta_{conf}^{first}$ 、$\eta_{conf}^{second}$ 将检测分为两组，并执行两段关联。但是作者认为仍有改进的余地，设置了两个NMS阈值 $\eta_{NMS}^{first}$ 、$\eta_{NMS}^{second}$，以便为数据关联保留更多的检测：

$$\begin{aligned} D_{first}^t = \lbrace d^t | d^t \in D^t, c^t \ge \eta_{conf}^{first},u^t \le \eta_{nms}^{first} \rbrace\\D_{second}^t = \lbrace d^t | d^t \in D^t, \eta_{conf}^{first} \gt c^t \ge \eta_{conf}^{second},u^t \le \eta_{nms}^{first} \rbrace \\ \cup \lbrace d^t | d^t \in D^t, c^t \ge \eta_{conf}^{first}, \eta_{nms}^{first} \lt u^t \le \eta_{nms}^{second} \rbrace \end{aligned}$$

DeconfuseTrack

通过结合ONMS和DDA，提出了Deconfuse Track，专门解决数据混淆的问题。

Experiments

---