计算机视觉中的目标跟踪概念一文解析目标跟踪的内容

目标跟踪是计算机视觉中一项重要任务，广泛应用于交通监控、机器人、医学成像、自动车辆跟踪等领域。它是通过深度学习方法，在确定了目标对象的初始位置后，预测或估计视频中每个连续帧中目标对象的位置。目标跟踪在现实生活中有着广泛的应用，并且在计算机视觉领域具有重要意义。

目标跟踪通常涉及目标检测的过程。以下是目标跟踪步骤的简要概述：

1.对象检测，其中算法通过在对象周围创建边界框来对对象进行分类和检测。

2.为每个对象分配唯一标识 (ID)。

3.在存储相关信息的同时跟踪检测到的对象在帧中的移动。

目标跟踪的类型

目标跟踪有两种类型：图像跟踪和视频跟踪。

图像跟踪

图像跟踪是自动识别和跟踪图像的任务。 主要应用于增强现实(AR)领域。例如，当通过相机输入二维图像时，该算法会检测二维平面图像，然后可将其用于叠加3D图形对象。

视频追踪

视频跟踪是跟踪视频中移动对象的任务。 视频跟踪的思想是关联或建立目标对象之间的关系，因为它出现在每个视频帧中。换句话说，视频跟踪是按顺序分析视频帧，并通过预测并在其周围创建边界框来将对象的过去位置与当前位置拼接起来。

视频跟踪广泛用于交通监控、自动驾驶汽车和安全，因为它可以处理实时镜头。

目标跟踪过程的4个阶段

阶段一：目标初始化

涉及定义对象或目标。结合了在视频的初始帧中围绕它绘制边界框的过程。然后跟踪器必须估计或预测对象在剩余帧中的位置，同时绘制边界框。

阶段二：外观建模

外观建模涉及对对象的视觉外观进行建模。当目标物体经过光照条件、角度、速度等各种场景时，可能会改变物体的外观，并可能导致错误信息和算法失去对物体的跟踪。 因此必须进行外观建模，以便建模算法可以捕获目标对象移动时引入的各种变化和扭曲。

外观建模由两部分组成：

• 视觉表示：它侧重于构建可以描述对象的鲁棒特征和表示
• 统计建模：它使用统计学习技术来有效地建立用于对象识别的数学模型。

阶段三：运动估计

运动估计通常推断模型的预测能力以准确预测对象的未来位置。

阶段四：目标定位

一旦对象的位置被近似，我们就可以使用视觉模型来锁定目标的确切位置。

对象跟踪级别

对象跟踪可以定义为两个级别：

单目标跟踪(SOT)

单目标跟踪(SOT)旨在跟踪单个类的对象而不是多个对象。有时也称为视觉对象跟踪。 在SOT中，目标对象的边界框在第一帧中定义。该算法的目标是在其余帧中定位相同的对象。

SOT属于免检测跟踪的范畴，因为必须手动向跟踪器提供第一个边界框。这意味着单对象跟踪器应该能够跟踪给定的任何对象，甚至是没有训练可用分类模型的对象。

多目标跟踪(MOT)

多目标跟踪(MOT)是指跟踪算法跟踪视频中每个感兴趣的单个对象的方法。 最初，跟踪算法确定每个帧中的对象数量，然后跟踪每个对象从一帧到下一帧的身份，直到它们离开帧。

基于深度学习的目标跟踪方法

目标跟踪已经引入了许多方法来提高跟踪模型的准确性和效率。一些方法涉及经典的机器学习方法，如k-最近邻或支持向量机。而下面我们讨论一些用于目标跟踪任务的深度学习算法。

MDNet

利用大规模数据进行训练的目标跟踪算法。MDNet由预训练和在线视觉跟踪组成。

预训练：在预训练中，网络需要学习多域表示。为实现这一目标，该算法在多个带注释的视频上进行训练，以学习表示和空间特征。

在线视觉跟踪：一旦完成预训练，特定领域的层就会被移除，网络只剩下共享层，其中包含学习到的表征。在推理过程中，添加了一个二进制分类层，该层是在线训练或微调的。

这种技术节省了时间，而且它已被证明是一种有效的基于在线的跟踪算法。

GOTURN

深度回归网络是基于离线训练的模型。该算法学习对象运动和外观之间的一般关系，可用于跟踪未出现在训练集中的对象。

使用回归网络或 GOTURN 的通用对象跟踪使用基于回归的方法来跟踪对象。本质上，它们直接回归以通过网络仅通过一次前馈来定位目标对象。 该网络接受两个输入：当前帧的搜索区域和前一帧的目标。网络然后比较这些图像以在当前图像中找到目标对象。

ROLO

ROLO是循环神经网络和YOLO的结合。通常，LSTM更适合与CNN结合使用。

ROLO结合了两种神经网络：一种是CNN，用于提取空间信息；另一种是LSTM网络，用于寻找目标物体的轨迹。 在每个时间步，空间信息被提取并发送到LSTM，然后LSTM返回被跟踪对象的位置。

DeepSORT

DeepSORT是最流行的目标跟踪算法之一，它是SORT的扩展。

SORT是一种基于在线的跟踪算法，使用卡尔曼滤波器在给定对象先前位置的情况下估计对象的位置。卡尔曼滤波器对遮挡非常有效。

了解了SORT后，我们可以结合深度学习技术来增强SORT算法。深度神经网络允许SORT以更高的精度估计对象的位置，因为这些网络现在可以描述目标图像的特征。

SiamMask

旨在改进全卷积Siamese网络的离线训练过程。Siamese网络接受两个输入：裁剪图像和更大的搜索图像以获得密集的空间特征表示。

Siamese网络产生一个输出，它测量两个输入图像的相似性，并确定两个图像中是否存在相同的对象。通过使用二进制分割任务增加损失，该框架对于目标跟踪非常有效。

JDE

JDE是一种单次检测器，旨在解决多任务学习问题。JDE在共享模型中学习目标检测和外观嵌入。

JDE使用Darknet-53作为主干，在每一层获得特征表示。然后使用上采样和残差连接融合这些特征表示。然后将预测头附加到融合特征表示的顶部，从而产生密集的预测图。为了执行目标跟踪，JDE从预测头生成边界框类和外观嵌入。使用亲和力矩阵将这些外观嵌入与先前检测到的对象的嵌入进行比较。

Tracktor++

Tracktor++是一种在线跟踪算法。它使用对象检测方法通过仅在检测任务上训练神经网络来执行跟踪。 本质上是通过计算边界框回归来预测下一帧中对象的位置。它不会对跟踪数据执行任何训练或优化。

Tracktor++的目标检测器通常是具有101层ResNet和FPN的Faster R-CNN。它使用Faster R-CNN的回归分支从当前帧中提取特征。