算法跟踪器

Ⅰ 如何实现多种目标跟踪算法并行实现对比

本文通过理论和实际的分析，提出一种在以矩不变量为特征的目标跟踪系统中引入并行计算机处理的算法，该算法将目标跟踪过程中的特征提取和模块匹配算法结合起来进行合理划分，使得在每个控制间隔里，两部分交换信息后分别同时计算，从而在任务级上实现并行处理。

Ⅱ 目标跟踪检测算法（四）——多目标扩展

姓名：刘帆；学号：20021210609；学院：电子工程学院

https://blog.csdn.net/qq_34919792/article/details/89893665

【嵌牛导读】基于深度学习的算法在图像和视频识别任务中取得了广泛的应用和突破性的进展。从图像分类问题到行人重识别问题，深度学习方法相比传统方法表现出极大的优势。与行人重识别问题紧密相关的是行人的多目标跟踪问题。

【嵌牛鼻子】深度多目标跟踪算法

【嵌牛提问】深度多目标跟踪算法有哪些？

【嵌牛正文】

第一阶段（概率统计最大化的追踪）

1）多假设多目标追踪算法（MHT，基于kalman在多目标上的拓展）

多假设跟踪算法(MHT)是非常经典的多目标跟踪算法，由Reid在对雷达信号的自动跟踪研究中提出，本质上是基于Kalman滤波跟踪算法在多目标跟踪问题中的扩展。

卡尔曼滤波实际上是一种贝叶斯推理的应用，通过历史关联的预测量和k时刻的预测量来计算后验概率：

关联假设的后验分布是历史累计概率密度的连乘，转化为对数形式，可以看出总体后验概率的对数是每一步观察似然和关联假设似然的求和。但是若同时出现多个轨迹的时候，则需要考虑可能存在的多个假设关联。

左图为k-3时刻三个检测观察和两条轨迹的可能匹配。对于这种匹配关系，可以继续向前预测两帧，如图右。得到一种三层的假设树结构，对于假设树根枝干的剪枝，得到k-3时刻的最终关联结果。随着可能性增加，假设组合会爆炸性增多，为此，只为了保留最大关联性，我们需要对其他的节点进行裁剪。下式为选择方程

实际上MHT不会单独使用，一般作为单目标追踪的扩展添加。

2）基于检测可信度的粒子滤波算法

这个算法分为两个步骤：

1、对每一帧的检测结果，利用贪心匹配算法与已有的对象轨迹进行关联。

其中tr表示一个轨迹，d是某一个检测，他们的匹配亲和度计算包含三个部分：在线更新的分类学习模型(d)，用来判断检测结果是不是属于轨迹tr; 轨迹的每个粒子与检测的匹配度，采用中心距离的高斯密度函数求和(d-p)表示；与检测尺寸大小相关的阈值函数g(tr,d)，表示检测与轨迹尺度的符合程度, 而α是预设的一个超参数。

计算出匹配亲和度矩阵之后，可以采用二部图匹配的Hungarian算法计算匹配结果。不过作者采用了近似的贪心匹配算法，即首先找到亲和度最大的那个匹配，然后删除这个亲和度，寻找下一个匹配，依次类推。贪心匹配算法复杂度是线性，大部分情况下，也能得到最优匹配结果。

2、利用关联结果，计算每个对象的粒子群权重，作为粒子滤波框架中的观察似然概率。

其中tr表示需要跟踪的对象轨迹，p是某个粒子。指示函数I(tr)表示第一步关联中，轨迹tr是不是关联到某个检测结果，当存在关联时，计算与关联的检测d 的高斯密度P{n}(p-d )；C{tr}§是对这个粒子的分类概率；§是粒子通过检测算法得到的检测可信度，(tr)是一个加权函数，计算如下：

3）基于马尔科夫决策的多目标跟踪算法

作者把目标跟踪看作为状态转移的过程，转移的过程用马尔科夫决策过程(MDP)建模。一个马尔科夫决策过程包括下面四个元素：(S, A, T(.),R(.))。其中S表示状态集合，A表示动作集合，T表示状态转移集合，R表示奖励函数集合。一个决策是指根据状态s确定动作a, 即 π: SA。一个对象的跟踪过程包括如下决策过程：

从Active状态转移到Tracked或者Inactive状态：即判断新出现的对象是否是真。

从Tracked状态转移到Tracked或者Lost状态：即判断对象是否是持续跟踪或者暂时处于丢失状态。

从Lost状态转移到Lost或者Tracked或者Inactive状态：即判断丢失对象是否重新被跟踪，被终止，或者继续处于丢失状态。

作者设计了三个奖励函数来描述上述决策过程：

第一个是：

即判断新出现的对象是否为真，y(a)=1时表示转移到跟踪状态，反之转移到终止状态。这是一个二分类问题，采用2类SVM模型学习得到。这里用了5维特征向量：包括x-y坐标、宽、高和检测的分数。

第二个是：

这个函数用来判断跟踪对象下一时刻状态是否是出于继续跟踪，还是处于丢失，即跟踪失败。这里作者用了5个历史模板，每个模板和当前图像块做光流匹配，emedFB表示光流中心偏差， 表示平均重合率。 和 是阈值。

第三个是：

这个函数用来判断丢失对象是否重新跟踪，或者终止，或者保持丢失状态不变。这里当丢失状态连续保持超过 (=50)时，则转向终止，其他情况下通过计算M个检测匹配，来判断是否存在最优的匹配使上式(3-14)奖励最大，并大于0。这里涉及两个问题如何设计特征以及如何学习参数。这里作者构造了12维与模板匹配相关的统计值。而参数的学习采用强化学习过程，主要思想是在犯错时候更新二类分类器值。

第二阶段 深度学习应用

1）基于对称网络的多目标跟踪算法

关于Siamese网络在单目标跟踪深度学习中有了介绍，在这里不再介绍，可以向前参考。

2）基于最小多割图模型的多目标跟踪算法

上述算法中为了匹配两个检测采用LUV图像格式以及光流图像。Tang等人在文献中发现采用深度学习计算的类光流特征(DeepMatching)，结合表示能力更强的模型也可以得到效果很好的多目标跟踪结果。

基于DeepMatching特征，可以构造下列5维特征：

其中MI,MU表示检测矩形框中匹配的点的交集大小以及并集大小，ξv和ξw表示检测信任度。利用这5维特征可以学习一个逻辑回归分类器。

同样，为了计算边的匹配代价，需要设计匹配特征。这里，作者采用结合姿态对齐的叠加Siamese网络计算匹配相似度，如图9，采用的网络模型StackNetPose具有最好的重识别性能。

综合StackNetPose网络匹配信任度、深度光流特征(deepMatching)和时空相关度，作者设计了新的匹配特征向量。类似于[2], 计算逻辑回归匹配概率。最终的跟踪结果取得了非常突出的进步。在MOT2016测试数据上的结果如下表：

3）通过时空域关注模型学习多目标跟踪算法

除了采用解决目标重识别问题的深度网络架构学习检测匹配特征，还可以根据多目标跟踪场景的特点，设计合适的深度网络模型来学习检测匹配特征。Chu等人对行人多目标跟踪问题中跟踪算法发生漂移进行统计分析，发现不同行人发生交互时，互相遮挡是跟踪算法产生漂移的重要原因[4]。如图10。

在这里插入图片描述

针对这个问题，文献[4]提出了基于空间时间关注模型(STAM)用于学习遮挡情况，并判别可能出现的干扰目标。如图11，空间关注模型用于生成遮挡发生时的特征权重，当候选检测特征加权之后，通过分类器进行选择得到估计的目标跟踪结果，时间关注模型加权历史样本和当前样本，从而得到加权的损失函数，用于在线更新目标模型。

该过程分三步，第一步是学习特征可见图：

第二步是根据特征可见图，计算空间关注图(Spatial Attention):

其中fatt是一个局部连接的卷积和打分操作。wtji是学习到的参数。

第三步根据空间注意图加权原特征图：

对生成的加权特征图进行卷积和全连接网络操作，生成二元分类器判别是否是目标自身。最后用得到分类打分选择最优的跟踪结果。

4）基于循环网络判别融合表观运动交互的多目标跟踪算法

上面介绍的算法采用的深度网络模型都是基于卷积网络结构，由于目标跟踪是通过历史轨迹信息来判断新的目标状态，因此，设计能够记忆历史信息并根据历史信息来学习匹配相似性度量的网络结构来增强多目标跟踪的性能也是比较可行的算法框架。

考虑从三个方面特征计算轨迹历史信息与检测的匹配：表观特征，运动特征，以及交互模式特征。这三个方面的特征融合以分层方式计算。

在底层的特征匹配计算中，三个特征都采用了长短期记忆模型(LSTM)。对于表观特征，首先采用VGG-16卷积网络生成500维的特征ϕtA，以这个特征作为LSTM的输入计算循环。

对于运动特征，取相对位移vit为基本输入特征，直接输入LSTM模型计算没时刻的输出ϕi，对于下一时刻的检测同样计算相对位移vjt+1,通过全连接网络计算特征ϕj，类似于表观特征计算500维特征ϕm，并利用二元匹配分类器进行网络的预训练。

对于交互特征，取以目标中心位置周围矩形领域内其他目标所占的相对位置映射图作为LSTM模型的输入特征，计算输出特征ϕi，对于t+1时刻的检测计算类似的相对位置映射图为特征，通过全连接网络计算特征ϕj，类似于运动模型，通过全连接网络计算500维特征ϕI，进行同样的分类训练。

当三个特征ϕA，ϕM，ϕI都计算之后拼接为完整的特征，输入到上层的LSTM网络，对输出的向量进行全连接计算，然后用于匹配分类，匹配正确为1，否则为0。对于最后的网络结构，还需要进行微调，以优化整体网络性能。最后的分类打分看作为相似度用于检测与轨迹目标的匹配计算。最终的跟踪框架采用在线的检测与轨迹匹配方法进行计算。

5）基于双线性长短期循环网络模型的多目标跟踪算法

在对LSTM中各个门函数的设计进行分析之后，Kim等人认为仅仅用基本的LSTM模型对于表观特征并不是最佳的方案，在文献[10]中，Kim等人设计了基于双线性LSTM的表观特征学习网络模型。

除了利用传统的LSTM进行匹配学习，或者类似[5]中的算法，拼接LSTM输出与输入特征，作者设计了基于乘法的双线性LSTM模型，利用LSTM的隐含层特征(记忆)信息与输入的乘积作为特征，进行匹配分类器的学习。

这里对于隐含层特征ht-1,必须先进行重新排列(reshape)操作，然后才能乘以输入的特征向量xt。

其中f表示非线性激活函数，mt是新的特征输入。而原始的检测图像采用ResNet50提取2048维的特征，并通过全连接降为256维。下表中对于不同网络结构、网络特征维度、以及不同LSTM历史长度时，表观特征的学习对跟踪性能的影响做了验证。

可以看出采用双线性LSTM(bilinear LSTM)的表观特征性能最好，此时的历史相关长度最佳为40，这个值远远超过文献[5]中的2-4帧历史长度。相对来说40帧历史信息影响更接近人类的直觉。

Ⅲ 德云系：扩展模块的目标跟踪算法有哪些

你好，分为了以下四种：
1. KCF：TrackerKCF 使用目标周围区域的循环矩阵采集正负样本,利用脊回归训练目标检测器,并成功的利用循环矩阵在傅里叶空间可对角化的性质将矩阵的运算转化为向量的Hadamad积,即元素的点乘,大大降低了运算量,提高了运算速度,使算法满足实时性要求.
2.MIL：TrackerMIL 以在线方式训练分类器将对象与背景分离;多实例学习避免鲁棒跟踪的漂移问题
3. OLB：TrackerBoosting 基于AdaBoost算法的在线实时对象跟踪.分类器在更新步骤中使用周围背景作为反例以避免漂移问题.
4.MedianFlow：TrackerMedianFlow 跟踪器适用于非常平滑和可预测的运动,物体在整个序列中可见.
5.TLD：TrackerTLD 将长期跟踪任务分解为跟踪，学习和检测.跟踪器在帧之间跟踪对象.探测器本地化所观察到的所有外观,并在必要时纠正跟踪器.学习估计检测器的错误并进行更新以避免再出现这些错误.追踪器能够处理快速运动,部分遮挡,物体缺失等情况.

Ⅳ 计算机视觉中，目前有哪些经典的目标跟踪算法

跟踪是一个很混乱的方向。

比如TLD、CT、Struct这些效果不错的Tracker其实都不是单纯的Tracker了。09年的时候我记得比较流行的是Particle Filtering， 或者一些MeanShift/CamShift的变形，比如特征变了，比如对问题的假设变了。

后来突然出现一些tracking by detection的方法，之前的很多朋友就觉得这是耍流氓。比如TLD，严格的跟踪算法也许只是里面的Forward/Backward Opitcal Flow的部分，但是效果很Impressive，所以不管怎样，一下就火了。

之后所谓的跟踪就不再是一个传统的跟踪问题，而是一个综合的工程问题。online learning，random projection ，sparse learning的东西都加进来，大家其实到底是在做跟踪还是在做检测或者online learning，其实已经不重要，因为衡量的标准是你在某些public dataset上的精度。

但这些对实际的项目有没有帮助呢？

这是个很有意思的地方，在很多时候，我们之所以需要跟踪算法，是因为我们的检测算法很慢，跟踪很快。基本上当前排名前几的跟踪算法都很难用在这样的情况下，因为你实际的速度已经太慢了，比如TLD，CT，还有Struct，如果目标超过十个，基本上就炸了。况且还有些跟踪算法自己drift掉了也不知道，比如第一版本的CT是无法处理drift的问题的，TLD是可以的，究其原因还是因为检测算法比较鲁棒啊……

实际中我觉得速度极快，实现也简单的纯跟踪算法居然是NCC和Overlap。

NCC很简单，这个是对点进行的，对于区域也有很多变种，网上有一些相关的资源。

Overlap是我取的名字，一般用在里面，假如你的摄像头是静止的，背景建模之后出来的前景可以是一个一个的blob，对相邻两帧的blob检测是否Overlap就可以得到track。在一些真实场景下，这个算法是非常有效的。关于背景template的问题在真实的里面也是很好解决的。

坐在电脑前面调试代码tuning 各种阈值让跟踪算法在某一个帧下面不要drift的事情我是再也不想干了。
顺祝你2015幸福快乐。

Ⅳ 计算机视觉中，目前有哪些经典的目标跟踪算法

第一章介绍运动的分类、计算机视觉领域中运动分析模型、计算机视觉领域运动检测和目标跟踪技术研究现状、计算机视觉领域中运动分析技术的难点等内容；
第二章介绍传统的运动检测和目标跟踪算法，包括背景差分法、帧间差分法、光流场评估算法等；
第三章介绍具有周期性运动特征的低速目标运动检测和跟踪算法，并以CCD测量系统为例介绍该算法的应用；
第四章介绍高速运动目标识别和跟踪算法，并以激光通信十信标光捕获和跟踪系统为例介绍该算法的应用；
第五章介绍具有复杂背景的目标运动检测过程中采用的光流场算法，包括正规化相关的特性及其改进光流场评估算法，并介绍改进光流场算法的具体应用；
第六章介绍互补投票法实现可信赖运动向量估计。

Ⅵ 电动车定位跟踪器是用的什么原理呀

工作原理:

1、内置特殊运动感知芯片，在任何由静态变为动态的场合，系统均可侦测并报警。

2、内置运动位移特殊算法，任何非法移动（大于100M）均可侦测并报警。

3、内置高品质gprs通信模块和GPS芯片，将定位地理信息发送给用户手机或者上传数据到指定轨迹网站。

4、Gps定位：定位信息含速度信息，定位精度5-50米。室内无法定位。

5、基站定位：定位信息无速度信息。定位精度依据基站密度而定，室内可定位。

(6)算法跟踪器扩展阅读:

工作方式:

1、双定位：GPS定位+基站定位：

全程定位无盲点。在无GPS信号场合，系统自动转基站物档定位，即有手机信号的地方都可以定位。

2、震动即报梁蚂棚警，移动即跟踪：

系统由静态转为动态时（移动或者震动），即报警跟踪。

3、获橡则取即时动态定位信息多样化：

短信回复车辆当前所处的地理位置信息和登录轨迹网站，可查询运动轨迹，并可下载运动轨迹文字资料（路书）。

4、低电压报警：

产品内置电池低电压时系统会自动短信提示用户及时充电。

5、手机卡欠费报警：

产品内安装的电话卡如果收到电信部门发来的短信（比如手机卡欠费提醒短信等），系统会全部转发给机主手机。

Ⅶ 目标跟踪都有那些算法

目标跟踪,利用相邻两帧的区域匹配从图像序列中建立目标链,跟踪目标从进入监视范围到驶离监视范围的整个过程。首称要确定匹配准则。常用的图像匹配方法有Hausdorff距离区域法和图像互相关。

Ⅷ 自动跟踪系统的详解

由光学系统、探测器、信号处理系统、伺服系统和跟踪架等部分组成。高精度伺服系统一般采用直接耦合转矩电动机和高灵敏度测速机组合驱动。跟踪架有垂直（方位）轴和水平（俯仰）轴。光学跟踪系统通常在红外光谱、可见光谱和紫外光谱工作。常用的有红外跟踪系统、激光跟踪系统和电视跟踪系统。
红外跟踪系统接收目标的辐射能量，经过调制或扫描后会聚在红外探测器上，将红外辐射信号转换成电信号，经信号处理后送给伺服系统，驱动跟踪架，自动跟踪目标。红外调制器分为调幅、调频、调相或脉冲编码。常用波长分别为 1～3微米、3～5微米和8～14微米。红外探测受目标辐射特性影响，又称为被动式跟踪。
激光跟踪系统是70年代发展起来的。激光发射系统向目标发射激光束，由目标的表面漫反射或装在目标上的角反射器反射回来激光信号，经接收系统转换成比例于目标偏离光轴的角位置误差的电信号，送给伺服系统，驱动跟踪架，使跟踪架上光学系统对准目标。激光跟踪系统同无线电跟踪系统一样，靠接收本身发射能量来跟踪目标，又称主动式跟踪系统。激光接收系统测角分成和差式单脉冲制和圆锥扫描制两种。激光单色性、方向性好，波束窄，测角精度高，没有多路径效应，用于高精度跟踪和测量。接收探测器采用光电倍增管、硅光电二极管和光电雪崩二极管。
电视跟踪系统采用电视摄像机作为探测器，电视摄像机对视场内目标像进行光栅扫描，把光信号转换成电信号。电视跟踪按目标跟踪点的不同分边缘跟踪、矩心跟踪和相关跟踪。以最先扫描到的目标像位置作为目标跟踪点的跟踪称为边缘跟踪；全扫描目标像后经过计算，算出目标像的矩心作为目标跟踪点，称为矩心跟踪；算出帧间目标像的相关函数，选取相关系数最大点或者按照帧间目标像的匹配算法算出匹配函数最大点作为目标跟踪点，称为相关跟踪。
自动跟踪系统信息处理由简单处理向图像信息处理方向发展，由点跟踪向点跟踪和图像处理技术相结合方向发展,充分利用目标图像信息,提高抗干扰性能。电视跟踪器产生多个窗口，能同时跟踪视场内数字目标。多目标跟踪采用先求出各个目标中心，然后求出多个目标中心形成多边形的中心进行跟踪，也能由人工指定需要的某个目标进行自动跟踪。
光学跟踪的探测器向固态多元器件发展，线阵和面阵的可见光和红外电荷耦合器件的出现，提高了可靠性。光学跟踪系统结构简单可靠、成本低、功耗少、体积小和重量轻、隐蔽性好、角分辨率高和抗干扰性好；缺点是受大气影响大，不能全天候工作。
应用 自动跟踪系统主要用于靶场跟踪和测量、武器控制和制导等方面。环境和目标特性多样化，使得自动跟踪系统采用多传感器，有无线电的,也有光学的,互补长短。同时增加识别能力，各传感器依置给度不同进行自动切换，构成智能自动跟踪系统。 太阳能是已知的最原始的能源，它干净、可再生、丰富，而且分布范围广，具有非常广阔的利用前景。但太阳能利用效率低，这一问题一直影响和阻碍着太阳能技术的普及，如何提高太阳能利用装置的效率，始终是人们关心的话题，太阳能自动跟踪系统的设计为解决这一问题提供了新途径，从而大大提高了太阳能的利用效率。
跟踪太阳的方法可概括为两种方式：光电跟踪和根据视日运动轨迹跟踪。光电跟踪是由光电传感器件根据入射光线的强弱变化产生反馈信号到计算机，计算机运行程序调整采光板的角度实现对太阳的跟踪。光电跟踪的优点是灵敏度高，结构设计较为方便；缺点是受天气的影响很大，如果在稍长时间段里出现乌云遮住太阳的情况，会导致跟踪装置无法跟踪太阳，甚至引起执行机构的误动作。
而视日运动轨迹跟踪的优点是能够全天候实时跟踪，所以本设计采用视日运动轨迹跟踪方法和双轴跟踪的办法，利用步进电机双轴驱动，通过对跟踪机构进行水平、俯仰两个自由度的控制，实现对太阳的全天候跟踪。该系统适用于各种需要跟踪太阳的装置。该文主要从硬件和软件方面分析太阳自动跟踪系统的设计与实现。

Ⅸ 控制算法系列 纯跟踪控制

纯跟踪算法（Pure Pursuit）是一种传统且经典的车辆横向运动控制算法，其基本思想是在每个控制周期，通过前方目标轨迹上的一个点态则，指导当前方向盘的动作，使车辆车产生向目标点的运动。

纯跟踪算法重要的参数在于前视距离系数，一般而言，其前视距离与速度正相关。
以下图为例，跟踪目标为蓝色轨迹，车辆初始位置为绿色圆点。恒定跟踪速度2m/s。

由以上示例可以看出，纯跟踪算法收到前视距离的影响很大。
在实际应用过程中，除了跟踪数据调整预瞄系数，其还和轨迹类型强相关。

总结一下纯跟踪的一些特点：
（1）要求轨迹多帧连续性好，因预瞄的笑敬特性无法对变化轨迹（尤其是预瞄距碰闭慎离内）进行响应；
（2）要求轨迹性能稳定，因为标定系数是按照轨迹性能进行标定的，如果轨迹性能变化，可能导致车辆转弯内切等现象；

Ⅹ 自动跟踪的跟踪算法

质心跟踪算法：这种跟踪方式用于跟踪有界目标，且目标与环境相比有明显不同灰度等级，如空中飞机等。目标完全包含在镜头视场范围内。

相关跟踪算法：相关可用来跟踪多种类型的目标，当跟踪目标无边界且动态不是很强时这种方式非常有效。典型应用于：目标在近距离的范围，且目标扩展到镜头视场范围外，如航行在大海中的一艘船。

相位相关算法：相位相关算法是非常通用的算法，既可以用来跟踪无界目标也可以用来跟踪有界目标。在复杂环境下（如地面的汽车）能给出一个好的效果。

多目标跟踪算法：多目标跟踪用于有界目标如飞机、地面汽车等。它们完全在跟踪窗口内。对复杂环境里的小目标跟踪，本算法能给出一个较好的性能。
边缘跟踪算法：当跟踪目标有一个或多个确定的边缘而同时却又具有不确定的边缘，这时边缘跟踪是最有效的算法。典型如火箭发射，它有确定好的前边缘，但尾边缘由于喷气而不定。

场景锁定算法：该算法专门用于复杂场景的跟踪。适合于空对地和地对地场景。这个算法跟踪场景中的多个目标，然后依据每个点的运动，从而估计整个场景全局运动，场景中的目标和定位是自动选择的。当存在跟踪点移动到摄像机视场外时，新的跟踪点能自动被标识。瞄准点初始化到场景中的某个点，跟踪启动，同时定位瞄准线。在这种模式下，能连续跟踪和报告场景里的目标的位置。

组合跟踪算法：顾名思义这种跟踪方式是两种具有互补特性的跟踪算法的组合：相关类算法 + 质心类算法。它适合于目标尺寸、表面、特征改变很大的场景。