基于孪生神经网络的航迹关联方法

摘要

日益复杂的电磁环境对战场目标探测提出了很高的要求。由于多雷达融合系统的不断发展，如何准确快速地完成多雷达的航迹关联成为一个亟待解决的问题。现有的关于航迹关联算法的研究大多只考虑雷达上报的最新目标航迹点，而没有考虑先前的航迹信息。除此之外，大多数航迹关联算法对于航迹异步问题的解决方法是进行时间配准，这不仅增加了算法本身的计算开销，还放大了航迹信息中包含的误差，因此难以应用于目前复杂的电磁环境中。本文提出一种适用于对异步航迹进行关联的、且无需进行时间配准工作的基于孪生神经网络的航迹关联算法(TTCSN)。该算法首先将待关联航迹两两组成一对，将其成对地送入特征提取网络中，再利用共享权重的双向LSTM网络提取输入航迹的隐含特征，之后对两条航迹的特征向量进行相似度计算，得到相似度向量，最终送入分类器完成关联航迹与非关联航迹的判别。实验表明，TTCSN算法能够有效地解决异步航迹关联问题。

关键词

航迹关联; 深度学习; 信息融合

当前战场电磁环境变得越来越复杂，作战空间中存在着大量的电磁干扰，由于航迹点的缺失或干扰，目前单雷达获得的航迹信息已无法满足战场的需求，因此基于多传感器的信息融合系统应运而生^[1]。航迹关联是多传感器信息融合系统中尤为重要的一步，航迹关联的目的是找到来自不同传感器的信息中同一目标的航迹集合。由于传感器在采集目标信息的过程中，受到很多因素影响，如设备本身误差、噪声、障碍物等，传感器的探测值与目标真实值之间存在一定的差异，导致目标跟踪精确度大幅降低。通过航迹关联技术，可以综合多部传感器的数据，找出同一目标的多个观测值，进而确定传感器探测值与目标真实位置的关系，所以航迹关联是航迹融合的重要前提条件^[2]。目前已有的航迹关联方法主要分为两大类：一类是基于统计的方法，另一类是基于模糊数学的方法。在基于统计的方法方面，Singer和Kanyuch在处理航迹关联问题时使用了加权统计距离检验法^[3]；Bar-Shalom在加权统计距离检验法的基础上提出了修正的加权统计距离检验法^[4]；Singer提出了最近邻域法^[5]；He You提出了航行序列法^[6]用于解决航迹关联问题；Bowman将极大似然估计引入到解决航迹关联问题的方法中^[7]；Chang和Youens运用运筹学中的经典分配方法解决了航迹关联问题^[8]；Reid将多元假设检测应用于航迹关联中^[9]。在基于模糊数学的方面，何友提出了基于模糊数学的航迹关联算法，其中包括模糊双门限算法^[10]、模糊综合函数算法^[11]以及模糊综合决策算法^[12]等。张天舒等将对等式结构应用于航迹关联，提出了对等式结构下的航迹关联算法^[13]；连宇杰等结合集对分析理论，提出了一种适用于航迹交叉、目标密集情况下航迹关联算法^[14]。上述传统航迹关联方法仍存在一些问题，如只利用最新的目标航迹状态进行关联，而忽视了先前的航迹信息；传统算法在目标密集、航迹交叉或者分叉的情况下的效果有明显下降。除此之外，对于异步航迹，多数算法对其进行关联之前均需要进行时间配准，增加了计算量，并且时间配准会放大航迹信息所包含的误差，这对航迹关联工作十分不利。

近年来，随着机器学习技术的进步，尤其是深度学习技术的快速发展，为解决航迹关联问题提供了新的思路。可将航迹关联问题转换为由2条航迹组成的航迹对是否存在关联关系的判别问题，即深度学习模型的二分类问题。通过构建样本数据集对深度学习模型进行训练，让深度学习模型去学习单条航迹隐含的特征以及两条关联航迹之间的相关性特征，模型在训练过程中自适应地调整内部参数，以实现模型的分类能力。

本文针对2部异步雷达所得航迹信息的航迹关联问题，将航迹关联问题转化为两两航迹是否是关联航迹的判别问题，并提出了一种基于孪生神经网络的航迹关联方法(TTCSN)。该算法首先在待关联航迹中选择任意两条航迹组成航迹对，将航迹对中的每一条航迹依次输入到共享参数的特征提取网络中，从而提取出航迹本身所隐含的时间序列特征和空间分布特征等信息，本算法采用的特征提取网络为双向长短期记忆网络(Bi-directional Long Short-Term Memory，BiLSTM)^[15]。之后，将2个特征提取网络输出的特征向量进行特征比对，通过损失的计算判断输入的2条航迹是否为关联航迹。实验结果表明，本文所提的算法能够在不进行时间配准的情况下快速、准确地判断2条异步航迹是否关联。

1 问题定义

为方便研究，本文使用平面直角坐标系中的横坐标$x$、纵坐标$y$以及时间$t$来描述雷达的单个航迹点量测。雷达1中得到的第$i$条航迹可以表示为：$T_i^{\mathrm{1}}$；第$i$条航迹的第$j$个航迹点可以表示为：$P_{ij}^{\mathrm{1}}=(x_{ij},y_{ij},t_{ij})$，$\mathrm{1}\le j\le n_{\mathrm{1}}$，其中$n_{\mathrm{1}}$为雷达1的量测中一条航迹所包含的航迹点的数量。为了进行深度学习模型的训练与测试，本文从雷达1和雷达2中各取一条航迹组成一个航迹对$<T_m^{\mathrm{1}},T_n^{\mathrm{2}}>$。本文将航迹对分为2类：关联航迹和非关联航迹。由2部雷达上对同一目标的跟踪航迹组成的航迹对即为关联航迹对，由2部雷达上对不同目标的跟踪航迹组成的航迹对为非关联航迹对。本研究的目标是正确区分关联航迹对与非关联航迹对，从而解决雷达测量航迹的关联问题。

2 基于孪生神经网络的航迹关联方法

针对2部异步雷达的航迹关联问题，本文提出了一种基于孪生神经网络的航迹关联算法，该算法的具体流程如图1所示。本算法主要可以分为3个部分，第一部分为航迹特征提取部分；第二部分为航迹特征相似度计算部分；第三部分为分类器部分。

图1  TTCSN算法框架

Fig.1  Architecture of TTCSN algorithm

2.1 基于孪生BiLSTM的航迹特征提取

递归神经网络(Recurrent Neural Network，RNN)被广泛应用于序列数据的处理，但是经典的RNN容易发生梯度消失或者梯度爆炸的现象，导致模型无法正常训练下去。而LSTM^[16]很好地缓解了这些问题，使得时间序列中长距离的依赖信息得到很好的保留。BiLSTM相比于LSTM能更好地提取序列数据的特征，尤其是时序关系上存在着强关联的数据，这是因为BiLSTM比LSTM多了一条反向的信息通路，能够从顺时间方向和逆时间方向两个方向上去学习航迹数据的特征，使得提取到的航迹特征信息更丰富。BiLSTM的基本结构如图2所示。

图2  BiLSTM结构图

Fig.2  Architecture of BiLSTM

孪生BiLSTM指的是成对的两条航迹分别通过2个共享权值的BiLSTM网络进行特征提取，共享权重的BiLSTM可以将结构相似的航迹信息以同一种计算方式转换到隐层空间，得到同种表征形式的隐层特征。由于输入的两条航迹在数据的结构上十分相似，每个航迹点的信息都是由坐标位置和时间戳组成，因此非常适合用孪生网络进行处理。

2.2 基于L1范数距离的航迹相似度度量

输入航迹对<${\mathit{x}}_{\mathrm{1}},{\mathit{x}}_{\mathrm{2}}$>在经过特征提取网络之后，得到特征向量$\mathit{h}\left({\mathit{x}}_{\mathrm{1}}\right)$和$\mathit{h}\left({\mathit{x}}_{\mathrm{2}}\right)$，并且其维度是相等的。为了对二者进行相似度的度量，本文选择L1范数距离，即曼哈顿距离对2个特征向量做计算，得到二者的相似度向量$\mathit{D}={‖\mathit{h}({\mathit{x}}_{\mathrm{1}})-\mathit{h}({\mathit{x}}_{\mathrm{2}})‖}_{\mathrm{1}}$。之后，将相似度向量$\mathit{D}$送入分类器，分类器由2层全连接层组成。最后，经过分类器的计算输出判别结果，判断输入的航迹对<${\mathit{x}}_{\mathrm{1}},{\mathit{x}}_{\mathrm{2}}$>是否为关联航迹。

TTCSN算法的伪代码如算法1所示。

算法1：基于孪生神经网络的航迹关联算法

输入 航迹对<${\mathit{x}}_{\mathrm{1}},{\mathit{x}}_{\mathrm{2}}$>，航迹的时间步长为$t_{\mathit{i}}$，长度为3，维度：$t_{\mathit{i}}\times \mathrm{3}$；

输出 输入航迹关联的可能性$P$；

Step1   数据预处理，输入：维度为$t_{\mathrm{1}}\times \mathrm{3}$的航迹$x_{\mathrm{1}}$和维度为$t_{\mathrm{2}}\times \mathrm{3}$的航迹

Padding，$t=\mathrm{m}\mathrm{a}\mathrm{x}\left(t_{\mathrm{1}},t_{\mathrm{2}}\right)$，将输入航迹的维度统一成$t_{}\times \mathrm{3}$，输出为$t_{}\times \mathrm{3}$维的航迹对<${\mathit{x}}_{\mathrm{1}},{\mathit{x}}_{\mathrm{2}}$>；

Step2   航迹序列特征提取，输入为$t_{}\times \mathrm{3}$维的航迹序列<${\mathit{x}}_{\mathrm{1}},{\mathit{x}}_{\mathrm{2}}$>

双向LSTM层，每个隐含层神经元个数为64，输出为1×128维的特征向量$\mathit{h}\left({\mathit{x}}_{\mathrm{1}}\right)$和$\mathit{h}\left({\mathit{x}}_{\mathrm{2}}\right)$；

Step3   特征向量相似度计算，输入维度为1×128维的$\mathit{h}\left({\mathit{x}}_{\mathrm{1}}\right)$和$\mathit{h}\left({\mathit{x}}_{\mathrm{2}}\right)$

计算$\mathit{D}={‖\mathit{h}({\mathit{x}}_{\mathrm{1}})-\mathit{h}({\mathit{x}}_{\mathrm{2}})‖}_{\mathrm{1}}$，输出为1×128维的$\mathit{D}$；

Step4   分类器，输入为1×128维的$\mathit{D}$

全连接层FC1，输出为1×512的向量；

全连接层FC2，输出航迹相似度计算值(0~1)。

2.3 采用孪生神经网络架构的必要性

孪生神经网络是一种特殊的神经网络架构，与一般分类任务学习输入数据与已有样本之间相似度的模式不同，孪生神经网络学习的是2个输入之间的相似程度，从而对2个输入进行区分。具体来讲，本文的目的不是将输入的航迹划分到某一个已有的类别中，而是判断输入的2条航迹的相似程度，从而判断它们是否是来自同一目标的不同量测。

假设${\mathit{x}}_{\mathrm{1}}$和${\mathit{x}}_{\mathrm{2}}$是2个输入向量，如果不采用孪生神经网络的网络架构，直接将其拼接后送入LSTM进行特征提取，则特征向量$\mathit{h}({\mathit{x}}_{\mathrm{1}}{\mathit{x}}_{\mathrm{2}})$和$\mathit{h}({\mathit{x}}_{\mathrm{2}}{\mathit{x}}_{\mathrm{1}})$得到的结果是不同的，即输入数据的拼接顺序会影响其特征的表达，这并不是所希望的，而孪生神经网络能很好地解决这个问题。在本文的方法中，输入${\mathit{x}}_{\mathrm{1}}$和${\mathit{x}}_{\mathrm{2}}$首先分别经过一个特征提取网络进行特征提取，得到特征向量$\mathit{h}(x_{\mathrm{1}})$和$\mathit{h}(x_{\mathrm{2}})$，之后再得到特征相似度向量$\mathit{D}={‖\mathit{h}(x_{\mathrm{1}})-\mathit{h}(x_{\mathrm{2}})‖}_{\mathrm{1}}$，而$\mathit{D}$是一个与${\mathit{x}}_{\mathrm{1}}$和${\mathit{x}}_{\mathrm{2}}$的输入顺序无关的特征表征向量。

3 实验

3.1 实验环境和数据集

为了检验TTCSN算法的有效性，本文仿照文献[17]生成了相关数据集，并进行了仿真实验。在仿真实验中，本文设置了100 km×100 km的雷达量测区域，采用随机生成目标的方式生成航迹数据。每个目标初始位置、初始速度以及初始运动方向都是随机的，初始速度范围为300~600 m/s，之后每秒随机地改变一次目标状态，包括运动方向和运动速度的改变，保证变化的幅度都在符合运动学规律的合理范围内，每个目标共飞行50 s。同时，设定两部雷达的测距和测角误差为100 m和1°；设定雷达1的扫描周期为4 s，雷达2的扫描周期为6 s。

实验随机生成10 000个目标，得到2部雷达关于这10 000个目标的测量信息。之后，将2部雷达对于相同目标量测的结果进行配对组合，得到10 000条正样本数据。再将雷达1与雷达2关于不同目标的量测数据进行随机组合，得到10 000条负样本数据。之后，从2部雷达的量测数据中筛选出由不同目标产生，但相距比较近的目标量测组合，得到6 695条数据，也作为负样本。将总共26 695条数据随机打乱，分出70%作为训练集，30%作为测试集。

本文选择航迹关联领域的经典算法，加权统计距离检验法(简称为：加权法)和最近邻算法(Nearest Neighbor，NN)，以及深度学习领域适合处理时间序列数据的LSTM、双向LSTM(BiLSTM)算法作为本文所提算法的对比对象，以验证TTCSN算法的有效性。LSTM作为深度学习方法的一种，非常适合用于处理时间序列数据，而航迹数据本质上也是一种时间序列数据。

本文选用衡量航迹关联算法性能常用的航迹关联准确率和算法运行时间作为算法的评价指标，此外，本文还采用了召回率(Recall)和精确率(Precision)来衡量3种深度学习算法的优劣。

3.2 实验结果与分析

神经网络的维度是模型中非常重要的一个参数。一方面，维度低，神经网络包含的信息量少，模型的性能就可能达不到预期；另一方面，维度太高会导致神经网络模型参数量过大，模型难以训练。为了研究神经网络不同维度对算法性能的影响，本文将模型中的特征提取网络的输出维度设置多个不同的值，探究其对模型性能的影响，实验结果如图3所示。

图3  不同输出维度测试准确率

Fig.3  Test accuracy for different output dimensions

可以看到，随着特征提取网络输出维度的增加，模型在测试集上的表现先变好再变坏，在输出维度为64维时表现最好，达到99.1%。因此，将特征提取网络的输出维度最终确定为64维。

另外，为证明曼哈顿距离在度量航迹特征相似度方面的优越性，本文同样设置了利用欧式距离作为相似度度量方式的对比实验，模型在测试集上的表现如图4所示。从图中可以看出，采用曼哈顿距离进行特征向量相似度度量比采用欧氏距离进行相似度度量的模型在测试集上的表现要好，达到了99.1%的准确率，证明了曼哈顿距离在度量航迹特征相似度方面的优越性。

图4  采用不同相似度度量方式的模型测试准确率

Fig.4  Test accuracy for different similarity measurement methods

为了验证算法在不同航迹密集条件下的性能，本文研究了不同航迹密集程度对算法的影响。本文研究了航迹密度为5条至80条下的算法性能，在相同仿真环境下对每种航迹密度进行10次蒙特卡罗仿真得到实验结果，算法关联准确率如图5所示，算法所用时间如图6所示。

图5  不同算法航迹关联准确率

Fig.5  Track correlation accuracy of different algorithms

图6  不同算法运行时间结果图

Fig.6  Time cost of different algorithms

图5显示了加权法、NN、LSTM、BiLSTM以及本文所提TTCSN算法在不同航迹密度下的性能。从图中可以看出，加权法在航迹密集程度不大时已与本文所提算法有约7%的差距，而随着航迹越发密集，算法的性能呈下降趋势。最近邻算法在航迹密度不大时的性能与本文所提算法接近，但是随着航迹密度的增加，最近邻算法的性能急速下降。上述两算法因为不关注前序时刻点上的航迹信息，而只是关注当前时刻的航迹信息，因此在密集情况下，加权法和最近邻算法都容易将两条并不关联的航迹误关联起来。随着战场环境变得日益复杂，电磁空间日益拥挤，这样的算法已经不适用于实际情况。LSTM与BiLSTM显示出很好的鲁棒性，随着航迹密度的增加并没有出现明显的性能下降。本文所提TTCSN算法在所有航迹密集程度下都保持了最高的关联准确率，有时甚至能够达到100%的准确率，随着航迹密度的增加也没有出现明显的性能下降，保持了很好的鲁棒性。

图6显示了加权法、NN、LSTM、BiLSTM以及本文所提TTCSN算法在不同航迹密度下进行计算所花的时间。从图中可以看出，加权法、NN算法在航迹密度较小时的时间开销是比较低的，LSTM、BiLSTM和TTCSN的算法运行时间依次增大。但是加权法的计算时间随航迹数目的增多呈指数上升趋势，在航迹数目达到80条时加权法的计算时间已经比其他2个算法多了4 s左右。虽然本文所提算法在航迹密度较低时的时间开销较大，但是其计算开销没有随航迹数目增多而发生明显变化，反而是LSTM和BiLSTM的时间开销随着航迹数目的增多渐渐逼近了TTCSN，甚至有超过TTCSN之势，并且TTCSN与表现最好的NN算法的差距仍在毫秒级。

由于3个深度学习算法在航迹关联准确率上的表现较为接近，因此又使用了评价深度学习算法常用的两个指标，Recall和Precision来衡量算法的好坏。召回率的表现如图7所示，精确率的表现如图8所示。

图7  不同算法的召回率

Fig.7  Recall rate of different algorithms

图8  不同算法的精确率

Fig.8  Precision rate of different algorithms

可以看到，无论是召回率还是精确率，本文所提算法在所有航迹密度的测试中都是最高的。本文算法的召回率能够一直保持在99%以上，高出LSTM算法4~10个百分点，高出BiLSTM算法3~8个百分点；随着航迹密度的增大，本文算法在精确率方面的表现对比LSTM和BiLSTM有非常明显的优势，能够胜出二者15~20个百分点。综上，相较于传统方法和已有的时间序列数据处理算法LSTM和BiLSTM，本算法在解决航迹关联问题时具有明显的优越性。

4 结论

本文针对异步航迹关联问题，提出了TTCSN算法。该算法首先将待关联航迹两两组成一对，将其成对地送入特征提取网络中，再利用共享权重的双向LSTM网络提取输入航迹的隐含特征，之后对2条航迹的特征向量进行相似度计算，得到相似度向量，最终送入分类器完成关联航迹与非关联航迹的判别。实验结果表明，TTCSN算法能够快速有效地解决异步航迹关联问题。