使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

基于生成对抗网络的数据增强方法及应用  PDF

  • 周华吉 1,2
  • 焦李成 1
  • 徐杰 2
  • 沈伟国 2
  • 王巍 2
  • 楼财义 2
1. 西安电子科技大学 人工智能学院,陕西 西安 710071; 2. 通信信息控制和安全技术重点实验室,浙江 嘉兴 314033

中图分类号: TN911.72

最近更新:2023-01-11

DOI:10.11805/TKYDA2021271

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
EN
目录contents

摘要

对于小样本电磁信号识别,数据增强是一种最为直观的对策。利用生成对抗网络(GAN)产生虚假信号样本,设计粗粒度和细粒度筛选机制对生成信号进行筛选,剔除质量较差的生成信号,实现训练样本集的有效扩充。为验证所提数据增强算法的有效性,在RADIOML 2016.04C数据集上进行测试。实验结果表明,本文所提方法对小样本电磁信号识别准确率有较好的提升效果。

近年来,深度学习凭借强大的自动特征提取能力被用于电磁信号识别中,并获得远超传统方法的效[

1-7]。但以卷积神经网络(Convolution Neural Network,CNN)为代表的深度学习方法进行电磁信号识别的一大特点是需要大量标签数据进行全监督学[8]。在频谱管控、国防信息安全等特定领域,电磁信号截获难度大,电磁信号种类多且更新变化速度快,能够研究利用的带标签信号数据极度稀缺。在这些小样本实际场景下,深度学习方法会显得束手无策。因为缺乏标签数据,网络训练极易陷入过拟合,从而大幅削弱识别性[9-10]。对于小样本电磁信号识[11],数据增强最为直观。利用生成对抗网络(GAN)强大的逼真样本生成能[12-13],构造数据增强算法。当前,GAN广泛用于图像生[14]、视频处[15]、语音生[16]等众多领域,并获得了极大的成功。也有少量研究人员将其应用至电磁信号数据增强中处理小样本识别问题。文献[17]利用带有辅助分类器的生成对抗网络(Auxiliary Classifier GAN,ACGAN)直接进行数据增强,可以将电磁信号识别的准确率提高0.1%~6%。该方法对生成的虚假信号直接采信,用于扩充数据集,然后训练分类器。但实际情况是,GAN生成的虚假样本质量参差不齐,特别是在小样本条件下,如果将质量较差的生成样本引入到训练数据集中,不仅无法提高模型的识别性能,反而会使其退化。文献[18]对生成的信号样本采取了简易的筛选机制,在ACGAN的训练过程中,利用多分类器对生成的信号样本进行类别判断,将被判为某一类的置信度较高的生成信号添加进该类原始信号中,从而达到数据增强的效果。但在小样本条件下,训练出来的分类器的准确率本身就不高,这意味着其分类置信度的可信程度有待商榷,对训练数据的扩充是否真的有效是存疑的。

针对上述问题,本文提出一种基于GAN的新型电磁信号数据增强方法,并将其用于小样本电磁信号识别中。

1 基于GAN的电磁信号生成方法

1.1 GAN

GAN由相互对抗的生成器和判别器构成。生成器(G)挖掘真实样本的概率分布pdata,并使生成样本的概率分布pg逼近真实样本的pdata;判别器(D)判别样本是来自数据集中的真实样本还是由生成器(G)生成的假样本。

生成器(G)以随机噪声z作为输入,输出生成的样本Xfake=G(z)。生成器(G)为了从真实样本学到生成样本的概率分布pg,构建了从噪声分布pz(z)到真实数据特征空间的非线性映射G(z;θg)

判别器(D)输出一个标量表示输入数据x来自真实样本还是生成器的概率,判别器构建的非线性特征映射用D(x;θd)表示。对于判别器(D)的输入X,判别器输出一个概率分布P(S|X)=D(X)。判别器的目的是最大化E[logP(S=real|Xreal)]E[logP(S=fake|Xfake)]之和。

生成器(G)和判别器(D)同时进行训练。对于生成器(G),训练的目标是调整参数使log1-DG(z)最小化;对于判别器(D),训练的目标是调整参数使logD(X)最大化。GAN的目标函数为:

minGmaxDV(D,G)=Ex~pdata (x)[logD(x)]+Ez~pz(z)log(1-D(G(z))) (1)

式中:D(x)为判别器D判断输入数据x为真实样本的概率;D(G(z))为生成样本被判别器判断为真实样本的概率。

1.2 ACGAN

原始GAN中的输入不含类别标签,因此生成器生成的样本并没有类别信息。为了能够指定GAN生成的样本类型,每次训练好的网络能够生成多种指定类别的样本,ACGAN[

19]是一个比较好的选择。

ACGAN是GAN的一种变体,可以看作是一个带有辅助分类器的GAN。在ACGAN中,每一个生成样本除了输入噪声z之外,还有一个对应的类别标签c,其中cpc。生成器G的输入包括输入噪声z和辅助类别标签c,生成的样本为Xfake=G(c,z)。判别器不仅输出给定样本是真实样本的概率P(S|X),而且输出类别的概率D(X),其中D(X)=P(C|X)

ACGAN的损失函数由2部分构成:真假样本分类的对数似然函数LS和类别分类的对数似然函数LC

LS=ElogPS=realXreal+ElogPS=fakeXfake (2)
LC=ElogPC=cXreal+ElogPC=cXfake (3)

判别器D训练的目标是最大化LS+LC,而生成器G的目标是最大化LC-LS。ACGAN能够学习到与输入噪声z无关的类别标签c的特征表示。

1.3 电磁信号生成方法

基于GAN的电磁信号生成流程如图1所示,可以看出,由于GAN中的生成器不含类别标签,因此生成器每次只能生成1种类别的电磁信号。针对多种类别的电磁信号生成,需要对每一类分别进行操作。

图1  基于GAN的电磁信号生成流程

Fig.1  Process of electromagnetic signal generation based on GAN

基于ACGAN的电磁信号生成流程如图2所示,可以看出,它和GAN区别并不大,ACGAN中生成器增加了标签作为输入,判别器除了判断信号真伪还进行类别分辨,因此ACGAN能够生成指定类别的多种类虚假样本。

图2  基于ACGAN的电磁信号生成流程

Fig.2  Process of electromagnetic signal generation based on ACGAN

为了进一步展示GAN强大的逼真样本生成能力,并对GAN和ACGAN方法进行比较,本文给出RADIOML 2016.04C数据集中,信噪比为6 dB,每类信号50个作为训练样本时,调制信号的产生效果(信号I/Q两路分别用深浅色表示),如图3所示。图3同时给出了2种典型生成信号的对比结果。可以看出,GAN生成的信号波形与真实的信号波形非常相似,符合对应类别的调制信号特征。ACGAN的生成效果明显不如GAN方法。

图3  GAN和ACGAN方法生成信号对比图

Fig.3  Comparison of two typical signals generated by GAN and ACGAN

对于这个现象,本文进行了进一步研究。ACGAN生成器输入的类别标签c本质上是给输入噪声z加上额外的约束,并对生成样本的概率分布pg进行划分。不同的类别标签c得到不同的概率分布划分pg|c,但只有在理想情况下,类别标签c得到的概率分布划分pg|c才能是互不重合的。对于小样本电磁信号,由于训练数据有限,生成样本的概率分布pg与概率分布划分pg|c无法逼近真实样本的概率分布pdata。本文的实验结果证明了这个推论。虽然ACGAN可以一次生成多种不同类型的电磁信号,大大提高了生成效率,但在小样本条件下,这是以牺牲生成样本的效果为代价的。

2 生成信号筛选方法

为了保证数据增强效果的有效性,针对生成的虚假样本,设计了粗粒度筛选和细粒度筛选机制,具体流程如图4所示。

图4  生成信号筛选流程

Fig.4  Screening process of generated signals

2.1 粗粒度筛选

粗粒度筛选机制的原理是度量生成的电磁信号和真实的电磁信号之间特征分布的距离,如果距离近,则说明生成的信号质量好,保留这个生成的信号;如果距离远,则说明生成的信号质量差,需要筛除这个生成信号。为了能够观察和分析高维特征向量,本文使用T分布随机邻域嵌入(T-distributed Stochastic Neighborhood Embedding,TSNE)[

20]进行降维。

将类别为t的小样本真实电磁信号rt和类别为t的生成信号st送入TSNE,得到降维后两种典型的二维特征分布场景:接近、偏离,如图5所示。

图5  2种不同的TSNE可视化结果

Fig.5  Two different TSNE visualization results

图5中黑色的点表示生成的信号特征,用Vgenerated表示,灰色的点表示原始信号特征,用Vfew-shot表示。图5(a)中,VgeneratedVfew-shot分布的中心十分接近,表明当前这个类别的生成信号和真实信号的特征分布距离很近,生成的信号学习到真实信号的特征,生成信号的质量好,这个类别的生成信号应当保留;图5(b)中,VgeneratedVfew-shot分布距离很远,表明当前这个类别的生成信号没有学习到真实信号的特征,它们不属于同一个特征空间,生成的信号质量差,这个类别的生成信号应该全部被筛除。

结合降维后的二维特征分布结果,分别计算出VgeneratedVfew-shot分布的中心点pgeneratedpfew-shot,根据pgeneratedpfew-shot的距离对生成的信号进行粗粒度筛选,得到Scoarse-grained

Scoarse-grained=S·lcoarse-grained(st) (4)
lcoarse-grainedst=1, if pgenerated-pfew-shotα0, if pgenerated-pfew-shot>α (5)

式中:stSS为生成信号的集合;Scoarse-grained为经过粗粒度筛选后的电磁信号;α为距离阈值。

2.2 细粒度筛选

在通过数据增强提高电磁信号识别率的过程中,如果生成信号与真实信号相似性非常高,增加的训练数据未能给识别模型带来多样性,则生成信号发挥出的增强效果有限;如果生成信号与真实信号相似性太低,则会误导识别模型,不仅起不到增强的效果,反而会拉低识别率。因此,本文提出了基于皮尔逊相关系数的细粒度筛选方法。

首先,求出小样本真实电磁信号中类别为t的平均特征向量:

Yt=1mi=1mYi (6)

式中:Yt为小样本真实电磁信号中类别为t的平均特征向量;m为类别为t的信号个数;Yi为每一个类别为t的真实电磁信号,即Yirt

然后,使用皮尔逊相关系数来计算类别为t的真实信号和粗粒度筛选后生成信号之间的特征相似度:

r(Xt,Yt)=i=1100Xti-Xt¯Yti-Yt¯i=1100(Xti-Xt¯)2i=1100(Yti-Yt¯)2 (7)

式中:r代表皮尔逊相关系数;XtVcoarse-grainedt为电磁信号类别标签。

最后,根据皮尔逊相关系数计算结果对Scoarse-grained中的信号进行降序排序,找到中位数。从中位数开始,向皮尔逊相关系数增加方向和减少方向同时挑选需要的生成信号个数,得到最后的细粒度筛选结果Sfine-grained。细粒度挑选保留的信号个数设置为原始真实信号个数的20%。

3 实验和分析

为了验证所提出的方法在小样本电磁信号识别任务中的有效性,本文在公开合成信号数据集RADIOML 2016.04C进行实[

21]。该数据集经常用于验证电磁信号识别性能,包含11种调制样式,分别为:8PSK,AM-DSB,AM-SSB,BPSK,CPFSK,GFSK,4PAM,16QAM,64QAM,QPSK和WBFM。数据集中信号的信噪比范围为-20~18 dB,间隔2 dB。数据集中所有信号均为同相正交(In-phase and Quadrature,IQ)信号,形状为128×2,长度128,同相部分和正交部分分别独立。每种信噪比包含8 103个信号。

针对RADIOML 2016.04C数据集,设计了2个实验。其中实验1探讨了当信噪比固定时,不同真实样本个数条件下的数据增强效果;实验2分析了当真实样本个数固定时,不同信噪比条件下的增强效果。为了体现数据增强的效果,本文使用基于卷积神经网络(CNN)的电磁信号识别网络,并将其分别用于增强前后的数据集。

2个实验中,生成信号的个数都设置为原始真实信号个数的10倍。此外,筛选后保留的信号个数设置为原始真实信号个数的20%。增强后的数据集由真实信号和筛选后保留的信号组成。

3.1 实验1:信号样本个数对增强结果的影响

选择信噪比为12 dB的信号,共包含8 103个样本,随机选择50%的数据作为训练样本,另外50%的数据作为测试样本。为了挑战所提算法的能力,从训练样本中随机挑选个数从110到1 100(11类信号,每类信号数目相同)的多组数据作为训练集,分别进行数据增强和筛选。对比真实信号、GAN增强筛选后、GAN增强未筛选、ACGAN增强筛选后以及ACGAN增强未筛选条件下的识别准确率,表1为实验结果。

表1  10 dB信噪比下信号识别准确率对比
Table1  Comparison of signal classification accuracy under RSN=10 dB
number of real signals per classreal signals/%GAN augmented signals with screening/%GAN augmented signals without screening/%ACGAN augmented signals with screening/%ACGAN augmented signals without screening/%
10 72.31 82.45 80.86 70.45 68.17
20 82.52 87.76 84.31 81.43 77.47
30 86.87 90.42 87.58 84.52 83.79
40 88.51 91.13 88.94 86.56 85.35
50 89.53 93.29 90.34 87.57 86.76
60 91.94 93.60 92.22 92.11 90.23
70 92.35 93.94 92.91 92.68 92.45
80 92.60 94.12 93.13 92.97 92.66
90 92.87 94.65 93.53 94.22 93.91
100 93.03 94.94 94.08 94.54 94.03

表1的实验结果看出,从每类10个到每类100个,GAN增强筛选后的准确率要比真实信号的准确率高0.91%~10.14%,证明了本文所提方法能够显著提高电磁信号识别的性能。GAN增强筛选后比GAN增强未筛选的准确率高,ACGAN增强筛选后的准确率也都比ACGAN增强未筛选的准确率高。试验结果显示本文提出的筛选方法是有效的。

此外,在每类真实样本数≤50个时,ACGAN增强筛选后的准确率要低于真实信号,但随着每类真实信号个数的增多,ACGAN增强筛选后的准确率逐渐比真实信号的准确率高。当达到每类90个、100个时,“真实信号+ACGAN筛选后”的准确率与“真实信号+GAN筛选后”的准确率相差在0.5%以内。

针对此现象,本文进行了深入分析,得到以下结论:对于极端小样本电磁信号数据集,样本数据太少,不足以支撑ACGAN的生成器学习到真实样本的特征,导致ACGAN生成的不同类别的信号发生特征混叠,最终削弱了识别准确率;当真实信号个数逐渐增加时,ACGAN生成的信号质量越来越高,逐渐接近GAN的增强效果,能够发挥出数据增强的效果,使识别准确率得以提高。

3.2 实验2:信噪比对增强结果的影响

为了验证当真实样本个数固定时,不同信噪比条件下的本文算法的增强效果,从20个信噪比中选取出9个信噪比:-12 dB,-8 dB,-4 dB,-2 dB,0 dB,2 dB,4 dB,8 dB,12 dB,对比每类20个、每类30个小样本电磁信号作为训练集的条件下,GAN筛选后、GAN未筛选与真实信号的准确率。

根据前文分析,当样本极端少时,ACGAN并不能实现有效样本增强,因此在本实验中不再进行比较。具体实验结果如图6图7所示。

图6  每类真实信号为20时的识别结果对比

Fig.6  Comparison of classification accuracies when each class contains 20 real signals

图7  每类真实信号为30时的识别结果对比

Fig.7  Comparison of classification accuracies when each class contains 30 real signals

图6图7可以看出,在9个不同信噪比下,无论是针对每类20个真实信号还是每类30个真实信号,GAN增强筛选后和GAN增强未筛选的信号训练模型得到的电磁信号识别准确率都超过了真实信号的准确率;“GAN增强筛选后”的准确率也都高于“GAN增强未筛选”的准确率,证明了不同信噪比条件下,本文所提数据增强算法的有效性。

此外,GAN有较好的逼真样本生成能力,但每次只能生成一类样本,计算复杂度较高;ACGAN虽然能一次生成多种虚假信号样本,但在极端小样本条件下,并不能起到数据增强的效果。为了平衡计算复杂度和增强效果,在具体小样本电磁信号识别任务中,需要对GAN和ACGAN的使用进行合理考虑。

4 结论

本文提出了一种基于生成对抗网络的数据增强方法,并将其用于小样本电磁信号识别中。设计了粗粒度和细粒度筛选机制,对生成对抗网络产生的虚假信号样本进行筛选;比较了GAN和ACGAN在数据增强任务中的差异,实现了训练样本集的有效扩充。为验证所提数据增强算法的有效性,在RADIOML 2016.04C数据集上进行大量测试。实验结果表明,本文提出的数据增强方法在不同小样本条件下都能有效提高电磁信号的识别性能,并获得比现有算法更好的效果。

由于本文提出的粗粒度筛选机制会直接筛掉质量较差的生成信号,导致该类信号无法进行有效扩充,从而一定程度影响数据增强效果。下一步,分两个方向进行研究,一是进一步研究生成对抗网络原理,生成质量更好的虚假信号,使其在粗粒度筛选阶段得以保留;二是研究其他数据增强方法,针对粗粒度筛选阶段筛掉的某类信号,通过别的方式进行数据扩充,实现联合数据增强,从而进一步提高电磁信号识别性能。

参考文献

1

ZHOU Huaji,JIAO Licheng,ZHENG Shilian,et al. Weight-variable scattering convolution networks and its application in electromagnetic signal classification[J]. IEEE Access, 2019(7):175889-175896. [百度学术] 

2

ZHENG Shilian,CHEN Shichuan,YANG Lifeng,et al. Big data processing architecture for radio signals empowered by deep learning: concept,experiment,applications and challenges[J]. IEEE Access, 2018(6):55907-55922. [百度学术] 

3

ZHENG Shilian,CHEN Shichuan,QI Peihan,et al. Spectrum sensing based on deep learning classification for cognitive radios[J]. China Communications, 2020,17(2):138-148. [百度学术] 

4

RAJENDRAN S,MERRT W,GIUSTINIANO D,et al. Deep learning models for wireless signal classification with distributed low-cost spectrum sensors[J]. IEEE Transactions on Cognitive Communications and Networking, 2018,4(3):433-445. [百度学术] 

5

NISHIZAKI H,MAKINO K. Signal classification using deep learning[C]// 2019 IEEE International Conference on Sensors and Nanotechnology. Penang,Malaysia:IEEE, 2019:1-4. [百度学术] 

6

周鑫,何晓新,郑昌文. 基于图像深度学习的电磁信号识别[J]. 通信学报, 2019,40(7):114-125. [百度学术] 

ZHOU Xin,HE Xiaoxin,ZHENG Changwen. Radio signal classification based on image deep learning[J]. Journal on Communications, 2019,40(7):114-125. [百度学术] 

7

CHEN Shichuan,ZHENG Shilian,YANG Lifeng,et al. Deep learning for large-scale real-world ACARS and ADS-B radio signal classification[J]. IEEE Access, 2019(7):89256-89264. [百度学术] 

8

ZHOU Huaji,JIAO Licheng,ZHENG Shilian,et al. Generative adversarial network-based electromagnetic signal classification:a semi-supervised learning framework[J]. China Communications, 2020,17(10):157-169. [百度学术] 

9

RAHMAN S,KHAN S,PORIKLI F. A unified approach for conventional zero-shot,generalized zero-shot,and few-shot learning[J]. IEEE Transactions on Image Processing, 2018,27(11):5652-5667. [百度学术] 

10

ZHANG Zilin,LI Yan,GAO Meiguo. Few-shot learning of signal modulation recognition based on attention relation network[C]// 2020 28th European Signal Processing Conference(EUSIPCO). Amsterdam,Netherlands:[s.n.], 2021:1372-1376. [百度学术] 

11

SHI Yunhao,XU Hua,JIANG Lei,et al. Few-shot modulation classification method based on feature dimension reduction and pseudo-label training[J]. IEEE Access, 2020,8:140411-140425. [百度学术] 

12

GOODFELLOW I J,POUGET-ABADIE J,MIRZA M,et al. Generative adversarial nets[C]// International Conference on Neural Information Processing Systems(NIPS). Cambridge,MA,USA:MIT Press, 2014:2672-2680. [百度学术] 

13

WANG Chaoyue,XU Chang,YAO Xin,et al. Evolutionary generative adversarial networks[J]. IEEE Transactions on Evolutionary Computation, 2019,23(6):921-934. [百度学术] 

14

曹志义,牛少彰,张继威. 基于半监督学习生成对抗网络的人脸还原算法研究[J]. 电子与信息学报, 2018,40(2):323-330. [百度学术] 

CHAO Zhiyi,NIU Shaozhang,ZHANG Jiwei. Research on face reduction algorithm based on generative adversarial nets with semi-supervised learning[J]. Journal of Electronics & Information Technology, 2018,40(2):323-330. [百度学术] 

15

包仁达,庾涵,朱德发,. 基于区域敏感生成对抗网络的自动上妆算法[J]. 软件学报, 2019,30(4):896-913. [百度学术] 

BAO Renda,YU Han,ZHU Defa,et al. Automatic makeup with region sensitive generative adversarial networks[J]. Journal of Software, 2019,30(4):896-913. [百度学术] 

16

FERNANDO T,SRIDHARAN S,MCLAREN M,et al. Temporarily-aware context modeling using generative adversarial networks for speech activity detection[J]. IEEE/ACM Transactions on Audio,Speech,and Language Processing, 2020,28(1):1159-1169. [百度学术] 

17

TANG Bin,TU Ya,ZHANG Zhaoyue,et al. Digital signal modulation classification with data augmentation using generative adversarial nets in cognitive radio networks[J]. IEEE Access, 2018,6(1):15713-15722. [百度学术] 

18

YAO Xiaohui,YANG Honghui,LI Yiqing. Modulation identification of underwater acoustic communications signals based on generative adversarial networks[C]// 2019 OCEANS. Marseille,France:IEEE, 2019:1-6. [百度学术] 

19

ODENA A,OLAH C,SHLENS J. Conditional image synthesis with auxiliary classifier GANs[C]// 2017 International Conference on Machine Learning(ICML). Sydney,Australia:Scoups, 2017:4043-4055. [百度学术] 

20

PEZZOTTI N,LELIEVELDT B P F,MAATEN L V D,et al. Approximated and user steerable tSNE for progressive visual analytics[J]. IEEE Transactions on Visualization and Computer Graphics, 2017,23(7):1739-1752. [百度学术] 

21

OSHEA T,HOYDIS J. An introduction to deep learning for the physical layer[J]. IEEE Transactions on Cognitive Communications and Networking, 2017,3(4):563-575. [百度学术]