使用深度学习方法的基于rf的无人机检测和识别:一个大型开源 ...

wazchsyz

MHD Saria Allahham a, Mohammad F. Al-Sa'd
Abdulla Al-Ali a, Amr Mohamed a, *, Tamer Khattab,
Aiman Erbad

在平民中无所不在的无人驾驶飞行器或无人机可能导致需要解决、监管和预防的技术、安全和公共安全问题。安全机构一直在寻找能够探测无人机的技术和智能系统。遗憾的是，相关技术的突破受到缺乏无人机射频信号开源数据库的阻碍，这些射频信号被远程感知和存储，以开发探测和识别这些无人机的最有效方法。本文提出了建立不同飞行模式下各类无人机射频信号数据库的初步设想。我们系统地收集、分析、记录不同飞行模式下不同无人机的原始射频信号，包括:关、开、连、悬停、飞行、录像。此外，我们设计了智能算法来检测和识别入侵的无人机使用所开发的射频数据库。三种深度神经网络(DNN)被用来检测无人机的存在，无人机的存在及其类型，最后，无人机的存在，其类型和飞行模式。每个DNN的性能通过一个10倍的交叉验证过程进行验证，并使用各种指标进行评估。分类结果表明，当增加类的数量时，性能通常会下降。平均准确率从第一个DNN(2类)的99.7%下降到第二个DNN(4类)的84.5%，最后是第三个DNN(10类)的46.8%。然而，设计方法的结果证实了所开发的无人机射频数据库用于检测和识别的可行性。开发的无人机射频数据库和我们的实现是公开提供给学生和研究人员。
1 引言
近年来，商用无人机越来越受欢迎，因为它们成本更低、体积更小、重量更轻、性能更高，而且在电池和发动机方面也有进步。这使得无人机可以用于多种应用，如交通监控、天气观测、灾害管理、农药喷洒、基础设施检查、火灾探测与防护。无人机使用蓝牙、4G和WiFi等无线技术进行远程控制;因此，通过使用现成的升级，无人机已经成为一个模块化的解决方案。无人机无处不在的用途可能导致需要解决、监管和预防的技术、安全和公共安全问题，比如间谍活动、非法或危险货物的转移、开拔电力和电话线以及攻击[8]。因此，监管机构需要能够探测和识别无人机的技术，而无需事先确定无人机的类型或飞行模式。
传统的探测和识别入侵无人机的方法，如雷达、视觉和声学，并不完全可靠，因为它们很容易被约束。射频传感与深度学习相结合有望解决这一问题;然而，它受到缺乏无人机射频信号数据库的阻碍。本文针对不同飞行模式下的不同无人机的射频信号建立了一个新的开源数据库;利用深度神经网络设计的无人机探测与识别系统对所开发的数据库进行了测试。
2 方法
在这一节中，我们介绍了用于建立无人机射频数据库的系统模型，并测试其在无人机探测和识别系统中的可行性。首先，我们讨论了模型的子系统和组件，并总结了它们的需求和作用。在此之后，我们对每个组件进行了详细的讨论，并给出了建立无人机射频数据库的实验设置。最后，我们设计了一个使用DNNs的无人机探测和识别系统来测试所开发的射频数据库在实际应用中的可行性。
图1展示了我们的系统模型，它可以分为两个子系统;RF数据库的开发和无人机的检测与识别，如图1中的子系统A和B所示。RF数据库开发子系统由以下三部分组成:

• 分析中的无人机:各种不同大小、型号、价格和技术的无人机。飞行模式由来自和到达飞行控制模块的射频信号控制。见图1中的元素1 - 3。该组件的主要需求是使用许多不同的无人机来为无人机的RF信号生成一个大型描述性数据库。
  
• 飞行控制模块:一种移动电话或飞行控制器，向被分析的无人机发送和接收射频命令，以改变它们的飞行模式。通过移动电话控制无人机需要安装可以从各种商店下载的移动应用程序。参见图1中的元素4和6。
  
• 射频感应模块:一个射频接收器，拦截无人机与飞行控制模块的通信。中继器通过电缆连接到一台膝上型电脑，膝上型电脑运行一个程序，负责提取、处理和将感知到的射频数据存储在数据库中。该组件的要求是捕获所有未经许可的射频波段，无人机在没有任何预先假设其飞行模式的情况下进行操作。参见图1中的元素7 10。
  

无人机探测与识别子系统由以下两部分组成:

• 信号变换:对存档的复杂射频信号进行变换，发现隐藏的信息，进行学习，进行有效的检测和识别。参见图1中的元素11。
  
• 多类分类:利用深度神经网络对变换后的射频信号进行分类，对入侵无人机进行检测和识别。参见图1中的元素12和13。这个组件的要求是计算上的轻实时部署和操作。
  

图 1 所示。系统模型由以下子系统组成:(A)射频数据库开发和(B)无人机探测与识别。系统要素如下:(1)无人机在分析,(2)射频信号传输从无人机飞行模块,(3)射频信号传播的无人机飞行模块,(4)飞行控制器,手机作为一个飞行控制器(5),(6)移动应用程序用来控制各种无人机,(7)NI-USRP 2943 r射频接收机拦截无人机射频通信、(8)作为PCIe有线连接射频接收器和一台笔记本电脑,(9)笔记本电脑作为拦截射频数据处理单元,(10)对不同飞行模式下的各类无人机进行射频信号存档，(11)对存档的射
3.        RF数据
基于RF的无人机探测和识别应用程序需要一个完整的射频信号数据库，用于训练和测试。数据库必须包含RF后台活动;无人驾驶飞机不在时，以及无人驾驶飞机射频活动;当无人机出现时，用于无人机探测。此外，它必须包含在不同飞行模式下操作的不同无人机的射频信号，用于无人机识别和确定入侵无人机的飞行模式。数据库基于我们之前介绍的无人机开源数据库。祥见之前介绍的无人机开源数据集。
4.        试验设置
如图2所示，以三层树状方式组织实验，用所需的信号填充射频无人机数据库。
第一级为无人机探测系统的培训和评估:
•无人机关闭;记录射频背景活动。
•无人机已经启动;无人机RF活动被记录。
第二阶段包括在三种被分析的无人机上进行的实验:Bebop、AR和Phantom无人机，以训练和评估无人机识别系统。
最后，第三层对前一层进行扩展，将被分析无人机的飞行模式显式控制为fol- lows，评估识别系统判定入侵无人机飞行模式的能力。

• 接通并连接到控制器。
  
• 自动悬停，没有物理干预，也没有来自控制器的控制命令。
  
• 悬停高度由无人机制造商决定(大约1米)。
  
• 没有视频记录的飞行，注意，无人机不得撞击任何障碍物，以免发出警告信号。
  
• 带着录像飞行，请注意，在这个实验中，无人机不得撞击任何障碍物，以避免警告信号。
  

图 2 数据划分图

4.1         标签
使用二进制唯一标识符(BUI)根据所进行的实验、无人机类型及其特定的飞行模式对RF数据库条目进行标识，如图2所示。BUI由两个二进制数字串接而成:BUI = [msBUI, lsBUI]。msBUI是BUI中最重要的部分，代表实验和无人机类型，第一级和第二级，而lsBUI是BUI中最不重要的部分，代表无人机飞行模式，第三级。BUI长度L由实验总次数E、无人机总次数D和总次数确定


[]为上限算子，使用其他实验、无人机或飞行模式来扩展开发的数据库，可以分别通过增加E、D或F来轻松完成。人们总是可以在BUI部分的左边添加0来扩展数据库标记。例如，如果使用E = 4、D = 5和F = 9扩展当前数据库，则先前开发的BUI = 10111将变成010010011。
4.2 数据格式
捕获的射频信号以段的形式存储，以避免内存溢出，使用标准的逗号分隔值(csv)。这使得无人机射频数据库易于在任何首选软件上加载和解释。数据库中每个段的元数据包含在其文件名中。它包含了这个段BUI，然后选择射频频带;确定它是射频频谱的前半部分还是后半部分，以及它的段数。BUI = 11010的射频频谱，飞行模式3的幻影无人机将会有
5. 试验结果
在这一节中，我们首先介绍了在这项工作中用于开发无人机射频数据库和基于射频的无人机探测和识别系统的实验设置和预处理。在此之后，我们展示了来自已开发的RF数据库的片段，并分析了不同飞行模式下不同无人机的光谱信息。最后，我们介绍并讨论了基于射频的无人机检测与识别系统的结果。
安装在两台笔记本电脑上的LabVIEW程序的操作设置和参数如表1所示。在每个飞行模式下，我们记录了10.25秒的射频背景活动和大约5.25秒的射频无人机通信。这就产生了一个超过40gb数据的无人机RF数据库：包括各种射频信号。此外，我们还将数据库的容量增加了100倍，以增加片段的数量，以便更好地学习，并确保RF信号的瞬时表示(N = 105)。



表 1 USRP参数

利用MATLAB的FFT函数，用2048个频率箱(M = 2048)对每个归档射频段进行信号变换。整个RF频谱由两个半s yi(L)和yi(H)构成，使用Eq.(4)和10个返回点来确保频谱连续性(Q = 10)。这将产生46,489,600个射频样本，用于无人机探测和识别系统。注意，FFT是在零均值信号上执行的，这些信号是由去趋势过程计算来移除零频率成分的。
表2显示了在开发的无人机RF数据库中，每个实验级别的录音片段和样本的总数。可以注意到，由于不同类别的样本大小不同，存在一个类别不平衡问题，因此，我们将使用分层交叉验证来评估无人机探测和识别系统。图10显示了来自开发的RF数据库的原始录音片段。在图10(b)中，可以观察到使用一个射频接收器H)振幅低于x(L)时，无人机的射频通信可以被完全捕获。然而，我们不能假设无人机可以自动或有意地改变其操作信道和所使用的无线技术。



表 2 射频信号数据分布

原始的射频段经过DFT变换以显示潜在的信息，这些信息可以被学习来进行有效的检测和识别。图11为获取的RF数据的光谱和统计分析。子图(a c)显示分别提供给第一个、第二个和第三个DNNs的射频信号的平均光谱。此外，子图(d f)用箱形图说明了平均光谱在子图(a c)中的统计分布。可以注意到，使用图11(a)，可以通过第一个DNN有效地检测无人机的存在，因为两个光谱显示出明显的差异，可以通过图11(d)的箱线图来验证。此外，在图11(b)中，可以观察到与幽灵无人机或射频背景活动相比，Bebop和AR射频信号之间的相似性以及它们的不同形态。这种相似性会阻碍第二次DNN准确区分这些无人机，如图11(e)的箱线图所示。最后，利用图11(c)，可以将之前的观测正式表述为:be - bop和AR无人机具有相似的RF通信，因为它们为不同的飞行模式产生相似的频谱。这是合乎逻辑的，因为这两款无人机都是由同一家公司鹦鹉制造的。因此，检测这两架无人机的飞行模式对任何智能系统来说都是困难的，统计验证见图11(f)。
利用混淆矩阵对三种已开发的DNNs进行性能评价，如图12所示。有关如何解释混淆矩阵的更多细节，请参见第3.3.4节。首先，图12(a)显示了检测到无人机存在的第一个DNN的分类性能。结果表明，平均准确率为99.7%，平均误差为0.3%，平均F1得分为99.5%。此外，图12(b)描述了第二个DNN的分类性能，该DNN检测到无人机的存在并识别其类型。结果表明，平均准确率为84.5%，平均误差为15.5%，平均F1得分为78.8%。最后，图12(c)显示了第三个DNN的分类性能，它可以检测无人机的存在，识别其类型，并确定其飞行模式。结果表明，平均准确率为46.8%，平均误差为53.2%，平均F1得分为43%。通常，当增加类的数量时，可以观察到性能的下降。这可以通过Bebop和AR无人机的射频通信的相似性来解释，见图11。第二组和第三组DNNs检测背景和假体射频信号的召回率分别为96.1%和97.4%(见图12中混淆矩阵的Eq.(13)和右列)。然而，探测Bebop和AR无人机或识别它们的飞行模式几乎是随机的。前面的观察与4.2节中的分析是一致的。尽管如此，所开发的系统的结果仍然证明了所开发的无人机射频数据库用于探测和识别的可行性。



图10所示。来自已开发的无人机射频数据库的片段。x(L)和x(H)分别用蓝色和红色标出，其归一化振幅为- 1到1。图10(a)为采集到的射频背景活动段数5，图10(b)为采集到的Bebop射频信号在飞行和录像时的段数10，图10(c)为采集到的幻影射频信号在接通和接通时的段数7。





图11为三种无人机探测和识别dnn提供的获取射频信号的光谱和统计分析。无花果。(a c)为采集到的射频信号的平均功率谱，图c为采集到的射频信号的平均功率谱。(d f)显示计算出的光谱的箱线图。请注意，平均光谱的振幅被归一化，以消除分析中的偏差，并使用10点移动平均滤波器对其进行平滑处理，以简化视觉解释。在图11(a)中，第1类用于RF背景活动，第2类用于无人机RF通信(提供给第一个DNN)。在图11(b)中，第1类用于RF背景活动，第2类用于Bebop、AR和Phantom无人机(将提供给第二个DNN)。在图11(c)中，第1类用于RF背景活动，第2类5类用于Bebop 4种不同的飞行模式，第6类9类用于AR 4种不同的飞行模式，最后，第10类用于幻影单飞行模式(将提供给第三DNN)。


图12所示。利用混淆矩阵对三种设计的dna进行平均分类。图12(a)中，第1类为射频背景活动，第2类为无人机射频通信。在图12(b)中，第1类用于RF背景活动，第2类用于Bebop、AR和Phantom drone。在图12(c)中，第1类是RF背景活动，第2类5是针对Bebop 4种不同的飞行模式，第6类9是针对AR 4种不同的飞行模式，最后，第10类是针对Phantom单次飞行模式