留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于卷积神经网络的反无人机系统图像识别方法

薛珊 张振 吕琼莹 曹国华 毛逸维

薛珊, 张振, 吕琼莹, 曹国华, 毛逸维. 基于卷积神经网络的反无人机系统图像识别方法[J]. 红外与激光工程, 2020, 49(7): 20200154. doi: 10.3788/IRLA20200154
引用本文: 薛珊, 张振, 吕琼莹, 曹国华, 毛逸维. 基于卷积神经网络的反无人机系统图像识别方法[J]. 红外与激光工程, 2020, 49(7): 20200154. doi: 10.3788/IRLA20200154
Xue Shan, Zhang Zhen, Lv Qiongying, Cao Guohua, Mao Yiwei. Image recognition method of anti UAV system based on convolutional neural network[J]. Infrared and Laser Engineering, 2020, 49(7): 20200154. doi: 10.3788/IRLA20200154
Citation: Xue Shan, Zhang Zhen, Lv Qiongying, Cao Guohua, Mao Yiwei. Image recognition method of anti UAV system based on convolutional neural network[J]. Infrared and Laser Engineering, 2020, 49(7): 20200154. doi: 10.3788/IRLA20200154

基于卷积神经网络的反无人机系统图像识别方法

doi: 10.3788/IRLA20200154
基金项目: 吉林省重点科技研发项目(20180201058SF)
详细信息
    作者简介:

    薛珊(1978-),女,副教授,硕士生导师,博士,主要从事现代检测理论与技术等方面的研究。Email:1660348815@qq.com

  • 中图分类号: TP391

Image recognition method of anti UAV system based on convolutional neural network

  • 摘要: 针对无人机的无证飞行和随意飞行严重影响和威胁公共安全的问题,提出了反无人机系统。识别无人机是反无人机系统实现的关键之一,为此提出了一种基于卷积神经网络的图像识别无人机方法。运用自制光学系统采集设备采集了不同型号的无人机图片以及鸟类图片,设计了针对无人机小样本识别的卷积神经网络和支持向量机。运用设计的卷积神经网络分别对MNIST数据集、无人机图片以及鸟的图片进行了识别,同时也运用支持向量机识别无人机和鸟的图片,进行了对比实验。实验结果表明,设计的卷积神经网络在MNIST数据集上识别准确率为91.3%,识别无人机准确率为95.9%,支持向量机识别准确率为88.4%。对比实验表明,提出的方法可以识别无人机和鸟以及不同类型的无人机并且识别结果优于支持向量机,可用于反无人机系统识别无人机,给同类研究提供了借鉴。
  • 图  1  无人机样本数据集缩略图

    Figure  1.  Sample data set thumbnail of UAV

    图  2  图片缩放示意图

    Figure  2.  Diagram of picture scale

    图  3  数据扩增图

    Figure  3.  Data amplification

    图  4  ReLU函数图

    Figure  4.  ReLU function diagram

    图  5  设计的卷积神经网络结构示意图

    Figure  5.  Structure of convolutional neural network

    图  6  自制光学系统图

    Figure  6.  Self-made optical system

    图  7  无人机样本现场采集图

    Figure  7.  UAV sample on-site collection diagram

    图  8  训练2 000次损失函数图

    Figure  8.  Loss function of 2 000 training times

    图  9  训练2 000次准确率变化图

    Figure  9.  Accuracy variation diagram of 2 000 training times

    图  10  不同数据集识别准确率对比图

    Figure  10.  Comparison of recognition accuracy of different data sets

    图  11  Python实验结果图

    Figure  11.  Python experimental results

    图  12  不同模型实验结果对比图

    Figure  12.  Comparison of experimental results of different models

    表  1  5种型号无人机图片数量表

    Table  1.   5 number of UAV pictures

    UAV typeNumber of shotsNumber after amplification
    MAVIC 2176704
    Bebop 2.0176704
    AP10 Pro176704
    XPLORER V176704
    C2000176704
    Total8803520
    下载: 导出CSV

    表  2  Dropout层不同参数结果表

    Table  2.   Results of different parameters of Dropout layer

    Parameter settingRecognition accuracy
    0.490.2%
    0.595.9%
    0.693.3%
    0.788.4%
    下载: 导出CSV
  • [1] Fu Min, Wang Wei, Wang Hao, et al. Application of multi classification sup-port vector machine in transit transfer recognition [J]. Journal of Harbin Institute of Technology, 2018, 50(3): 26−32. (in Chinese)
    [2] Gu J, Wang Z, Kuen J, et al. Recent advances in convolutional neural networks [J]. Pattern Recognition, 2018, 77(1): 354−377.
    [3] Modarres M H , Aversa R , Cozzini S , et al. Neural network for nanoscience scanning electron microscope image recognition [J]. Scientific Reports, 2017, 7(1): 1−12. doi:  10.1038/s41598-016-0028-x
    [4] Mohapatra R K, Majhi B, Jena S K, Classification performance analysis of MNIST dataest utilizing a multiresolution, technique[C]//Computing, Communication and Security (ICCC S), 2015 Internationl Conference on. IEEE2015: 1-5.
    [5] Cai Huaiyu, Wu Xiaoyu, Zhuo Liran, et al. Fast sift image mosaic method combined with edge detection [J]. Infrared and Laser Engineering, 2018, 47(11): 1126003. (in Chinese) doi:  10.3788/IRLA201847.1126003
    [6] Wang Jiping, Zhi Xiaorong, Hang Jihong. Analysis of forest landscape pattern grade characteristics based on GIS and PCA dimension reduction [J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(1): 195−201+179. (in Chinese) doi:  10.6041/j.issn.1000-1298.2019.01.021
    [7] Zhou Feiyan, Jin Linpeng, Dong Jun. A review of convolutional neural networks [J]. Chinese Journal of Computers, 2017, 40(06): 1229−1251. (in Chinese)
    [8] Wang Hongxia, Zhou Jiaqi, Gu Chenghao, et al. Design of activation function inconvolution neu-ral network for image classification [J]. Journal of Zhejiang University (Engineering Science), 2019, 53(7): 1363−1373. (in Chinese)
    [9] Wu Yunxia, Tian Yimin. Recognition method of coal and rock based on maximum pool sparse coding [J]. Chinese Journal of Engineering, 2017, 39(7): 981−987. (in Chinese)
    [10] Liang Minjian, Cui Xiaoyu, Song Qingsong, et al. Traffic sign recognition met -hod based on hog Gabor feature fusion and softmax classifier [J]. Journal of Traffic and Transportation Engineering, 2017, 17(3): 151−158. (in Chinese) doi:  10.3969/j.issn.1671-1637.2017.03.016
    [11] Wang Jun, Zheng Tong, Lei Peng, et al. Recognition method of gesture action radar based on convolutional neural network [J]. Journal of Beijing University of Aeronautics and Astronautics, 2018, 44(6): 1117−1123. (in Chinese)
    [12] Zheng Yili, Zhang Lu. Plant leaf image recognition method based on convolution neural network of transfer learning [J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(S1): 354−359. (in Chinese) doi:  10.6041/j.issn.1000-1298.2018.S0.047
    [13] Long Mansheng, Ouyang Chunjuan, Liu Huan. Image recognition of oil tea disease based on convolution neural network and migration learning [J]. Transactions of the Chinese Society of Agricultural Engineering, 2018, 34(18): 194−201. (in Chinese) doi:  10.11975/j.issn.1002-6819.2018.18.024
    [14] Liu Qiong, Li Zongxian, Sun Fuchun. Image recognition and classification based on deep belief convolution neural network [J]. Tsinghua Science and Technology, 2018, 58(9): 781−787. (in Chinese)
  • [1] 牛得清, 伍友利, 徐洋, 许瑞.  点源红外诱饵干扰下环境复杂度量化建模 . 红外与激光工程, 2020, 49(2): 0204003-0204003. doi: 10.3788/IRLA202049.0204003
    [2] 张盼盼, 罗海波, 鞠默然, 惠斌, 常铮.  一种改进的Capsule及其在SAR图像目标识别中的应用 . 红外与激光工程, 2020, 49(5): 20201010-20201010-8. doi: 10.3788/IRLA20201010
    [3] 徐云飞, 张笃周, 王立, 华宝成.  非合作目标局部特征识别轻量化特征融合网络设计 . 红外与激光工程, 2020, 49(7): 20200170-1-20200170-7. doi: 10.3788/IRLA20200170
    [4] 裴晓敏, 范慧杰, 唐延东.  多通道时空融合网络双人交互行为识别 . 红外与激光工程, 2020, 49(5): 20190552-20190552-6. doi: 10.3788/IRLA20190552
    [5] 秦玉鑫, 陈宇, 乔恒恒, 车子琪, 张公平.  灾情侦测无人机动态航迹规划算法设计 . 红外与激光工程, 2019, 48(10): 1026003-1026003(6). doi: 10.3788/IRLA201948.1026003
    [6] 张秀, 周巍, 段哲民, 魏恒璐.  基于卷积稀疏自编码的图像超分辨率重建 . 红外与激光工程, 2019, 48(1): 126005-0126005(7). doi: 10.3788/IRLA201948.0126005
    [7] 姚旺, 刘云鹏, 朱昌波.  基于人眼视觉特性的深度学习全参考图像质量评价方法 . 红外与激光工程, 2018, 47(7): 703004-0703004(8). doi: 10.3788/IRLA201847.0703004
    [8] 杨楠, 南琳, 张丁一, 库涛.  基于深度学习的图像描述研究 . 红外与激光工程, 2018, 47(2): 203002-0203002(8). doi: 10.3788/IRLA201847.0203002
    [9] 贾鑫, 张惊雷, 温显斌.  双监督信号深度学习的电气设备红外故障识别 . 红外与激光工程, 2018, 47(7): 703003-0703003(7). doi: 10.3788/IRLA201847.0703003
    [10] 张国山, 张培崇, 王欣博.  基于多层次特征差异图的视觉场景识别 . 红外与激光工程, 2018, 47(2): 203004-0203004(9). doi: 10.3788/IRLA201847.0203004
    [11] 曲蕴杰, 莫宏伟, 王常虹.  一种用于无人机的目标颜色核相关跟踪算法研究 . 红外与激光工程, 2018, 47(3): 326001-0326001(7). doi: 10.3788/IRLA201847.0326001
    [12] 郭强, 芦晓红, 谢英红, 孙鹏.  基于深度谱卷积神经网络的高效视觉目标跟踪算法 . 红外与激光工程, 2018, 47(6): 626005-0626005(6). doi: 10.3788/IRLA201847.0626005
    [13] 殷云华, 李会方.  基于混合卷积自编码极限学习机的RGB-D物体识别 . 红外与激光工程, 2018, 47(2): 203008-0203008(8). doi: 10.3788/IRLA201847.0203008
    [14] 谢冰, 段哲民, 郑宾, 殷云华.  基于迁移学习SAE的无人机目标识别算法研究 . 红外与激光工程, 2018, 47(6): 626001-0626001(7). doi: 10.3788/IRLA201847.0626001
    [15] 张腊梅, 陈泽茜, 邹斌.  基于3D卷积神经网络的PolSAR图像精细分类 . 红外与激光工程, 2018, 47(7): 703001-0703001(8). doi: 10.3788/IRLA201847.0703001
    [16] 黄章斌, 李晓霞, 郭宇翔, 马德跃, 赵亮.  长航时UAV蒙皮红外辐射强度的工程计算 . 红外与激光工程, 2017, 46(3): 304001-0304001(7). doi: 10.3788/IRLA201746.0304001
    [17] 刘连伟, 杨淼淼, 邹前进, 姚梅, 王敏, 许振领.  无人机红外辐射建模与图像仿真 . 红外与激光工程, 2017, 46(6): 628002-0628003(7). doi: 10.3788/IRLA201746.0628002
    [18] 黄楠楠, 刘贵喜, 张音哲, 姚李阳.  无人机视觉导航算法 . 红外与激光工程, 2016, 45(7): 726005-0726005(9). doi: 10.3788/IRLA201645.0726005
    [19] 孙占久, 聂宏, 黄伟.  无人机红外辐射特性计算与分析 . 红外与激光工程, 2014, 43(4): 1037-1046.
    [20] 何思远, 刘刚, 王玲, 唐延东.  基于无人机的输电线路设备识别方法研究 . 红外与激光工程, 2013, 42(7): 1940-1944.
  • 加载中
图(12) / 表(2)
计量
  • 文章访问数:  20
  • HTML全文浏览量:  9
  • PDF下载量:  6
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-04-22
  • 修回日期:  2020-05-27
  • 网络出版日期:  2020-07-23
  • 刊出日期:  2020-07-25

基于卷积神经网络的反无人机系统图像识别方法

doi: 10.3788/IRLA20200154
    作者简介:

    薛珊(1978-),女,副教授,硕士生导师,博士,主要从事现代检测理论与技术等方面的研究。Email:1660348815@qq.com

基金项目:  吉林省重点科技研发项目(20180201058SF)
  • 中图分类号: TP391

摘要: 针对无人机的无证飞行和随意飞行严重影响和威胁公共安全的问题,提出了反无人机系统。识别无人机是反无人机系统实现的关键之一,为此提出了一种基于卷积神经网络的图像识别无人机方法。运用自制光学系统采集设备采集了不同型号的无人机图片以及鸟类图片,设计了针对无人机小样本识别的卷积神经网络和支持向量机。运用设计的卷积神经网络分别对MNIST数据集、无人机图片以及鸟的图片进行了识别,同时也运用支持向量机识别无人机和鸟的图片,进行了对比实验。实验结果表明,设计的卷积神经网络在MNIST数据集上识别准确率为91.3%,识别无人机准确率为95.9%,支持向量机识别准确率为88.4%。对比实验表明,提出的方法可以识别无人机和鸟以及不同类型的无人机并且识别结果优于支持向量机,可用于反无人机系统识别无人机,给同类研究提供了借鉴。

English Abstract

    • 随着无人机的普及,无人机的无证飞行和随意飞行也越来越威胁到公共安全。如何解决无人机的“黑飞”问题成为研究热点。反无人机系统是检测无人机,反制无人机的系统。在反无人机系统中,图像识别是无人机识别的方法之一,而图像识别的关键在于图像特征的提取,使用显著对象作为图像内容表示。根据特征提取的方式不同,分为传统图像特征手动提取方法和神经网络自动提取特征两种图像识别方法,传统图像识别主要依靠手动提取图像中的颜色特征、形状特征、纹理特征等特征参数来对图像进行分类,但是由于传统图像识别方法本身的局限性,使得分类的精度不高。在基于神经网络的图像识别方法发展过程中,有许多模型被提来。付旻等设计的基于多分类支持向量机(SVM)的公交换乘识别方法取得了不错的效果[1]。在20世纪80年代,Le Cun等提出了基于卷积神经网络的手写数字识别网络Le Net-5[2]。2012年Krizhevsky等提出Alex Net模型,并在Image Net竞赛中取得了冠军。2016年Inception- v4被提出[3],它是基于Inception-v3的改进,模型简洁,计算量小。卷积神经网络具有自动提取特征和权值共享的特点,使得卷积神经网络也可用于图像识别。

      文中提出了一种基于卷积神经网络的无人机识别方法。设计了适合无人机数据集的卷积神经网络。为验证提出的识别方法的可行性,分别对无人机和鸟的图片运用支持向量机和设计的卷积神经网络进行识别;并运用设计的卷积神经网络在MNIST数据集上进行测试[4]

    • 根据百强网和买购网的数据显示“低慢小”无人机排名前5为大疆、派诺特、AEE—电科技、零度智控等品牌,同时根据各个品牌无人机的销售情况,选取了以下5种型号的无人机进行采集,分别是大疆-御MAVIC 2,派诺特- Bebop 2.0,AEE—电科技AP10 Pro,零度智控- XPLORER V,极飞XAG-C2000。在拍摄过程中,拍摄条件没有任何限制,在自然光的照射下用自制光学系统对飞行中的无人机进行拍摄,如表1图1所示。

      表 1  5种型号无人机图片数量表

      Table 1.  5 number of UAV pictures

      UAV typeNumber of shotsNumber after amplification
      MAVIC 2176704
      Bebop 2.0176704
      AP10 Pro176704
      XPLORER V176704
      C2000176704
      Total8803520

      图  1  无人机样本数据集缩略图

      Figure 1.  Sample data set thumbnail of UAV

    • 对采集的无人机样本首先进行预处理,即将图片缩放。将图片缩放至卷积神经网络要求的大小(100×100)。由于原始拍摄的图片宽高比不是1:1的,而且无人机所占图片的比例过小,所以不能直接把图片缩放至100×100,这样会使无人机发生形变,丢失原来的特征信息,导致识别的准确率降低。为此,对图片进行边缘检测,把图片中的无人机检测出来,去除大部分无关背景;然后,对裁剪下来的无人机图片进行缩放,缩放时保持原图片的宽高比,空白信息填充像素“0”(即为黑色),缩放过程如图2所示。

      图  2  图片缩放示意图

      Figure 2.  Diagram of picture scale

    • 由于采集的样本数量较少,所以要对原始数据集进行扩增,常见的数据扩增方法有图像平移、图像旋转、图像镜像、图像亮度变化、图像裁剪、图像缩放、图像模糊等。为最大限度地保持原始图片的特征信息,采用图像旋转的方法来进行数据扩增,分别对图片进行顺时针90°、180°、270°的旋转(如图3所示),数据扩增后的数量如表1第3列所示。

      图  3  数据扩增图

      Figure 3.  Data amplification

    • 由于数据集图像中目标的相似度较高,所以在对卷积神经网络进行训练前,要对数据集进行主成分分析(Principal Component Analysis,PCA)的白化处理,来降低输入的冗余性[5],并且使得属性自身的方差尽可能大,而属性之间的协方差尽可能小,从而加快神经网络的学习速率。PCA作为一种典型的降维方法,它不仅能够搜索主要成分,还能够降低数据中的噪声,被广泛应用于识别领域。PCA算法的主要步骤如下:

      计算样本的协方差矩阵如下式所示:

      $${\rm{\varphi }}=\frac{1}{{{n}}}\sum _{{{i}}=1}^{{{n}}}\left({{{x}}}^{\left({{i}}\right)}\right){\left({{{X}}}^{\left({{i}}\right)}\right)}^{{\rm{T}}}$$ (1)

      式中:n为样本个数;${{{x}}}^{\left({{i}}\right)}$为经过零均值化的样本。

      计算协方差矩阵${\rm{\varphi }}$的特征值及对应的特征向量,组成矩阵V如下式所示:

      $${{V}} = \left[ {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {{{{v}}_{11}}}&{{{{v}}_{12}}}\\ {{{{v}}_{21}}}&{{{{v}}_{22}}} \end{array}}&{\begin{array}{*{20}{c}} \cdots &{{{{v}}_{1{{p}}}}}\\ \cdots &{{{{v}}_{{{p}}2}}} \end{array}}\\ {\begin{array}{*{20}{c}} \vdots & \vdots \\ {{{{v}}_{{{p}}1}}}&{{{{v}}_{{{p}}2}}} \end{array}}&{\begin{array}{*{20}{c}} \ddots & \vdots \\ \cdots &{{{{v}}_{{{pp}}}}} \end{array}} \end{array}} \right]$$ (2)

      式中:p为特征向量的总数;${{{v}}}_{11}$为矩阵中向量对应的最大特征值;${{{v}}}_{22}$是次特征向量对应的最大特征值,依次类推。

      主成分个数的选择,选取主成分的个数q时,q的取值可以由保留的方差百分比${{\alpha }}$来决定,${{\alpha }}$由下式所得:

      $${\rm{\alpha }}=\frac{{{q}}}{{{p}}}$$ (3)

      据以往的经验,应该保留99%以上的方差,即q的取值应为${{\alpha }}$≥0.99的最小值。

      白化PCA白化后的数据如下式所示:

      $${{\rm{\beta }}}_{{\rm{P}}{\rm{C}}{\rm{A}}{{\rm{white}}}{,{{i}}}}=\frac{{{{x}}}_{rot,{{i}}}}{\sqrt{{{\rm{\lambda }}}_{{{i}}}}}$$ (4)

      式中:${{{x}}}_{rot,{{i}}}={{{{v}}}_{{{i}}}}^{{\rm{T}}}{{{x}}}_{{{i}}}$${{\rm{\lambda }}}_{{{i}}}$为协方差矩阵${\rm{\varphi }}$的特征值;${{\rm{\beta }}}_{{\rm{P}}{\rm{C}}{\rm{A}}{{\rm{white}}}{,{{i}}}}$为经过PCA白化后的数据。

    • 支持向量机和卷积神经网络都属于神经网络,是神经网络中的不同模型。两者都可以运用于图像识别,但是两者的识别原理,方法和效果都不同。

    • SVM是以最优化理论为基础来处理机器学习的方式。它的提出主要是用来解决两类分类的问题,在两类中寻找一个最优超分平面将两类分开,来提高分类的正确率。能使两类正确分开且使两类之间的距离最大的分类平面称为最优超平面,其方程记为:

      $${{\omega }}\times {{x}}-{{b}}=0$$ (5)

      对其进行归一化,使得样本:

      $$\left( {{{{x}}_{{i}}},{{{y}}_{{i}}}} \right){{,}}\;{{i}} = 1, \ldots ,{{n,}}\;{{x}} \in {{R}},{{y}} \in \{ + 1, - 1\} $$ (6)

      满足约束条件:

      $${{{y}}}_{{{i}}}\left[\left({{\omega }},{{{x}}}_{{{i}}}\right)-{{b}}\right]-1\ge 0,{{i}}=1,\dots ,{{n}}$$ (7)

      支持向量机实现非线性分类是通过某种事先选择的非线性映射(核函数)将输入向量映射到一个高维特征空间,在这个空间中构造最优分类超平面。使用SVM进行数据集分类工作的过程中,首先通过预先选定的一些非线性映射将输入空间映射到高维特征空间。

      变换后空间的分类平面为:

      $${{{\omega }}}^{{\rm{T}}}{{\varphi }}\left({{x}}\right)+{{b}}=0$$ (8)

      优化方程为:

      $${\max}:{{Q}}\left( {{a}} \right) = \sum\limits_{{{j}} = 1}^{{N}} {{{{a}}_{{i}}}} - \frac{1}{2}\sum\limits_{{{i}} = 1}^{{N}} {\sum\limits_{{{j}} = 1}^{{N}} {{{{a}}_{{i}}}} } {{{a}}_{{j}}}{{{y}}_{{i}}}{{{y}}_{{j}}}({{{x}}_{{i}}},{{{x}}_{{j}}})$$ (9)
      $$\sum\limits_{{{i}} = 1}^{{N}} {{{{a}}_{{i}}}} {{{y}}_{{i}}} = 0,{{{a}}_{{i}}} \ge 0,{{i}} = 1, \ldots ,{{N}}$$ (10)

      式中:${a}_{{{i}}}$为约束的拉格朗日乘子,$[{{\varphi }}\left({x}_{{{i}}}\right),{\varphi}({x}_{{{j}}}\left)\right]$是变换后的空间内积,此时,并不知道${\varphi}\left({x}\right)$的具体形式。所以在原空间构造一个函数${K}({x}_{{{i}}},{x}_{{{j}}})$使之等于变换后空间的内积运算$[{\varphi}\left({x}_{{{i}}}\right),{\rm{\varphi }}({x}_{{{j}}}\left)\right]$,通过非线性变换将样本数据映射到高维甚至无穷维空间,并在高维空间中构造最优分类超平面。但是,在求解最优化问题和计算分类平面时并不需要显式计算该非线性函数,甚至不需知道其具体形式,而只需计算函数${K}({x}_{{{i}}},{x}_{{{j}}})$,即核函数${K}({x}_{{{i}}},{x}_{{{j}}})$,因此支持向量机核函数的选择非常重要。经过对比分析,选用线性核函数,其公式为:

      $${{K}}\left({{{x}}}_{{{i}}},{{{x}}}_{{{j}}}\right)={{{x}}}_{{{i}}}\times {{{x}}}_{{{j}}}$$ (11)

      SVM在解决小样本,非线性,高维数,局部极小值的图像识别的问题中表现出特有的优势,因此适合自制无人机数据集的识别。

      SIFT(Scale Invariant Feature Transform) 是一种具有尺度不变性和光照不变性的特征描述子[5],也同时是一套特征提取的理论。SIFT特征对旋转、尺度缩放、亮度变化等保持不变性,是一种非常稳定的局部特征。因此,可以通过对图片提取SIFT特征作为SVM分类器的输入向量进行图片识别。主要识别步骤如下:

      (1)按图片类别抽取训练集中所有图片的SIFT特征。

      (2)将SIFT特征向量作为样本向量即可构建SVM的训练数据和测试数据。

      SVM在面对小样本图像识别具有一定的优势。无人机图像的识别属于小样本识别,运用SVM可以很好地识别无人机样本。

    • 输入层是用于数据的输入,经过输入层后会输出一个矩阵作为卷积层的输入值。文中的输入数据是100×100的RGB图像,以便进行卷积操作。

    • 卷积层是通过一个${X}\times {X}$的卷积核在输入层或者采样层图片的相应区域内进行局部感知[6],并提取出对应的局部特征,输入表达式如公式(5)所示。文中采用的卷积核是3×3,步长设置为1,卷积时考虑边界,不足的时候用0去填充周围。

      $${{z}}_{{j}}^{{l}} = \sum\nolimits_{{{i}} \in {{{R}}_{{j}}}} {{{x}}_{{i}}^{{{l}} - 1}} {{*W}}_{{{ij}}}^{{l}} + {{b}}_{{j}}^{{l}}$$ (12)

      式中:${{{z}}}_{{{j}}}^{{{l}}}$是卷积层的输出值;${{{x}}}_{{{i}}}^{{{l}}-1}$为第${{l}}-1$层的第i个特征映射图的激活值;${{{R}}}_{{{j}}}$${{l}}-1$层对应${{l}}$层的第${{j}}$个映射图的映射图数量;${{{W}}}_{{{i}}{{j}}}^{{{l}}}$为第${{l}}$层的第${{j}}$个特征映射图与第${{l}}-1$层的第i个特征映射图相连的卷积核;${{{b}}}_{{{j}}}^{{{l}}}$为第${{l}}$层的第${{j}}$个特征映射图的偏置。

    • 激活函数层主要对卷积层的输出进行一个非线性映射,由于卷积层的计算是一种线性计算,通过激活函数层的激励函数来加入非线性因素的,来增加模型的表达能力。文中使用的是ReLU激励函数(如图4所示)[7],其表达式如公式(6)所示:

      图  4  ReLU函数图

      Figure 4.  ReLU function diagram

      $$ f(x){\rm{ = max}}\left( {0,x} \right) $$ (13)
    • 池化层主要进行下采样,对特征图稀疏处理,减少数据运算量,加快模型的计算速度,同时也有减少过拟合的作用。常用的池化方法主要有最大池化和均值池化[8],文中运用最大池化方法,这样有利于保留更多的纹理信息和保证整个特征的稳定性。

    • 全连接层可以看作是卷积、池化操作之后,将局部特征重新进行拟合,由于用到了全部的局部特征,故叫做全连接。文中设置2层全连接层,增强特征表达能力。

    • 文中使用的是softmax分类器[9],它把一些输入映射为0~1之间的实数,并且归一化保证和为1,因此多分类的概率之和也刚好为1,其表达式如公式(14)所示:

      $$ {S}_{i}=\dfrac{{{{e}}}^{{{{v}}}_{{{i}}}}}{{\displaystyle \sum }_{{{i}}}^{{{c}}}{{{e}}}^{{{{v}}}_{{{i}}}}} $$ (14)

      式中:${{{v}}}_{{{i}}}$是全连接层的输出;i表示类别索引;总的类别数为c${S}_{i}$表示的是当前元素指数和的比值。

      经过对网络参数和结构的调整[10],设计了一个适合无人机样本的卷积神经网络,其网络结构如图5所示。

      图  5  设计的卷积神经网络结构示意图

      Figure 5.  Structure of convolutional neural network

    • 无人机样本图片是在长春理工大学操场运用自制光学系统(如图6所示)进行采集的(如图7所示),自制光学系统主要包括2轴伺服转台,反射式天文望远镜,彩色高清CMOS相机。此光学系统可以采集1000 m范围内的无人机图像,并将图片传给上位机进行处理。

      图  6  自制光学系统图

      Figure 6.  Self-made optical system

      图  7  无人机样本现场采集图

      Figure 7.  UAV sample on-site collection diagram

    • 文中实验采用的计算机环境是Windows 7系统Intel(R) Core(TM) i7-5500U CPU@2.40 GHz,16G内存,基于开源深度学习框架Tensorflow,采用Python3.7编写,代码运行平台Sublime。

    • 神经网络的识别的好坏不仅与网络的参数结构有关,而且与训练的次数有很大的关系;随着次数的增多,损失函数不断降低(如图8所示)[11-12],直到达到最优,同时识别的准确率不断地提升(如图9所示),经过2 000次的训练模型的准确率达到了95.9%。

      图  8  训练2 000次损失函数图

      Figure 8.  Loss function of 2 000 training times

      图  9  训练2 000次准确率变化图

      Figure 9.  Accuracy variation diagram of 2 000 training times

    • 为防止数据集训练时出现过拟合,在最后一层池化层后,加入了Dropout层。Dropout层设置的参数会很大程度上影响训练的结果,因此将参数分别设置为0.4、0.5、0.6、0.7,比较这四种参数,结果表明当参数设置为0.5时(如表2所示),训练的准确率达到95.9%,较其他三种参数有了很大提高。

      表 2  Dropout层不同参数结果表

      Table 2.  Results of different parameters of Dropout layer

      Parameter settingRecognition accuracy
      0.490.2%
      0.595.9%
      0.693.3%
      0.788.4%
    • 为验证文中所设计的卷积神经网络可行性,除在自行建立的数据集上进行测试外,还在MNIST数据集进行测试,MNIST数据集作为一个非常有名的手写体数字识别数据集,许多神经网络训练都会使用它[13]。实验结果表明(如图10所示),设计的卷积神经网络具有很高的可行性和较强的鲁棒性。

      图  10  不同数据集识别准确率对比图

      Figure 10.  Comparison of recognition accuracy of different data sets

    • 文中除使用设计的卷积神经网络模型外[14],还使用支持向量机(SVM)识别方法进行识别。由于在小样本的情况下,文中设计的卷积神经网络识别准确率为95.9%,支持向量机识别准确率为88.4%(如图11所示),经过对比(如图12所示)表明文中设计的卷积神经网络模型优于支持向量机。

      图  11  Python实验结果图

      Figure 11.  Python experimental results

      图  12  不同模型实验结果对比图

      Figure 12.  Comparison of experimental results of different models

    • 综上所述:得出如下结论:

      (1)针对反无人机系统图像识别“黑飞”无人机的问题,提出了一种运用卷积神经网络识别无人机的方法。运用自制光学系统采集了无人机图像样本;设计了针对无人机图像样本的卷积神经网络。

      (2)分别运用支持向量机和设计的卷积神经网络识别无人机图片。实验结果表明基于卷积神经网络的识别方法的识别准确率更高。

      (3)运用所设计的卷积神经网络分别识别了MNIST数据集和采集的无人机样本,识别结果表明运用卷积神经网络识别无人机样本具有可行性。

参考文献 (14)

目录

    /

    返回文章
    返回