留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

非合作目标局部特征识别轻量化特征融合网络设计

徐云飞 张笃周 王立 华宝成

徐云飞, 张笃周, 王立, 华宝成. 非合作目标局部特征识别轻量化特征融合网络设计[J]. 红外与激光工程, 2020, 49(7): 20200170. doi: 10.3788/IRLA20200170
引用本文: 徐云飞, 张笃周, 王立, 华宝成. 非合作目标局部特征识别轻量化特征融合网络设计[J]. 红外与激光工程, 2020, 49(7): 20200170. doi: 10.3788/IRLA20200170
Xu Yunfei, Zhang Duzhou, Wang Li, Hua Baocheng. Lightweight feature fusion network design for local feature recognition of non-cooperative target[J]. Infrared and Laser Engineering, 2020, 49(7): 20200170. doi: 10.3788/IRLA20200170
Citation: Xu Yunfei, Zhang Duzhou, Wang Li, Hua Baocheng. Lightweight feature fusion network design for local feature recognition of non-cooperative target[J]. Infrared and Laser Engineering, 2020, 49(7): 20200170. doi: 10.3788/IRLA20200170

非合作目标局部特征识别轻量化特征融合网络设计

doi: 10.3788/IRLA20200170
基金项目: “十三五”装备预研共用技术和领域基金项目(复杂光场景下非合作目标高可靠识别技术 41412070204)
详细信息
    作者简介:

    徐云飞(1994-),男,硕士生,主要研究方向为模式识别与智能系统。Email:xyf940915@sina.com

    通讯作者: 张笃周(1966-),男,研究员, 主要研究方向为导航制导与控制, 卫星姿态控制系统设计。Email:zhangduzhou@spacechina.com
  • 中图分类号: TP991

Lightweight feature fusion network design for local feature recognition of non-cooperative target

  • 摘要: 给出一种基于轻量化卷积神经网络的空间非合作目标局部特征检测网络,即NCDN模型。在SSD模型中引入特征融合策略以适应不同距离下的检测需求,提高模型对图像尺度变换引起局部特征分辨率降低的鲁棒性;并采用不同压缩比例对MobileNetV2内部卷积通道数量做压缩,从而得到轻量化特征提取网络;对SPEED数据集进行局部特征标注与训练以验证NCDN适用的距离范围。实验结果表明,该模型能够在45 m内距离范围保证mAP达到0.90,同时通道压缩节省75%计算量后模型精度损失仅为5%。满足在轨检测精度和计算量需求。
  • 图  1  NCDN设计思路

    Figure  1.  Design idea of NCDN

    图  2  基于特征融合的SSD框架

    Figure  2.  SSD framework based on feature fusion

    图  3  MobileNet-Depthwise/Pointwise卷积结构

    Figure  3.  Convolutional architecture of MobileNet Depthwise/Pointwise

    图  4  卷积通道压缩

    Figure  4.  Convolution channel compression

    图  5  Tango(左)与Mango(右)

    Figure  5.  Tango(left) and Mango(right)

    图  6  SPEED局部特征定义与标注

    Figure  6.  Local feature definition and label of SPEED

    图  7  SPEED目标尺度变化

    Figure  7.  Scale changes of target on SPEED

    图  8  NCDN不同距离下效果对比

    Figure  8.  Comparison effects of NCDN at different distances

    图  9  不同距离下模型mAP变化对比

    Figure  9.  mAP comparison of model changes at different distances

    表  1  相机模型变量含义

    Table  1.   Meaning of variables in camera model

    VariablesMeaningVariables’ value/m
    $f$ Focus 0.0176
    $H$ Actual size of Tango $0.56 \times 0.75 \times 0.025$
    $du$ Pixel size of detector $5.86 \times {10^{ - 6}}$
    下载: 导出CSV

    表  2  通道压缩对NCDN影响

    Table  2.   Influence of channel compression on NCDN

    Channel compression rateStorage space of model/MBRelative accuracy loss
    $\alpha = 1$19.00%
    $\alpha = 0.75$10.31%
    $\alpha = 0.5$5.12%
    $\alpha = 0.25$2.25%
    下载: 导出CSV
  • [1] DLR. Closed Space Robotics Missions (in alphabetical order)ESS [EB/OL]. [2020-05-03].[2010-04-13]. http://www.dlr.de/rm/en/desktopdefault.aspx/tabid-3827/5969_read-8750/.html.
    [2] DARPA Tactical Technology Office. Front-end robotic enabling near-term demonstrations(FREND)Project Page[EB/OL]. [2020-05-03][2010-10-11].http://www.darpa.mil/tto/programs/frend.html.
    [3] 徐文福, 刘宇, 梁斌, 等. 非合作航天器的相对位姿测量[J]. 光学 精密工程, 2009, 17(7): 1570−1581. doi:  10.3321/j.issn:1004-924X.2009.07.012

    Xu Wenfu, Liu Yu, Liang Bin, et al. Measurement of relative poses bet ween t wo non2cooperative spacecrafts [J]. Optics and Precision Engineering, 2009, 17(7): 1570−1581. (in Chinese) doi:  10.3321/j.issn:1004-924X.2009.07.012
    [4] 王志超, 王滨, 李志奇, 等. 基于特征融合的非合作航天器位姿测量方法[J]. 高技术通讯, 2013, 23(11): 1178−1184.

    Wang Zhichao, Wang Bin, Li Zhiqi, et al. Relative pose measurement of a non-cooperative spacecraft based on feature information fusion [J]. Chinese High Technology Letters, 2013, 23(11): 1178−1184. (in Chinese)
    [5] 张世杰, 曹喜滨, 陈闽. 非合作航天器间相对位姿的单目视觉确定算法[J]. 南京理工大学学报, 2013, 23(11): 1178−1184.

    Zhang Shijie, Cao Xibin, Chen Min. Monocular vision-based relative pose parameters determination for non-cooperative spacecrafts [J]. Journal of Nanjing University of Science and Technology, 2013, 23(11): 1178−1184. (in Chinese)
    [6] 解永春, 王勇, 陈奥, 等. 基于学习的空间机器人在轨服务操作技术[J]. 空间控制技术与应用, 2019, 45(4): 25−37. doi:  10.3969/j.issn.1674-1579.2019.04.004

    Xie Yongchun, Wang Yong, Chen Ao, et al. Leaning based on-orbit servicing manipulation technology of space robot [J]. Aerospace Control and Application, 2019, 45(4): 25−37. (in Chinese) doi:  10.3969/j.issn.1674-1579.2019.04.004
    [7] 杨名. 基于深度学习的空间非合作目标多模智能重建算法研究[D]. 哈尔滨: 哈尔滨工业大学 , 2018.

    Yang Ming. Multi-pattern 3d intelligent reconstruction method for non-cooperative space targets based on deep learning[D]. Harbin: Harbin Institute of Technology, 2018. (in Chinese)
    [8] 刘帅. 空间机器人抓捕非合作目标的智能控制与识别[D]. 大连: 大连理工大学, 2019.

    Liu Shuai. Intelligent control and recognition of space robot capturing non cooperative targets[D]. Dalian: Dalian University of Technology, 2019. (in Chinese)
    [9] Sharma S, D’Amico S. Pose estimation for non-cooperative rendezvous using neural networks[C]// AAS/AIAA Astrodynamics Specialist Conference, 2019.
    [10] Pedro F, Yang G. Deep learning for space pose estimation from photorealistic rendering[C]// AAS/AIAA Astrodynamics Specialist Conference, 2019.
    [11] 李想. 基于深度学习的空间非合作目标姿态估计算法设计[D]. 哈尔滨: 哈尔滨工业大学, 2018.

    Li Xiang. Design of attitude estimation algorithm for space non- cooperative targets based on deep learning[D]. Harbin: Harbin Institute of Technology, 2018. (in Chinese)
    [12] Lin T Y, Dollar P, Girshick R, et a1. Feature pyramid networks for object detection[J].arXiv: 1612.03 144v2, 2016.
    [13] Li Z X, Zhou F Q. FSSD: Feature fusion single shot multibox detector[J]. arXiv: 1712.00960v3, 2018.
    [14] 谭红臣, 李淑华, 刘彬, 等. 特征增强的SSD算法及其在目标检测中的应用[J]. 计算机辅助设计与图形学学报, 2019, 31(4): 63−69.

    Tan Hongchen, Li Shuhua, Li bin, et al. Feature enhancement SSD for object detection [J]. Journal of Computer-Aided Design & Computer Graphics, 2019, 31(4): 63−69. (in Chinese)
    [15] D’Amico S, Bodin P, Delpech M, et al. PRISMA. Chap 21[M]// Distributed Space Missions for Earth System Monitoring: Space Technology Library, Volume 31, Part 4. US: Springer, 2013: 599-637.
    [16] D’Amico S, Benn M, Jørgensen J L. Pose estimation of an uncooperative spacecraft from actual space imagery [J]. International Journal of Space Science and Engineering, 2014, 2(2): 171−189. doi:  10.1504/IJSPACESE.2014.060600
    [17] Beierle C , D'Amico S. Variable-magnification optical stimulator for training and validation of spaceborne vision-based navigation [J]. Journal of Spacecraft and Rockets, 2019, 56(4): 1060−1072. doi:  10.2514/1.A34337
    [18] Sharma S, Beierle C, D'Amico S. Pose estimation for non-cooperative spacecraft rendezvous using convolutional neural networks[C]// The 21th IEEE Aerospace Conference, 2018.
  • [1] 张盼盼, 罗海波, 鞠默然, 惠斌, 常铮.  一种改进的Capsule及其在SAR图像目标识别中的应用 . 红外与激光工程, 2020, 49(5): 20201010-20201010-8. doi: 10.3788/IRLA20201010
    [2] 李鸿龙, 杨杰, 张忠星, 罗迁, 于双铭, 刘力源, 吴南健.  用于实时目标检测的高速可编程视觉芯片 . 红外与激光工程, 2020, 49(5): 20190553-20190553-10. doi: 10.3788/IRLA20190553
    [3] 张超杰, 习兴华, 王永宪, 朱俊青, 关英俊.  空间遥感相机大口径反射镜结构优化设计 . 红外与激光工程, 2020, 49(2): 0214002-0214002. doi: 10.3788/IRLA202049.0214002
    [4] 薛珊, 张振, 吕琼莹, 曹国华, 毛逸维.  基于卷积神经网络的反无人机系统图像识别方法 . 红外与激光工程, 2020, 49(7): 20200154-1-20200154-8. doi: 10.3788/IRLA20200154
    [5] 裴晓敏, 范慧杰, 唐延东.  多通道时空融合网络双人交互行为识别 . 红外与激光工程, 2020, 49(5): 20190552-20190552-6. doi: 10.3788/IRLA20190552
    [6] 汪奎, 辛宏伟, 徐宏, 任天赐.  空间相机快速反射镜的结构轻量化设计 . 红外与激光工程, 2019, 48(4): 418001-0418001(7). doi: 10.3788/IRLA201948.0418001
    [7] 谢冰, 段哲民, 郑宾, 殷云华.  基于迁移学习SAE的无人机目标识别算法研究 . 红外与激光工程, 2018, 47(6): 626001-0626001(7). doi: 10.3788/IRLA201847.0626001
    [8] 张国山, 张培崇, 王欣博.  基于多层次特征差异图的视觉场景识别 . 红外与激光工程, 2018, 47(2): 203004-0203004(9). doi: 10.3788/IRLA201847.0203004
    [9] 陈宇, 温欣玲, 刘兆瑜, 马鹏阁.  稀疏自动编码器视觉特征融合的多弹分类算法研究 . 红外与激光工程, 2018, 47(8): 826004-0826004(8). doi: 10.3788/IRLA201847.0826004
    [10] 程全, 樊宇, 刘玉春, 王志良.  多特征融合的车辆识别技术 . 红外与激光工程, 2018, 47(7): 726003-0726003(6). doi: 10.3788/IRLA201847.0726003
    [11] 葛宝义, 左宪章, 胡永江, 张岩.  基于双步相关滤波的目标跟踪算法 . 红外与激光工程, 2018, 47(12): 1226004-1226004(10). doi: 10.3788/IRLA201847.1226004
    [12] 张腊梅, 陈泽茜, 邹斌.  基于3D卷积神经网络的PolSAR图像精细分类 . 红外与激光工程, 2018, 47(7): 703001-0703001(8). doi: 10.3788/IRLA201847.0703001
    [13] 郭强, 芦晓红, 谢英红, 孙鹏.  基于深度谱卷积神经网络的高效视觉目标跟踪算法 . 红外与激光工程, 2018, 47(6): 626005-0626005(6). doi: 10.3788/IRLA201847.0626005
    [14] 许典, 曹佃生, 林冠宇, 于向阳.  双光栅光谱仪光栅转轴的多目标优化 . 红外与激光工程, 2017, 46(3): 320001-0320001(7). doi: 10.3788/IRLA201746.0320001
    [15] 陈凤, 朱洁, 顾冬晴, 王盈, 刘玉.  基于激光成像雷达的空间非合作目标相对导航技术 . 红外与激光工程, 2016, 45(10): 1030005-1030005(8). doi: 10.3788/IRLA201645.1030005
    [16] 伞兵, 李景林, 孙斌.  空间相机大口径反射镜轻量化技术及应用 . 红外与激光工程, 2015, 44(10): 3043-3048.
    [17] 龚卫国, 刘润瑶, 张睿.  光照突变下融合多类特征的场景分割方法 . 红外与激光工程, 2014, 43(12): 4164-4169.
    [18] 徐宏, 关英俊.  大口径SiC轻量化反射镜组件的结构设计 . 红外与激光工程, 2014, 43(S1): 83-88.
    [19] 齐光, 许艳军, 刘炳强.  空间相机反射镜SiC/Al 支撑板轻量化结构优化设计 . 红外与激光工程, 2014, 43(7): 2214-2218.
    [20] 陈洪达, 陈永和, 史婷婷, 刘晓华, 傅雨田.  空间反射镜的轻量化及支撑设计研究 . 红外与激光工程, 2014, 43(2): 535-540.
  • 加载中
图(9) / 表(2)
计量
  • 文章访问数:  15
  • HTML全文浏览量:  8
  • PDF下载量:  2
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-03-06
  • 修回日期:  2020-04-07
  • 网络出版日期:  2020-07-23
  • 刊出日期:  2020-07-25

非合作目标局部特征识别轻量化特征融合网络设计

doi: 10.3788/IRLA20200170
    作者简介:

    徐云飞(1994-),男,硕士生,主要研究方向为模式识别与智能系统。Email:xyf940915@sina.com

    通讯作者: 张笃周(1966-),男,研究员, 主要研究方向为导航制导与控制, 卫星姿态控制系统设计。Email:zhangduzhou@spacechina.com
基金项目:  “十三五”装备预研共用技术和领域基金项目(复杂光场景下非合作目标高可靠识别技术 41412070204)
  • 中图分类号: TP991

摘要: 给出一种基于轻量化卷积神经网络的空间非合作目标局部特征检测网络,即NCDN模型。在SSD模型中引入特征融合策略以适应不同距离下的检测需求,提高模型对图像尺度变换引起局部特征分辨率降低的鲁棒性;并采用不同压缩比例对MobileNetV2内部卷积通道数量做压缩,从而得到轻量化特征提取网络;对SPEED数据集进行局部特征标注与训练以验证NCDN适用的距离范围。实验结果表明,该模型能够在45 m内距离范围保证mAP达到0.90,同时通道压缩节省75%计算量后模型精度损失仅为5%。满足在轨检测精度和计算量需求。

English Abstract

    • 在轨服务和空间攻防是未来航天重要发展方向,而目标的局部特征识别是关键技术之一。非合作目标上没有配合测量的光标、角反射器等设施,且目标的形状、局部特征各异,成像特性易受到空间光照条件变化的影响。这给目标识别以及进一步的抵近、绕飞、测量、捕获带来了巨大的挑战。

      在空间对抗与在轨服务领域中,需要对非合作目标整星、帆板、支架、喷管、对接环等局部特征进行识别检测,从而触发对应捕获的渔网、鱼叉、飞爪、加注管等相应部件,或完成相关跟踪测量。欧空局“清除碎片”(RemoveDebris)项目成功试验渔网对立方星的抓捕,并开展鱼叉、飞爪、拖曳帆、运动跟踪技术验证。德国宇航局开展的“实验服务卫星”(Experimental Serving Satellite, ESS)项目[1],通过卫星机械臂上搭载的立体摄像机对目标卫星上的发动机喷管进行成像识别。美国的FREND机械臂上的立体视觉系统能够对分离螺栓孔和星箭对接环进行识别和抓捕[2]。传统基于点线、边沿特征[3],圆形特征[4],以及关键点提取匹配[5]的方法用以识别帆板支架、卫星对接环和天线等局部特征。然而传统方法通过人工设计特征,难以适用于各类空间条件。且目标卫星上的天线、帆板、对接环、喷管以及各类敏感器会随着其位姿和所受光照条件的变化发生成像模糊,局部遮挡,尺度变化,以及出现阴影等情况。传统方法应对这类问题时,难以持续稳定地发挥其作用,还需将图片下传到地面,由操作人员来对非合作目标上局部特征进行识别标注,花费大量的人力且“自主性”不高。针对上述问题,基于卷积神经网络的空间非合作目标局部特征识别方法成为新的研究热点,使用RCNN、YOLO系列网络对非合作目标整星、天线、帆板、支架、对接环、喷管等典型局部特征进行检测或语义分割[6-8],以及基于卷积网络的非合作目标相对姿态测量[9-11]。近些年基于卷积神经网络的目标检测模型主要包含和SSD系列。且相比而言SSD能够兼顾检测精度和检测时间,为在轨应用提供可能。

      文中设计一种轻量化特征融合网络(Non-cooperative Detection Network, NCDN)。构建SSD时引入特征融合策略,融合不同卷积层之间细节特征和语义信息,以适应局部特征尺度变换并提高微小部件的检测精度。同时对特征提取网络MobileNetV2进行轻量化改进。通过通道压缩减少模型计算量和参数量的冗余。并在非合作目标公开数据集SPEED上进行验证。

    • 文中设计NCDN思路如图1所示。整体架构为SSD目标检测模型,并以MobileNetV2作为特征提取网络。在SSD模型中引入了特征融合策略,将MobileNetV2中多个卷积层提取的特征进行融合,同时在模型新加的Conv1-Conv5中的两层采取同样的方式融合,使得模型对不同尺度目标具有适应性。此外为减少模型计算量,设计网络轻量化方法,压缩卷积通道以减少特征提取网络MobileNetV2中冗余的参数。并对SPEED数据集中非合作目标Tango局部特征进行检测。

      图  1  NCDN设计思路

      Figure 1.  Design idea of NCDN

    • 本文设计的SSD网络引入特征融合策略(Feature Fusion)。基础网络采用MobileNetV2中2个卷积层7个Bottleneck结构,共19层。并在其基础上添加8个卷积层Conv2-Conv5,其中每层包含2个小层(ConvX_1,ConvX_2)。由于模型对于目标尺度变化较为敏感,不利于检测尺微小目标,因此借鉴FPN[12]、FSSD[13]和FE-SSD[14]思想引入特征融合策略,将Bottelneck4_4, Bottelneck5_3,和Bottelneck7_1的输出特征进行融合,并将ConvX_1与ConvX_2之间特征进行融合。因为卷积网络在提取图像特征时,随着卷积层变深,提取的语义信息也更为丰富。然而传统SSD模型中这些卷积层之间相互独立,直接从各层特征图中输出检测结果,使得局部细节特征和全局语义特征无法相融合,进而难以检测尺度微小的局部特征。因此特征融合策略可以让低层高分辨率特征图共享高层提取的丰富语义信息以提高检测精度。

      以卷积层Bottelneck4_4, Bottelneck5_3,和Bottelneck7_1为例,特征融合策略如下:

      (1) 以Bottelneck4_4输出通道数$64$基准,通过通过$1 \times 1$卷积将Bottelneck5_3,和Bottelneck7_1输出通道同降为64;

      (2) 以Bottelneck4_4特征图尺寸为$64 \times 64$基准,通过BilinearIterp, (BI)将Bottelneck5_3,和Bottelneck7_1输出特征图尺寸升为$64 \times 64$

      (3) 采用Concatenation (Concat)融合方式,将3个同维度特征图融合。并通过BatchNormal和Relu处理后融合成尺度为$64 \times 64 \times 320$的新特征图。

      ConvX_1与ConvX_2(X=2,3)采用同样的融合策略,ConvX_2为ConvX_1基础上添加$3 \times 3$卷积得到。由于特征图尺寸过小导致特征融合中携带的信息不足,因此最后2层Conv4,Conv5不进行融合,直接从ConvX_2(X=4,5)中生成特征图。如图2所示。

      图  2  基于特征融合的SSD框架

      Figure 2.  SSD framework based on feature fusion

      多尺度融合特征图最终送入类别预测和经过默认框结构回归得到的位置坐标预测。并通过非极大值抑制算法(Non-maximum Suppression, NMS)得到最终目标检测结果。模型损失函数包括类别损失和位置损失:

      $$L(\{ {p_i}\} ,\{ {t_i}\} ) = \frac{1}{{{N_{cls}}}}\sum\limits_i {{L_{cls}}({p_i},p_i^*)} + \lambda \frac{1}{{{N_{reg}}}}\sum\limits_i {p_i^*{L_{reg}}({t_i},t_i^*)} $$

      式中:${p_i},p_i^*$为类别真值和预测类别;${t_i},t_i^*$为位置真值和预测位置;${L_{cls}}$为类别损失Softmax交叉熵函数; ${L_{reg}}$为位置损失SmoothL1函数;${N_{cls}}$为类别总数$\lambda $为权重系数。

    • 基于轻量化特征提取网络的NCDN采用MobileNetV2作为基干。在检测精度上已经能够满足空间非合作目标局部特征检测任务,但训练后的模型存储空间仍有19M,难以满足星上存储空间需求。考虑到非合作目标局部特征类别数量不多于10种,远少于公开数据集所一般要求的1 000+种,从而认为特征提取网络MobileNetV2内部卷积参数有大量冗余。因此,文中提出基于通道压缩的MobileNetV2改进方法,压缩卷积层之间的通道数量,在不过分牺牲检测精度前提下,摒弃冗余参数以换取存储空间的进一步优化。

      MobileNet在模型结构上采用了逐通道(Depth-wise, DW)卷积搭配逐点(Point-wise, PW)卷积的方式来提特征,这两个操作结合成为深度可分离卷积结构(Depth-wise Separable Convolution)。如图3所示:$M$$N$分别为输入、输出特征通道数,${D_K}$${D_F}$分别为卷积核、特征图尺寸。这种结构可以成倍地减少卷积层的时间复杂度和空间复杂度。

      图  3  MobileNet-Depthwise/Pointwise卷积结构

      Figure 3.  Convolutional architecture of MobileNet Depthwise/Pointwise

      MobileNet已经极大地减小了计算量,然而对于空间非合作目标局部特征检测任务而言,参数量上仍有冗余。通过在结构中对所有卷积层中卷积核数量乘以缩小因子$\alpha $(其中$\alpha \in (0,1]$)以压缩网络。并以此通道压缩方法改进图3(b)结构。

      通道压缩后深度方向卷积计算量:

      图3中的图3(b)+(c)代替图3(a),假设有$N$个卷积核,每个卷积核维度是${D_K} \times {D_K} \times \alpha M$,输入特征图的通道数是$\alpha M$,输出特征图维度${D_F}' \times {D_F}' \times N$。则图3(b)表示用$\alpha M$个维度为${D_K} \times {D_K} \times 1$的卷积核去卷积对应输入的特征图,然后得到$\alpha M$个结果,且相互之间不累加。因此计算量是${D_F} \times {D_F} \times {D_K} \times {D_K} \times \alpha M$,比压缩前节省$\alpha $倍。如图4所示。

      图  4  卷积通道压缩

      Figure 4.  Convolution channel compression

      通道压缩后点方向卷积计算量:

      图3(b)生成的特征图维度${D_F}' \times {D_F}' \times \alpha M$图3(c)表示用N个维度为$1 \times 1 \times \alpha M$的卷积核卷积(图3(b))的结果,从而输出特征图维度为${D_F} \times {D_F} \times \alpha M \times N$,比压缩前节省$\alpha $倍。

      因此压缩后总体计算量为:

      $${D_K} \times {D_K} \times \alpha M \times {D_F}' \times {D_F}' + \alpha M \times N \times {D_F}' \times {D_F}'$$

      节省α倍。

    • 航天器姿态估计数据集(Spacecraft PosE Estimation Dataset,SPEED)由空间交会实验室(Space Rendezvous Laboratory, SLAB)采集。由PRISMA[15-16]任务中低轨卫星Mango对航天器Tango进行拍摄。如图5所示。

      图  5  Tango(左)与Mango(右)

      Figure 5.  Tango(left) and Mango(right)

      利用光学模拟器[17]合成的图像(约15 000张)并给出三轴姿态和4个关键点真值,还设立姿态估计公开挑战赛。文中利用该数据集验证NCDN网络性能,因此首先对数据集非合作目标图像局部特征进行定义与标注。如图6所示。

      图  6  SPEED局部特征定义与标注

      Figure 6.  Local feature definition and label of SPEED

      Tango可供识别的明显局部特征包括GPS天线、FFRT天线以及敏感器。选取数据集中1 000张图像按照7:3划分为训练集和测试集,训练样本进行了左右翻转并设置2种光照条件,数据增强后将样本扩充至4倍。针对空间非合作目标的图像处理通常先去除星空背景,使得处理具有尺度变化目标时最大程度上将有效信息输入算法模型中。因此,在标注训练前利用Sobel算法检测目标边沿并将目标从背景中分离出。

      训练处理单元采用20核CPU单元Interl(R) Xeon(R) Silver 4114 CPU@220GHz, 64G内存;GPU采用NVIDIA Quadro P4000,8G显存; Win10系统下用MATLAB2020a配置CUDA10.1进行网络训练。超参数设置为:小批量尺寸为1,训练10代,学习率0.001,采用Adam优化器。

    • 参考文献[18]中指出,合成数据对应距离的正太分布区间在50 m内(如图7(a)所示)。

      图  7  SPEED目标尺度变化

      Figure 7.  Scale changes of target on SPEED

      根据相机模型成像公式:

      $$\begin{split} & {f = h \times D/H} \\ & {h = n \times du} \end{split}$$

      可估算出Tango占据不同像素数为$n$,即所占图像尺寸为$h$时,对应的实际拍摄距离为$D$(如图7(b)所示)。从而通过实验确定NCDN实际使用范围。公式中其余变量含义及实际值如表1所示。

      表 1  相机模型变量含义

      Table 1.  Meaning of variables in camera model

      VariablesMeaningVariables’ value/m
      $f$ Focus 0.0176
      $H$ Actual size of Tango $0.56 \times 0.75 \times 0.025$
      $du$ Pixel size of detector $5.86 \times {10^{ - 6}}$

      由于NCDN采用了特征融合策略,可将不同卷积层之间信息互通,因此,模型对不同距离下尺度变化导致的非合作目标局部特征分辨率差异有较好的鲁棒性。

      图8定性对比可看出,目标局部特征随距离变远而分辨率逐渐降低。且随目标姿态变化出现光照条件不均,以及几何形态上的旋转、仿射变换等。不同距离下模型对3种特征平均准确率均值(mean Average Precision, mAP)变化如图9所示。

      图  8  NCDN不同距离下效果对比

      Figure 8.  Comparison effects of NCDN at different distances

      图  9  不同距离下模型mAP变化对比

      Figure 9.  mAP comparison of model changes at different distances

      图9中看出,引入特征融合策略使得模型对小尺度低分辨率局部特征检测效果有所提升,50 m内mAP从0.857提升至0.898。改进后基本能够满足相关课题和工程项目中近距(25 m内)非合作目标局部特征检测精度0.90的指标。若以各距离段内检测精度0.85为准,整体稳定检测距离区间25 m内提升至45 m内。且图8(b)中40 m下即便引入特征融合,对于局部特征分辨率较低时也较难区分形态相近的Sensor和FFRT,此距离段下NCDN性能逼近极限。

    • 文中按照不同比例压缩卷积通道数,以探究在满足不同任务需求下压缩比例可调至多少,压缩比例选定0.25/0.5/0.75/1四个档位,对应压缩比所带来的存储空间节省和相对精度损失如表2所示。

      表 2  通道压缩对NCDN影响

      Table 2.  Influence of channel compression on NCDN

      Channel compression rateStorage space of model/MBRelative accuracy loss
      $\alpha = 1$19.00%
      $\alpha = 0.75$10.31%
      $\alpha = 0.5$5.12%
      $\alpha = 0.25$2.25%

      从表中可以看出,按照0.25倍压缩卷积通道后模型计算量节省75%,存储空间节省88%,而相对检测精度损失仅有5%。当前星上存储资源一般在数MB至百MB,处理器计算能力基本在百MHz的处理能力。根据实际任务需求变换以调整通道压缩比,可使模型存储有效空间减少。实验验证了方法的可行性,也为卷积神经网络部署在嵌入式系统中实现在轨实时检测提供基础。

    • 文中设计一种用于非合作目标局部特征识别的轻量化特征融合网络,即NCDN模型。通过引入特征融合策略实现对不同尺度大小的非合作目标局部特征的准确检测,在SPEED数据集上50 m内mAP可达到0.898,特征融合策略使得效果提升4.1%,可以准确识别SPEED数据集中非合作目标Tango上的GPS天线、FFRF天线和敏感器3种局部特征。卷积核通道压缩后能够在保证不过分牺牲卷积核表征能力、降低网络整体检测精度的情况下,优化卷积核参数的冗余,极大地节省了模型的计算量和存储开销。采用25%计算量时检测精度牺牲约5%,15 m内mAP仍可达0.90。且模型整体存储空间约2.2MB,节省约88%。通道压缩后的模型更适用于空间非合作目标局部特征实时检测,为将来模型部署在嵌入式系统和在轨应用奠定基础。

参考文献 (18)

目录

    /

    返回文章
    返回