留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

用于光子计数单像素成像的去块状采样网络

熊乙宁 鄢秋荣 祝志太 蔡源鹏 杨耀铭

熊乙宁, 鄢秋荣, 祝志太, 蔡源鹏, 杨耀铭. 用于光子计数单像素成像的去块状采样网络[J]. 红外与激光工程, 2021, 50(12): 20210724. doi: 10.3788/IRLA20210724
引用本文: 熊乙宁, 鄢秋荣, 祝志太, 蔡源鹏, 杨耀铭. 用于光子计数单像素成像的去块状采样网络[J]. 红外与激光工程, 2021, 50(12): 20210724. doi: 10.3788/IRLA20210724
Xiong Yining, Yan Qiurong, Zhu Zhitai, Cai Yuanpeng, Yang Yaoming. Deblocking sampling network for photon counting single-pixel imaging[J]. Infrared and Laser Engineering, 2021, 50(12): 20210724. doi: 10.3788/IRLA20210724
Citation: Xiong Yining, Yan Qiurong, Zhu Zhitai, Cai Yuanpeng, Yang Yaoming. Deblocking sampling network for photon counting single-pixel imaging[J]. Infrared and Laser Engineering, 2021, 50(12): 20210724. doi: 10.3788/IRLA20210724

用于光子计数单像素成像的去块状采样网络

doi: 10.3788/IRLA20210724
基金项目: 国家自然科学基金(61865010)
详细信息
    作者简介:

    熊乙宁,女,硕士生,主要从事计算单像素成像方面的研究

  • 中图分类号: O438

Deblocking sampling network for photon counting single-pixel imaging

  • 摘要: 将光子计数技术和单像素成像结合,能实现高灵敏、低成本的光子计数成像,但存在采样时间和重建时间长的问题。基于深度学习的压缩采样和重建网络,将去除偏置和激活函数的全连接层作为测量矩阵,通过从数据中学得高效的测量矩阵和避免传统迭代算法带来的巨大计算量,实现了更快、更高质量的图像重建。但利用全连接层进行高分辨图像的分块压缩感知时,重建图像会产生块状效应。针对该问题提出了重叠分块采样网络(Os_net)、嵌套采样网络(Ns_net)、卷积采样网络(Cs_net)等三种方法以取代全连接层采样。在重建网络的设计中,使用线性映射网络对图像进行重建,设计实验结果表明Cs_net的去块状化效果最好。将Cs_net二值化后应用于光子计数单像素成像系统,实验结果表明Cs_net除块状化明显优于传统算法TVAL3,且Cs_net在重建质量上也同样取得了较好的效果。
  • 图  1  光子计数单像素成像系统原理图

    Figure  1.  Schematic diagram of photon counting single pixel imaging system

    图  2  重叠切割过程

    Figure  2.  Process of overlapping cutting

    图  3  嵌套切割过程

    Figure  3.  Process of nested cutting

    图  4  用Cs_net采样和初步重建的过程

    Figure  4.  Process of sampling and initial reconstruction with Cs_net

    图  5  使用不同重建方法的重建结果,图片大小为64×64 pixel

    Figure  5.  Reconstruction results using different methods, the size of pictures is 64×64 pixel

    图  6  传统算法与所提出的方法在光子计数成像系统中的结果对比

    Figure  6.  Comparison of the results of the traditional algorithm and the proposed method in the photon counting imaging system

    表  1  不同算法在不同采样率下的重建结果对比 (PSNR/dB)

    Table  1.   Reconstruction results of different algorithms at different sampling rates (PSNR/dB)

    ImagesMethodsMR=0.015MR=0.04MR=0.1MR=0.2
    Bird Tval3 13.177 13.236 14.745 13.622
    Fc_net 15.269 15.612 15.784 15.858
    Os_net 15.311 15.629 15.784 15.859
    Ns_net 14.624 15.097 15.402 15.565
    Cs_net 15.274 15.599 15.780 15.841
    Cameraman Tval3 17.437 21.698 24.492 25.927
    Fc_net 20.468 22.222 24.330 26.544
    Os_net 20.686 22.386 24.471 26.650
    Ns_net 18.363 19.781 21.114 21.899
    Cs_net 20.486 22.243 24.184 26.102
    Head Tval3 17.675 17.556 17.591 17.610
    Fc_net 20.010 20.229 20.495 20.607
    Os_net 20.010 20.239 20.491 20.606
    Ns_net 19.525 19.878 20.120 20.240
    Cs_net 20.037 20.267 20.398 20.562
    Monarch Tval3 18.228 21.353 25.283 23.860
    Fc_net 18.989 22.070 25.264 28.052
    Os_net 19.186 22.282 25.414 28.24
    Ns_net 15.996 17.907 19.867 21.162
    Cs_net 19.048 22.010 24.907 27.218
    Peppers Tval3 18.085 20.855 25.278 30.891
    Fc_net 21.115 23.599 26.334 28.890
    Os_net 21.207 23.672 26.404 28.965
    Ns_net 18.197 20.066 21.412 22.224
    Cs_net 21.189 23.56 25.955 28.269
    Mean Tval3 16.920 18.940 21.478 22.382
    Fc_net 19.170 20.746 22.441 23.990
    Os_net 19.280 20.842 22.513 24.064
    Ns_net 17.341 18.546 19.583 20.218
    Cs_net 19.207 20.736 22.245 23.598
    下载: 导出CSV

    表  2  不同采样率下TVAL3与Cs_net的重建结果对比 (PSNR/dB)

    Table  2.   Reconstruction result of TVAL3 and Cs_net at different sampling rates (PSNR/dB)

    ImagesMethodsMR=0.015MR=0.04MR=0.1MR=0.2
    BirdTVAL313.17313.51513.56113.644
    Cs_net15.23915.46615.64815.668
    CameramanTVAL317.06221.87624.07221.924
    Cs_net20.11121.11322.44722.575
    HeadTVAL317.74517.71618.06419.414
    Cs_net19.76419.8920.18920.247
    MonarchTVAL316.63821.39522.84420.957
    Cs_net18.75320.53922.79923.174
    PeppersTVAL319.69519.90821.93027.399
    Cs_net20.80221.95823.73523.514
    MeanTVAL316.86318.88220.09420.668
    Cs_net18.93419.79320.96421.036
    下载: 导出CSV
  • [1] Takhar D, Laska J N, Wakin M B, et al. A new compressive imaging camera architecture using optical-domain compression [C]//Conference on Computational Imaging IV, 2006: 20060116-18.
    [2] Yu W K, Liu X F, Yao X R, et al. Single photon counting imaging system via compressive sensing[J]. arXiv, 2012: 1202.5866.
    [3] Wang H, Yan Q, Li B, et al. Sampling time adaptive single photon compressive imaging [J]. IEEE Photonics Journal, 2019, PP(99): 1-1.
    [4] Liu Y, Shi J, Zeng G. Single-photon-counting polarization ghost imaging[J]. Appl Opt, 2016, 55(36): 10347-10351.
    [5] Chan W L, Charan K, Takhar D, et al. A single-pixel terahertz imaging system based on compressed sensing [J]. Applied Physics Letters, 2008, 93(12): S293.
    [6] 俞文凯. 压缩感知在超灵敏时间分辨成像光谱中的应用[D]. 中国科学院大学, 2015.

    Yu Wenkai. Application of compressed sensing in ultra-sensitive time-resolved imaging spectroscopy[D]. Beijing: University of Chinese Academy of Sciences, 2015. (in Chinese)
    [7] Taguchi K, Iwanczyk J S. Vision 20/20: Single photon counting X‐ray detectors in medical imaging[J]. Medical Physics, 2013, 40(10): 4820371.
    [8] Shigetomo S, Hiromi S, Yoshiyuki T, et al. Astronomical observation with a Nb-Al-AlOX-Al-Nb STJ single photon detecor for optical wavelengths [J]. Publications of the Astronomical Society of Japan, 2004, 56(4): L19-L23.
    [9] Liu X, Yu W, Yao X. Measurement dimensions compressed spectral imaging with a single point detector [J]. Optics Communications, 2016, 365: 173-179. doi:  10.1016/j.optcom.2015.12.020
    [10] Davenport M, Baraniuk R, Devore R, et al. The Johnson-Lindenstrauss lemma meets compressed sensing [DB/OL]. [2021-11-12]. http: //mdav. ece. gatech. edu/talk/princeton-2006. pdf.
    [11] Baraniuk R, Davenport M, Devore R, et al. A simple proof of the restricted isometry property for random matrices [J]. Constructive Approximation, 2008, 28(3): 253-263. doi:  10.1007/s00365-007-9003-x
    [12] Bajwa W U, Haupt J D, Raz G M, et al. Toeplitz-structured compressed sensing matrices [C]//2007 IEEE/SP 14th Workshop on Statistical Signal Processing, 2007: 294-298.
    [13] Candes E, Tao T. Near optimal signal recovery from random projections: Universal encoding strategies [J]. IEEE Transactions on Information Theory, 2004, 52(12): 5406-5425.
    [14] Tropp J A, Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit [J]. IEEE Transactions on Information Theory, 2007, 53(12): 4655-4666. doi:  10.1109/TIT.2007.909108
    [15] Needell D, Vershynin R. Signal recovery from inaccurate and incomplete measurements via regularized orthogonal matching pursuit[J]. IEEE Journal of Selected Topics in Signal Processing, 2010, 4: 310-316.
    [16] Li C. An efficient algorithm for total variation regularization with applications to the single pixel camera and compressive sensing[D]. Houston: Rice University, 2010.
    [17] Mousavi A, Patel A B, Baraniuk R G. A deep learning approach to structured signal recovery [C]//IEEE, 2016.
    [18] Kulkarni K, Lohit S, Turaga P, et al. ReconNet: Non-iterative reconstruction of images from compressively sensed measurements [C]//Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2016.
    [19] Yao H, Dai F, Zhang D, et al. Dr2-net: Deep residual reconstruction network for image compressive sensing [J]. Neurocomputing, 2019, 359: 483-493. doi:  10.1016/j.neucom.2019.05.006
    [20] Zhang Jian, Ghanem B. ISTA-Net: Interpretable optimization-inspired deep network for image compressive sensing [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 1828-1837.
    [21] Higham C F, Murray-smith R, Padgett M J, et al. Deep learning for real-time single-pixel video [J]. Sci Rep, 2018, 8(1): 2369.
    [22] Wang F, Wang H, Wang H, et al. Learning from simulation: An end-to-end deep-learning approach for computational ghost imaging [J]. Optics Express, 2019, 27(18): 25560-25572. doi:  10.1364/OE.27.025560
    [23] Li B, Yan Qiurong, Wang Y F, et al. A binary sampling Res2 net reconstruction network for single-pixel imaging [J]. Review of Scientific Instruments, 2020, 91(3): 033709. doi:  10.1063/1.5137817
    [24] 管焰秋, 鄢秋荣, 杨晟韬, 等. 基于残差编解码网络的单光子压缩成像[J]. 光学学报, 2020, 40(1).

    Guan Yanqiu, Yan Qiurong, Yang Shengtao, et al. Single-photon compression imaging based on residual coding and decoding network[J]. Acta Optica Sinica, 2020, 40(1): 0111022. (in Chinese)
    [25] Shi W, Caballero J, Huszar F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016: 1874-1883.
    [26] Canh T N, Jeon B. Difference of convolution for deep compressive sensing[C]//2019 IEEE International Conference on Image Processing (ICIP), 2019.
  • [1] 郑淑君, 姚曼虹, 王晟平, 张子邦, 彭军政, 钟金钢.  基于光电混合神经网络的单像素快速运动物体分类(特邀) . 红外与激光工程, 2021, 50(12): 20210856-1-20210856-11. doi: 10.3788/IRLA20210856
    [2] 刘云朋, 霍晓丽, 刘智超.  基于深度学习的光纤网络异常数据检测算法 . 红外与激光工程, 2021, 50(6): 20210029-1-20210029-6. doi: 10.3788/IRLA20210029
    [3] 范有臣, 马旭, 马淑丽, 钱克昌, 郝红星.  基于深度学习的激光干扰效果评价方法 . 红外与激光工程, 2021, 50(S2): 20210323-1-20210323-7. doi: 10.3788/IRLA20210323
    [4] 赵洋, 傅佳安, 于浩天, 韩静, 郑东亮.  深度学习精确相位获取的离焦投影三维测量 . 红外与激光工程, 2020, 49(7): 20200012-1-20200012-8. doi: 10.3788/IRLA20200012
    [5] 钟锦鑫, 尹维, 冯世杰, 陈钱, 左超.  基于深度学习的散斑投影轮廓术 . 红外与激光工程, 2020, 49(6): 20200011-1-20200011-11. doi: 10.3788/IRLA20200011
    [6] 石峰, 陆同希, 杨书宁, 苗壮, 杨晔, 张闻文, 何睿清.  噪声环境下基于单像素成像系统和深度学习的目标识别方法 . 红外与激光工程, 2020, 49(6): 20200010-1-20200010-8. doi: 10.3788/IRLA20200010
    [7] 张钊, 韩博文, 于浩天, 张毅, 郑东亮, 韩静.  多阶段深度学习单帧条纹投影三维测量方法 . 红外与激光工程, 2020, 49(6): 20200023-1-20200023-8. doi: 10.3788/IRLA20200023
    [8] 冯世杰, 左超, 尹维, 陈钱.  深度学习技术在条纹投影三维成像中的应用 . 红外与激光工程, 2020, 49(3): 0303018-0303018-17. doi: 10.3788/IRLA202049.0303018
    [9] 杨程, 鄢秋荣, 祝志太, 王逸凡, 王明, 戴伟辉.  基于深度学习的压缩光子计数激光雷达 . 红外与激光工程, 2020, 49(S2): 20200380-20200380. doi: 10.3788/IRLA20200380
    [10] 胡善江, 贺岩, 陶邦一, 俞家勇, 陈卫标.  基于深度学习的机载激光海洋测深海陆波形分类 . 红外与激光工程, 2019, 48(11): 1113004-1113004(8). doi: 10.3788/IRLA201948.1113004
    [11] 唐聪, 凌永顺, 杨华, 杨星, 路远.  基于深度学习的红外与可见光决策级融合检测 . 红外与激光工程, 2019, 48(6): 626001-0626001(15). doi: 10.3788/IRLA201948.0626001
    [12] 周宏强, 黄玲玲, 王涌天.  深度学习算法及其在光学的应用 . 红外与激光工程, 2019, 48(12): 1226004-1226004(20). doi: 10.3788/IRLA201948.1226004
    [13] 梁欣凯, 宋闯, 赵佳佳.  基于深度学习的序列图像深度估计技术 . 红外与激光工程, 2019, 48(S2): 134-141. doi: 10.3788/IRLA201948.S226002
    [14] 赵永强, 李宁, 张鹏, 姚嘉昕, 潘泉.  红外偏振感知与智能处理 . 红外与激光工程, 2018, 47(11): 1102001-1102001(7). doi: 10.3788/IRLA201847.1102001
    [15] 姚旺, 刘云鹏, 朱昌波.  基于人眼视觉特性的深度学习全参考图像质量评价方法 . 红外与激光工程, 2018, 47(7): 703004-0703004(8). doi: 10.3788/IRLA201847.0703004
    [16] 耿磊, 梁晓昱, 肖志涛, 李月龙.  基于多形态红外特征与深度学习的实时驾驶员疲劳检测 . 红外与激光工程, 2018, 47(2): 203009-0203009(9). doi: 10.3788/IRLA201847.0203009
    [17] 唐聪, 凌永顺, 杨华, 杨星, 郑超.  基于深度学习物体检测的视觉跟踪方法 . 红外与激光工程, 2018, 47(5): 526001-0526001(11). doi: 10.3788/IRLA201847.0526001
    [18] 张秀玲, 侯代标, 张逞逞, 周凯旋, 魏其珺.  深度学习的MPCANet火灾图像识别模型设计 . 红外与激光工程, 2018, 47(2): 203006-0203006(6). doi: 10.3788/IRLA201847.0203006
    [19] 唐聪, 凌永顺, 郑科栋, 杨星, 郑超, 杨华, 金伟.  基于深度学习的多视窗SSD目标检测方法 . 红外与激光工程, 2018, 47(1): 126003-0126003(9). doi: 10.3788/IRLA201847.0126003
    [20] 罗海波, 许凌云, 惠斌, 常铮.  基于深度学习的目标跟踪方法研究现状与展望 . 红外与激光工程, 2017, 46(5): 502002-0502002(7). doi: 10.3788/IRLA201746.0502002
  • 加载中
图(6) / 表(2)
计量
  • 文章访问数:  49
  • HTML全文浏览量:  18
  • PDF下载量:  21
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-09-30
  • 修回日期:  2021-11-12
  • 网络出版日期:  2022-01-06
  • 刊出日期:  2021-12-31

用于光子计数单像素成像的去块状采样网络

doi: 10.3788/IRLA20210724
    作者简介:

    熊乙宁,女,硕士生,主要从事计算单像素成像方面的研究

基金项目:  国家自然科学基金(61865010)
  • 中图分类号: O438

摘要: 将光子计数技术和单像素成像结合,能实现高灵敏、低成本的光子计数成像,但存在采样时间和重建时间长的问题。基于深度学习的压缩采样和重建网络,将去除偏置和激活函数的全连接层作为测量矩阵,通过从数据中学得高效的测量矩阵和避免传统迭代算法带来的巨大计算量,实现了更快、更高质量的图像重建。但利用全连接层进行高分辨图像的分块压缩感知时,重建图像会产生块状效应。针对该问题提出了重叠分块采样网络(Os_net)、嵌套采样网络(Ns_net)、卷积采样网络(Cs_net)等三种方法以取代全连接层采样。在重建网络的设计中,使用线性映射网络对图像进行重建,设计实验结果表明Cs_net的去块状化效果最好。将Cs_net二值化后应用于光子计数单像素成像系统,实验结果表明Cs_net除块状化明显优于传统算法TVAL3,且Cs_net在重建质量上也同样取得了较好的效果。

English Abstract

    • 单像素成像(Single Pixel Imaging, SPI)是利用点探测器实现物体成像的技术,基于压缩感知理论的单像素成像方法由Takhar D等人首次提出[1],在数字微镜(Digital Micromirror Device, DMD)上加载一系列掩膜对光学图像进行调制,调制后的光强由无空间分辨的点探测器进行探测,然后利用所测光强和掩膜对应的测量矩阵重建图像。若采用单光子探测器作为点探测器,则可以将单像素成像与光子计数技术相结合,实现光子计数单像素成像[2-4]。该方法有两个主要优点:一是仅使用点探测器就可以实现二维光子计数成像,与阵列探测器相比成本较低、分辨率高,特别是在红外、太赫兹[5]等特殊波段;二是单像素计数压缩成像系统中的点探测器可以同时收集多个像素的光强,成像灵敏度超过所采用的探测器本身的灵敏度的极限 [6]。因此光子计数单像素成像在生物医学诊断、天文、光谱测量等超弱光成像检测中具有广泛的应用前景[7-9]

      目前的单像素成像系统的采样和重建主要有三种方法:一是先利用随机测量矩阵或正交固定矩阵进行欠采样,然后再利用迭代算法进行图像重建。常用测量矩阵有高斯测量矩阵[10]、伯努利测量矩阵[11]、拓普利兹矩阵[12]、哈达玛矩阵和部分的随机傅里叶矩阵[13],重建算法有正交匹配追踪(Orthogonal Matching Pursuit, OMP)[14]、正规化正交匹配追踪(Regularized Orthogonal Matching Pursuit, ROMP)[15]和全变分增广拉格朗日交替方向算法(Total variation Augmented Lagrangian Alternating Direction Algorithm, TVAL3)[16]等。由于测量次数远小于图像像素数时要通过优化求解不确定性问题来重建图像,需要耗费大量的时间进行迭代运算。二是同样使用高斯随机测量矩阵或正交固定矩阵进行欠采样,利用基于深度学习的压缩重建网络进行图像重建。训练后权重固定的重建网络从低维采样值拟合映射到高维的图像,可避免上述传统迭代算法带来的大量计算,从而实现快速重建。深度学习压缩重建网络有SDA[17]、RconNet[18]、DR2_net [19]、ISTA-Net[20]等。2018年,C. F. Higham等率先将卷积自编码网络用于经过线性采集的图像的重构,该方法具有比压缩感知(Compressed Sensing, CS)理论常用重构算法更短的重建时间,并且能够在超低采样率的情况下实现更清晰的重构图像[21]。2019年,中国科学院上海光学精密机械研究所的司徒国海等提出了一种应用于鬼成像的端对端的深度学习方法,该方法将图像与处理过的掩膜相乘得到仿真数据用于神经网络的训练[22]。2020年,笔者课题组的李冰提出了Bsr2-Net网络进行图片重建,并与传统算法TVAL3进行对比,研究结果表明,使用深度学习方法测量重建的方法无论在成像质量上还是重建时间上都表现的更好[23]。三是使用采样和重建集成的深度学习网络。2020年,笔者课题组的管焰秋提出了一种采样和重建集成的残差编解码网络SRIED_Net用于光子计数单像素成像,网络由采样子网络、初步重建网络和深度重建网络组成,采样子网络为网络的第一层,是一个二值化全连接层,并将其训练成二进制的测量矩阵直接加载到数字微镜阵列上以实现高效压缩采样,除第一层外的其余网络用于快速重建,获得了更好的重建性能[24]

      虽然采样和重建集成网络获得了更好的效果,但在进行高分辨图像成像时,由于高维度下的全连接层测量矩阵参数量成指数性增长,巨大的参数量会使得训练时的迭代极为困难且容易使模型过拟合。基于分块压缩感知理论,可以将一张高分辨率图像切割成若干张维度较小的子图,再分别独立采样重建,最后拼合恢复成原始大图,从而大大缩短了重建时间和节约了重建成本。事实上,大多数对图像的压缩感知算法都是这样做的,如ReconNet[18]、DR2_net[19]等算法。但是,基于分块压缩感知理论的分块处理方法在处理图像时也存在问题。由于对高分辨率图像切割时破坏了原始图片的连续线性,同时各子块独立重建时存在不同程度的失真。因此在最后拼合的重建图片上,子图与子图之间会存在明显的分界线,即产生块状化效应,并且块状化效应在越低的测量率下越明显。块状化效应不会体现在一些经典的图像质量评估的指标上,如PSNR和SSIM,但却十分影响观感体验。一些去噪算法(如BM3 D)可以适当地减少块状化效应产生的影响,对子图边缘的高频分量进行衰减,但同时可能去除一些重要的信息和引入一些冗余的信息。

      针对该问题,文中提出了三种去块状化的采样子网络:一是针对重构图像在块与块交界位置处产生像素的不规则跳变提出了重叠分块采样网络(Overlapping sampling network, Os_net);二是受子像素卷积启发提出了嵌套采样网络(Nested sampling network, Ns_net);三是利用卷积的权值共享特性提出了卷积采样网络(Convolutional sampling network, Cs_net)。设计实验对三种采样网络进行了比较,并在光子计数单像素成像系统上进行了验证。

    • 搭建的光子计数单像素成像系统示意图如图1所示。LED(CREE Q5)发出的散射光经过平行光管后变成平行光。平行光透过衰减片(LOPF-25 C-405)和光阑(APID25-1)后,成为单光子水平的极微弱的平行光束。物体被微弱平行光照射后,经成像透镜汇聚于数字微镜器件(Digital Micromirror Device, DMD)上。DMD(T1:0.7 XGA12°DDR DMD)是一种电寻址空间光调制器件,其镜面由$1\;024 \times 768$个可单独控制偏转的微镜组成,每个微镜的大小均为$13.78\;\text{μ}{\rm{m}} \times 13.78\;\text{μ} {\rm{m}}$。为了实现“开”和“关”的空间光调制,微镜分别对应控制翻转+12°和−12°。微镜翻转+12°时经过调制的空间光信号反射至聚焦透镜(OLBQ25.4-050)。汇聚了多个像素的光强透过光电倍增管(Photomultiplier Tube, PMT)输出一个个离散脉冲至接收器。工作在光子计数模式下单光子点探测器PMT(H10682-110)可以实现调制光强的量化,光子脉冲的计数代表光强。微镜翻转−12°时将照射在其上的光反射至系统光路外。笔者设计了现场可编程门阵列(Field Programmable Gate Array, FPGA)的同步控制电路,可将二值矩阵加载至DMD,并同步记录光电倍增管PMT输出的离散脉冲个数。通过USB将FPGA记录的光子计数值发送到计算机重建目标图像。

      图  1  光子计数单像素成像系统原理图

      Figure 1.  Schematic diagram of photon counting single pixel imaging system

    • DR2_net是把整副高分辨率大图分块成同尺寸的无重叠的子图像,对每个同等规模的子图像使用一致尺寸的观测矩阵进行采样和重构[19],造成了对含有更多信息量图片的欠采样和信息量少图片的过采样,使重构图像在块与块交界位置处产生像素的不规则跳变。针对该算法的缺陷,笔者提出了Os_net进行重叠分块采样。在Os_net中要对于输入的第$ i $个原始图片$ {X_i} \in {R^{N \times N}} $进行重叠分割。

      图2所示,需要按照步长$S$来对原始图片进行移动切割成多个$ n \times n $大小的图像块,为了确保原始图片信息全部保留,在切割之前需调整图片的尺寸,调整方式见公式(1)和公式(2)。然后对调整完成的图像进行重叠切割,记子图像的个数为R,见公式(3)。

      图  2  重叠切割过程

      Figure 2.  Process of overlapping cutting

      $$ pad\_h = S - \left[ {\left( {N - n} \right){\text{%}} S} \right] $$ (1)
      $$ H = N + pad\_h $$ (2)
      $$ R = {\left( {\frac{{H - n}}{S} + 1} \right)^2} $$ (3)

      式中:$N$为原始图片大小;$ pad\_h $为原始图片需填充的长度;$S$表示切割移动的步长,$\dfrac{n}{2} \leqslant S < n$$ H $为调整后图像块的大小。

      将处理好的分割后的图像块作为重叠采样网络(Os-net)的输入,并将其拉伸成维度为$ 1 \times m $的列向量。拉伸后的图像$ {x_i} \in {R^{1 \times m}} $经过第一层全连接层进行采样,得到采样值$ y_i^r \in {R^{1 \times r}} $

      $$ y_i^r = {x_i}{W_1} $$ (4)

      式中:$ {W_1} \in {R^{m \times r}} $为权值矩阵;$ y_i^r $即为采样值;$r$为采样次数。

      网络中的第二层全连接层为图像重建网络,采样值经第二层全连接层可得到重构图像$ x_i^r \in {R^{1 \times m}} $

      $$ x_i^r = y_i^r{W_2} $$ (5)

      式中:$ y_i^r $~$ x_i^r $的映射为线性映射;$ {W_2} \in {R^{r \times m}} $为权值矩阵,此处令$m = 1\;024$

      该网络通过两个全连接层分别构成了编码(encode)和解码(decode)两个部分,编码部分完成图像的重叠采样,解码部分完成图像的重建。为了获得最终输出高分辨率图像,先将子图像按切割顺序依次拼接,其次对拼接后的图像行和列重叠的部分求取平均值。Os_net在重叠区域进行重复采样,增加了采样次数,故对于整副大图而言,其整体采样率与输入网络中的小块图像采样率不同,二者之间的数量关系如下:

      $$ mr = \frac{r}{{{n^2}}} $$ (6)
      $$ MR = \frac{{R \times r}}{{{N^2}}} $$ (7)

      联立公式(1) 、(2)、 (3)、(6)可得:

      $$ MR = \frac{{{{\left\{ {N - n + 2S - \left[ {\left( {N - n} \right){\text{%}} S} \right]} \right\}}^2} \times {n^2}\times mr}}{{{S^2}\times {N^2}}} $$ (8)

      式中:$mr$为子图像的采样率;$MR$为整张图片的采样率。

    • 2016年,Shi Wenzhe提出了子像素卷积,实现了从低分辨率到高分辨率的映射过程[25],与需要填补0来扩展信息的反卷积相比,子像素卷积充分利用了图像的先验信息。受子像素卷积启发,笔者提出了Ns_net网络。该网络是先通过嵌套切割,从高分辨率的原始图片中提取四个均含有部分原始图片信息的子图像,即将大小为$ N \times N $的原始图片等分为$ \dfrac{{{N^2}}}{4} $$ 2 \times 2 $的像素块,然后依次提取每个像素块的左上角、右上角、左下角、右下角的像素点排列组合成4个$\dfrac{N}{2} \times \dfrac{N}{2}$的图像块,如图3所示。这里令$ N = 64 $,经过嵌套切割后得到4个$ 32 \times 32 $的子图像。将这些子图像拉伸成$ 1 \times m $大小的图像$ {x_i} \in {R^{1 \times m}} $输入全连接层,完成压缩采样得到采样值$ y_i^r \in {R^{1 \times r}} $,随后再将采样值输入全连接层进行图像重构,并输出重建图像块$ x_i^r \in {R^{1 \times m}} $。将$ x_i^r $尺寸复原为$ 32 \times 32 $后,按照分割顺序将4张输出图像的像素点挨个放回原始高分辨率图片的位置得到最终图片。

      图  3  嵌套切割过程

      Figure 3.  Process of nested cutting

    • 2018年,Thuong Nguyen Canh等提出了MS-DCSNet,采用卷积层完成Down-sampling的过程,该网络使用了基于多尺度的小波变换转换图像信号,对四个频带的小波系数进行卷积采样[26]。卷积采样使卷积核在不同的位置之间共享权重,实现了平移不变性,并且能减少网络中的参数,完全可以替换全连接层采样。图4为笔者提出能运用在单像素压缩成像系统中的卷积采样网络示意图。Cs_net包含两个子网络:卷积下采样子网络和卷积上采样子网络。在卷积下采样子网络中,先用卷积核对输入的第$ i $个图像$ {x_i} \in {R^{n \times n}} $进行卷积采样,公式如下:

      $$ {y_i} = {X_i}*{W_\alpha } $$ (9)

      式中:${W_\alpha }$$ m $$ 32 \times 32 \times 1 $的卷积核;${y_i}$为第$ i $个原始图像经压缩采样后得到的采样值,维度为$ 2 \times 2 \times m $。其中,$ m $的值与$ MR $存在密不可分的联系,数量关系如下:

      $$ MR = \frac{{4 \times m}}{{64 \times 64}} \times 100{\text{%}} $$ (10)

      上述网络大大减少了权重的数量,降低了计算的复杂度。在采样率为0.2时,Cs_net的权重数量为${32^2} \times 205 = 209\;920$,而全连接采样的权重数量为${64^2} \times 820 = 3\;358\;720$,笔者提出的网络减少了超过90%的权重。

      在卷积上采样子网络中,将采样值$ {y_i} $输入网络进行图像重建,公式如下:

      $$ {Z_i} = {y_i}*{W_\beta } $$ (11)

      式中:$ {W_\beta } $为1024个$ 2 \times 2 \times m $的卷积核;$ {Z_i} $为重建后的图像,维度为$1 \times 1 \times 4\;096$。为了恢复至原始信号的维度,将$ {Z_i} $维度转换成$ 64 \times 64 $

      图  4  用Cs_net采样和初步重建的过程

      Figure 4.  Process of sampling and initial reconstruction with Cs_net

    • 使用与DR2_net[19]一致的91张自然图片来生成Os_net、Ns_net和Cs_net的训练集。在训练Cs_net时使用步幅14对这些图片进行切割,得到7851张大小为$ 64 \times 64 $的图像块作为训练集。在训练Os_net和Ns_net时,为了保证实验的公平性,需要保持训练集的数量一致,因此从上述每一张$ 64 \times 64 $的图像中均匀地抽取一张$ 32 \times 32 $的图像块,最终得到7 851张小图作为训练集。保留提取的图像块的亮度分量作为网络的输入$ {x_i} $。最大迭代周期、Batch size和学习率分别设置为1000、128和0.0001,采用Adam优化器进行迭代优化。损失函数采用均方差,公式如下:

      $$ Loss = \frac{1}{N}{\sum\limits_{i = 1}^N {\left\| {x_i^r - {x_i}} \right\|} ^2} $$ (12)

      为了使经过训练的矩阵加载在于DMD上,需要对神经网络Os_net、Ns_net和Cs_net的第一层的浮点型权重进行二值化。文中使用的二值化方法是基于符号函数Sign的确定性方法:

      $$ {W^b} = Sign({W_1}) = \left\{ {\begin{array}{*{20}{c}} { + 1}&{{W_1} \geqslant 0} \\ { - 1}&{{\rm{otherwise}}} \end{array}} \right. $$ (13)

      式中:$ {W_1} $表示浮点型权重;$ {W^b} $表示经过二值化的权重。

      然而符号函数的导数在非零时为0,在跳跃间断点零时不可导,显然不可进行反向传播运算,故在反向传播时用Htanh函数替代符号函数来进行导数修正,具体如下:

      $$ \begin{split} Htanh\left(x\right)=&Clip\left(x,-1,1\right)={\rm{max}}\left[-1,{\rm{min}}\left(1,x\right)\right]\end{split} $$ (14)
    • 此节设计了对照实验来评估上述提出的三种采样网络、双全连接层网络(Fc_net)和目前最先进的压缩感知图像重建算法TVAL3的去块状化效果。为了确保对比实验的公平性,在TVAL3算法重建时用经过训练的浮点全连接层代替高斯矩阵。根据公式(8)所示,Os_net的采样率计算方法与其他神经网络算法采样率不一样,其采样率随着步长$S$的增大而有所提升,当步长为31时其采样率与其他神经网络算法逼近,为了确保公平,选取步长为31。从数据集Set 0中提取了五张$256 \times 256$的图片用于测试,以评估网络的性能。由于峰值信噪比(PSNR)与均方误差(MSE)只是基于对应像素点的误差评价,无法表现“虚假边界”,实验结果分析过程中需同时结合视觉来衡量去块状化效果,在此从图像“Cameraman”中选择一个64×64的小块图像来评估不同算法去块状化的效果。

      表1可知: Os_net的客观评价结果相比传统迭代算法TVAL3有$1.03 \sim 2.36\; {\rm{dB}}$的提升,与基于深度学习的Fc_net、Ns_net和Cs_net相比在重建质量上分别有$ 0.072 \sim 0.11 \;{\rm{dB}} $$1.939 \sim 3.846 \;{\rm{dB}}$$0.073 \sim $$ 0.466 \;{\rm{dB}}$的提升。这是因为即使Os_net步长设置为31以逼近其他重建算法的采样率,其采样率仍会大于其他算法,实际采样率对应为0.019、0.05、0.13和0.25,这种采样率上的差异导致了Os_net在重建质量上的提升。在采样率低至0.015时,Ns_net相比TVAL3能产生更高质量的重建图片,但在其他采样率下Ns_net的重建效果逊于TVAL3的重建效果。与此同时,在所有采样率下Ns_net的重建结果均弱于其他神经网络算法的重建结果,这是因为Ns_net打乱了输入图片的空间规律,打断了数据集的信息连续性,数据集的调整降低了模型训练的质量。Cs_net与Fc_net在低采样率时PSNR基本相同,在高采样率时有$0.2 \sim 0.4\; {\rm{dB}}$的差距,这可能是因为Fc_net网络输入子图像尺寸更小,能对每小块图像进行更精确的重建。

      表 1  不同算法在不同采样率下的重建结果对比 (PSNR/dB)

      Table 1.  Reconstruction results of different algorithms at different sampling rates (PSNR/dB)

      ImagesMethodsMR=0.015MR=0.04MR=0.1MR=0.2
      Bird Tval3 13.177 13.236 14.745 13.622
      Fc_net 15.269 15.612 15.784 15.858
      Os_net 15.311 15.629 15.784 15.859
      Ns_net 14.624 15.097 15.402 15.565
      Cs_net 15.274 15.599 15.780 15.841
      Cameraman Tval3 17.437 21.698 24.492 25.927
      Fc_net 20.468 22.222 24.330 26.544
      Os_net 20.686 22.386 24.471 26.650
      Ns_net 18.363 19.781 21.114 21.899
      Cs_net 20.486 22.243 24.184 26.102
      Head Tval3 17.675 17.556 17.591 17.610
      Fc_net 20.010 20.229 20.495 20.607
      Os_net 20.010 20.239 20.491 20.606
      Ns_net 19.525 19.878 20.120 20.240
      Cs_net 20.037 20.267 20.398 20.562
      Monarch Tval3 18.228 21.353 25.283 23.860
      Fc_net 18.989 22.070 25.264 28.052
      Os_net 19.186 22.282 25.414 28.24
      Ns_net 15.996 17.907 19.867 21.162
      Cs_net 19.048 22.010 24.907 27.218
      Peppers Tval3 18.085 20.855 25.278 30.891
      Fc_net 21.115 23.599 26.334 28.890
      Os_net 21.207 23.672 26.404 28.965
      Ns_net 18.197 20.066 21.412 22.224
      Cs_net 21.189 23.56 25.955 28.269
      Mean Tval3 16.920 18.940 21.478 22.382
      Fc_net 19.170 20.746 22.441 23.990
      Os_net 19.280 20.842 22.513 24.064
      Ns_net 17.341 18.546 19.583 20.218
      Cs_net 19.207 20.736 22.245 23.598

      图5为五种重建算法重建图,从视觉效果评测五种算法的去块状化能力。从图中可以直观地出,Cs_net的重建图像完全没有“虚假边界”,在极低采样率下图片轮廓也清晰可见。而TVAL3作为先进的CS迭代算法,在低采样率下存在明显的十字形块状化,随着采样率的提升,在图像重建质量升高的同时,十字形块状化也逐渐变弱,但依旧无法消除。在采样率为0.015和0.04时,Fc_net重建图像块与块之间存在很明显的像素跳变,这是由于Fc_net使用相同的观测矩阵固定观测,会在图片光滑处过采样,纹理区欠采样。Os_net在重复采样区域存在块状化,随着采样率的提高,块状化程度比Fc_net更轻,Os_net的重建质量之所以优于Fc_net,是因为Os_net独特的采样方式带来了其在采样率计算上的优势,使得其重建质量更优,但其小图之间依旧存在十分明显的“虚假边界”。Ns_net对输入图片的像素进行重排,小图之间的棋盘效应消失,但却在每个像素之间出现了像素跳变现象。故此得出Cs_net相较于其他四种重建算法具有更好的去块状化效果。Cs_net在重建质量上明显优于TVAL3与Ns_net,与Fc_net的重建质量基本相同,但Cs_net具有十分显著的去块状化效果。

      图  5  使用不同重建方法的重建结果,图片大小为64×64 pixel

      Figure 5.  Reconstruction results using different methods, the size of pictures is 64×64 pixel

    • 上述结果证明,五种算法中Cs_net对去块状化有明显优势,设计了对照实验组以验证Cs_net在实际系统实验中的表现。由于实际实验中DMD只能加载二值采样矩阵,则将Cs_net第一层卷积层进行二值化。为了实验公平,同时将TVAL3中随机高斯矩阵替换为训练过的二值矩阵,确保与Cs_net的采样矩阵相同。

      表2为TVAL3和Cs_net的仿真结果。与表1中的结果对比可以看出,Cs_net二值化后的重构效果明显逊于未二值化的重构效果。这是因为−1和1的二值化矩阵与浮点矩阵相比,其对特征的表达能力和拟合能力更弱,所以二值化后的矩阵在采样时降低了网络整体的学习能力。从表2中可以得出:Cs_net在所有的采样率下均优于TVAL3算法;且在极低采样率下,Cs_net的优势更加明显,二者之间的差值高达$2.07\; {\rm{dB}}$。同时,Cs_net相比于TVAL3能更稳定地重建出图像,随着采样率从0.2降低至0.015,Cs_net重建出来的图像平均PSNR差别仅为$2.102 \; {\rm{dB}}$,而TVAL3平均PSNR降低了$3.805 \; {\rm{dB}}$,这是因为通过训练所得的Cs_net相比于传统的TVAL3算法具有更好的鲁棒性,在低采样率下也能稳定地重建图像。

      表 2  不同采样率下TVAL3与Cs_net的重建结果对比 (PSNR/dB)

      Table 2.  Reconstruction result of TVAL3 and Cs_net at different sampling rates (PSNR/dB)

      ImagesMethodsMR=0.015MR=0.04MR=0.1MR=0.2
      BirdTVAL313.17313.51513.56113.644
      Cs_net15.23915.46615.64815.668
      CameramanTVAL317.06221.87624.07221.924
      Cs_net20.11121.11322.44722.575
      HeadTVAL317.74517.71618.06419.414
      Cs_net19.76419.8920.18920.247
      MonarchTVAL316.63821.39522.84420.957
      Cs_net18.75320.53922.79923.174
      PeppersTVAL319.69519.90821.93027.399
      Cs_net20.80221.95823.73523.514
      MeanTVAL316.86318.88220.09420.668
      Cs_net18.93419.79320.96421.036
    • 用光子计数成像系统来评估Cs_net的消除块状化的能力。在模拟实验中使用灰度图片作为测试图片,在真实的系统实验中使用掩膜板作为成像目标,该掩膜板为“组合图案”,如图6所示。在实际实验中采用微镜组合方案[3],设置整个DMD镜的成像分辨率为$64 \;\times 64 \;{\rm{pixel}}$,将整个DMD镜面分成$2 \times 2$部分,对分辨板实现卷积采样。在实验中将DMD的翻转频率设置为两次/s,在对比实验中所设置的采样率分别为0.015、0.04、0.1和0.2,对应不同采样率下的采样时间为32 s、82 s、206 s和420 s。选择TVAL3进行对照实验。由于难以获得DMD上的原始图像,故选择无参考评测指标对其性能进行评测。

      图  6  传统算法与所提出的方法在光子计数成像系统中的结果对比

      Figure 6.  Comparison of the results of the traditional algorithm and the proposed method in the photon counting imaging system

      图6可知,在所有采样率时,使用TVAL3重构都存在十字形块状化,而Cs_net即使在低采样率下也不存在“虚假边界”且重建图像的边缘分辨率更高。从上述对照组实验中可以得出,Cs_net相比于TVAL3具有十分显著的去块状化效果。

    • 针对基于深度学习的压缩采样和重建网络利用全连接层进行高分辨图像的分块压缩感知时,重建图像会产生块状效应的问题,提出了Os_net、Ns_net和Cs_net等三种方法用以取代传统的全连接层采样。在重建网络的设计中,使用线性映射网络对图像进行重建。第一步,设计实验对比了Fc_net、Os_net、Ns_net和Cs_net 四种采样网络,实验结果表明,Cs_net相较于其他三种采样网络具更好的去块状化效果。第二步,将Cs_net进行二值化,模拟实验表明,在相同的实验条件下二值化的Cs_net重建质量比传统重建算法提升了$0.368\; \sim 2.071 \;{\rm{dB}}$ ,紧接着将其应用于光子计数单像素成像系统进行实际实验,结果表明,Cs_net除块状化明显优于TVAL3,且Cs_net在重建质量上也同样取得了较好的效果。

参考文献 (26)

目录

    /

    返回文章
    返回