留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

平行因子法因子数目选择流程改进设计与验证

刘文雅 田兆硕 崔子浩 毕宗杰 付石友

刘文雅, 田兆硕, 崔子浩, 毕宗杰, 付石友. 平行因子法因子数目选择流程改进设计与验证[J]. 红外与激光工程, 2021, 50(S2): 20210362. doi: 10.3788/IRLA20210362
引用本文: 刘文雅, 田兆硕, 崔子浩, 毕宗杰, 付石友. 平行因子法因子数目选择流程改进设计与验证[J]. 红外与激光工程, 2021, 50(S2): 20210362. doi: 10.3788/IRLA20210362
Liu Wenya, Tian Zhaoshuo, Cui Zihao, Bi Zongjie, Fu Shiyou. Design and verification of improved factor number selection process for parallel factor algorithm[J]. Infrared and Laser Engineering, 2021, 50(S2): 20210362. doi: 10.3788/IRLA20210362
Citation: Liu Wenya, Tian Zhaoshuo, Cui Zihao, Bi Zongjie, Fu Shiyou. Design and verification of improved factor number selection process for parallel factor algorithm[J]. Infrared and Laser Engineering, 2021, 50(S2): 20210362. doi: 10.3788/IRLA20210362

平行因子法因子数目选择流程改进设计与验证

doi: 10.3788/IRLA20210362
详细信息
    作者简介:

    刘文雅,女,硕士生,主要从事荧光光谱分析方面的研究工作

    田兆硕,男,教授,博士,主要从事激光光谱分析方面的研究工作

  • 中图分类号: O657.3

Design and verification of improved factor number selection process for parallel factor algorithm

  • 摘要: 针对平行因子算法在分解三维荧光光谱中存在的模型因子数目选择流程不明确的问题,提出了核心对角矩阵-核一致函数-恒波长残差图这一改进因子数目选择流程。自行编写改进平行因子分析算法,以腐植酸作为检测物质验证该因子数目选择流程的准确性。结果表明,结合改进流程,在激发光和发射光分别在350~450 nm/350 ~620 nm、因子数为4时,核心对角矩阵分布满足需求,核一致函数为52%,在标准区间内,拟合图残差最小,分解效果最优。相较于使用单一方法进行判断,上述组合选择流程逻辑性更强,准确性更高,在实际应用中可以快速确定因子数目。4个因子分别是两个位于为360~370 nm/450~500 nm和350~360 nm/450~500 nm的类腐植酸A类因子、一个位于365~375 nm/475~525 nm的类腐植酸C类因子、一个位于380~390 nm/475~525 nm处的土壤富里酸因子,同时通过分析不同浓度腐植酸的溶液,发现当浓度由20 mg/L增至200 mg/L时,因子的组成和贡献率差别不大,即浓度变化并未改变溶液性质。
  • 图  1  平行因子应用流程

    Figure  1.  Parallel factor application process

    图  2  模型判断流程

    Figure  2.  Model judgment process

    图  3  检测系统设计与实物图

    Figure  3.  Design and physical diagram of detection system

    图  4  不同因子模型的核心阵分布

    Figure  4.  Core matrix distribution of different factor models

    图  5  因子数为4和5时的恒波长残差图

    Figure  5.  Constant wavelength residual diagram with factor numbers of 4 and 5

    图  6  不同浓度下各因子贡献率

    Figure  6.  Contribution rate of each factor under different concentrations

    表  1  核一致函数数值变化

    Table  1.   Numerical change of kernel consistent function

    Factor numbers23456
    Numerical value84%73%56%51%24%
    下载: 导出CSV

    表  2  腐植酸因子分布

    Table  2.   Distribution of humic acid factors

    Excitation wavelength/nmEmission wavelength/nm
    360-370 450-500
    350-360 450-500
    365-375 475-525
    380-390 475-525
    下载: 导出CSV
  • [1] Huang Yao, Zhao Nanjing, Meng Deshuo, et al. Study on quantitative methods of laser-induced two-dimensional fluorescence spectroscopy of multicomponent PAHs in soils [J]. Chinese Optics, 2020, 13(6): 1401-1410. doi:  10.37188/CO.2020-0059
    [2] Geng Zihai, Cai Jinsheng, Jiang Yubiao. Flow visualization technique of laser induced fluorescence in water tunnel for flow separation and vortex structure [J]. Infrared and Laser Engineering, 2019, 48(7): 0706006. (in Chinese)
    [3] Chen Peng, Mao Zhihua, Tao Bangyi, et al. Development of laser fluorometer system for CDOM measurements [J]. Infrared and Laser Engineering, 2018, 47(9): 0903004.
    [4] Gu Yanhong, Zuo Zhaolu, Zhang Zhenzhen, et al. Algorithmic study of total petroleum hydrocarbons in contaminated soilby three-dimensional excitation-emission matrix fluorescence spectroscopy [J]. Chinese Optics, 2020, 13(4): 852-865. doi:  10.37188/CO.2019-0216
    [5] Qian Chen, Wang Longfei, Chen Wei, et al. Fluorescence approach for the determination of fluorescent dissolved organic matter [J]. Analytical Chemistry, 2017, 89(7): 4264-4271. doi:  10.1021/acs.analchem.7b00324
    [6] Wen Fangqing, Mao Chenxing, Zhang Gong. Direction finding in MIMO radar with large antenna arrays and nonorthogonal waveforms [J]. Digital Signal Processing, 2019, 94: 75-83. doi:  10.1016/j.dsp.2019.06.008
    [7] Li Yang. Fast PARAFAC decomposition with application to polarization sensitive array parameter estimations [J]. Journal of Systems Engineering and Electronics, 2018, 29(4): 714-722. doi:  10.21629/JSEE.2018.04.06
    [8] Kirubanandasarathy Nageswaran, Karthikeyan Nagarajan, Ra-masubramanian Bandiya. A novel algorithm for hyperspectral image denoising in medical application [J]. Journal of Medical Systems, 2019, 43(9): 291. doi:  10.1007/s10916-019-1403-5
    [9] Feng Long, Bi Xuan, Zhang Heping. Brain regions identified as being associated with verbal reasoning through the use of imaging regression via internal variation [J]. Journal of the American Statistical Association, 2021, 116(533): 144-158. doi:  10.1080/01621459.2020.1766468
    [10] Ledyardr Tucker. Some mathematical notes on three-mode factor analysis [J]. Psychometrika, 1966, 31(3): 279-311. doi:  10.1007/BF02289464
    [11] Yu Jinlan, Xiao Kang, Xue Wenchao, et al. Excitation-emission matrix (EEM) fluorescence spectroscopy for characterization of organic matter in membrane bioreactors: Principles, methods and applications [J]. Frontiers of Environmental Science & Engineering, 2020, 14(2): 52-70.
  • [1] 贺文静, 胡坚, 陈育伟, 潘苗苗, 朱运维, 何锐斌, 李传荣.  共孔径主被动高光谱三维成像实时处理框架 . 红外与激光工程, 2021, 50(2): 20200249-1-20200249-9. doi: 10.3788/IRLA20200249
    [2] 张宗华, 于瑾, 高楠, 孟召宗.  高反光表面三维形貌测量技术 . 红外与激光工程, 2020, 49(3): 0303006-0303006-13. doi: 10.3788/IRLA202049.0303006
    [3] 林子杰, 徐剑, 程亚.  激光辅助三维金属微打印(特邀) . 红外与激光工程, 2020, 49(12): 20201079-1-20201079-17. doi: 10.3788/IRLA20201079
    [4] 李勇, 张广汇, 马利红, 应晓霖, 姚建云.  条纹投影动态三维表面成像技术综述 . 红外与激光工程, 2020, 49(3): 0303005-0303005-13. doi: 10.3788/IRLA202049.0303005
    [5] 刘波, 赵娟莹, 眭晓林, 曹昌东, 颜子恒, 吴姿妍.  阵列分束激光三维成像技术 . 红外与激光工程, 2019, 48(6): 606001-0606001(6). doi: 10.3788/IRLA201948.0606001
    [6] 陈妮, 左超, Byoungho Lee.  基于深度测量的三维成像技术 . 红外与激光工程, 2019, 48(6): 603013-0603013(25). doi: 10.3788/IRLA201948.0603013
    [7] 丁超, 唐力伟, 曹立军, 邵新杰, 邓士杰.  深孔内表面结构光三维重构 . 红外与激光工程, 2018, 47(11): 1117004-1117004(7). doi: 10.3788/IRLA201847.1117004
    [8] 赵亚龙, 刘守起, 张启灿.  GPU加速三维面形测量 . 红外与激光工程, 2018, 47(3): 317003-0317003(7). doi: 10.3788/IRLA201847.0317003
    [9] 李斌, 陈佳夷, 王海超, 霍腾飞, 李新华.  面型误差和失调量对同轴三反系统像质的影响 . 红外与激光工程, 2018, 47(9): 918002-0918002(7). doi: 10.3788/IRLA201847.0918002
    [10] 卢纯青, 宋玉志, 武延鹏, 杨孟飞.  基于TOF计算成像的三维信息获取与误差分析 . 红外与激光工程, 2018, 47(10): 1041004-1041004(7). doi: 10.3788/IRLA201847.1041004
    [11] 刘俭, 谷康, 李梦周, 谭久彬.  光学显微三维测量解耦合准则 . 红外与激光工程, 2017, 46(3): 302001-0302001(7). doi: 10.3788/IRLA201746.0302001
    [12] 姜红, 范烨, 王嘉庚, 陈煜太, 郭鹏, 满吉, 杨敏男, 钟宇.  X射线荧光光谱法检验橡胶鞋底的研究 . 红外与激光工程, 2017, 46(10): 1023002-1023002(6). doi: 10.3788/IRLA201791.1023002
    [13] 陈超, 於燕琴, 黄淑君, 刘晓利, 徐静, 张宗华.  三维小视场成像系统 . 红外与激光工程, 2016, 45(8): 824002-0824002(6). doi: 10.3788/IRLA201645.0824002
    [14] 陈善静, 康青, 顾忠征, 王正刚, 沈志强, 蒲欢, 辛颖.  基于三维GMRF的高光谱图像空天融合目标检测 . 红外与激光工程, 2016, 45(S2): 132-139. doi: 10.3788/IRLA201645.S223003
    [15] 沈同圣, 史浩然, 娄树理, 李召龙.  填充因子对微扫描系统成像质量影响分析 . 红外与激光工程, 2015, 44(8): 2292-2297.
    [16] 范俊叶, 尹博超, 王文生.  双曝光数字全息三维变形测试 . 红外与激光工程, 2014, 43(5): 1582-1586.
    [17] 胡晓彤, 王建东.  基于子空间特征向量的三维点云相似性分析 . 红外与激光工程, 2014, 43(4): 1316-1321.
    [18] 郭方, 练国富, 张宁.  复眼三维目标定位精度分析 . 红外与激光工程, 2014, 43(12): 4088-4093.
    [19] 朱宇峰, 石峰, 刘术林, 张妮, 聂晶, 张太民, 刘晓健, 钱芸生.  防离子反馈MCP噪声因子测试与分析 . 红外与激光工程, 2013, 42(2): 499-502.
    [20] 孙阳, 闫锋, 薛栋林, 王孝坤, 张学军.  太阳同步椭圆轨道偏流角分布规律与像质分析 . 红外与激光工程, 2013, 42(3): 767-773.
  • 加载中
图(6) / 表(2)
计量
  • 文章访问数:  66
  • HTML全文浏览量:  34
  • PDF下载量:  8
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-06-02
  • 修回日期:  2021-07-05
  • 刊出日期:  2021-11-02

平行因子法因子数目选择流程改进设计与验证

doi: 10.3788/IRLA20210362
    作者简介:

    刘文雅,女,硕士生,主要从事荧光光谱分析方面的研究工作

    田兆硕,男,教授,博士,主要从事激光光谱分析方面的研究工作

  • 中图分类号: O657.3

摘要: 针对平行因子算法在分解三维荧光光谱中存在的模型因子数目选择流程不明确的问题,提出了核心对角矩阵-核一致函数-恒波长残差图这一改进因子数目选择流程。自行编写改进平行因子分析算法,以腐植酸作为检测物质验证该因子数目选择流程的准确性。结果表明,结合改进流程,在激发光和发射光分别在350~450 nm/350 ~620 nm、因子数为4时,核心对角矩阵分布满足需求,核一致函数为52%,在标准区间内,拟合图残差最小,分解效果最优。相较于使用单一方法进行判断,上述组合选择流程逻辑性更强,准确性更高,在实际应用中可以快速确定因子数目。4个因子分别是两个位于为360~370 nm/450~500 nm和350~360 nm/450~500 nm的类腐植酸A类因子、一个位于365~375 nm/475~525 nm的类腐植酸C类因子、一个位于380~390 nm/475~525 nm处的土壤富里酸因子,同时通过分析不同浓度腐植酸的溶液,发现当浓度由20 mg/L增至200 mg/L时,因子的组成和贡献率差别不大,即浓度变化并未改变溶液性质。

English Abstract

    • 荧光光谱分析技术因其灵敏度高、重复性好、数据充足的特点在水质分析及相关领域得到许多科研工作者的青睐[1-3]。但是由于信息过于复杂,需要借助平行因子分析算法[4]将复杂物质的三维荧光光谱分解为多个代表因子荧光团。该算法将荧光信号分解为相对独立的荧光因子而加以鉴别,从而提高了准确性。平行因子分析算法最早应用于心理学研究中,是一种基于三线性分解和交替最小二乘原理的高维张量分解算法。在分析三维荧光光谱过程中,平行因子分析算法通过建立因子模型来确定各个荧光组分峰的位置,避免了主观因素的影响,简化了分析过程,提高了分析的灵敏度,完成了对物质内部组成的分析。在包括水质检测[5]、信号处理[6]、数值分析[7]、医疗卫生[8]、图像分析[9]等多个领域得到应用。一般来说,因子数目只和物质内部组成有关,不受激发光和其他外界因素的影响,因此可以反映物质内部组成,因子数目过少,则会分解不完全,造成大部分信息损失,因子数目过多,则会造成因子冗余,因此确定合适的因子数目模型是该技术的关键。由于平行因子分析模型复杂度较高,因此可以从多个方面对因子数目进行选择,如残差分析法、核一致诊断法、负载曲线判断法等[10]。但由于各类因子数目选择标准的评价侧重点不一致,甚至在实际应用中会存在不同的选择标准给出的结果不同的现象,目前大多数研究中仅使用某一种方法来进行因子数目的选择,或使用多种因子数目选择方法,但使用流程不统一。针对平行因子法应用过程中存在的因子数目选择流程不明确的问题,文中提出了一种针对因子数目选择的改进流程。为验证该流程的准确性,分析浓度变化对溶液性质的影响,由于腐植酸在固定激发和发射波长作用下的因子分析结果已知,在室温下利用优级纯的腐植酸试剂配置了不同浓度的溶液,利用自行搭建的系统结合改进平行因子分析算法,实现对水中腐殖质的检测。

    • 在数据上,平行因子分析法(Parallel Factor analysis, PARAFAC)将三维数据矩阵X分解为三个载荷矩阵,ABC,且每个矩阵都具有实际的物理意义[11]。具体见公式(1):

      $$ {\boldsymbol{X}_{{ijk}}} = \sum\limits_{f = 1}^{{F}} {{{a}_{{if}}}} {{b}_{{jf}}}{{c}_{{kf}}} + {{\varepsilon }_{{ijk}}} $$ (1-1)

      式中:${\boldsymbol{X}}_{{ijk}}$为第i个样品在发射波长j、激发波长k处的荧光强度;${{a}}_{{if}}$为负载矩阵A的元素,和第f个组分占样品总浓度的比例有关;${{b}}_{{jf}}$为负载矩阵矩阵B的元素,和第f个组分在发射波长j处的荧光量子效率相关;${{c}}_{{kf}}$为负载矩阵C的元素,和第f个组分在激发波长k处的荧光量子效率相关;${{\varepsilon}}_{{ijk}}$为第i个样品在发射波长j、激发波长k处不符合三线性分解的数据。

    • 文中自行设计了平行因子分析算法,实现流程如图1所示。

      图  1  平行因子应用流程

      Figure 1.  Parallel factor application process

      为了建立符合三线性分解的模型,首先需要保证所分析的数据符合三线性分解理论,其次进行离群点分析,去除对于模型影响过大的数据点或者波段。借助各种模型评价方法对各个因子下的模型进行判断。获得最优模型后,利用半分法验证模型的正确性,最后利用因子分解模块将所获得的因子导出,和由之前的科研工作者所探索出的标准物质表进行对比,最终得出因子所代表的物质,从而实现对复杂物质的分解。

    • 常见的因子数目选择标准有核心对角矩阵法、核一致函数法、恒波长残差值等。确定一个合适的模型评价流程使分解的模型准确性最优十分关键。从限制条件来看,核心对角阵要求核心阵的对角线元素应该为1,其余数值应该接近于0,条件相对宽松,因此将核心对角矩阵法作为评价标准的第一项。核一致函数法认为当核一致函数的数值在50%~60%时分解模型较为准确,该方法进一步缩小了因子数目的范围,若存在多个因子数目的模型都满足上述条件,可以通过观察拟合谱图与原始谱图的恒波长残差谱线来确认最终的分解模型。对于每一个因子数的模型,判断其模型是否符合要求的具体流程如图2所示。

      图  2  模型判断流程

      Figure 2.  Model judgment process

      不同于传统的利用单一方法进行因子数目的选择,上述组合方法可靠性更强。若存在多个因子数目的模型都满足上述条件,为了使模型更加简洁,应使用因子数目较少的模型。

    • 从检测水中腐殖质的实际需求出发进行三维荧光光谱检测系统的设计与搭建。结合检测的实际需求,双光栅单色仪工作波长为350~450 nm,光谱仪工作范围为340~650 nm,样品槽使用石英试管以保证紫外光的充分透过,系统的设计与实际组成图见图3

      图  3  检测系统设计与实物图

      Figure 3.  Design and physical diagram of detection system

    • 利用优级纯的腐植酸粉末配置浓度分别为20 mg/L、50 mg/L、100 mg/L、150 mg/L和200 mg/L共5个浓度的试剂进行检测,将不同浓度的数据进行归一化处理后导入分析程序中。借助因子数目选择流程完成对因子数目的选择,确定最优模型。因子分析中,因子数量一般不少于2个,不高于5个,腐植酸是的组成较为复杂,因此因子数上限为5。

      (1)核心对角矩阵分布

      首先获得腐植酸溶液的三维荧光光谱在因子数为2~5时的核心对角矩阵分布图。当选择因子数合适时,核心对角矩阵对角线的元素应该接近于1,其余接近于0。因子数为2~5时核心对角矩阵元素分布如图4所示。

      图  4  不同因子模型的核心阵分布

      Figure 4.  Core matrix distribution of different factor models

      经过分析发现,因子数2~5的核心阵都满足需求,即对角线元素偏向于1,其余偏向于0,当因子数目为4或5时,核心阵元素更偏向于0。需要进一步分析来判断各个因子下模型的优缺点。

      (2)核一致函数

      计算不同因子数目下模型的核一致函数数值,进一步选择模型。当核一致函数接近于100%时说明因子数目过少,接近于0时则说明因子数目过多,不同因子数目的核一致函数数值如表1所示。

      表 1  核一致函数数值变化

      Table 1.  Numerical change of kernel consistent function

      Factor numbers23456
      Numerical value84%73%56%51%24%

      表1可看出:当因子数在4或5个时,核一致函数的数值在50%~60%之间,比较符合分解要求;当因子数为2或3时,核一致函数在70%以上,函数较高,不符合分解要求;当因子数为6个或者更多时,核一致函数数值过少,且降低的幅度过少,不符合残差比较要求,因此,因子数为4和5最为合适。

      (3)恒波长残差值

      当因子数为4或5时,分析实测图和拟合图在恒波长同步荧光光谱图上的残差来进一步选择模型。因子数为4和5时恒波长残差图如图5所示。

      图  5  因子数为4和5时的恒波长残差图

      Figure 5.  Constant wavelength residual diagram with factor numbers of 4 and 5

      通过仔细比较图5(a)图5(b)所示的恒波长残差图示,当因子数为4时残差图效果图更优。

      (4)综合分析

      通过上述因子数目选择流程可以发现,核心对角矩阵法条件相对宽松,可以用来确定因子数目范围,核一致函数条件严苛,可以锁定因子数目,若存在多个因子模型的核一致函数满足要求时,需要进一步分析残差图进行比较,最后若存在多个因子数目的模型满足需求,则使用数目较少的模型以避免因子冗余。

    • 不同浓度的腐植酸溶液导出了相同的4个因子,各个因子所在区间如表2所示。

      表 2  腐植酸因子分布

      Table 2.  Distribution of humic acid factors

      Excitation wavelength/nmEmission wavelength/nm
      360-370 450-500
      350-360 450-500
      365-375 475-525
      380-390 475-525

      经过和标准物质表进行对比,可以发现上述因子分别为两个类腐植酸A类物质,一个类腐植酸C类物质,一个土壤富里酸物质。

    • 为了探索溶液浓度对因子贡献率的影响,编写分析算法来分析各个因子的相对贡献率,由于平行因子分析技术关注的样品之间相对强度的差别,因此此处因子的强度并不是绝对强度,而是相对数值,反映的是因子之间的相对差异。图6反映了浓度为20 mg/L、50 mg/L、100 mg/L、150 mg/L、200 mg/L浓度从小到大时4个因子的占比,可见尽管浓度变化,由于其溶液性质并未改变,因子的占比相近不会发生巨大的变化。

      图  6  不同浓度下各因子贡献率

      Figure 6.  Contribution rate of each factor under different concentrations

    • 文中针对平行因子分析法因子数目选择流程不明确的问题提出了由核心对角阵-核一致函数-恒波长残差图组成的选择流程,利用自行搭建的三维荧光光谱检测系统和自行编写的平行因子分析算法对水中腐殖质进行研究以验证模型的准确性。经过分析,该流程利用核心对角矩阵法确定了因子数目的范围,进一步利用核一致函数限制因子数目,最后若存在多个因子数目都满足上述要求,则使用残差图法进行对比,相较于之前单一的因子数目选择方法逻辑性更强,在实际应用中效果更好。研究结果表明,在室温下对优级纯的腐植酸溶液进行分析,当因子数为4时,核心对角矩阵分布满足需求,核一致函数数值为52%,残差数值最小,相较于其他因子数目模型拟合效果最优。因此确定在激发光和发射光分别在350~450 nm/350 ~620 nm时,共分解出4个因子,第一类因子的峰值的激发波长与发射波长分别位于360~380 nm/450~500 nm,这是典型的类腐植酸A类物质所在的区域,一般与腐殖质内部结构中的羧基与羰基有关。第二类因子峰值的激发波长与发射波长分别位于380~420 nm/475~525 nm,这是典型的土壤富里酸类物质所在的区域,一般是腐殖质内部中萘类有机质引起的。第三类因子峰值的激发波长与发射波长分别位于390~410 nm/475~500 nm,这是典型的类腐植酸C类物质所在的区域一般是腐殖质内部中还原性醌类物质引起的。且不同浓度下各个因子贡献率变化不大,即尽管溶液浓度发生了很大变化,但溶液的性质本身没有改变。

参考文献 (11)

目录

    /

    返回文章
    返回