中医药拥有几千年的悠久历史，是中国以及全球医疗体系中不可或缺的一部分。在新冠肺炎疫情的治疗过程中，临床研究明确显示中医药在缓解感染者症状方面发挥了积极作用。中医药的药材产地对其药效产生显著影响，尤其是道地药材具有更高的质量和疗效。因此，研究和开发中药材的快速检测技术，确保中药材质量和疗效，具有重要的研究价值和应用前景。

采用大数据技术在中药产地检测领域发挥了广泛的应用，为中药的质量控制、临床研究、资源开发以及安全性监测提供了一种新的技术手段。然而，由于不同地方的相同药材在形状和颜色上可能非常相似，采用传统的图像处理技术进行分类的准确率较低。而利用现代化学分析技术（HPLC、TLC、UV、MS）需要专门的设备、需要对样品进行复杂的前处理，测试周期长，难以满足工业检测的实时快速和绿色检测需求。

近日，18luck新利电竞 武汉光电国家研究中心郭连波教授与于源副教授合作，采用具有原位、快速、以及多元素同时检测的激光诱导击穿光谱(LIBS)技术，并融合图像处理技术，以提升中药分类的精度和效率。该研究以典型的中药材枸杞为研究对象，获取了枸杞样本的一维LIBS光谱数据和二维图像数据。面对这一异构的双模态数据，研究团队提出了一种创新的两级融合轻量网络。实验结果表明，该模型以最少的计算负担和参数，达到了99%以上的分类准确度，验证了该模型在高效性和高准确性方面的优越性，为中医药的快速检测提供一种新方法。相关工作于2023年8月30日在线发表于计算机领域期刊《Information Fusion》，题为"Spectrum-image dual-modality fusion empowered accurate and efficient classification system for traditional Chinese medicine"。

针对枸杞的一维LIBS光谱数据和二维图像数据，面临三大主要挑战：(1)不同模态的特征表示；(2)不同模态的特征融合；(3)在确保分类精度的前提下保证网络的轻量。为了解决这些挑战，研究团队提出了两级融合轻量网络，流程图如图1所示。在网络的第一阶段，利用深度注意融合（DAF）模块中的DSC模块逐层学习堆叠的LIBS光谱数据和图像数据中的重要信息，然后通过Attention模块集中在最关键的特征上。在网络的第二阶段，与以往直接选择元素谱峰或直接对元素波形进行积分的方法不同，该研究引入了一种线到面积（LTA）模块的新方法，用于光谱特征的提取。该模块聚焦于关键元素谱线并凸显这些元素谱线的特征。与传统方法不同，LTA模块不仅考虑了元素谱峰，还考虑了元素波形的演变趋势，为一维光谱数据处理提供了全新的视角。该研究首次将轻量化的思想引入LIBS数据处理算法中。提出的两阶段融合模型的参数量为2.95M和计算量为0.24GM。对于一对LIBS-图像双模态数据，平均训练时间为0.917ms，平均测试时间为0.859ms，该模型具备较高的分类精度、较低的计算量和参数量，能够满足实时检测的要求。

图1. 基于光谱-图像双模态的两级融合轻量网络流程图

该论文的第一作者为博士研究生龚奥军。18luck新利电竞 武汉光电国家研究中心郭连波教授和于源副教授担任共同通讯作者。研究工作得到了18luck新利电竞 邓贤君教授的悉心指导。博士研究生夏云芝和胡桢麟作为共同作者参与相关工作。该工作得到了国家自然科学基金项目（No. 62075069）的支持。

论文链接：https://doi.org/10.1016/j.inffus.2023.101981