2023年10月27日，我校生命科学与技术学院丁明跃教授和张旭明副教授在国际著名期刊《IEEE Transactions on Medical Imaging》上发表了题为 “F-DARTS: Foveated Differentiable Architecture Search Based Multimodal Medical Image Fusion”的研究论文。

近年来，超声、CT、MRI、PET和SPECT等成像技术取得长足进步，并广泛应用于疾病诊断和治疗等领域，但单一模态成像技术存在各自不足。例如，MRI对骨骼和钙化灶的结构显示不佳，而CT软组织对比度差。多模医学图像融合（Multimodal Medical Image Fusion, MMIF）可将不同模态医学图像合成为一个更加综合和全面的图像，由此提高医学诊断的准确性和可靠性，提升治疗效果和降低治疗风险。

MMIF作为医学图像处理技术的核心之一，近年来得到了广泛关注和深入研究。然而，传统MMIF方法受图像变换和融合策略等因素的影响，难以提供令人满意的融合精度和鲁棒性，而现有基于深度学习的融合方法则很难确保良好的融合效果，原因在于它们采用了人工设计的网络结构和形式单一的损失函数，同时在融合过程中忽略了人眼视觉特性。

针对上述问题，研究团队提出了基于凹式可微分架构搜索（Foveated Differentiable Architecture Search，F-DARTS）的无监督MMIF方法。该方法首次将人眼视觉特性引入网络权重学习过程中，结合基于互信息、结构相似性和边缘保护值的无监督损失函数，最终借助F-DARTS自动搜索最优编码-解码网络构架，由此实现多模医学图像的有效融合。在MR，CT和SPECT等影像数据上的实验结果表明：与传统融合方法及基于深度学习的融合方法相比，基于F-DARTS的融合方法不仅在互信息、边缘保护、伪影、视觉感知等十项客观指标上具有明显优势，而且可有效融合源图像的细节信息，融合结果对比度高，伪影少，在病变监测、临床诊断及手术导航等领域具有广阔的应用前景。目前，该方法已在团队研发的基于多模信息融合的手术导航设备中得到应用。

图1 基于F-DARTS的多模医学图像融合框架

18luck新利电竞 生命科学与技术学院已毕业硕士叶少壮和王拓为论文共同第一作者，张旭明副教授为论文通讯作者。该工作得到国家重点研发计划项目（2018YFE0206900）的资助。

原文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10145413