1.本发明涉及医学图像处理领域，尤其涉及一种基于类不平衡与多级降采样特征融合的蜂窝肺分割算法。
背景技术：
2.蜂窝肺是一种致死率高、隐匿性强且具破坏性的弥漫性肺疾病，其在ct图像表现为部分肺间质蜂窝状且高密度影。该疾病的病变累及肺泡腔和肺间质，持续性的肺泡上皮损伤引发肺部纤维化，导致肺部发生不可逆转的损伤。由于其病情进展速度较快，会造成病患的肺功能持续下降、呼吸功能衰竭，发病率和患病率分别在每万人0.09-1.30和0.33-4.51，患者五年生存率不足30％，急性加重后的中位生存期仅2个月左右。因此，早期病理的精确诊断对于患者的预后和治疗选择至关重要。通过计算机断层扫描(ct)、磁共振(mri)、超声成像等医学成像手段获取的器官组织图像能够客观反映病变情况。
3.目前，临床上对蜂窝肺疾病的诊断多数依靠专业放射科医生完成，对患者的肺部ct图像分析肺部是否发生病变。随着临床影像数据的大量增加，我国放射科专业医生相较庞大的人口数量出现严重短缺；在病情诊断过程中，专业医生根据已具备的知识经验对ct图像进行人工肉眼识别，但大量的脑力劳动与长时间的工作容易产生视觉疲劳和视觉误差，导致诊断结果具有较高的主观性，甚至出现误诊、漏诊的情况，从而增加病患后期治疗的难度。因此，利用图像分割方法对肺部病灶进行自动分割，辅助医生对患者的病情程度进行精准诊断，提高医生在诊疗中的准确率和阅片效率，从而为指导临床决策和预后治疗提供合适的方案，具有十分重要的临床价值。
4.近年来，得益于深度学习强大的特征表达能力和对复杂任务建模能力，基于cnn的方法广泛地用于医学图像处理领域，尤其是编码器-解码器结构的u型卷积神经网络，在医学图像分割方面取得了显著的性能。ronneberger等人采用“全卷积”的思想，首次提出一种用于医学影像分割的编码器-解码器网络模型——unet，使用跳跃连接将上采样阶段的高级特征与下采样阶段的低层特征融合，在三个医学数据集上获得较好的分割结果。为了获取更精确的边缘信息，alom等人提出一种基于循环神经网络的r2u-net模型，使用循环残差卷积层进行特征积累，该网络在保证网络参数量不变的同时，还能在视网膜分割任务中表现出更好的性能。chen等人提出encoder-decoder结构的deeplabv3 模型，利用空洞卷积、空间金字塔池化增大图像感受野，提取更加丰富的上下文信息。chen等人提出transunet网络用于多器官的分割，使用vit替代普通卷积块作为分割网络的编码器基础模块，利用transformer优秀的全局信息建模能力，实现病灶部位的精确定位。zhao等人将脸部与手部的纹理、颜色特征图输入transformer模型学习感兴趣区域的深度特征，辅助医生完成脑卒中疾病的检测。这些网络通过在特征提取、边界分割等方面进行改进，均能达到较好的分割效果。但与unet网络相比，模型的参数量却呈现千万级的上升。模型参数量的暴增容易导致网络特征冗余，浪费过多的计算资源，不利于医院对模型进行轻量化部署。
5.在医学图像处理领域中，基于unet的医学图像分割网络已经取得了令人满意的分
割效果，但unet网络模型忽略了跳连结构中上下文特征差距的问题。为解决医学图像不同尺度的问题，ibtehaz等人提出multiresunet网络用于皮肤病的分割，将融合残差思想的残差路径块引入unet网络的跳跃连接，利用重叠的卷积块学习更多的细节特征，提高训练效果。同样，sharp u-net应用锐化的卷积核生成中间特征图代替u型网络中的跳跃连接，解决语义差距导致的过分割问题，在肺、新冠病毒感染等数据集上表现出更佳的分割性能。hda-resunet网络采用通道注意力机制处理来自编码器的低层语义信息，从通道的角度强化特征图中重要信息的表示，解决网络中多尺度信息缺失的问题。在unet的基础上，unet 采用改进的密集跳跃连接融合不同层次的特征信息，减小编码器与解码器特征图之间的语义差距。同样地，基于编码器-解码器结构的ca-net联合空间注意力和尺度注意模块重新校准通道特征响应，增强跳跃连接阶段相关特征通道的表达。然而，现有工作主要采用卷积模块堆叠、基于通道与空间的注意力机制等方式提高特征提取能力以优化跳跃连接，并未考虑尺度方向与目标特征的相关性。
6.在解决某项具体的影像任务中，数据集的优劣不仅会直接影响分割结果，更依赖于具有指向性的某种特定策略。若不考虑数据的特异性，盲目选取分割模型对蜂窝肺病灶进行分割，容易出现分割效果达不到预期。在医院采集的蜂窝肺ct图像数据中包含不同的病人，不同方向的肺部横切面中病灶面积也不尽相同，每张图像中病灶面积大小与图像背景的比例相差较大，因此该数据集存在类别不平衡的问题。
7.因此，提出一种基于类不平衡与多级降采样特征融合的蜂窝肺分割算法，其能够在增加少量模型参数量的基础上，提高模型的分割精度的问题，是本领域技术人员亟需解决的问题。
技术实现要素：
8.有鉴于此，本发明提供了一种基于类不平衡与多级降采样特征融合的蜂窝肺分割算法，可以达到在增加少量模型参数量的基础上，提高模型的分割精度的效果。
9.为了实现上述目的，本发明采用如下技术方案：
10.一种基于类不平衡与多级降采样特征融合的蜂窝肺分割方法，包括以下步骤：
11.s1获取多幅蜂窝肺ct图像，并划分训练集和测试集；
12.s2构建蜂窝肺分割网络模型；
13.s3利用训练集对s2中的蜂窝肺分割网络模型进行训练，得到训练好的蜂窝肺分割网络模型；
14.s4将测试集输入至s3中训练好的蜂窝肺分割网络模型，得到分割后的蜂窝肺ct图像。
15.上述的系统，可选的，s1中，将获取的多幅蜂窝肺ct图像的前80％划分为训练集，后20％划分为测试集。
16.上述的系统，可选的，s2的具体内容为：
17.构建包含5个编码器与4个解码器的以unet为主干网络的模型，在跳跃连接部分的第一通路添加第一ca模块，在跳跃连接部分的第二通路添加第二ca模块；在跳跃连接的第三通路添加第一下采样特征融合模块，在跳跃连接的第四通路添加第二下采样特征融合模块。
18.上述的系统，可选的，在s2中的第一ca模块和第二ca模块分别从蜂窝肺ct图像的高、宽两个方向对特征的空间与位置信息进行增强；
19.具体包括以下步骤：
20.1)沿着低级特征图的垂直与水平方向单独编码分别生成两个单独的方向位置编码特征图，完成输入特征至一维特征映射的转化并对其采取全局平均池化操作；
21.2)第一ca模块和第二ca模块对空间信息编码的同时，从另一维度保存位置信息；
22.3)使用拼接操作将包含位置信息与空间特征的池化矩阵转化为一个特征映射，对其进行通道缩减的卷积与非线性的计算得到特征张量；
23.4)将获取的特征张量拆分为两个特征，分别采用两个二维卷积核传递，每个内核将通道数量增加至预设值，最后使用sigmoid函数激活；
24.5)将注意力图按顺序逐个元素与原始输入相乘，最终获得包含空间与位置信息的高级特征图。
25.上述的系统，可选的，高度g处的第x个通道的输出公式如下：
[0026][0027]
相同的，宽l处第k个通道的输出公式如下：
[0028][0029]
式中，h代表图像的高度；w代表图像的宽度；g代表某一具体值，指某高度；l代表某一具体值，指某宽度；xc代表具体的全局平均池化的操作，x、k为某一具体值，代表第x个通道和第k个通道。
[0030]
上述的系统，可选的，s2中的第三通路中的第一下采样特征融合模块为sk(1,2,3)-dffm1模块，其内部包含dffm1模块与1个1
×
1卷积，dffm1模块包含2个5
×
5卷积；
[0031]
s2中的第四通路中的第二下采样特征融合模块为sk(1,2,3,4)-dffm2模块；其内部包含dffm2与1个1
×
1卷积，dffm2模块包含3个大核卷积，分别为9
×
9、7
×
7、5
×
5卷积。
[0032]
上述的系统，可选的，dffm1模块接收来自第一通路和第二通路的特征，共包含两条通路，一侧通路采用一个5
×
5卷积层，步长为4，填充大小为2；另一侧通路使用步长为2，填充大小为2的5
×
5卷积层；
[0033]
dffm2由三条路径组成，接收第一通路中的编码器特征的第一分支采用9
×
9卷积层，步长为8，填充尺寸是2；第二分支使用步长为4，填充尺寸为3的7
×
7卷积层；第三分支使用与dffm1模块中右侧分支相同的3
×
3卷积层。
[0034]
上述的系统，可选的，s3中利用f-dloss损失函数指导蜂窝肺分割网络模型的学习过程，通过对损失方向的优化，得到训练好的蜂窝肺分割网络模型。
[0035]
经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于类不平衡与多级降采样特征融合的蜂窝肺分割方法，具有以下有益效果：1)本发明针对u型网络跳跃连接阶段存在的语义差距问题，对多条路径针对性地采取不同的特征增强模块，减少了编码器与解码器特征的信息差。2)网络跳跃连接的低级特征路径中，采用协调注意力机制对来自编码器的特征进行重新编码，从通道、位置与方向三个角度捕获特征信息，帮助模型更加
精准地定位与识别病灶区域。3)本发明考虑特征尺度方向与目标特征的相关性，在网络跳跃连接的高级特征路径中，构建一种多级降采样特征融合模块，使用多个大核卷积进行深层次特征提取，增强图像中深度隐性特征的表达，提取更具丰富性、多尺度的病灶上下文信息。4)本发明构建新型的f-dloss损失函数，减少简单、困难样本不均匀对模型损失值的影响，优化了网络训练方向。
附图说明
[0036]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0037]
图1为本发明公开的一种基于类不平衡与多级降采样特征融合的蜂窝肺分割方法流程图；
[0038]
图2为本发明公开的一种基于类不平衡与多级降采样特征融合的蜂窝肺分割模型；
[0039]
图3为本发明公开的ca模块结构图；
[0040]
图4为本发明公开的dffm1与sk(1,2,3)-dffm1模块结构图；
[0041]
图5为本发明公开的dffm2与sk(1,2,3,4)-dffm2模块结构图；
[0042]
图6为本发明公开的基于区域的dice loss示意图；
[0043]
图7为本发明公开的训练网络的训练集与测试集损失及iou值统计图；
[0044]
图8为本发明公开的网络的跳连阶段添加ca模块与cfb模块的分割效果图；
[0045]
图9为本实施例公开的不同α取值的f-dloss函数对模型评价指标iou的影响统计图；
[0046]
图10为本实施例公开的多种分割网络分割效果图。
具体实施方式
[0047]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0048]
在本技术中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0049]
为了实现上述目的，本发明采用如下技术方案：
[0050]
参照图1所示，本发明公开了一种基于类不平衡与多级降采样特征融合的蜂窝肺
分割方法，包括以下步骤：
[0051]
s1获取多幅蜂窝肺ct图像，并划分训练集和测试集；
[0052]
s2构建蜂窝肺分割网络模型；
[0053]
s3利用训练集对s2中的蜂窝肺分割网络模型进行训练，得到训练好的蜂窝肺分割网络模型；
[0054]
s4将测试集输入至s3中训练好的蜂窝肺分割网络模型，得到分割后的蜂窝肺ct图像。
[0055]
上述的系统，可选的，s1中，将获取的多幅蜂窝肺ct图像的前80％划分为训练集，后20％划分为测试集。
[0056]
进一步的，参照图2所示，s2的具体内容为：
[0057]
构建包含5个编码器与4个解码器的以unet为主干网络的模型，在跳跃连接部分的第一通路添加第一ca模块，在跳跃连接部分的第二通路添加第二ca模块；在跳跃连接的第三通路添加第一下采样特征融合模块，在跳跃连接的第四通路添加第二下采样特征融合模块。
[0058]
进一步的，在s2中的第一ca模块和第二ca模块分别从蜂窝肺ct图像的高、宽两个方向对特征的空间与位置信息进行增强；
[0059]
具体包括以下步骤：
[0060]
1)沿着低级特征图的垂直与水平方向单独编码分别生成两个单独的方向位置编码特征图，完成输入特征至一维特征映射的转化并对其采取全局平均池化操作；
[0061]
2)第一ca模块和第二ca模块对空间信息编码的同时，从另一维度保存位置信息；
[0062]
3)使用拼接操作将包含位置信息与空间特征的池化矩阵转化为一个特征映射，对其进行通道缩减的卷积与非线性的计算得到特征张量；
[0063]
4)将获取的特征张量拆分为两个特征，分别采用两个二维卷积核传递，每个内核将通道数量增加至预设值，最后使用sigmoid函数激活；
[0064]
5)将注意力图按顺序逐个元素与原始输入相乘，最终获得包含空间与位置信息的高级特征图。
[0065]
进一步的，高度g处的第x个通道的输出公式如下：
[0066][0067]
相同的，宽l处第k个通道的输出公式如下：
[0068][0069]
式中，h代表图像的高度；w代表图像的宽度；g代表某一具体值，指某高度；l代表某一具体值，指某宽度；xc代表具体的全局平均池化的操作，x、k为某一具体值，代表第x个通道和第k个通道。
[0070]
进一步的，s2中的第三通路中的第一下采样特征融合模块为sk(1,2,3)-dffm1模块，其内部包含dffm1模块与1个1
×
1卷积，dffm1模块包含2个5
×
5卷积；
[0071]
s2中的第四通路中的第二下采样特征融合模块为sk(1,2,3,4)-dffm2模块；其内
部包含dffm2与1个1
×
1卷积，dffm2模块包含3个大核卷积，分别为9
×
9、7
×
7、5
×
5卷积。
[0072]
进一步的，dffm1模块接收来自第一通路和第二通路的特征，共包含两条通路，一侧通路采用一个5
×
5卷积层，步长为4，填充大小为2；另一侧通路使用步长为2，填充大小为2的5
×
5卷积层；
[0073]
dffm2由三条路径组成，接收第一通路中的编码器特征的第一分支采用9
×
9卷积层，步长为8，填充尺寸是2；第二分支使用步长为4，填充尺寸为3的7
×
7卷积层；第三分支使用与dffm1模块中右侧分支相同的3
×
3卷积层。
[0074]
进一步的，s3中利用f-dloss损失函数指导蜂窝肺分割网络模型的学习过程，通过对损失方向的优化，得到训练好的蜂窝肺分割网络模型。
[0075]
参照图2所示，本发明公开了基于类不平衡与多级降采样特征融合的蜂窝肺分割模型：以unet为主干网络，共包含5个编码器与4个解码器；其中，网络中每个编码器和解码器均包含两个3
×
3的普通卷积模块、bn与relu激活函数，共包含18个普通卷积层与4个转置卷积层；在跳跃连接部分的1、2号通路添加ca模块，接收来自编码器的低级语义信息，利用信道注意力计算并充分激活特征中的位置与空间信息；在跳跃连接的3、4号通路分别添加新构建的sk(i)-dffm模块，3号通路的sk(1,2,3)-dffm1模块内部包含dffm1模块与1个1
×
1卷积，dffm1模块包含2个5
×
5卷积，1
×
1卷积用于修改特征图的维度；sk(1,2,3,4)-dffm2模块内部包含dffm2与1个1
×
1卷积，dffm2模块包含3个大核卷积，分别为9
×
9、7
×
7、5
×
5卷积，该模块中来自编码器的多尺度特征融合能够提高图像中前景的获取能力，模块中大步长、大尺寸的卷积核有利于提取特征图中的全局特征。最后，在训练阶段采用f-dloss指导网络的学习过程，通过对损失方向的优化，完成蜂窝肺ct图像的分割。
[0076]
由于u型网络跳跃连接阶段的拼接操作会导致部分特征信息的丢失，low-level领域信息的深层次特征未被激活。因此，本发明在u型网络的跳跃连接部分采用一种新颖高效的注意力机制，利用coordinate attention(ca)模块将u型网络中获取的编码器低级特征再次进行特征计算与选择，尺度稀疏性特征进行拼接覆盖到更大区域，同时避免产生大量的计算开销。
[0077]
参照图3所示，ca模块通过利用残差思想保留原始特征向量，在新路径对原始特征采取变形操作，分别从图像的高、宽两个方向对特征的空间与位置信息进行增强。具体地，首先沿着特征图的垂直与水平方向单独编码分别生成两个单独的方向位置编码特征图，完成输入特征至一维特征映射的转化并对其采取全局平均池化操作，即特征图使用两个空间范围的池化内核(h,1)与(1,w)沿着水平与垂直坐标方向对特征通道进行编码。该模块对空间信息编码的同时，从另一维度保存位置信息，保证视觉任务对图像空间结构的精确捕获。此时，高度g处的第x个通道的输出公式如下。
[0078][0079]
相同的，宽l处第k个通道的输出公式如下。
[0080][0081]
式中，h代表图像的高度；w代表图像的宽度；g代表某一具体值，指某高度；l代表某
一具体值，指某宽度；xc代表具体的全局平均池化的操作，x、k为某一具体值，代表第x个通道和第k个通道。
[0082]
在经过还原检测水平与垂直边界的池化方法后，使用拼接操作将包含位置信息与空间特征的池化矩阵转化为一个特征映射，对其进行通道缩减的卷积与非线性的计算；在ca模块中的通道缩减后采用swish激活函数，但模块中的信道缩减率和非线性激活函数的选择取决于模块的位置和任务类型，因而本文的模块采用relu函数。为了恢复特征图的通道数量，将获取的特征张量拆分为两个特征，分别采用两个二维卷积核传递，每个内核将通道数量增加至预设值，最后使用sigmoid函数激活。经过激活的两个特征权重向量属于注意力映射；将注意力图按顺序逐个元素与原始输入相乘，最终获得包含空间与位置信息的特征图，显著提升网络的分割性能。
[0083]
在u型网络中编码器特征有4条通路分别输出至解码器端，但每个跳跃连接路径只能传递与当前解码器特征相同大小的低级特征，而网络中多次卷积与池化操作会造成部分信息丢失。本发明通过对跳跃连接阶段的各个通路进行验证，与3、4号跳跃连接路径相比，网络中1、2号通路传输的低级特征与解码器特征对网络更有促进作用。
[0084]
参照图4和图5，本发明提出一种下采样特征融合模块(downsampling feature fusionmodule,dffm)，在跳跃连接阶段构建sk(i)-dffm模块，旨在提高编码器中的特征利用率，弥补解码器端因池化操作导致丢失的特征。
[0085]
考虑跳跃连接结构的特点，本发明提出两种不同的下采样特征融合模块代替网络中的跳跃连接路径。对于图4与图5，左侧是接收上层编码器特征的dffm1、dffm2，模块中的路径由编码器的特征决定，旨在弥补网络池化操作过程中丢失的特征，因此该模块不采用3
×
3的密集卷积核，而是使用较大尺寸的卷积核；对于图中右侧的sk(1,2,3)-dffm1是添加dffm模块后的跳跃连接结构。为了防止卷积核步长过大导致特征图部分特征被忽略，dffm模块采用的卷积核中步长均小于卷积核尺寸。其中，dffm1模块接收来自1、2号通路的特征，共包含两条通路，左侧通路采用一个5
×
5卷积层，步长为4，填充大小为2；右侧通路使用步长为2，填充大小为2的5
×
5卷积层。dffm2由三条路径组成，接收1号编码器特征的左侧分支采用9
×
9卷积层，步长为8，填充尺寸是2；中间分支使用步长为4，填充尺寸为3的7
×
7卷积层；右侧分支使用与dffm1模块中右侧分支相同的3
×
3卷积层。模块中每个大核卷积后采用gelu作为非线性激活单元，增加非线性特征的判别能力。
[0086]
在sk(1,2,3)-dffm1模块中，除了接收dffm1模块的特征外，还加入当前编码器阶段的恒等映射特征，保证语义信息得到传递，防止出现梯度异常的情况；对恒等映射路径与dffm模块获取的多尺度稀疏性特征映射拼接，最后采用1
×
1卷积压缩通道数，通过调整特征图的维度适应后续模块的输入。与sk(1,2,3)-dffm1模块类似，sk(1,2,3,4)-dffm2模块对接收的上层3个编码器特征与本层编码器特征融合，最后利用1
×
1修改特征图维度，增加网络的非线性拟合能力。
[0087]
参照图6所示，dice loss是基于区域的损失函数，它侧重于真实区域与预测区域之间的重叠程度。本发明采用的数据集中蜂窝肺ct图像包含163个病人，每个病人包含十几个切片，分别代表不同方向横切面的图像。但由于患者的部分切片病灶面积较小，导致病灶面积与背景比例较小，从而加大训练难度，对小型病灶的分割效果不理想。因而，针对语义分割任务中类不平衡的数据，milletari等人提出一种新的损失函数dice loss，解决图像
中背景像素与目标像素比例相差过大的情况。
[0088]
dice loss的计算公式如下：
[0089][0090]
其中，pi是预测的像素值，gi是真实标签的像素值，n是图像中的总像素数目。原始dice损失的计算是预测标签与真实标签的所有像素值相加作为分母，预测标签与真实标签的每个像素值相乘并求和作为分子。为了保证计算的稳定性(分母不为0)，采用对分母中每个像素值进行平方再相加。此时，pi代表预测标签的像素，gi表示标注图像中背景区域或病灶区域的像素，gi的值分别为0或1，0代表蜂窝肺图像中与病灶无关的背景区域，1代表蜂窝肺病灶区域，n代表图像中所有像素数目。
[0091]
dice loss在计算损失时，某个像素的损失值不仅与预测的像素值有关，与其他点的像素预测值还具有相关性。dice loss的计算可以看作mask操作，在不同尺寸的图像中，同样比例的正样本大小通过计算loss对网络训练的作用都是相同的。在训练过程中，dice loss更偏好图像中前景部分，正负样本不平衡正是由于前景部分占比较小，dice loss正负样本的梯度更新过程中，与背景区域相比梯度值更大。但若正样本为区域面积较小的目标时，损失函数会发生震荡的情况。因为一旦预测小目标的部分像素，dice对前景属性的偏好就会导致loss值极不稳定，导致梯度出现饱和。
[0092]
参照图7所示，可视化损失值及iou值。其中左图为本发明在添加ca模块的unet网络中采用dice损失函数进行训练，训练集与测试集的损失；右图为本发明在添加ca模块的unet网络中使用bce、dice损失的iou值。
[0093]
由图7可知，训练前期的损失值虽然出现几次明显震荡，但依旧保持下降趋势；当训练次数epoch等于50时，trainloss与testloss不再下降，iou值也保持在与85％相差较小的误差范围，网络达到收敛状态。但与使用bce loss损失函数相比，iou值低于其至少2％，证明此时的dice loss中对正样本梯度的更新偏向性过大，网络训练过程中对图像中简单、困难样本的学习强度相同，使得网络偏离正确的学习方向，准确率容易陷入局部最优解。虽然dice loss能够增强前景区域在网络中的学习，但其不能分辨简单、困难样本，未能更好地控制损失函数梯度更新的正确方向。如果在损失函数中能够加入惩罚简单样本的惩罚项或加入促进困难样本学习的正则项，减少主导损失函数就能够更好地掌握正样本梯度的更新趋势。
[0094]
与dice loss类似，focal loss最初提出用于处理目标检测任务中类不平衡性,后来扩展至医学图像分割等像素级任务中。该损失函数在交叉熵的基础上进行改善，通过设定一个平衡因子α∈[0,1]控制。由于医学成像中目标器官组织占比大小不一，在分割网络训练过程中出现对面积较大的背景区域与较小的目标区域分割出现失衡问题，但该损失函数在解决训练样本中不平衡问题的同时，还能够解决样本中困难、简单样本训练程度不一的问题。对于输入矩阵x与预测矩阵焦点损失定义如下：
[0095][0096]
其中，α与γ是超参数，通过调节α能够调节样本类别中不平衡问题；γ的大小调节样本数中简单与困难样本的比例，从而减少因其悬殊过大对损失函数的影响。通常大多数类别的样本很容易被预测，但由于主导损失函数与梯度过程，导致对包含少数样本的类别进行预测比较困难，而focal损失函数通过两个超参数的设置，使简单样本主导损失函数的权重下降，解决类别失衡的问题。但与dice loss不同的是，focal loss与交叉熵是对所有损失相加完成计算，这种计算方法具有绝对性，而dice loss能够考虑到预测正确像素数在真实标签中的比例，即使目标区域的面积很小，loss值依然会保持在较大的范围，能够以全局角度进行损失计算。
[0097]
focal loss具备同时解决样本失衡与分辨简单、困难样本的能力；dice loss通过考虑区域占比完成损失函数的计算，解决样本不平衡问题。因此，本发明从解决数据样本不平衡的不同角度出发，提出f-dloss损失函数，式中包含不同权重系数的focal loss与dice loss。
[0098]
l
f-dloss
＝μl
focal
κl
dice
,μ κ＝1
ꢀꢀꢀꢀꢀꢀꢀ
(5)
[0099]
其中，μ与κ为超参数，通过设置超参数的大小完成对训练样本中不同类别的比例，使得模型更多关注分割前景。通过实验发现，超参数的设置与数据集中病灶的形状大小密切相关，通过设置合理的μ,κ值，能够提高蜂窝肺病灶分割精度。
[0100]
为证明ca模块在u型网络跳跃连接部分的有效性，分别在跳跃连接部分添加上下文感知融合模块、ca模块，实验结果如表1所示。由于u型网络包含4条跳跃连接路径，表中第二列代表模块加入的跳跃连接路径序号。
[0101]
表1对比实验
[0102][0103]
对分割网络中跳跃连接阶段各条路径进行分析比较，本实施例实验分别对1、2号通路与3、4号通路进行了对比，从表1中可看出在1、2号通路添加模块的效果均比3、4号通路效果好，说明跳跃连接路径中1、2号通路的特征包含更多病灶信息，原始unet网络并没有更深地挖掘特征信息，模型性能受限。
[0104]
从表1中可看出，u-cfb(1,2)模型的网络效果显著提升，每个评价指标均达到最佳，证明该模块不仅能够促进跳跃连接中特征的有效传播，还能对编码器中的低级特征进行深层次的提取。在添加ca模块的模型中，u-ca(1,2)与原始unet网络模型相比，jaccard系数提升了1.72％，miou与dsc均分别提高0.88％与1.14％；但其与u-cfb(1,2)相比，jaccard系数等三个指标低于其0.1％以上，但该模块的参数量与原始unet相比只增加了0.1m。将u-cfb(1,2)与u-ca(1,2)两个模型进行对比分析，u-cfb(1,2)的分割效果最好，模型分割指标
相差范围仅在0.1％之内；对于模型参数量方面，与原始unet相比，u-cfb(1,2)模型的参数量大小增加了1m，而u-ca(1,2)的参数量仅增加0.01m。因此，与表中其他模型相比，u-ca(1,2)模型仅用极少的参数增加量就能够得到评价指标dsc在蜂窝肺图像上93.99％的分割精度。由此证明，u-ca(1,2)网络模型比其他的网络更好地分割蜂窝肺ct图像。
[0105]
参照图8所示，在unet模型的跳跃连接的多条路径中分别添加ca与cfb模块进行实验，在蜂窝肺图像的分割结果。该实验共包含三张病灶大小不同的蜂窝肺示例图像，图8中前两列分别是蜂窝肺原始图像和金标准标注图像，第三列与第四列为在网络的跳跃连接部分的1、2号路径添加ca与cfb模块的分割结果图，第五列与第六列为在3、4号路径添加ca与cfb模块的分割结果图。从图8中第一行第三列(unet ca(1,2))的分割结果放大部分可以看出，右上角分割边缘部分存在未完全分割的情况，第一行第四列(unet cfb(1,2))的分割结果具有较平滑的轮廓，分割效果较好，第一行后两列在右上角放大的病灶细节中存在错误识别为背景的情况；在第二行中对于图像最上方月牙状的病灶轮廓存在欠分割的情况，unet网络与ca(1,2)、cfb(1,2)结构的融合依然能够取得较好的分割结果；对于第三行中红色箭头指向的病灶边缘形状，ca(1,2)、cfb(1,2)结构在蜂窝肺分割图像中具有较清晰的细节形状，而ca(3,4)、cfb(3,4)结构分割的病灶形状虽然比较平滑，但是没有更加清晰准确的病变轮廓。综上所述，由于cfb模块包含的网络参数较多，而使用参数较少的ca模块结构能够达到与cfb模块相同的分割性能，因此，本实施例选择在跳跃连接结构的1、2号通路添加ca模块，通过在水平与垂直方向重新对来自编码器的低级特征进行计算，激活隐形特征，提高网络的分割效果。
[0106]
为了验证dffm模块在u型网络中的性能，本实施例通过在跳跃连接的各个通路添加该模块进行实验对比分析：在表2中，模型2在u型网络单独添加来自两个编码器特征的dffm1模块，使用sk(1,2,3)-dffm1作为网络中第3通路的跳跃连接结构，jaccard系数与miou分别提高至近87.98％与94.35％，dsc的提高值近1％，这说明对特征进行简单拼接操作的跳跃连接结构会抑制部分特征的表达，dffm模块使用步长与卷积核尺寸较大的卷积层提取的稀疏特征信息具有更大的感受野，多个卷积层包含多尺度的位置细节信息，能够增强图像中上下文特征的表达；模型3的jaccard系数、miou与dsc分别为87.76％、94.93％、93.59％，优于原始unet网络；添加sk(1,2,3)-dffm1与sk(1,2,3,4)-dffm两个模块的网络jaccard系数达88.16％，dsc与miou均有提升，模型的性能达到最佳。上述实验结果证明，来自编码器的多尺度信息传递至解码器中，能够深层次提取网络前期被忽略的语义特征，这些特征中包含蜂窝肺病灶的位置编码信息与轮廓特征，在一定程度上提升蜂窝肺的分割准确率，证明了该模块的有效性。
[0107]
表2对比实验
[0108][0109]
[0110]
focal loss通过对所有损失进行简单计算，能够解决样本失衡与简单、困难样本的分辨问题，而dice loss从基于区域的角度出发，加大对预测正确样本与真实正确样本覆盖区域的权重，平衡正负样本。因此，本实施例通过对两者在u型网络中进行实验分析，实验结果如表3所示。首先，在模型中单独添加focal loss与dice loss进行对比实验，添加focal loss的网络相比不添加之前jaccard系数提高近0.4％，相应的miou与dsc指标也提升近0.2％，由此可证明focal loss能够解决蜂窝肺ct图像中的类不平衡的问题，提高网络的分割精度。
[0111]
参照图9所示，虽然采用dice损失函数的网络效果相比加入之前更差，但为探究从不同角度计算的损失对网络模型性能的影响，本发明提出的损失函数融合focal loss与dice loss，通过在损失函数中设置不同权重的多组实验(其中，α、β分别为focal loss与dice loss的权重系数)，α的取值由大变小的过程中，分割模型的效果呈双峰函数状，且函数最高点为89.41％，与单独添加focal loss函数的分割效果几乎一致。虽然损失值与梯度由focal loss主导，但实验结果证明当α为0.9，β为0.1时，f-dloss(α＝0.9,β＝0.1)依然能够获取最好的分割结果。因此，在对蜂窝肺ct图像进行分割时，本实施例采用的f-dloss函数优于bceloss和dice loss，能够针对性地降低训练数据中样本差别性，在训练过程中加大难以识别病灶图像的权重，在分割网络中起到正向作用。
[0112]
表3f-dloss消融实验分析
[0113][0114][0115]
本实施例的消融实验结果如表4所示。从表中可以看出，在蜂窝肺数据集中unet网络的各项分割指标达87.29％、92.85％、93.5％，虽然分割结果在表中为最低，但通过参考相关文献与网络在蜂窝肺数据集的分割结果，仍然能够看出unet网络在医学图像上出色的泛化性，故本发明将其作为主干网络。
[0116]
与原始unet网络相比，添加ca与f-dloss的u型网络在jaccard系数上分别提高1.72％、1.63％，但添加ca模块的unet网络中分割指标miou、dsc分别提升1.53％、0.49％，ca模块利用信道注意力提取编码器特征中的位置与空间信息，从而重新进行特征选择与计算，指导网络关注图像中的关键区域；添加f-dloss的unet网络，miou、dsc的分割指标提升效果也较明显，证明f-dloss能够同时平衡前景与背景的关注程度，提高网络对困难样本的重视，从而提高模型分割精度；同时添加ca、f-dloss与dffm的u型网络的jaccard系数、dsc、miou达90.67％、95.17％、94.81％，各种分割指标整体都得到较大的提升。因此，本实施例模型在蜂窝肺数据集上取得最好的分割结果，证明了该模型的优秀性能。
[0117]
表4消融实验
[0118][0119][0120]
为了对本发明方法进行定量分析，本实施例进行了对比实验，结果如表5所示。本实施例方法与unet网络相比，jaccard系数、miou、dsc分割指标分别提升了3.38％、1.67％、1.96％，与hda-resunet的网络相比，jaccard系数高0.04％,但miou与dsc分别低0.03％与0.18％，达到与现有流行模型同样水平的分割性能；与原始unet网络的参数量相差仅2.1m，本实施例模型在增加少量参数量的基础上能够达到更好的分割性能。
[0121]
参照图10所示，从所有模型对第一张蜂窝肺病变图像的分割效果可以看出，setr模型分割出的病灶(红色箭头指出的部分)显然不同，出现错误分割的情况，本实施例分割方法能够很好地分割出病灶的形状，与金标准形状几乎一致；对于第二张图像，部分网络模型误将图像中肺部中间部分的无关背景识别为病灶，本实施例方法依然能够精确识别分割出背景与前景；在病灶面积较大、边缘形状丰富的第三张蜂窝肺图像中，本实施例方法对病灶部位肺内侧的边界分割较精准，没有出现sharp u-net与setr出现边缘锯齿的情况；对于待分割的第五张图像，本实施例方法依旧能够在边界部分精准勾勒蜂窝肺形状；但对于第四张图像，本实施例方法在分割左上部分的病变时，对部分像素的预测错误，导致出现分割出的二值图中出现“点云状”像素，分割结果不准确。因此，对本实施例中的所有实验与实验所得分割效果图进行综合分析，本发明算法依然具备较好的分割性能。
[0122]
表5对比实验
[0123][0124][0125]
由于蜂窝肺ct图像存在类别不平衡的问题，导致现有分割网络对蜂窝肺数据集的
泛化性较差。针对该问题，本发明提出一种新的损失函数f-dloss，不但能够平衡正负样本不同类别的比例，加大了对困难样本训练的比重，同时提高了前景与背景的分割精度。加之，u型网络跳跃连接中简单拼接操作导致特征间尺度不对称，导致特征不能被充分利用，影响分割结果。基于此，本实施例首先通过实验分析验证跳跃连接中每条路径的有效特征情况，在1、2号通路添加ca模块，加强特征图中位置与空间信息的提取，更加精准捕获图像的空间结构；为了提高3、4号通路特征的有效利用率，在解码器上采样过程中更加完整地恢复图像特征，本实施例通过构建dffm系列模块，接收来自多条跳跃连接路径的特征，融合细节的全局信息与抽象的局部特征，有效补充病灶边缘的细节信息，优化分割结果。在蜂窝肺数据集上对ca模块、dffm模块与f-dloss损失函数进行独立的消融实验，证明了各个模块与新提出的损失函数对蜂窝肺ct图像分割的有效性；之后通过消融实验与对比实验，以及模型分割效果图像的展示，表明本实施例方法优于目前主流的大多数分割算法，验证了本发明方法的优越性。
[0126]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0127]
为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0128]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。