1.本发明属于医学影像分析技术领域,尤其涉及一种基于深度生成模型的弱监督的医学影像分割方法。
背景技术:
2.近些年来,随着医学影像技术的迅速发展,医学影像分析已经成为医学研究、临床诊断和患者治疗过程中必不可少的一个部分。在对患者的治疗过程中,医护人员可以根据医学影像对患者的病灶区域进行分割注释,并且根据医学影像可以更直观的观察出患者病灶区域的严重程度,从而方便医护人员诊断和患者的治疗,同时对后续的复查也起到了不可或缺的作用。在医学影像领域,对病灶区域分割的准确性是医护人员诊断过程中最重要的部分。
3.这种准确的分割大都依赖于医护人员的专业知识,如果患者数量庞大,这种由人工完成分割注释的效率就不能满足患者的需求。近几年来随着计算机技术和人工智能的发展,让机器学习在自然图像的处理上得到了很好的应用,同时也使得机器学习在医学影像上应用成为了可能,从而也使得快速诊断成为了可能。
4.由于医学影像临床分割注释的不充分和不明确,当前的医学影像的自动分割方法的发展受到了很大的阻碍。目前的大部分方法不仅要将原本的医学影像输入到模型中,还要将精确的分割注释输入到模型中,模型根据原本的图像得到相应的预测,然后将预测的图片和精确的分割注释进行比对并且根据定义的损失函数计算出相应损失,利用梯度下降,反向传播到模型中,调整模型的参数,使得模型的预测越来越接近精确的分割注释。当损失函数的误差收敛到可以接受的范围内,我们就可以使用模型对医学影像进行分割,进行辅助治疗。
5.在有监督的分割模型中虽然在处理新的患者的病灶区域时可以迅速准确的在秒级时间范围内给出模型分割的结果,但是在训练模型时却需要大量像素级的标注数据作为训练的成本,但是在临床实践中,对于有像素级的标注的数据通常是难以获取并且需要大量的人力、物力和财力,这些像素级的标注数据同样需要具有专业的医护人员来完成分割注释。相反的是,对于粗略的分类标签(仅仅告诉是有病灶的或者是正常的,并不需要指出哪一些像素点是有病灶,哪一些是正常的)是非常容易获得的。但是如何充分利用这些粗略的医学影像标签来学习出患病区域在很大程度上没有进行充分探索。
技术实现要素:
6.本发明实施例的目的在于提供一种基于深度生成模型的弱监督的医学影像分割方法,旨在解决上述背景技术中提出的问题。
7.本发明实施例是这样实现的,一种基于深度生成模型的弱监督的医学影像分割方法,包括一种医学影像分割模型,所述模型的网络架构包括编码器、cam模块、cbfnet(互补融合分支网络)和解码器,所述方法包括以下步骤:
8.步骤1、输入原图像xd,通过图像编码器提取图像的特征信息,得到图像特征f1;
9.步骤2、将得到的图像特征f1作为cam模块的输入,生成类激活图f2;
10.步骤3、将f1和f2作为cbfnet的输入,经cbfnet处理后,分别输出病灶mask特征向量e1、具有相反标签信息的特征向量e2、和保持正常区域原始语义信息的特征向量e3;
11.步骤4、将三个特征向量分别经过图像解码器,特征向量e1生成病灶mask m,病灶mask m用于指导假图像的生成和作为后续的分割注释;特征向量e2经过图像解码器后生成假图像x
n1
,生成的假图像x
n1
与原图像xd和病灶mask m进行融合,最后生成合成的假图像x
n2
;特征向量e3通过图像解码器生成重构的图像x
dr
;
12.步骤5、生成的假图像x
n1
、合成的假图像x
n2
还有真实的图像都将送入判别器进行优化,重构的图像x
dr
则通过与原图计算mse损失的方式进行优化;
13.步骤6、在训练好网络后,经过dense crf对网络模型产生的病灶分割进行处理并且完成最终的分割注释。
14.进一步的技术方案,在所述步骤3中,cbfnet包括三个分支,分别是病灶mask分支、重构分支以及转换分支,其中:
15.病灶mask分支包括一个1*1的卷积层、一个relu激活层、一个3*3的卷积层和一个sigmoid激活层,以f1作为输入,产生特征病灶区域的向量e1;
16.重构分支,所述重构分支以原图像xd和f2作为输入,最后输出保持原有语义信息的重构图像特征e3;
17.转换分支:以f1作为输入,经过四层adalin将f1转换为具有相反的语义信息的特征向量e2。
18.进一步的技术方案,在所述步骤5中,所述判别器包括图像编码器、主分类器和辅助分类器其工作流程如下:
19.步骤5.1、将有病灶的图像xd∈xd,生成的有病灶的假图像x
n1
,合成的有病灶的假图像x
n2
作为输入,经过图像编码器,将图像编码成特征向量;
20.步骤5.2、用主分类器区分这三张图像,将xd辨别为“真”图像,x
n1
和x
n2
为假图像,辅助分类器则将这三张图像划分为有病的图像。
21.进一步的技术方案,在所述模型中,损失总共包含五部分:循环一致性损失、生成对抗损失、身份损失、cam损失和重构损失,模型的总损失是五种损失的加权,其中:
22.(1)循环一致性损失:
23.对于一张原图像片xd转换成假图像再由假图像xn转换回原来的图片输入图像最终转换回去应该保持它原本的语义信息,对于合成的假图像也是类似的,对于在转换过程中所出现的损失称为循环一致性损失。此损失可以保证在转换图像时不会丢失很多图像的特征信息。
24.25.其中和表示和输出的生成图像;和表示的是和输出的合成图像。
26.(2)生成对抗损失:
27.由原图像到假图像的转换过程中的生成对抗损失如下:
[0028][0029]
那么由假图像到原图像的转换过程中的生成对抗损失如下:
[0030][0031]
(3)身份损失:
[0032]
此损失主要限制网络模型在转换过程中保持更多纹理和细节特征,防止网络崩溃,从而达到预期的效果。
[0033][0034]
(4)cam损失:
[0035]
通过辅助分类器ηd,ηn,从图像中学习到具有区分性的特征并且生成相应的激活图。生成器则可以从中获取需要提升的部分,判别器则可以从中得知更有区分性的区域。
[0036][0037][0038]
(5)重构损失:
[0039]
重构损失可以保持图片中重要的语义信息,并且帮助模型产生更加精确的分割注释。
[0040][0041]
综上所述,最终网络模型的总损失如下所示:
[0042]
。
[0043]
本发明实施例提供的一种基于深度生成模型的弱监督的医学影像分割方法,改善了医学影像病灶分割对于像素级标签的依赖,仅仅使用图像的类别标签就可以在网络模型中进行训练,并且最终达到病灶分割的目的。可以帮助医护人员实现快速诊断,大大节约了医护人员的时间,从而达到患者看病快的需求。对于当下医学影像像素级标签十分缺乏的现状下,此发明可以更好的满足当下的需求,且分割的区域控制在可接受的误差范围内,并且在分割病灶方面耗费时间短,在大脑肿瘤数据中无论在小样本还是全部样本的实验中,都优于其他模型。
附图说明
[0044]
图1为本发明实施例提供的一种基于深度生成模型的弱监督的医学影像分割方法的分割流程图;
[0045]
图2为本发明实施例提供的一种基于深度生成模型的弱监督的医学影像分割方法中的网络结构图;
[0046]
图3为本发明实施例提供的一种基于深度生成模型的弱监督的医学影像分割方法中的cbfnet结构图;
[0047]
图4为本发明实施例提供的一种基于深度生成模型的弱监督的医学影像分割方法中的判别器的结构图;
[0048]
图5为brats 2018和brats 2019数据集肿瘤分割患病数据患病区域激活特征图最终分割结果;
[0049]
图6为isic 2018数据集分割患病数据患病区域激活特征图最终分割结果。
具体实施方式
[0050]
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0051]
以下结合具体实施例对本发明的具体实现进行详细描述。
[0052]
如图1和2所示,为本发明一个实施例提供的一种基于深度生成模型的弱监督的医学影像分割方法,包括一种医学影像分割模型网络架构,所述模型网络架构包括编码器、cam模块、cbfnet(互补融合分支网络)和解码器,所述方法包括以下步骤:
[0053]
步骤1、输入原图像xd,通过图像编码器提取图像的特征信息,得到图像特征f1;
[0054]
步骤2、将得到的图像特征f1作为cam模块的输入,生成类激活图f2;
[0055]
步骤3、将f1和f2作为cbfnet的输入,经cbfnet处理后,分别输出病灶mask特征向量e1、具有相反标签信息的特征向量e2、和保持正常区域原始语义信息的特征向量e3;
[0056]
步骤4、将三个特征向量分别经过图像解码器,特征向量e1生成病灶mask m,病灶mask m用于指导假图像的生成和作为后续的分割注释;特征向量e2经过图像解码器后生成假图像x
n1
,生成的假图像x
n1
与原图像xx和病灶mask m进行融合,最后生成合成的假图像x
n2
;特征向量e3通过图像解码器生成重构的图像x
dr
;
[0057]
步骤5、生成的假图像x
n1
、合成的假图像x
n2
还有真实的图像都将送入判别器进行优化,重构的图像x
dr
则通过与原图计算mse损失的方式进行优化;
[0058]
步骤6、在训练好网络后,经过dense crf对网络模型产生的病灶分割进行处理并且完成最终的分割注释。
[0059]
在本发明实施例中,整体流程分为训练和测试两个阶段。在训练阶段,模型的训练数据使用有病灶的数据和正常数据,不使用分割标签。通过弱监督的生成模型,对图像病灶区域进行转换以及合成假图像,从而学习到病灶区域独有的一些特征。数据增强是以0.5的概率水平翻转图像,将它们调整到286
×
286,并随机裁剪到256
×
256。此外,我们使用了一个随机对比度,对比度浮动范围为0.9到1.1。
[0060]
在测试阶段,我们直接采用训练完的模型对训练集之外的测试数据进行病灶分割预测,产生对应的分割标签。预测时间非常迅速,可以达到计算机辅助诊断的目的。
[0061]
如图3所示,作为本发明的一种优选实施例,在所述步骤3中,cbfnet(互补融合分支网络)包括三个分支,分别是病灶mask分支、重构分支以及转换分支,其中:
[0062]
病灶mask分支包括一个1*1的卷积层、一个relu激活层、一个3*3的卷积层和一个sigmoid激活层,以f1作为输入,产生特征病灶区域的向量e1;
[0063]
重构分支,所述重构分支以原图像xd和f2作为输入,最后输出保持原有语义信息的重构图像特征e3;
[0064]
转换分支:以f1作为输入,经过四层adalin将f1转换为具有相反的语义信息的特征向量e2。
[0065]
如图4所示,作为本发明的一种优选实施例,在所述步骤5中,所述判别器包括图像编码器、主分类器和辅助分类器其工作流程如下:
[0066]
步骤5.1、将有病灶的图像xd∈xd,生成的有病灶的假图像x
n1
,合成的有病灶的假图像x
n2
作为输入,经过图像编码器,将图像编码成特征向量;
[0067]
步骤5.2、用主分类器区分这三张图像,将xd辨别为“真”图像,x
n1
和x
n2
为假图像,辅助分类器则将这三张图像划分为有病的图像。
[0068]
作为本发明的一种优选实施例,在机器学习中,损失函数是用来评估一个模型收敛的重要指标,通过优化损失函数,使得模型学习到图像中的一些特征,从而将病灶区域准确的分割出来。在此模型中,损失总共包含五部分:循环一致性损失、生成对抗损失、身份损失、cam损失和重构损失,模型的总损失是五种损失的加权。
[0069]
(1)循环一致性损失:
[0070]
对于一张原图像片xd转换成假图像再由假图像xn转换回原来的图片输入图像最终转换回去应该保持它原本的语义信息,对于合成的假图像也是类似的,对于在转换过程中所出现的损失称为循环一致性损失。此损失可以保证在转换图像时不会丢失很多图像的特征信息。
[0071][0072]
其中和表示和输出的生成图像;和
表示的是和输出的合成图像。
[0073]
(2)生成对抗损失:
[0074]
由原图像到假图像的转换过程中的生成对抗损失如下:
[0075][0076]
那么由假图像到原图像的转换过程中的生成对抗损失如下:
[0077][0078]
(3)身份损失:
[0079]
此损失主要限制网络模型在转换过程中保持更多纹理和细节特征,防止网络崩溃,从而达到预期的效果。
[0080][0081]
(4)cam损失:
[0082]
通过辅助分类器ηd,ηn,从图像中学习到具有区分性的特征并且生成相应的激活图。生成器则可以从中获取需要提升的部分,判别器则可以从中得知更有区分性的区域。
[0083][0084][0085]
(5)重构损失:
[0086]
重构损失可以保持图片中重要的语义信息,并且帮助模型产生更加精确的分割注释。
[0087][0088]
综上所述,最终网络模型的总损失如下所示:
[0089]
。
[0090]
本发明的一种实施例,使用了brats2018和brats2019的3d脑肿瘤病灶区域分割数
据集,首先将3d病灶区域进行2d切割,再将得到的2d图片统一处理成256*256大小的图片。最终收集了522张图片,其中患病的307张,正常的215张,为了防止在测试集和训练集会有来自同一个病例的图片,按照病例的不同来划分数据,其中将215张图片作为训练集,46张作为验证集,46张作为测试集,最后分割的结果如下图5所示。
[0091]
本发明的一种优选实施例,使用isic2018皮肤分割挑战赛中的数据进行皮肤病灶分割实验,首先将那些有杂物的图片去除,然后将图片的尺寸统一缩放到256*256,最后总共挑选出了262张有病灶的皮肤图片和262张健康皮肤的图片。把200张作为训练集,31张作为验证集,31张作为测试集。最终的分割结果如图6所示。
[0092]
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。