Embed Size (px)
Citation preview
硕士学位论文
多模脑部图像的肿瘤特征分析Analysis of tumor features of multimode
brain images
学 科 专 业 ： 控制科学与工程学 科 方 向 ： 模式识别与智能系统作 者 姓 名 ： 梁 照 栋指 导 教 师 ： 谢 斌 副教授
中 南 大 学2018年 5月
中图分类号 TP391 学校代码 10533 UDC 620 学位类别学术学位
硕士学位论文
多模脑部图像的肿瘤特征分析Analysis of tumor features of multimode
brain images
作 者 姓 名 ： 梁 照 栋学 科 专 业 ： 控制科学与工程学 科 方 向 ： 模式识别与智能系统研 究 方 向 ： 医学图像处理二 级 培 养 单位 ：
信息科学与工程
指 导 教 师 ： 谢 斌 副教授
论文答辩日期 答辩委员会主席 中 南 大 学
2018年 5月
学位论文原创性声明本人郑重声明，所呈交的学位论文是本人在导师指导下进行的
研究工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中南大学或其他教育机构的学位或证书而使用过的材料。与我共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。
申请学位论文与资料若有不实之处，本人承担一切相关责任。
作者签名： 日期： 年 月 日
学位论文版权使用授权书本学位论文作者和指导教师完全了解中南大学有关保留、使用
学位论文的规定：即学校有权保留并向国家有关部门或机构送交学位论文的复印件和电子版；本人允许本学位论文被查阅和借阅；学校可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用复印、缩印或其它手段保存和汇编本学位论文。
保密论文待解密后适应本声明。
作者签名： 导师签名 日期： 年 月 日 日期： 年 月 日
多模脑部图像的肿瘤特征分析摘 要：脑肿瘤的临床诊断与治疗主要依据相应的医疗检查结果进行判断，其中有超过 90%的信息来自于各种类型的医学影像数据。核磁共振成像作为一种影像检测手段在医学领域应用广泛，由它产生的序列图像数据为医生进行疾病的诊断提供了非常丰富的信息。然而现有的计算机辅助诊断系统面临的一个巨大的挑战就是脑肿瘤的分割。对于恶性脑肿瘤而言，其本身存在浸润性生长、边界不明显等特征，这使得肿瘤的分割更加困难。人工分割仍是专家的首要选择，但人工分割耗时费力并且分割结果完全取决于医生的专业知识。
本文提出了一种利用多模态 MRI 图像信息的深度神经网络Double-Path-CNNs，用于脑肿瘤图像的自动分割。该网络是一个具有两条通道的神经网络，每条通道都能够单独处理多模态脑肿瘤数据块。两个通道分别采用不同尺寸的卷积核与池化方式，提取了数量不等、尺寸不同的深度特征；然后全连接层利用这些深度特征对每个像素块进行分类，把分类后的像素组合到一起就可以得到分割的图像。整个肿瘤、肿瘤核心、肿瘤增强区域的平均分割准确率分别为 0.82、0.86、0.81。在肿瘤核心与肿瘤增强部分的分割结果要优于文中对比的另外两种方法；而在整个肿瘤区域的分割准确率上与其他两种方法基本相当。本文详细研究了多模态图像的组合对肿瘤分割结果的影响，实验结果表明 Flair-T1c-T2 模态组合的分割结果优于其他类型的组合。基于 Double-Path-CNNs 分割网络，本文设计并实现了一个脑肿
瘤辅助诊断系统，该系统能够快速分析脑肿瘤序列图像，为医生提供肿瘤的位置、大小等形态学信息以及水肿、坏死等肿瘤结构信息来帮助医生进行快速诊断。目前该系统处理一张图像的平均时间是4秒，整个序列需要 10 分钟。采用并行化处理后能够做到患者拍摄完成的同时也可以拿到分析结果，为病人提供了更多治疗的时间与机会。
图 32幅，表 9个，参考文献 73篇关键词：脑肿瘤；卷积神经网络；多模态；分割算法；辅助诊断
I
分类号：TP391.4
II
Analysis of tumor features of multimode brain images
Abstract: The clinical diagnosis and treatment of brain tumors are mainly based on the corresponding medical examination results. Among them, more than 90% of the information comes from various types of medical imaging data. As an imaging detection method, MRI is widely used in the medical field. Sequence image data generated by it provides very rich information for doctors to diagnose diseases. However, a huge challenge faced by current computer-aided diagnosis system is the segmentation of brain tumors. For malignant brain tumors, there are inherent features such as invasive growth and inconspicuous boundaries, which makes the segmentation of the tumor more difficult. Manual division is still the first choice for experts, but manual segmentation is time consuming and the segmentation results completely depend on the expertise of the doctor.
This paper presents a deep neural network using multiple modal MRI images information, named Double-Path-CNNs, for automatic segmentation of brain tumor images. The network is a neural network with two channels, each of them can handle multi-mode brain tumor data blocks separately. The two channels use different sizes of convolution kernel and pool method to extract depth features of different quantities and sizes. Then the full connected layer uses these depth features to classify each pixel block. The segmented result can be obtained by further processing the classified pixels.The average accuracy of the entire tumor, tumor core, and tumor enhancement region is 0.82, 0.86, and 0.81respectively. The segmentation results in the tumor core and the tumor enhancement section are superior to the two methods in the literature comparison; the accuracy of segmentation in the entire tumor area is comparable to the other two methods. In this paper, the influence of the combination of multi-modal images on the segmentation results of the tumor is studied in detail. The experimental results show that the segmentation results of the Flair-T1c-T2 modal combination are superior to other types of combinations.
Based on the Double-Path-CNNs segmentation network, we design and implement a brain tumor-assisted diagnosis system to assist
III
physicians in rapid diagnosis. The system can quickly analyze brain tumor sequence images, provide doctors with morphological information such as tumor location and size, and edema, necrosis information of tumor structure to help doctors quickly diagnose. At present, the average time for processing one image of the system is 4 seconds, and the entire sequence takes 10 minutes. The use of parallelization enables the patient to obtain the results of the analysis while it is completed, providing the patient with more time and opportunity for treatment.
Keywords: brain tumor; convolutional neural network; multimodal; segmentation algorithm; auxiliary diagnosisClassification：TP391.4
IV
目 录摘 要：............................................................................................................................I
Abstract:.......................................................................................................................II
1 绪论.............................................................................................................................1
1.1 课题背景及意义..................................................................................................1
1.1.1 课题背景...........................................................................................................1
1.1.2 课题意义...........................................................................................................2
1.2 国内外研究现状..................................................................................................3
1.3 主要研究内容与论文结构..................................................................................4
1.3.1 研究内容.......................................................................................................4
1.3.2 论文结构.......................................................................................................5
2 MRI 图像预处理.........................................................................................................6
2.1 MRI 图像..............................................................................................................6
2.1.1 磁共振成像原理及优缺点...........................................................................6
2.1.2 人体组织在 MRI 图像的特点......................................................................7
2.2 数据集..................................................................................................................9
2.2.1 数据集来源...................................................................................................9
2.2.2 常见医疗图像存储格式...............................................................................9
2.2.3 MRI 图像预处理的一般做法.....................................................................11
2.3 结合对称性特征与聚类分析的分割方法........................................................12
2.3.1 对称性分析.................................................................................................12
2.3.2 聚类分割方法.............................................................................................13
2.3.3 实验与分析.................................................................................................14
2.4 本章小结............................................................................................................16
3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割...............................................18
3.1 卷积神经网络理论............................................................................................18
3.1.1 CNNs 的误差函数......................................................................................18
3.1.2 前向传播.....................................................................................................19
3.1.3 反向传播.....................................................................................................19
3.2 多模态 CNNs 特征提取....................................................................................20
3.2.1 多模态 CNNs 模型.....................................................................................21
3.2.2 训练数据.....................................................................................................22
V
3.2.3 多模态 CNNs 特征.....................................................................................23
3.3 基于 Double-Path-CNNs 特征提取的 MRI 脑肿瘤分割..................................24
3.3.1 网络结构.....................................................................................................24
3.3.2 网络的具体实现.........................................................................................27
3.3.3 Double-Path-CNNs网络参数的训练.........................................................28
3.4 评价标准与结果分析........................................................................................29
3.4.1 评价标准.....................................................................................................29
3.4.2 结果与分析.................................................................................................29
3.5 不同模态图像数据对脑肿瘤分割结果的影响................................................32
3.6 本章小结............................................................................................................36
4 脑肿瘤辅助诊断系统的设计与实现.......................................................................37
4.1 系统功能............................................................................................................37
4.2 脑肿瘤特征分析................................................................................................38
4.3 系统设计与实现................................................................................................39
4.3.1 脑肿瘤辅助诊断系统流程.........................................................................39
4.3.2 用户界面.....................................................................................................40
4.4 本章小结............................................................................................................42
5 工作总结与展望.......................................................................................................43
5.1 论文总结............................................................................................................43
5.2 工作展望............................................................................................................43
参考文献......................................................................................................................45
攻读硕士期间成果......................................................................................................52
致谢..............................................................................................................................53
VI
硕士学位论文 1 绪论
1 绪论1.1 课题背景及意义1.1.1 课题背景
脑肿瘤是一类常见的肿瘤类疾病，发病率和死亡率较高，如果不及时治疗可能造成视力障碍、偏瘫、甚至危及生命。
脑肿瘤可分为原发性肿瘤和继发性肿瘤两类，其中，原发性肿瘤是指来源于脑内各组织的肿瘤；而继发性肿瘤是由颅脑外的其他部位的恶性肿瘤引发的。肿瘤的分类方式还有很多：根据其生物学行为可分为良性、恶性两种类别：良性肿瘤特点是细胞分化比较成熟、生长速度慢、无浸润性、不会发生移等，但肿瘤组织变大后压迫脑组织可能引起相应的临床特征，临床上直接采用手术切除肿瘤；而恶性肿瘤由于细胞分化不成熟、生长速度很快并且具有可转移性，患者在短短数月内就可能走到生命尽头。根据病灶形态学特征和位置等信息，可以对脑肿瘤进行较为精确的分类与分级 [1]。按照组织类型分为淋巴瘤、颅脑、和造血系统肿瘤、靶区肿瘤、转移性肿瘤以及来自神经上皮组织的肿瘤（即胶质瘤）。脑肿瘤发现的越早、肿瘤的级别越低，治愈率也就越高。因此尽早发现并及时确诊对治愈肿瘤患者来说是极其重要的，而一经确诊肿瘤患者可能接受的治疗方式有外科手术、放疗以及化疗。通常情况下，医生会选择通过外科手术对脑肿瘤进行切除治疗，并尽最大可能将肿瘤完全切除，防止肿瘤的复发。
脑肿瘤患者一般会出现一些临床症状，比如呕吐、视听障碍、肢体支配障碍等，也可能伴有思维、智力、记忆力等的改变。这些临床症状是因颅内压增高或者肿瘤的压迫所致。脑肿瘤的发病人群无年龄界限，儿童脑肿瘤与成人不同，大部分儿童可以存活，但通常残留长期的后遗症。本文研究的是脑胶质瘤，是脑肿瘤中发病率最高的原发性恶性肿瘤。它起源于神经胶质细胞，是典型恶性肿瘤，具有弥散性、浸润性、边界模糊等特征。目前，脑肿瘤的临床诊断与治疗主要依据相应的医疗检查结果进行判断。
对脑肿瘤定性的最好的办法就是活组织切片检查。但是这种有创口的手术会带来不确定的风险。资料显示活组织切片将会导致 1.7%的死亡率[2]。因此，无创性的诊断是非常必要的。医学成像技术对无创性诊断帮助很大，自 1895 年伦琴发现 X射线以来，医疗检查方式发生了巨大的变化，医学成像技术由单模态变成多模态，成像分辨率也越来越高。常用的医学成像技术有 X射线成像、计算机断层成像（CT）、磁共振成像（MRI）[3]、超声成像（Ultrasound，US）、描述人体组织代谢信息的正电子发射断层扫描（PET）。不同的成像技术具有不
1
硕士学位论文 1 绪论同的特点，比如 CT 成像能获得骨骼组织的立体图像，在一定程度上可以辅助医疗，但是 CT 对于软组织的分辨率较低；MRI 图像对软组织（细胞和肌肉等组织）成像清晰，临床上通常使用核磁共振做脑肿瘤的检查，这是因为核磁共振成像具有无创伤成像、多参数成像、采集信息多、组织对比度高、任意方向成像、定位准确、可以提供人体的生理和生化信息并且无骨伪影等优点。临床上常使用 T1、T1C、T2、FLAIR四个模态的信息作为脑肿瘤诊断的依据，如图1-1 所示。
脑脊液在 Flair 模态中是低信号组织，在图像中的表现是黑色，即像素值很小。Flair 模态对病灶更敏感，因脑脊液信号被抑制所以能够检查出被脑脊液掩盖的病灶，比如脑出血。相较于其他模态图像，该模态图像除脑肿瘤区域比较明亮而其他区域都比较模糊，如图 1-1(a)，其中脑脊液在图像中呈低信号为黑色。T1 模态图像主要用来显示组织的解剖结构，如图 1-1(b)。T1c 模态图像突出显示了病灶的边缘信息，与周围组织形成鲜明对比，如图 1-1(c)，这样对脑组织结构的显示也有一个比较明显的对比度。T2 中病变信号突出，适用于观察病变，即肿瘤整体的灰度都与正常组织差异明显，如图 1-1(d)。
(a)Flair (b)T1 (c)T1c (d)T2图 1-1 四种模态的脑肿瘤图像1.1.2 课题意义现有医学影像数据的分析大多需要通过医生进行人工解读。但人工解读是
一个劳动密集型的工作，通常是涉及一个一个切片的过程，这样就耗费了大量的时间和人力，而且最终的分割结果很大程度上取决于操作者当时的经验与主观决策，即便是相同的操作者也很难获得可复现的结果。另外，在成像过程中存在很多干扰，如磁场偏移效应、人体组织的运动、环境噪声等，这些都会使得图像出现灰度不均等、模糊等现象，将对图像质量造成一定的影响。目前已有一些基于目标提取或学习分类的脑肿瘤检测算法，但因其样本数量及分类准确率的限制，尚无法应用于临床的肿瘤诊断。因此，人工解读仍是专家的首要选择，但人工分割耗时费力并且分割结果完全取决于医生的专业知识。为改善人工分割中存在的问题，已经有人提出了相关替代方法，利用神经网络分割脑
2
硕士学位论文 1 绪论肿瘤，帮助医生快速阅读序列图片。 本文提出一种基于脑图像多模态信息的 Double-Path-CNNs 的分割方法，充分挖掘脑肿瘤 MRI 图像的多模态信息，提取深度特征，实现更加客观的肿瘤分割，并提供序列图像的分析结果供医生参考。该方法可以极大地提高现有医疗影像诊断工作的效率和准确率，在医学影像分析领域以及未来的脑肿瘤诊断与治疗领域均有着非常重要的科研价值和实际意义。1.2 国内外研究现状随着医疗影像技术的发展，MRI 多模脑部图像辅助检查已成为诊断肿瘤疾
病的主要手段。多模态MRI 图像是指对患者进行 MRI 成像时，采用不同的成像参数进行成像所形成的一组序列图像。其中，不同成像参数是指使用不同的扫描脉冲序列，或者在扫描时使用造影剂等。脑组织在不同模态图像中的表现形式不同，例如 T2 图像会突出整个肿瘤区域；T1c(T1增强)图像突出显示病灶的边缘信息；液体衰减反转恢复(Fluid Attemuated Inversion Recovery，Flair)模态抑制脑脊液，使其在图像中呈现黑色。在临床诊断中，医生经常会查看多个模态的数据，这样才能够对肿瘤有一个准确的了解。所以，多种模态 MRI 图像包含了丰富的肿瘤信息，利用多模态图像能够提升分割与分类的效果。由于缺乏大样本的多模脑肿瘤数据，目前对脑部图像的研究主要集中在肿瘤区域分割。
医学图像领域脑肿瘤分割的方法有：1）基于区域的分割方法，如种子区域算法、基于边缘分割、阈值分割、区域增长[1]等；2）基于统计学的分割方法，如最大期望算法（EM）、Markov随机场（MRF）[5]、高斯混合模型（GMM）[6]等；3）基于轮廓形状的分割方法，如水平集 [7][8]、形变模型、活动轮廓模型[9]、Livewire算法[11]、基于阿特拉斯[12]的分割算法等；4）基于多分辨率分析的分割方法，如离散小波变换（DWT）等；5）基于学习的分割方法，包括有监督学习和无监督学习两类。有监督学习方法包括支持向量机（SVM）[13]、分类树（DT）、邻近算法（KNN）、 学习矢量量化（LVQ）、 人工神经网络（ANN）、随机森林（RF）[16][17]、DeepMedic 方法[19]；无监督学习包括模糊 C
均值（FCM）、K 均值[20]、脉冲耦合神经网络（PCNN）及模糊脉冲耦合神经网络（FPCNN）等；基于条件随机场的脑肿瘤分析[23]，结合深度神经网络和条件随机场[24]的方法以及全卷积神经网络等；表 1-1 统计了自 2012 年至 2016 年脑肿瘤分割挑战赛常用的一些方法。早期脑肿瘤图像研究最大的问题在于没有统一的数据库。研究人员采用不
同的数据、不同的评价标准各自开展研究，这导致不同方法之间无法进行合理的对比，极大的阻碍了相关研究的进步。从 2012 年起，医学影像计算与计算机
3
硕士学位论文 1 绪论辅助介入国际会议（MICCAI）连续举办了 6届脑肿瘤分割挑战赛，并公开了脑肿瘤图像数据库（BRATS）。该数据库由苏黎世联邦理工学院、伯尼尔大学、德布勒森大学、犹他州大学等若干家机构共同提供的匿名患者图像数据。其中的人工分割结果为多名专家共同完成。截至 2016 年，该数据库已拥有将近 274
个病例样本，十万量级的脑肿瘤图像。但是该数据库中脑肿瘤类型仅为胶质瘤，种类单一，仅用于脑肿瘤分割比赛。从文献[25]可以看出，当前基于 BRATS 的脑肿瘤图像分割结果并不十分理想。除 BRATS 数据库外，哈佛大学与麻省理工学院联合创办的生物医学中心提供并公开了部分脑图像数据库。然而该数据库样本数量更少，可用于脑肿瘤图像分割的不足 20个病例[26]。目前中国还没有公开报道的为脑肿瘤图像研究构建的标准化图像数据库。
表 1-1 脑肿瘤图像分割方法对比算法 MRI 模态 方法 得分
Zhao[6] 2012 T1 T1c T2 Flair 结合高斯混合模型与活动轮廓模型的方法
Dice(34-83%)
Stefan[27] 2012 T1 T1c T2 Flair 层级分类与正则化方法 Dice(35-90%)
Reza[28] 2013 T1 T1c T2 Flair 随机森林与纹理特征方法 Dice(82-97%)
Cordier[29] 2013 T1 T1c T2 Flair 基于数据块的分割方法 Mean Dice79%
Goetz[30]2014 T1 T1c T2 Flair 极度随机树方法 Dice(68-83%)
Zikic[31] 2014 T1 T1c T2 Flair 卷积神经网络 Dice(74-93%)
Havaei[32]2015 T1 T1c T2 Flair 卷积神经网络 Dice(73-88%)
Pereira[33]2015 T1 T1c T2 Flair 深度神经网络 Dice(40-87%)
Vilaplana[34] 2016 T1 T1c T2 Flair 3D 卷积神经网络 Dice(31-95%)
Ellwaa[35] 2016 T1 T1c T2 Flair 随机森林 Dice(76-84%)
综上所述，现有脑肿瘤图像研究有以下几点不足：1）样本数量较少且标记数据不足，分割精度较低，无法保证相关算法在大样本数据下的适用性；2）现有数据库肿瘤类型单一，无法满足不同类型肿瘤的分割要求；3）现有分析方法仅能够对脑肿瘤图像进行分割，无法对脑肿瘤的性质进行评估。1.3 主要研究内容与论文结构1.3.1 研究内容
在学习和总结了当前比较常用的脑肿瘤图像分割算法后，本文提出一种基于多模态图像的 Double-Path-CNNs网络的分割方法，充分利用 MRI 图像多模态
4
硕士学位论文 1 绪论信息提升分割准确精度。主要研究内容如下：
1) 针对 MRI 成像过程中的噪声干扰问题，我们采用移除 1%最高和最低灰度值的方法对图像进行降噪处理，然后对图像进行归一化处理；然后利用脑部结构的对称性特征分析图像，找到存在肿瘤的图像，并利用聚类分析算法对肿瘤区域进行粗分割；
2) 设计并实现了基于多模态图像的 Double-Path-CNNs神经网络，用于脑肿瘤的精准分割。脑肿瘤 MRI 图像包含多模态信息，为了利用这些多模态信息，我们设计了一种 Double-Path-CNNs 模型用来分割脑肿瘤；为充分挖掘多模态脑肿瘤信息，以提升肿瘤分割精度，我们研究了不同模态图像的组合对脑肿瘤分割结果的影响。
3) 设计并实现了脑肿瘤辅助诊断系统。通过分析已经分割的脑肿瘤图片序列，得到肿瘤在脑中的位置、大小以及在序列中的位置，这些肿瘤的特征信息可为医生设计治疗方案时提供重要参考；可为医生节省下大量阅读脑肿瘤图片的时间，为医生设计治疗方法提供更多的空间与时间，同时也为病人的治疗提供更多的机会。
1.3.2 论文结构本文全篇共五章，结构如下：第一章绪论介绍了脑肿瘤的分类、症状、治疗手段、常用的医学检查手段
以及该项目的研究意义；其次着重介绍了 MRI 脑肿瘤的多模态信息并调研了国内外医学图像领域的分割算法。第二章首先介绍了 MRI 图像的成像原理、成像过程中产生的噪声对图像质
量的影响以及相应的处理办法，其次介绍了我们搜集的脑肿瘤图像数据集，重点描述了对不同医学图像的读取与预处理方法以及利用对称性与聚类方法对脑肿瘤图像进行粗分割。第三章对 CNN算法进行的系统性研究做了介绍。首先针对 MRI 图像提出
了一个基于多模态图像数据的 Double-Path-CNNs神经网络结构，比较了该网络与类似网络的分割准确率；其次针对我们提出的不同模态数据的组合是否对肿瘤分割结果产生的较大影响的问题做了深入研究，我们发现 Flair-T1c-T2 模态数据的组合比使用四种模态的组合的分割效果要好。第四章设计并实现了脑肿瘤辅助诊断系统，该系统分析第三章基于多模态
的 Double-Path-CNNs 模型产生的序列分割结果，从序列图像中找出包含肿瘤区域最大的切片，并分析肿瘤的大小、图像中的位置、水肿、坏死等以及在实际人脑中的位置等信息，最终将其显示在脑肿瘤辅助系统界面上。
5
硕士学位论文 1 绪论第五章对全文进行总结。简述自己在研究过程中遇到的问题与解决方案，
并指出了该项目未来的研究方向。
6
硕士学位论文 2 MRI 图像预处理
2 MRI 图像预处理MRI 成像过程中易受环境因素干扰，如磁场偏移效应、环境噪声等，这些
干扰因素会造成图像灰度不均等、模糊，直接降低肿瘤分割准确率。基于此，我们对 MRI 图像的不同噪声使用相应的处理方法。通过对 MRI 图像中人体组织的成像特点进行分析，我们提出了一个基于脑图像对称性结构的脑肿瘤区域粗分割算法。为研究脑肿瘤的多模态信息，我们收集了比较全面的脑部 MRI 图像数据，并对分割算法进行试验验证。2.1 MRI 图像
核磁共振成像是利用核磁共振原理的成像技术，应用广泛；在考古学中可以探测地下水纹与工程地质；在石油化学中探测流体的分布状态以及流通性；在医疗上的应用最为广泛。核磁共振首次应用于临床是在 1973 年，同时把医学上使用的核磁共振成像称为磁共振成像技术（MR）[36]。目前，临床上常见的是1.5T（特斯拉）、3T 的核磁共振机器。2.1.1 磁共振成像原理及优缺点
磁共振成像是基于核磁共振原理的成像技术，核磁共振原理源于核磁共振现象。核磁共振现象是当原子核被置于均匀的磁场 中时，MRI 系统通过外加的磁场 B，改变氢质子的状态，这些被改变的原子核会围绕磁场做自旋运动。外加一个固定频率的电磁波，为产生磁共振现象需要调节磁场强度使得原子核运动频率与电磁波频率相同。共振时原子核会吸收电磁波的能量，不同的原子核吸收的能量不同。因不同部位包含的氢质子不同，所以会产生不同的信号，核磁共振机通过测量这些信号并通过后续计算机处理，构建人体三维扫描图像。在该过程中一个非常重要的术语就是“弛豫时间”，当原子核在发生核磁共振现象后，停止外加的磁场 B，原子核把吸收的能量释放出来，恢复到最初的状态，这个过程叫做弛豫，所需时间称为弛豫时间。
人体中含有大量的水，核磁共振成像则利用水分子中氢原子核的运动与外加电磁波共振进行成像。这些氢原子在梯度场中稍有偏差就会被记录下来，比如说人的呼吸，这些被记录下来的信号能够在图像中成像，所以 MRI 图像中包含着非常丰富的信息，并且具有很高的分辨率，特别是对软组织而言。对于脑部的核磁共振图片而言，能够获得非常清晰的脑组织解剖结构图，MRI还可以对脑部血管进行成像，进而观察脑部血管的病变情况。目前核磁共振成像是临床上对腹腔、颅内疾病检查较为有效的辅助工具，
7
硕士学位论文 2 MRI 图像预处理不仅是因为它对软组织具有高度清晰的成像特点，它还有一些非常突出的优点[37]：
1）没有电离辐射伤害，有非常清晰的软组织成像对比度和分辨率，并且对骨骼成像不会产生伪影。
2）多个可调参数，比如使用造影剂、质子密度、弥散系数、T1弛豫等，使用 fMRI还可以显示更加丰富的生理和生化信息。
3）可以显示人体任何角度的剖面图，只需要调节磁场就可以，非常方便，常见的剖面图有横断面、矢状面、冠状面。横断面是平面平行于水平面扫描的平面，矢状面是在左右方向上扫描的平面，冠状面是在前后方向上扫描的平面。
虽然核磁共振成像有很多优点，但是也存在一些不足。首先核磁共振成像容易受内、外界环境干扰，比如说：诊断时患者自身的呼吸、心脏的跳动等一些很难控制的情况；检查头部时眼睛的运动；医生操作 MRI设备的熟练程度、在拍摄过程中时间的设定对成像质量有一定的影响；扫描序列的设计等这些噪声会降低核磁共振成像的质量，医生可能无法分析图像，有时可能会造成漏诊、误诊等情况，甚至有时可能出现假的病灶。其次，MRI很难定量诊断，例如 T1
加权图像，由于不同核磁共振机器的磁场强度不同，T1 的成像结果就不相同，因此没有统一的标准。2.1.2 人体组织在 MRI 图像的特点
MRI 在临床上用途广泛，比如用于神经系统、骨关节系统、体部成像（腹部、盆腔、肺部）、心脏、血管系统等。它以形态学成像为基础，以功能性成像为支柱，解决了临床诊断面临的困难。大脑内部有脑灰质、脑白质、脑脊液等组织；脑灰质又被称为大脑皮层、大脑皮质，由神经元细胞体构成，色泽灰暗，平均厚度为 2至 3毫米；灰质能够对外界的刺激信号做出反应，是信息处理中心。
脑组织在功能方面有较大的差别，那么在 MRI 图像中各组织有什么样的表现呢？首先了解一下 MRI 的各个成像参数具有的特点，其中，T1c：突出组织T1纵向弛豫（从某一个状态恢复到平衡状态的过程）差别，组织的 T1越长，组织恢复原状态越慢，信号就越弱，图像中就越暗；组织 T1越短，组织恢复原状态越快，信号就越强，图像中就越亮。T2 成像突出组织 T2横向弛豫差别；组织的 T2越长，信号越强，图像中就越亮；组织的 T2越短，信号就越弱，图像中就越暗；通常 T1 图像用于观察解剖结构，而 T2更适合观察病变区域；T1c
是 T1 信号的加权，主要突出组织 T1弛豫差别，Flair 序列(水抑制序列)液体信号被抑制，从而突出其他组织，主要用于对脑脊液的抑制。也就是说水这种物
8
硕士学位论文 2 MRI 图像预处理质在 Flair 图像上是黑色的，在 T2上却是白色的。
在 MRI 图像中，成人脑灰质的 T1、T2值均长于脑白质，在 T1上脑灰质的信号较低，脑白质的信号较高；T2上脑灰质的信号高于脑白质的信号，表 2-1
统计了不同组织在 T1 和 T2上的灰度情况。表 2-1 常见组织信号特点
组织 T1 T2
脂肪、骨髓 白 灰白肌肉 黑灰 灰肌腱 黑 黑灰
骨骼、钙化 黑 黑纤维软骨 黑 黑灰透明软骨 黑灰 灰气体 黑 黑水 黑 白血流 黑 黑
脑白质 白 黑灰脑灰质 灰 白脑脊液 黑 白
基于不同的脉冲序列，病理组织呈现出不同的信号强度，在 MRI 图像中表现为明暗程度不同。例如肿瘤在 Flair 图像中就是白色的，在 T1 中属于黑灰色的，而在 T2 中就是白色的。在我们的这项研究中，脑组织中出现的病变一般有水肿、坏死、囊变、出血等情况。
(a)胶质细胞瘤 (b)室管膜囊肿 (c)胶样囊肿图 2-1 脑病变图片
脑水肿因血脑屏障被破坏导致血浆进入细胞外间隙的水肿，成手指状分布于脑白质中，常见于原发性肿瘤，如胶质细胞瘤如图 2-1(a)所示。坏死组织在 MRI 图像中的表现因坏死组织的类型不同而表现各异；一般而
言，坏死组织的水分增多，T1 和 T2弛豫时间变长，在 T2上属于比较亮的信号；出现坏死后大脑会自动对坏死组织进行清除，常会形成肉芽组织，该肉芽组织有长 T1 和 T2弛豫的特点，但是晚期部分肉芽组织修复成慢性纤维结缔组织T2 缩短，在 T1 和 T2 像上，均呈现低信号。长 T1 是低信号，长 T2 是高信号。
9
硕士学位论文 2 MRI 图像预处理囊变是一种特殊的病变，囊内容物有两种：一种是含有纯水分，另一种为
含有蛋白质水分。第一种因为含有纯水，所以具有长 T1 和长 T2弛豫特点；第二种则在 T1 加权信号上信号强度有所增强，在 T2上信号呈白色高亮信号。2.2 数据集
在脑肿瘤图像分割领域，可以使用的数据集并不多。国内目前没有公开的数据集。国外有一部分公开的数据集，但由于标签数据都是请专业医生进行手工标注，标注成本过高、造价昂贵。2.2.1 数据集来源
本文所使用数据来源于 MICCAI[6]举办的 BRATS 数据库[38][39]。针对同一个病人的数据由多名专家进行标注，最终综合多个专家给出的结果作为标注信息。该数据集从 2012 年起开始搜集，数据量逐年增加。截止到 2016 年已经有 274
个病例数据，每个病例有四种模态数据和一种标签数据，共计 212，350张图片，其中标签数据 42，470张。所有数据均由常规的临床 3T 核磁共振扫描仪采集。
TCIA（The Cancer Imaging Archive）是一个专注于癌症研究大规模的公用医学图像数据库，其影像模态包括MRI、CT等，图像格式为 DICOM，网站内数据在持续更新中。该数据库旨在支持计算机辅助诊断方法的开发、跨学科研究者之间的协作、成像的关键因素的探索性生物标志物研究以及通过可接受的标准统计方法评估无偏见的科学重要性等研究。该网站数据可以按照肿瘤部分显示结果，也可以按照研究对象进行显示；但是也有一些项目的数据是私有的，不能下载。我们从该网站下载的数据约有 50万张，都是脑肿瘤图片并且没有标注信息。
(a)横断面 (b)冠状面 (c)矢状面 (d)肿瘤图片 (e)噪声图片图 2-2 TCIA五位病人的 MRI 图片
2.2.2 常见医疗图像存储格式经磁共振扫描，信息以图像的形式存储，图像中包含了磁共振扫描三维的
空间位置信息。医院有很多用于做检查的设备，经过这些设备的检查后就需要保存数据，常见的是为每个病人建立一个电子病历，这样医生再做检查就可以
10
硕士学位论文 2 MRI 图像预处理直接查看病人的电子病历。在做MRI 检查的时候，通常要在 45 分钟以上才能完成相应的检查，并且最终的检查结果是以图片的形式保存；然而，不同医院的机器可能不是同一家公司生产的，因此数据保存的形式可能不同。为了能够读取不同设备的检查结果即处理不同格式的医疗图片，需要对常用的医学图像存储格式做一个研 究 。 常 用 的 医 学 图 像 存储格式（后缀名）有 ：*.dcm、*.mha、*.mhd、*.nii；其中，*dcm 是最常见的医学图像存储格式。
DICOM 类型的文件可以使用 PyDicom 库读取文件，该文件类型以.dcm 为文件后缀，由文件头和数据集组成。头文件包含了一些基本信息如文件标识“DICM”；*.dcm 文件的主体是数据集。
Mha格式也是一种常用医疗图像数据格式，可以使用 MITK\SimpleITK\
VTK等软件打开，可以查看图像信息；而使用记事本打开后会出现一些文件头信息，真正的数据是在头信息之后的数据区或者指定的文件中，头信息中包含了 图 像 的纬度信 息（NDims）、 图 像 数 据 的宽高（DimSize）、 存储类 型（ElementType）、以及图像每个字节的排列方式（ElementByteOrderMSB）与图像数据的位置（ElementDataFile）等信息。
Nii格式的文件同样是包含头信息和图像数据，图像数据保存为 *.img，头文件保存成*.hdr；也可以直接用一个文件保存，这样也可以使用标准压缩软件（gzip）对 文 件 进 行压缩 。 nii 与 mha 格式 文 件 一样可 以 使 用 SimpleITK\
BrainSuite18a 进行文件的读取，并保存成常用的图片格式。为了能够处理不同的医学图片，本文设计了图 2-3 所示的程序。
11
硕士学位论文 2 MRI 图像预处理
图 2-3 MRI 图像预处理程序流程图2.2.3 MRI 图像预处理的一般做法
一般情况下，经过核磁共振产生的图像需要进行一系列的预处理，比如说需要进行偏置场矫正、噪声处理、颅骨剥离等操作；因为在成像过程存在各种干扰信息，可能会造成误诊。偏置场矫正和噪声处理是图像处理中必须要进行的操作，因为这两个干扰是无法避免的，而颅骨剥离程对于医生而言不是必须的处理，但是对于脑肿瘤的分割、脑结构的分割等任务是必须的预处理。使用颅骨剥离的好处就是让图像处理算法专注于脑的内部结构的处理与理解上；一般情况下会对脑肿瘤图像做一个归一化的操作，因为在核磁共振成像中像素值比一般图像的像素值大，所以需要归一化到 0-255 内或者 0-1 的浮点数图像。预处理流程图如 2-3 所示。
下面简要介绍一下这几种预处理方法：1）偏置场矫正是对 MRI 图像中存在的偏置磁场进行矫正，该偏置磁场存
在是因为磁共振磁场存在一定的不均匀造成的，磁场的不均匀性是无法避免的磁场效应。一般的脑肿瘤分割程序是基于脑组织在图像中的灰度值以及灰度分布的假设，因此，灰度不均衡的矫正成了首要任务
12
硕士学位论文 2 MRI 图像预处理1998 年由 Sled[40]等人提出N3算法，该方法不需要脑组织模型来执行矫正算法，所以后来成为偏置场矫正的主要参考技术。2010 年 Tustion[41]
等人提出了基于 N3算法的改进版 N4算法，N4算法具有良好的 B样条拟合函数，是目前较为常用的偏置场矫正算法。
2）颅骨剥离是一个从MRI 图像序列中去除颅骨、脑膜和非脑组织的过程。可以使用软件 3D Slicer 对核磁共振图像进行颅骨剥离；因为颅骨在图像中的灰度值比较大，也可以考虑使用形态学与阈值方法相结合进行颅骨剥离。
3）MRI 图像在成像过程中会有很多噪声影响图像质量，使得图像变得模糊不清，出现虚假信息，最终导致医生漏诊、误诊等情况。因此，MRI 图像的噪声处理也非常重要，Diaz[42]等人分析了当前比较常用的去噪方法，并给出了这些方法的优点与缺点。一般情况下将 MRI 图像中的噪声归类为高斯噪声，利用高斯滤波器进行滤波；而由 Buades[43]
等人提出的非局部均值滤波器对现有 MRI 图像数据处理影响深远。4）在 BRATS 2013[38]获得冠军的团队使用的噪声处理方法是直接移除 1%
最高和最低灰度值的预处理方案，然后是利用 N4ITK 方法对 T1 和 T2
图像进行偏置场矫正，然后分别对四种模态的数据按照序列进行归一化处理，即每张图片减去该模态整个序列的灰度平均值再除以方差。该方法对数据进行了归一化处理，后续参赛队伍使用的深度学习算法大多采用了这种滤波算法。
2.3 结合对称性特征与聚类分析的分割方法通常正常脑部的结构有脑灰质、脑白质、脑脊液。而有脑肿瘤或者脑部出
血的脑组织的 MRI 图像存在一定的像素值差异；正常的脑图像可以分成三类，而异常的可以分成四类，因此利用对称性分析可以找到异常图片，从 Flair 图像上看，异常区域通常是比较亮的，因此可以通过聚类的方法对脑部结构进行聚类分析，本节结合了这两种方法对 Flair 图像进行粗分割。2.3.1 对称性分析
我们知道人脑是有左右脑之分的，左脑倾向于语言和逻辑思维能力，把进入大脑内的信息比如听到、触觉到、嗅到以及品尝到的信息传换成语言，相当费时；而右脑则是倾向于感性和艺术思维，右脑具有自主性，能够发挥独自的想象力、思考，把意识图像化，自动地对输入的信息进行加工，衍生出创造性的讯息。虽然左右脑的功能大不相同，但是左右脑却平分了脑部的所有构造，具有相当高的对称性。
13
硕士学位论文 2 MRI 图像预处理从横断面上可以看出，正常人脑的左部与右部是关于中心线对称的；而发
生病变的脑肿瘤挤压脑组织使得脑组织发生形变，从而破坏了这样对称性；而且脑肿瘤越大这种不对称性就越明显。
为了利用这种对称性的信息，必须找到左右半脑的对称轴。在预处理阶段我们除去脑颅骨，得到人脑的内部区域，然后提取人脑的外轮廓，计算人脑中心位置；根据外轮廓到脑中心位置的一阶距和二阶距可以计算出该对称轴相对于 X轴的倾斜角度；在得到对称轴后分别计算左半脑和右半脑的像素值分布情况， 用 表示右半脑 的灰度直方 图 ； 表示左半脑 的灰度直方 图 ， 用
表示两个直方图的差异。如果存在脑肿瘤，在灰度直方图上会有一个比较明显的波峰或者波谷存在；确定肿瘤像素分布以后，利用阈值分割提取肿瘤区域。该方法主要利用脑肿瘤图像的像素值信息，经前面的分析可知脑肿瘤区域必须具有异于其他组织的像素值，Flair 模态的图像满足这种情况，因此该方法在 Flair 模态图像上可以很好的获取整个肿瘤的信息，在 T1c 模态上可以获得增强区域信息。
其中，脑肿瘤的中心可通过式（2-1）计算得到：
(2-1)其中 N 表示外轮廓线 P 中的像素点的个数，x、y 表示属于 P 的像素点的坐
标值。
(2-2)
对称轴的轴线的倾角利用（2-2）式计算，其中， 表示(p+q)阶中心距。通过该方法可以检测脑图像中是否存在肿瘤。如果存在，再利用 k 均值的
方法对图像进行聚类分析，可以获得脑肿瘤的位置、大小等信息。然而存在一种特殊情况，那就是如果脑肿瘤出现在对称轴两侧，并且被对称轴平分的情况，这是该方法失效。2.3.2 聚类分割方法
k 均值[21]是无监督学习中的一种聚类算法，算法的基本思想是：首先确定一个常数 k，常数 k 代表着我们最终要聚类的类别数；然后，选定 k个初始聚类质心，我们是按照像素值的大小选定了四个类别，然后计算每一个样本到每个质心之间的距离，即相似度，根据距离大小将样本点归类为最相似的类中，直到计算完所有样本点后重新计算每一个类的质心，重复以上过程，直到质心不
14
硕士学位论文 2 MRI 图像预处理再改变；最终输出则是 k个不同的簇，算法流程如表 2-2 所示。
表 2-2 算法流程用于分割脑肿瘤图像的聚类算法从图像中选取 k 个像素点作为开始聚类中心 ：重复
对于每一个像素 ，计算其所属类别： (2-3)对于每一个类 j，重新计算每一个类别的中心：
(2-4)直到每个类别中心不在变化输出划分好的类
对于 MRI 图像而言，根据脑部结构可知，可以包含脑肿瘤的图像在正常图像中添加一个脑肿瘤类别即可，包含五类：脑灰质、脑白质、脑脊液、脑肿瘤与背景，其中背景与脑脊液都是黑色，这样就确定了 k值为 4。在脑图像中这五类都有不同的灰度值，这是由脑组织本身的性质与成像参数共同决定的。在Flair 模态中，脑肿瘤的灰度值要比其他组织的灰度值大，因此可以根据灰度信息把肿瘤区域分割出来。在该实现方法中，我们使用欧氏距离作为相似测度，目标函数是：
(2-5)其中，n 表示像素点的个数， 是每一个类的质心， 是像素点的灰度值。因此，结合对称性信息与聚类算法的方法首先利用对称性信息判断脑图像
Flair 模态中是否存在脑肿瘤，如果存在肿瘤就使用聚类分析方法对包含肿瘤的图像进行聚类分析，最终输出肿瘤的分割结果。2.3.3 实验与分析
为了对本节提出的结合对称性特征和聚类分析的方法进行评价，我们采用Dice参数（相似系数）来判断脑肿瘤的分割准确率，Dice参数定义为：
(2-6)其中，P是预测图像、T是标签图像， 是预测图片中非肿瘤区域， 是肿
瘤区的预测结果， 是标签图片中非肿瘤区域， 是标签图片中肿瘤的标签数15
硕士学位论文 2 MRI 图像预处理据。我们选择了 800张有肿瘤和 200张无肿瘤的图片，每张图片都有标签数据，利用对称性特征检测肿瘤，如果待检测的图像包含肿瘤并且算法检测出有肿瘤则算法判断正确，或者待检测的图像中不包含肿瘤并且算法检测出没有肿瘤，则算法判断正确；否则算法判错。利用对称性分析检测肿瘤的结果示例如图 2-
4。
图 2-4 基于对称性特征的检测结果示例我们统计了 1000 中图片的检测结果，如表 2-3 所示，平均检测正确率是
85.5%。表 2-3 利用对称性信息检测肿瘤的统计结果
检测到肿瘤 未检测到肿瘤有肿瘤 800
张0.84 0.16
无肿瘤 200张
0.13 0.87
结合对称性特征和聚类分析的分割方法是在检测出肿瘤的结果上进行聚类，按照像素把脑图像分成四类，因为在 Flair 模态中肿瘤区域的像素是值最大的，聚类后只要选取最大的聚类中心所属的类别就可以选中肿瘤区域；按照聚类中心可以把其他三类图像选择出来，如图 2-5 所示；第一行是病人 Pat0001 的分割结果，第一列是标签数据，第二列是分割结果，第三列到第五列是聚类分割中的其他的三个类别。第二行是编号为 Pat0004 的病人的标签数据与分割结果。
16
硕士学位论文 2 MRI 图像预处理
(a)标签 (b)类别 3 (c)类别 2 (d)类别 1 (e)类别 0图 2-5 结合对称性信息与聚类分析的分割结果示例
从上图可以看出，结合对称性信息与聚类分析的分割方法具有一定的效果，能够把肿瘤区域分割出来。如图 2-5(b)所示，类别 3正是肿瘤区域与 2-5(a)图结构上很相似。从灰度值上来说，图 2-5(b)看上去要比 2-5(c) 、2-5(d)、2-5(e)亮，这正是 Flair 图像的特点，能够凸显病灶区域；图 2-5(c)从结构与位置判断，它应属于脑白质，而图 2-5(d)属于脑灰质，但是因 Flair 图像比较模糊，脑白质与脑灰质的差别不是很大，所以不能笼统判定 2-5(d)是脑灰质；图 2-5(e)是属于背景的一类。从整个序列来看，处在序列开始与结尾处的图片，包含的肿瘤比较小或者
只包含了水肿区域，这些图片容易出现分错的情况，如图 2-6 所示。
(a)序号 96 (b) 序号 97 (c) 序号 98 (d) 序号 99 (e) 序号 100
图 2-6 结合对称性信息与聚类分析的分割结果示例，第一行是算法分割结果，第二行是专家分割结果
为了对肿瘤的分割准确率的进行评价，使用 Dice参数进行分割准确率的评价。随机选择一位病人的序列图像，并对病人的整个序列进行了统计，表 2-4
17
硕士学位论文 2 MRI 图像预处理是某一位病人被检测出包含肿瘤的每个切片的 Dice值；随后又统计了 8个病人的序列图像分割结果的 Dice平均值，如表 2-5 所示。
表 2-4 病人包含肿瘤切片的分割结果的 Dice 统计结果序列号 Dice 序列号 Dice
36 0.29 56 0.9037 0.38 57 0.9238 0.57 58 0.9139 0.81 59 0.9040 0.84 60 0.9141 0.87 61 0.9242 0.88 62 0.9143 0.88 63 0.9044 0.91 64 0.9245 0.93 65 0.9146 0.94 66 0.8947 0.93 67 0.8648 0.95 68 0.7949 0.94 69 0.7350 0.93 70 0.6751 0.94 71 0.6252 0.93 72 0.5853 0.90 73 0.5454 0.90 74 0.4555 0.92 75 0.33
表 2-5 结合对称信息与聚类方法分割结果的统计患者编号 Dice平均值Pat0001 0.78Pat0002 0.82Pat0003 0.87Pat0004 0.77Pat0005 0.76Pat0006 0.88Pat0007 0.74Pat0008 0.75
从表 2-4 可知该方法在序列的中间可以获得很高的 Dcie值，但是在序列的开头与序列尾部的图像 Dice值不是很好，肿瘤的分割效果没能达到预期效果。从表 2-5 可知，Dice参数的平均值在 0.74到 0.88 之间变化，结合对称性与聚类分析的方法对脑肿瘤的分割具有一定的作用，能够提取出图像中完整的肿瘤边界。2.4 本章小结
本章首先介绍了 MRI 图像的成像原理、核磁共振成像技术的优缺点、在成像过程中存在的多种类型的噪声以及相对应的降噪方法；紧接着搜集了比较全面的脑肿瘤图像数据并对数据存储格式、预处理方法做了详细介绍；最后详细
18
硕士学位论文 2 MRI 图像预处理表述了结合对称性信息与聚类方法的分割方法，发现这种方法能够提取脑肿瘤的边界，对肿瘤检测具有一定的作用；但是对具有关于对称轴对称的肿瘤毫无作用。
19
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割
3 基于多模态图像的 CNN 特征提取与脑肿瘤分割脑肿瘤在个体形态、位置、灰度等级等都存在极大的差异，传统的分割算
法并不具有较好的可扩展性并且鲁棒性低；而深度神经网络在图像识别类的任务中表现优异，对处理图像中不同尺寸、不同位置的同一种目标具有良好的效果。医疗图像领域也已经有很多使用深度神经网络进行分割任务，在参加脑肿瘤分割挑战赛的队伍中也逐渐有队伍开始使用多层或者级联等结构的神经网络进行脑肿瘤分割的任务，并且获得了不错的名次。本文在研究了 Mohammad[32]
等人设计的神经网络后，提出了一种新的 Double-Path-Cnns 结构模型，充分利用多模态脑肿瘤图像信息以提高分割的准确率。3.1 卷积神经网络理论卷积神经网络自 1998 年被 Yann LeCun[31]等人提出后，它就受到研究者的关
注，它作为有监督学习的代表进入了图像识别、语音识别等领域。图像识别中，输入数据是原始图像，模型利用梯度下降算法更新参数，能够自动学习到有利于图像分类的特征，而不关心各个图像特征间的差异性，因此受到广泛应用。3.1.1 CNN 的误差函数
在卷积神经网络中，卷积层和下采样是神经网络中常用的两种层结构，经过卷积层后会输出多个特征图，紧跟其后的是全连接的网络层，全连接网络层把经过前几层提取的二维特征图映射成一维特征，利用一维特征再进行分类或者识别任务。但是，神经网络到底是如何学习特征的呢？既然是学习，肯定是要有目标，深度学习的目标就是尽可能地降低目标函数，使得网络能够利用学习到的特征预测输入图像对应的类别标签。首先，我们先讲一下误差函数。
对于一个含 m个类别的一共有 N个样本的多分类问题，方差损失函数： (3-1)
其中，t kn表示标注数据即先验类别标签， ykn表示网络输出类别标签，其中 n
是 N个样本中的第 n个样本，而 k 表示m个类别标签的第 k维。一般来讲多分类问题是“一对多”的问题，也即是一个样本X n如果属于第 k 类，则理想情况下 m维的输出中对应的第 k维的输出是 1，其他的值为 0；实际情况是第 k维的输出是非常接近于 1 的正数；其他维的输出是非常接近于 0 的正数。
我们考虑最简单的情况，只有一个输入样本的情况：
20
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割
(3-2)这个公式就是每次输入一个图片我们得到的误差函数，即目标函数，网络
训练的目标就是最小化该函数。3.1.2 前向传播
我们通过专家手工标注获得先验类别标签数据，如何得到预测类别标签呢？通过神经网络的前向传播算法可以得到预测标签。我们知道神经网络是一层一层堆叠起来的，包括输入层、隐含层、输出层；无论是哪种类型的层都有输入和输出，这样就可以用一个通用的表达式表示这些网络层：
(3-3) 其中 Y 是每一个层的输出，X 是每一层的输入，W是该层的权重（可以看
做是一个参数矩阵，该矩阵的大小根据输入 X 与输出 Y唯一确定），b 是该层的偏置向量， 是激活函数。在卷积神经网络中，用L表示当前层，则L−1表示前一层，上式变成：
(3-4)为解决全连接网络参数过多，难以训练的问题，在卷积神经网络中引入了
权重共享的做法。权重共享能够降低网络参数并且降低了网络计算的复杂度。比如，我们输入一张图片，然后用一个滤波器去扫这张图，得到一个特征图，这个滤波器中的参数就是权重，就是共享权重。引入滤波器后，神经网络的表达式变成：
(3-5)其中，j表示第 j个卷积核，r代表前一层第 r个特征图，Y rL−1代表上一层的
第 r个特征图， 代表第 j个卷积核的 r通道的权重。在输入层得到的信息通过公式(3-5)一层一层传递下去；直到最后一层，激活函数使用逻辑回归实现特征的分类，最终可以得到预测类别标签。如果预测的类别标签与先验类别标签差距较大，如何调整？这就用到了误差的反向传播。3.1.3 反向传播
我们知道卷积神经网络中的反向传播 [44]主要作用就是对网络参数进行更新，最小化目标函数，从而实现对网络参数的训练。这里简要介绍一下全连接网络的参数更新。由前文可知，损失函数为公式 3-1：利用梯度下降法求解每一层的W,b：首先是输出层 L层，W,b满足以下方程：
(3-6)
21
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割第 L层第 j个单元的误差定义为：
(3-7)根据链式法则可以求的得：
(3-8)上式右边的第二项，激活函数 ，因此误差函数可以写成：
(3-9)在本文中误差函数是一个二次代价函数，因此，上式可以简化成：
(3-10)算完输出层的误差以后，紧接着往回算，当前层 L-1 的误差用下一层 L 的误差计算：
(3-11)
(3-12)求微分后：
(3-13)
(3-14)计算代价函数关于权重和偏置的偏导数：
(3-15)
(3-16)根据权重更新公式：
(3-17)
(3-18)其中， 为学习率，一般设置很小的正数。
22
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割3.2 多模态 CNN 特征提取每个病人都有四个不同模态的 MRI 图像序列（我们称序列中的不同的切片
为不同层），每种模态所包含的信息不同，且四种模态灰度信息差异较大；同一个病人的脑肿瘤，在不同的层肿瘤的形态也不一样，可能在某些层根本不存在肿瘤，而在一些层中肿瘤的区域非常大；不同病人的肿瘤在形状上也存在较大的差异，有的病人脑中可能存在多个疑似肿瘤区域；这些因素体现了脑肿瘤的 分割是 一个艰巨的挑战，每年举办的 MICCAI Brain Tumor Segmentation
Challenge (BRATS)比赛也证实脑肿瘤的分割面临的挑战。利用深度神经网络分割脑肿瘤需要考虑以下两个方面：1）如何充分利用多
模态MRI 图像信息；2）什么样的神经网络结构能够更加准确的分割脑肿瘤。3.2.1 多模态 CNN 模型
在脑肿瘤分割领域已经有许多神经网络的结构 [45]，Zikic[45]等人提的神经网络使用最大化池化操作，并且只有一层全连接层；G.Urban[46]等人使用了 3D滤波器，因为它能够学习三维的特征信息，利用三维滤波器的话就需要使用序列图像作为训练数据，而挑战赛中的数据量并不多，因此需要考虑数据扩充的问题；目前大多数的神经网络使用的 2D[48]的滤波器；也有很多研究者使用的是编码解码[53]方式进行肿瘤的分割比如 Kendall A[53]等人设计的网络，语义分割中的卷积与反卷积结构[59]以及各种结构的级联[63]；还有使用极随机树[67]和基于纹理特征等进行分割的算法[68]以及结合隐马尔尔科夫与最大期望模型的方法[69]。
我们观察这四种脑肿瘤图像，会发现脑组织是由不同的结构组成，这些不同的结构构成了我们大脑的各个功能区。脑中的组织结构分为三种，脑白质、脑灰质和脑脊液，他们在 MRI 图像中具有不同的灰度值表现。我们发现脑组织中脑白质与脑灰质、脑脊液在灰度值上有差异，可以利用聚类的方法把这三种组织分割开来；这样就自然想到利用像素周围一定尺寸的邻域去代表这个像素所属的类；比如我们选取一个像素周围 33*33 大小的邻域作为判别该像素所属类别的依据，为了利用四种模态的信息，自然想到取其他模态中与该像素相同位置的相同邻域大小的像素，这样就确定了我们的 CNNs 的输入大小，而输出的则是专家人工标注的该位置像素所属类别的标签。受文献[32]等人的启发，我们设计了如图 3-1 所示的单通道的网络结构。模
型设计完成以后，目标函数即误差函数选定交叉熵函数，使用随机梯度[71]下降法优化目标函数和更新权重。网络模型的结构如图：
23
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割
图 3-1 网络模型结构3.2.2 训练数据
我们的训练数据是 BRATS2015 提供的 220个高级胶质瘤和 54个低级胶质瘤，该数据集有标签数据，标签是由经验丰富的多个专家共同标注完成的，一共有五类标签，分别是：0-背景、1-坏死、2-水肿、3-非增强区、4-增强区。在脑肿瘤图像中包含的肿瘤区域和非肿瘤区域是极为不平等的，在一个完整的脑肿瘤体数据中，正常的像素值占到所有像素个数的 98%。在剩下 2%的异常区域中，有 0.18%属于坏死（标签 1）、1.1%属于水肿（标签 2）、0.12%属于非增强区域（标签 3）、0.38%属于增强区域（标签 4）。因此，在选择训练数据需要考虑数据的不均衡性。
我们选定邻域大小为 33*33，为每一个标签都选择一定量的训练数据，这样训练数据的不平衡问题就解决了。我们知道标签数据与其他四种模态的数据是一一对应的关系，因此只需要知道标签数据在图像中的坐标就可以找到与它在其他几个模态中对应的像素值以及邻域。考虑到系统内存，每个标签选择10,000个数据样本，这样一共选择了 50,000个训练数据，测试样本为 10,000个数据。
我们选择数据的规则是：假定每一个标签选择 10000个数据块，每一个数据块的选择都遵循以下规则，首先，随机选择一位病人，再随机选择该病人序列图片中的某一张，然后再在该图片对应的标签图片中选择随机选择一个标号为 1 的位置，取该位置对应的四个模态中邻域大小为 33*33 的数据块，这样训练数据就是具有 4个通道三维信息。为了剔除某通道缺失信息，增加一个数据检查，如果该 4 模态数据中像素值为零的个数大于 33*33则舍弃该数据块；重新挑选，直至每个标签都有 10000个这样的数据块。这里是我们选择的一部分数据，标签 1 的训练数据如图 3-2、标签 2 的训练数据如图 3-3、标签 3 的训练数据如图 3-4、标签 4 的训练数据如图 3-5；每一列是一个训练数据，包含同一位置四个模态肿瘤的信息，而每一行是某一种模态下的不同位置的肿瘤图像数
24
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割据。
图 3-2 标签 1 的训练图片示例
图 3-3 标签 2 的训练图片示例
图 3-4 为标签 3选择的数据
图 3-5 标签 4 的训练数据示例3.2.3 多模态 CNNs 特征
用 CNNs 对多模态MRI 图像进行特征提取，输入图像如图 3-6 所示。我们选取的特征图是每一层卷积层的部分输出，四个卷积层的输出结果分别为图 3-7
25
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割至 3-10：
图 3-6 四模态图像的输入
图 3-7 第一层卷积层的输出示例
图 3-8 第二层卷积层的输出示例图 3-9 第三层卷积层的输出示例
图 3-10 第四层卷积层的输出示例训练数据经过第一层卷积后，提取了一些方向、纹理等特征如图 3-7；经过
第二层后特征图中有很多一样或者类似的特征，如图 3-8，到第三层同样出现很多类似的特征，如图 3-9，第三层卷积网络还学习了肿瘤的结构特征比如 3-9 所示的第二行第三列以及第三行第二列；同样的第四层卷积层中相同的特征更多，足以说明网络学习到的特征具有特征不变性[70]。3.3 基于 Double-Path-CNNs 特征提取的 MRI 脑肿瘤分割
本节将详细讲述 Double-Path-CNNs 模型的结构、模型的参数设置、训练数据预处理以及网络的训练。
26
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割3.3.1 网络结构
由 BRATS 提供的数据集，标签数据本身存在不平衡性，因此，在数据准备的时候需要考虑如何均衡每个标签的数据，使得训练数据均衡化；一种常用的方法是提取块数据，这样的数据决定了网络模型的输入不是整张图像，同时也决定了网络模型的结构。通过观察，我们知道一个病人的医疗影像数据是一个序列，并且不是每一张图片都包含肿瘤；除此之外，包含肿瘤的图片中各个标签的分布情况也不同。考虑到以上情况，我们为每一个标签选则一定数量的数据块作为训练数据；这样我们的模型的输入就是块数据，输出是该块数据对应的类别标签。受Mohammad等人设计的网络结构的启发，我们设计了 Double-
Path-CNNs 模型结构如图 3-11 所示。该模型使用了不同尺寸的卷积核以及不同的池化方式，用于提取更深层的图像特征。
图 3-11 Double-Path-CNNs 模型的结构图我们这里主要介绍一下用到的几个深度神经网络常用到的结构：卷积层：在 Double-Path-CNNs网络中每一个特征图 对应一个卷积核，每
一个特征图的计算公式是： (3-19)
其中， 是第 r通道的输入， 是 r通道对应的参数，*是卷积操作， 是偏置项（X 包含 个灰度值， 包含了 个权重）。激活层：我们在该神经网络中使用 ReLu激活函数，替换掉了 MaxOut层，
ReLu激活函数的定义为： (3-20)
该激活函数的收敛速度要比 sigmod/tanh 的速度快，并且只需要一个阈值就可以达到激活值，提高了网络的训练速度；但是该激活函数也是存在缺点的就是当设置的学习率比较大时容易使得很多神经元达到死的状态；为解决这个问题，衍生出了很多类型的激活函数，Leaky ReLU就是其中的代表，函数表达式为：
27
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割 (3-21)
为了获得更好的性能，还可以选择更为复杂的 ELU激活函数；该函数是在ReLU 的基础上改进的，但是比后者速度和精度上要好。
(3-22)池化层同一般的池化层没有区别，这里不再介绍。网络的训练：网络采用梯度下降算法[71]更新网络参数，在更新参数的时候
我们添加了正则化方法，加入正则化能有效避免过拟合问题。L1正则化与 L2正则化可以看作是损失函数的惩罚项；L2正则化如式（3-
23）： (3-23)
E代表的是新的代价函数， 代表的是原代价函数， 是正则项系数，是模型参数，n 是训练样本的个数。我们推导一下看看 L2正则化是如何避免过拟合的：
(3-24)
(3-25)
(3-26)可以发现 L2正则化项对 b的更新没有影响，对 的更新有影响。因为 、
、 都是正数，并且 是一个大于等于的正数，因此， 是一个小于 1
的数，而在进行正则化之前 的系数是 1。在实际的应用中发现，使用 L2正则化的神经网络的效果要比没有使用 L2正则化的神经网络要好。
L1正则化可以产生稀疏权值矩阵，可以用于特征选择；带 L1正则化的损失函数：
(3-27)计算该函数的导数：
(3-28)上式 代表 的符号。更新规则变成：
(3-29)比原始的参数更新多了一项 。当 为正时，更新后的 变小；
28
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割为负时，更新后的参数变大，最终使得 向 0靠拢；这就是 L1正则化能够减小网络复杂度、防止过拟合的原因。
采用 Dropout[72]层可以防止过拟合，DroupOut层是让网络中的一些神经元暂时以一定的概率不工作，目的是防止网络过拟合。Dropout层的存在影响误差传播的计算公式，具体情况如下：无Dropout层的传播过程：
(3-30)
(3-31)含 Dropout层的神经网络传播过程：
(3-32)
(3-33)
(3-34)
(3-35)Z 代表加权输入，L 代表 L层，f 为激活函数，w 代表权重，b 是偏置项，
Bernoulli(p)函数依概率 p生成 L，文中指出 p值设置为 0.5 的时候效果最好，因为这时由 Dropout 生成的网络结构最多。
Dropout层能够降低过拟合的主要原因是生成较多的模型。加入 Dropout层的网络在每次训练都会生成一个新的模型，这样可以减少某些神经元对特定神经元的依赖，使得网络能够学习更多的具有鲁棒性的特征；此外，我们还使用批数据归一化[73]训练网络模型，使模型不容易陷入局部最优解。
在神经网络中加入 Dropout 相当于生物进化论中的突变，物竞天择，适者生存。经过反复迭代后，能够自动的选择出更适应模型的神经元，这些神经元对网络模型的输出具有较大的影响，而不适应的神经元则对网络模型的输出影响较小。
全连接层：Mohammad[32]等人提出的网络中没有添加全连接层，最后一个卷积层的输出直接输入 Softmax 进行分类；而 Sérgio Pereira[33]等人提出的网络添加了三层全连接层，为了能够获得比较好的分割准确度和网络速度，我们添加了一层全连接网络。
我们没有像文献[33]那样直接添加了三层全连接层，而是在网络卷积层后面我们添加了一层全连接层，因为全连接层的参数比较多，因此我们为了缩短网络结构的训练时间，所以减少了两层；另外为了能够较多的学习到图像的深度特征，我们在卷积核的大小方面做了调整，选择了几种不同的核尺寸大小，目的是希望模型能够学习更深层的信息。从结构上来讲，我们吸取了这两种网
29
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割络的特点；为了充分利用脑肿瘤的多模态特征，我们对比了不同层数全连接层，发现使用三层全连接层分割精度最高，最后我们使用的是三层全连接网络。最后就是损失函数，我们选用交叉熵损失函数作为该模型的损失函数：
(3-36)其中， 表示 i，j位置的标签。3.3.2 网络的具体实现
我们利用 Keras框架设计网络模型，后端采用 Tensorflow。因为脑肿瘤区域有四个类别，再加上一个作为背景，一共需要分成五类。属于多分类问题，目标函数就选择交叉熵损失函数；参数更新算法选择批梯度下降算法。
模型设计完成后，需要设置一些关键参数。学习率设置为：0.001；学习率延迟更新：0.01；Dropout层的值设置为 0.5；正则化项中的参数设置为 0.01；批大小设置为：128；迭代次数：100。为防止过拟合，在网络训练之前我们设置一些监控参数，在训练过程中，每次训练完成检查当前的参数下的分割准确率是否为最大，如果是，就保存模型与参数；否则，继续训练；如果网络训练的验证集精度有连续几次不再提高，则停止网络的训练；并保存当前最好的模型。
关于预测：在利用训练好的模型，进行预测是需要注意，因 Double-Path-
CNNs 模型的输入不是一张图片，因此需要从待预测的图片中提取与模型输入相同的数据；针对每一个数据块都有一个预测结果，最终把这些数据块对应的预测结果整理到一张图像上，就是整个图片的预测结果。
我们的硬件环境采用 intel酷睿 i7 处理器、NVDIA GTX 1070显卡 8G显存、16GB 内存的机器。3.3.3 Double-Path-CNNs网络参数的训练输入的训练数据经过 Double-Path-CNNs 的每一个卷积层都会产生一系列的
特征图，每一次经过卷积层操作时我们都会选择一定数量的卷积核用于提取特征，这样脑肿瘤图像的低级特征经过一级一级的特征提取后变成了深度特征，再将这些深度特征接入全连接网络用于分类输入数据的分类。本节将介绍我们的训练过程和模型的特征图，训练数据的获取方法参见 3.2.2节。
30
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割
图 3-12 Double-Path-CNNs网络的训练结果训练中的参数变化，我们使用 Tensorboard 工具来显示网络参数的变化情况；
图 3-12 是我们的训练精度和损失函数的变化曲线图，我们选 100次迭代结果的前 50次进行分析。从图 3-12 可知，前 10次迭代的精度提升的很快，10次迭代后训练精度曲线的变得平滑，而损失函数是一直在减少；验证集精度出现明显的变化，这是因为我们的验证集是从训练集中随机抽取一部分作为验证集、被抽剩下的作为训练集数据；验证集精度曲线变化还说明了脑肿瘤图片本身存在很大的差异、有的数据还是比较容易训练而有的数据是比较难训练。
在训练模型时我们设置的是保存验证集中精度最高的模型。从图中可知，在 40次左右模型达到一个较高的准确度，程序会保存模型与权重参数。我们发现每增加一层全连接层后，网络的训练速度都会明显比没加之前慢，网络参数越多需要的训练数据越多，综合考虑以上情况后决定选择了具有三层全连接层的模型。3.4 评价标准与结果分析
脑肿瘤分割的数据是由 MICCAI举办的 BRATS 提供，该数据集中的每一张图片都有标注数据。标注数据中有五个类别，1 表示坏死、2 表示水肿、3 表示非增强区域、4 表示增强区域，0 表示背景。3.4.1 评价标准
为了评价算法的性能，脑肿瘤分割挑战赛定义了一下评价方法[49]，肿瘤区31
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割域被定义为：
1) 完整的肿瘤区域（包含所有的标签数据）2) 肿瘤的核心区域（除水肿区域标签 2 以外的所有标签）3) 肿瘤的增强区域（只包含肿瘤增强区即标签 4）为了分别评价每一个区域，定义了一些参数例如敏感度（Sensitivity）特异
性（Specificity）定义如下： (3-36)
(3-37)其中， 代表预测值、 代表标签； 代表预测图像中非肿瘤区域、 代表预测图像中肿瘤区域、 代表标签图像中的非肿瘤标签的数据和 代表肿瘤标签。3.4.2 结果与分析利用前面训练好的模型进行预测，图 3-12 所示的是分割结果，从整个序列
来看该模型能够把肿瘤区域准确分割出来，并且肿瘤是逐渐变大再变小，最后只剩下水肿区域；图像中肿瘤的位置刚开始是在左上方，随着序列的变化肿瘤位置在图像中发生了变化，因为是横轴的扫描序列是向着头顶前进的方式，所以可以推断该肿瘤是一个斜向上的立体结构。
图 3-13 分割结果示例，其中32
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割代表水肿、 代表增强区、 坏死区、 非增强区
图 3-14无肿瘤图的分割结果示例，其中代表水肿、 代表增强区、 坏死区、 非增强区
在图 3-13 的一些序列中，我们发现在没有肿瘤的图像中会把无肿瘤的区域分错，如图 3-14(a)第一行所示。文献[32]提取了增加非肿瘤区域的训练数据的方法，我们在原来训练数据的基础上分别增加了 10%和 20%的 0 标签的训练数据，增加数据量后的对应图像的分割结果如图 3-14(b)与 3-14(c)所示，增加训练数据后发现非肿瘤区域分错的情况降低了。肿瘤区域与非肿瘤区域在脑图像中本身就存在不平衡性，而且非肿瘤区域的灰度值变化相对较大、纹理特征与肿瘤区域的特征相差也比较大，因此为非肿瘤区域提供更多的训练数据是合理的。
为了验证我们的模型的分割效果，我们使用 BRATS 提供的数据与评价标准与 Mohammad[32]等人以及 Pereira[33]等人所提方法进行了比较，如表 3-2 所示。
表 3-2 与 Mohammad等人以及 Pereira等人所提方法的比较结果
方法 Dice 特异性 敏感性肿瘤 坏死 增强区 肿瘤 坏死 增强区 肿瘤 坏死 增强区
Paper[32] 0.88 0.79 0.73 0.89 0.79 0.68 0.87 0.79 0.80
Paper[33] 0.88 0.76 0.73 -- -- -- 0.86 0.74 0.81
Ours 0.84 0.81 0.76 0.79 0.80 0.69 0.85 0.81 0.82
从表 3-2 中可知，我们的模型在肿瘤核心区与增强区的分割准确率比其他两个要高。这是因为我们在卷积层也加入了 Dropout层，模型更加复杂；同时我们使用了 Double-Path-CNNs 模型，该模型拥有并联结构、每个通道使用不同
33
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割尺寸的滤波器能够提取更多更深层的特征。但是我们的模型在整个肿瘤区域的分割结果上比文献[32][33]低，这是因为整个肿瘤区域包含水肿区域，水肿的边界比较光滑，这点可以从图 3-13 中的分割结果看出。我们知道脑中的水肿区域一般会呈现手指状，我们的模型预测的结果与此不符，有两个可能的原因：一个是深度神经网络在训练是参数的变化率是一个比较小的数，不会出现很大的跳变；第二个原因就是我们选取的块数据，因为我们用一个像素方块去表示一个像素的类别，这种方式有一种以偏概全的含义，比如说一个 33*33 大小的像素块中，只有三分之一的像素是属于肿瘤标签的，而三分之二的像素是属于非肿瘤标签，然而该像素块表示的是肿瘤，所以在选择像素块的时候要选能够表示该像素类别的标签。边界分割不准确是因为网络模型把这些边界出的像素值都判给了水肿，也
就是判断错了，网络的最后接的是全连接层用于分类，可以增加全连接层的层数提升分类准确率。图 3-15 是三种不同的全连接层的分割准结果，对比纵向的图片可以发现增加两层的分割结果与增加三层的分割结果相差不大；而只有一层全连接层的分割结果中第一行第四幅图中的脑脊液与最后一个图中的脑脊液被分割成了肿瘤核心、非增强区也被分成肿瘤核心。增加全连接网络的层数可以提升准确率，但全连接层越多需要训练的参数就越多、就需要更多的数据进行训练。
34
True
ThreeDenseLayer
OneDenseLayer
TwoDenseLayer
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割图 3-15 不同的全连接层数的分割结果示例，
代表水肿、 代表增强区、 坏死区、 非增强区由图 3-13 与 3-15 可知，本文提出的 Double-Path-CNNs 能够对不同病人的
脑肿瘤在位置、大小、形状等方面存在很大差异的情况下有一个较好的分割结果，能够获得这么好的分割结果得益于三个方面：1）有一个比较合理的网络结构，该网络结构对于分割多模态的脑肿瘤图片表现出了优异的性能；2）充足的训练数据，深度神经网络属于数据驱动型的模型，要训练一个具有良好性能的分类网络必须要让网络学习足够多的特征，同时需要保证网络不能够过拟合；3）Dropout网络的使用，为了防止过拟合我们采用了许多过拟合的方法，其中Dropout网络层能够防止过拟合的同时，增加了网络学习更多特征的能力，因为在每次训练的时候，由于 Dropout层的作用，使得网络模型在结构上有一定的变化，这样相当于训练了多个模型，所以网络模型具有一定的复杂程度。我们可以知道网络参数是在变小的，因此我们确定网络并没有过拟合。3.5 不同模态图像数据对脑肿瘤分割结果的影响
我们知道MRI 图像的四个模态包含了非常丰富的肿瘤信息，Flair 模态信息可以观察整个肿瘤形态、大小、边界等信息，但是无法区分肿瘤的坏死区、水肿、增强区等信息；T1c 可以增强肿瘤区域的信息；而 T2则是提供了整个病灶区域的信息；T1则是可以很好地观察整个脑部的解剖结构。针对这四种信息，是不是存在某几种模态的组合对肿瘤的分割是一个最优的选择？我们设计了一系列对比试验，用于了解各组模态对肿瘤分割的贡献情况，实验的流程图如图3-19。
35
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割
图 3-19 训练网络的流程图各种模态的组合一共有 15 种，网络结构使用前述的 3-11 的结构。各种组合
下网络模型的参数个数统计如表 3-3。表 3-3 不同输入数据模型的参数统计表
模态个数 总参数（个） 输入层参数（个） 训练参数（个） 非训练参数（个）
1 13,392,993 640 13,392,563 430
2 13,396,705 1,216 13,396,275 430
3 13,400,417 1,792 13,399,987 430
4 13,404,129 2,368 13,403,699 430
由表 3-3 知，模型参数仍在同一个数量级，参数变化主要发生在输入层。因为我们的输入是不同模态的组合，模态个数相同的情况下网络的参数个数也相同；网络参数的初始化方式同四种模态组合的初始化方式相同。训练数据准备，随机选择一张图片，在该图片中随机地选择一个标签位置，
在其他模态中选择同样的位置；然后再选择该位置附近邻域大小为 33*33 的区36
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割域作为训练数据。比如，对于三模态而言，输入是 33*33*3；为每一个标签选择固定 10，000这样的块数据训练神经网络；验证集按照 5:1 的比例选择数据即可。
我们有四种模态的图像数据，对应着四种不同大小的输入数据，根据通道数量不同设计四组实验；这样既可以比较在相同输入情况下模型的分割结果，还可以比较不同通道数量对分割结果的影响。
我们首先设计了一组只有三种模态图像作为输入的实验，该实验一共包含4 种模态的组合实验，分别是 Flair-T1-T1c、Flair-T1-T2、Flair-T1c-T2、T1-T1c-
T2这几种模态的组合。再分别为这四种组合选择相同数量的训练数据，数据的选择方法同前文所述；数据收集完成后，开始训练网络并保存训练精度最高的模型和参数；每种模态组合训练 100次，分析其前 30次训练的准确率图如图 3-
20 所示。为训练其他模态组合，分别为每种组合准备相同大小的训练数据，训练参
数初始化方式不变；训练过程中的参数如图 3-21、3-22 所示。从图 3-20 中可知，Flair-T1c-T2这个三模态的组合是所有三模态组合中训练精度最高的一种组合，并且比全四模态的训练精度要高；从图 3-20还可以了解到，包含 T1c 模态图像的训练精度都比较高，只有 Flair-T1-T2这个组合的训练精度较低；分析可知T1c 模态图像对于肿瘤的分割贡献了很多信息。在两模态的实验中如图 3-21，我们发现 Flair-T1c 模态组合的准确率是最高的，其次是 T1-T1c 模态的组合；在Flair 图像中我们可以很清晰的看到整个肿瘤的形状，而 T1c 包含了肿瘤内的核心、增强区、非增强区等信息，因此这两种模态的组合能够获得较高的准确率。对于单模态而言，T1c无疑是对分割最有贡献的模态信息，如图 3-22 所示；训练准确率最差的是 Flair 模态的数据，因为在该模态下整个肿瘤区域的差别不大，像素的线性不可分程度较高。
图 3-20 三种模态组合与四模态的准确率对迭代次数的变化曲线
图 3-21 两种模态组合的准确率对迭代次数的变化曲线
37
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割
图 3-22 单模态的准确率对迭代次数的变化曲线
图 3-23 四组实验中准确率最高的四条准确率随迭代次数的变化曲线
图 3-23 所示的曲线对比明显，T1c 的在训练开始的具有很大的变化率，说明 T1c 包含的信息对分割的帮助很大；随着网络不断被训练，开始学习到一些深度的特征，能够利用脑图像的多模态特征分割脑肿瘤。利用已经训练的模型对测试集数据进行预测，并利用 Dice参数作为衡量各
个模态分割脑肿瘤准确率的指标；我们统计了整个脑肿瘤区域、脑肿瘤坏死区域以及脑肿瘤增强区域的分割结果，实验结果如表 3-10：
表 3-10 Dice参数下所有模态的组合分割准确率模态组合 增强区 坏死区 整个肿瘤
Flair-T1-T1c-T2 0.76 0.81 0.84
Flair-T1-T1c 0.64 0.69 0.76
Flair-T1-T2 0.4 0.46 0.49
Flair-T1c-T2 0.78 0.84 0.88
T1-T1c-T2 0.52 0.61 0.74
Flair-T1 0.41 0.43 0.41
Flair-T1c 0.56 0.59 0.60
Flair- T2 0.33 0.37 0.38
T1-T1c
T1-T2
0.44
0.31
0.51
0.42
0.5
0.33
T1c-T2 0.37 0.42 0.39
Flair 0.40 0.43 0.41
T1 0.43 0.47 0.44
T1c 0.59 0.68 0.64
T2 0.48 0.54 0.49
从表 3-10 中可以看出 Flair-T1c-T2 模态的分割准确率是最高的，其次是38
硕士学位论文 3 基于多模态图像的 CNNs 特征提取与脑肿瘤分割Flair-T1-T1c-T2 模态的组合，然后就是 T1c 模态的分割；T1c 模态对脑肿瘤的分割提供了绝大部分的信息。
对基于块数据进行像素类型的分类的问题而言，模态的增加并不能直接提升肿瘤的分割准确率；Flair-T1c 与 T1c 模态的分割结果说明增加 Flair 模态信息反而增大了肿瘤区域像素的线性不可分的程度，使得分割准确率下降。从分割结果中，我们可以发现并不是模态越多分割的效果就越好，而是需要对应的数据才能够提升肿瘤的分割准确率；我们可以利用 Flair 模态的图像找到肿瘤大致的位置，然后结合 T1c-T2 的模态信息对肿瘤进行更加详细的分割。3.6 本章小结
本章简要介绍了基本的神经网络前向、反向传播等基本的神经网络理论；详细介绍了 Double-Path-CNNs 模型结构以及特征提取过程，着重说明了基于专家标签数据的有监督神经网络的网络结构、参数设置以及训练过程；并对分割进过进行了评价与分析；随后讨论并验证了不同模态的脑肿瘤数据对肿瘤分割算法的影响；最后比较了不同的网络结构的分割准确率。实验结果表明本文提出的 Double-Path-CNNs充分利用了脑肿瘤图像多模态所包含差异的信息，提取了更为丰富的边界信息、纹理信息以及深度特征信息，使得脑肿瘤的分割更为准确。
39
硕士学位论文 4 脑肿瘤辅助诊断系统设计与实现
4 脑肿瘤辅助诊断系统的设计与实现在临床诊断中，放射科医生通常需要查看患者的整个序列图像，找到某张
包含最大脑肿瘤的图像并测量肿瘤的尺寸，在图像中标注肿瘤的大小、位置、疑似类型等信息。然而，医院每天都会产生庞大的 MRI 图像数据，再加上医疗资源紧张，使得放射科的医生不堪重负，也可能耽误病人的最佳治疗时机。为解决这种情况，我们设计并开发了一款脑肿瘤辅助诊断系统辅助放射科医生进行诊断，同时也可为患者带来更多的治疗时间和机会。4.1 系统功能
我们做完核磁共振检查后患者需要等待比较久的时间，主要是因为阅片人员比较少而且人工阅片比较慢，况且能准确解读MRI 图像的必须是经验丰富的放射科医生或者专业的脑科医生。所以为缩短患者的就医时间，同时帮助医生减轻负担，我们设计的脑肿瘤辅助系统需要具备以下功能和特性：1）能够读取常用的医学图像格式的文件，并能够自动分割脑肿瘤图像；2）能迅速地找到序列图片中肿瘤面积最大的一个切片并给出其附近的几张切片；3）给出肿瘤在脑中的位置及实际大小、水肿以及坏死等信息；4）能够使用滑动条快速查看整个序列的分割结果；5）能使用设置框精确定位序列中的某一个切片。
为了完成以上需求，要求该系统的输入能够由医生选定病人的序列图片或者单张图片；考虑到一般情况下病人的图像数据是多模态的，需要指定在哪个模态显示结果；点击分割按钮调用基于 Double-Path-CNNs 特征提取的 MRI 脑肿瘤分割算法对图像中的像素进行分类，并给出分割结果；为了给出更多的脑肿瘤的图像信息，对第三章给出的分割结果进行分析，给出该患者肿瘤所在位置、大小、水肿、坏死、增强、非增强以及在序列中的位置等信息，并显示在用户界面上。该系统的架构如图 4-1 所示。
40
硕士学位论文 4 脑肿瘤辅助诊断系统设计与实现图 4-1 软件结构
4.2 脑肿瘤特征分析脑肿瘤特征是医生判断患者病情与所患肿瘤类型的重要依据。肿瘤的特征
包括：脑肿瘤的形状、位置、大小、有无浸润性等特征。为了给出这些信息，我们对患者的序列图像进行分析。首先，我们需要获
得序列图像中的最大的脑肿瘤所在的位置；这里的位置信息包含两层含义： 1）序列图像中，脑肿瘤的面积最大的位置；2）脑肿瘤在单张图像中的位置。面积的大小可以利用像素的个数近似估计，像素个数多相应的面积就大，否则面积小；扫描已经分割好得序列中所有的图像并计算肿瘤像素的个数，保存像素个数最多的图片在序列中的位置，直到扫描完整个序列，则可以找到肿瘤最大的那个切片。
其次，在找到的包含肿瘤核心最大区域的切片中计算肿瘤区域的质心，从而判断肿瘤的位置。质心计算公式为：
(4-1)
(4-2)其中，p,q为非负数， 与 为一阶距， 为角点中心， 为质心。通过与图像的中心点比较可以获知肿瘤在图像中的位置；然后判断肿瘤质心在左上、右上、左下、右下中的哪个区域；在第二章基于对称性的分析中，可以把脑部分成四个部分，根据对称轴位置和图像的中心可以轻松判断脑肿瘤在脑部结构的哪个区域。
41
硕士学位论文 4 脑肿瘤辅助诊断系统设计与实现图 4-2 多模态脑肿瘤特征分析系统流程图
肿瘤的大小信息可以用脑肿瘤在图像中像素点的个数粗略估计，在进行MRI拍摄时可以设定每一个切片的大小，因此可以通过图片的头信息获得拍摄时每个切片之间的间隔，可以求出每一个切片在脑中的位置信息与脑肿瘤的实际尺寸，一个像素的宽度对应于真实尺寸的 1毫米，计算公式如(4-3)：
(4-3)
脑肿瘤的水肿、坏死区域、增强区以及非增强区以不同的颜色直接显示在分割后的图像中。
脑肿瘤特征分析系统的流程图如 4-2 所示。4.3 系统设计与实现
本文设计并实现了脑肿瘤辅助诊断系统，选择 Python 作为主要的算法开发语言，利用 Keras框架实现深度神经网络模型，使用 Qt 作为界面编程框架。4.3.1 脑肿瘤辅助诊断系统
脑肿瘤辅助诊断系统的输入是多模态的脑肿瘤图像数据包括序列图像或者单张图像，输出一张分割结果图以及肿瘤的大小、位置、水肿、坏死等情况。系统流程图如图 4-3 所示。
42
硕士学位论文 4 脑肿瘤辅助诊断系统设计与实现
图 4-3 多模脑肿瘤辅助诊断系统流程图该系统利用深度学习技术对脑肿瘤图像序列进行分割，目前主流的框架有
Caffe、Tensorflow、Theano、CNTK等，我们选择 Tensorflow 作为软件算法开发的框架；关于用户界面，考虑到该软件的实用性、跨平台特性，最终选择使用Qt 5.0开发桌面环境。因为 Qt 与 Python都是跨平台的，因此能够在不同的操作系统上运行，所以由它们开发的系统具有良好的移植性。Qt 提供了调用 Python
的接口，使我们可以很方便地进行联合开发，把 Python 程序输出的结果显示在用户界面上。4.3.2 用户界面
用户界面我们采用 Qt设计，Qt 是跨平台的界面框架，用户使用 Qt开发的GUI界面不需要修改任何代码就可以在任何支持 Qt 的平台上运行。在设计用户界面时，我们考虑到简单、大方、易操作，设计的界面如图 4-4 所示。
43
硕士学位论文 4 脑肿瘤辅助诊断系统设计与实现
图 4-4 用户界面图 4-4 中显示了序列图像中包含最大肿瘤区域的分割结果。四副图像分别
显示了四种不同模态的脑肿瘤图像，可以很方便地查看同层的不同模态数据；四种模态中肿瘤区域的对比非常明显，并且把分割后的坏死区域用红色标注、水肿区域用绿色标注、增强区域用黄色标注，能够更快地对病情做出诊断；图4-5 是序列图像的分割结果示例，显示了具有最大肿瘤切片前后相差 7个切片位置的分割结果示例。
a)序列号 50 b)序列号 57 c)序列号 64
图 4-5 序列图像的分割结果示例用户界面各控件介绍：1) LoadImage按钮是输入患者图像数据的接口，点击按钮选择输入单个文
件；44
硕士学位论文 4 脑肿瘤辅助诊断系统设计与实现2) LoadSlices按钮是输入患者的序列图像数据，点击按钮选择输入序列图
像；3) SegAndAnalysis按钮，用于调用算法分割程序并对分割后的图像进行
分析，给出肿瘤所在位置。对于序列图像而言自动找到包含最大肿瘤区域的切片在序列中的位置以及在该切片图像中肿瘤的位置；而对于单张图像而言只需要找到肿瘤在图像中的位置即可；
4) 四个单项选择按键，用于设置最终的分割结果显示的位置；四个显示窗口用于显示四种模态的图像；
5) 两个文本框 Tumor Size 单位是平方毫米和 Tumor Location 用于显示肿瘤的大小与位置信息，位置信息主要包括四个：左上方、右上方、左下方与右下方，如果没有肿瘤则不显示消息；
6) 四个标签用于显示不同的颜色代表的类别信息；7) 滑动条 ChoseSlice 可以用来快速显示序列的分割结果以及肿瘤的特征
信息；8) CurrentSlice默认显示的是序列中包含最大肿瘤区域的序列号；9) CurrentSlice还可以用于查看指定序列号的脑肿瘤分割结果以及相应的
肿瘤信息。目前该系统处理一个切片所用平均时间是 4.3s，也就是说一个病人如果有
150个切片，那么总时间在十分钟左右；而现在去放射科做检查，至少要等待45 分钟左右的时间才能够拿到诊断结果，因此该系统仍然有很大的优势。况且我们现在的做法是把序列中的每一个切片交给程序去分析，并没有充分利用系统资源；如果采用并行计算处理图片，把 150个切片分成 5组数据，那么每组有 30张图片，那么整体的运行时间将提升 5倍，缩短至两分钟左右；意味着病人拍摄完 MRI 数据后当时就可以拿到分析结果，大大缩短了就诊时间，为病人的治疗提供更多的时间和机会。4.4 本章小结
本章首先介绍了脑肿瘤辅助诊断系统的主要功能，紧接着详细讲述了脑肿瘤特征分析模块，该模块对分割完成的脑肿瘤图像序列进行分析，从 MRI 序列图片中找到包含肿瘤最大的图片的序列号以及在该图片中的位置，并获取肿瘤的位置、大小、水肿、坏死等信息，为医生诊断病情和制定治疗方案提供一个有针对价值的参考；最后展示了该脑肿瘤辅助诊断系统的用户界面并统计了系统处理图像序列所使用的时间。
45
硕士学位论文 5 工作总结与展望
5 工作总结与展望5.1 论文总结
多模态MRI 图像是一种无侵入式的检查手段，对软组织具有较高的分辨率，给医生诊断病情提供了很大的帮助，同时，也是放射科的医生繁重任务的源头。因为核磁共振图片的数据有很多，为了从序列图片中筛选出最具代表性的图片，并且把脑肿瘤的尺寸、位置等信息标注在图像上，往往一台核磁共振机器配备六至七名阅片医生，极大地浪费了医疗资源，为解决该问题我们提出了多模态脑肿瘤图像特征进行研究，期望能够帮助放射科医生减轻工作负担，同时也希望能够帮助患者尽早确定病情。目前，已经出现了不少自动化分割脑肿瘤的算法，但是能够运用到临床上
的还很少见。主要有以下几个难点：1）缺少公开数据集；2）现有算法缺乏普适性；3）脑胶质瘤图像分割困难。
为解决以上存在的问题，本文在前人的基础上提出了一种新的基于多模态脑肿瘤图像的深度神经网络；该算法利用了 MRI 的多模态信息，对病人的序列图片进行分割与分析，最终把结果标注在图像上；在该项研究的过程中，我们发现并不是利用所有模态的信息才能使最终的分割效果达到最佳，而是利用Flair-T1c-T2这三个模态的组合数据最终的分割效果是最佳的。由此我们大胆假设用于脑肿瘤分割的程序都可以参考这三种模态的数据进行分割。
我们还开发了一个脑肿瘤辅助诊断系统，该系统可以为医生制定治疗方案提供一个参考；对于放射科的医生而言，在拍摄完 MRI 图片后就可以获得脑肿瘤的相关信息，不用去阅读每一张图片；对于一个临床经验不够丰富的医生来说，可以通过该系统提升自己对肿瘤的诊断准确度。尽管，该系统目前的分析准确率并不是很高，距离以上设想还有很大的距离，但是，我们相信通过不懈的努力我们最终能够达到这样的水平，能够为医疗智能化奉献一份力量。5.2 工作展望
本文提出的基于多模态脑肿瘤图像特征的 Double-Path-CNNs 方法，提升了脑肿瘤的分割精度，获得了一定的工作进展，但是仍然有很多值得改善和突破的地方。比如，该方法在肿瘤比较小的情况下，出现分类错误；对水肿区域的分割准确率不高；接下来可以在就以下几个方面考虑提升性能：
1） 构建更为复杂的模型，利用四模态的体数据训练网络，网络能够学习到肿瘤的体数据的信息，能够提升肿瘤的分割准确率；
46
硕士学位论文 5 工作总结与展望2） 与传统方法相结合，比如说：利用 k 均值算法，检测肿瘤的异常区
域，然后针对异常区域做肿瘤的分析；3） 采用多通道的模型进行学习多模态脑肿瘤的特征，每个通道能够学习到的肿瘤特征不同；更多的肿瘤特征有利于提升肿瘤的分割准确率；
4） 结合传统的特征提取方法，深度神经网络学习到的特征具有一定的不可解释性，如果我们增加传统的特征提取方法，可以增加特征的可解释性；
5） 采用当前场景语义分割中的网络模型，脑肿瘤分割算法与场景语义分割只在分割类别与类别个数不同外，其余的方式都类似，因此可以借鉴语义分割任务中的网络分割脑肿瘤；
6） 采用并行计算，为进一步提高机器阅片的速度采用并行计算方法能够为病人能够更多的就诊时间和机会。
47
硕士学位论文 参考文献
参考文献[1] 李树玲. 新编头颈肿瘤学. 北京：科学技术文献出版社，2005:297-343.
[2] Bernstein M, Parrent A G. Complications of CT-guided stereotactic biopsy of
intra-axial brain lesions.[J]. Journal of Neurosurgery, 1994, 81(2):165.
[3] Morris S A, Slesnick T C. Magnetic resonance imaging[J]. Visual Guide to
Neonatal Cardiology, 2013: 104-108.
[4] Deng W, Xiao W, Deng H, et al. MRI brain tumor segmentation with region
growing method based on the gradients and variances along and inside of the
boundary curve[C]// International Conference on Biomedical Engineering and
Informatics. 2010:393-396.
[5] Zhang N, Su R, Lebonvallet S, et al. Kernel feature selection to fuse multi-
spectral MRI images for brain tumor segmentation[J]. Computer Vision & Image
Understanding, 2011, 115(2):256-269.
[6] Zhao L, Wu W, Corso J J. Brain tumor segmentation based on GMM and active
contour method with a model-aware edge map[J]. BRATS MICCAI, 2012: 19-23.
[7] Thapaliya K, Pyun J Y, Park C S, et al. Level set method with automatic selective
local statistics for brain tumor segmentation in MR images[J]. Computerized
Medical Imaging & Graphics the Official Journal of the Computerized Medical
Imaging Society, 2013, 37(7-8):522.
[8] Dera D, Raman F, Bouaynaya N, et al. Interactive Semi-automated Method Using
Non-negative Matrix Factorization and Level Set Segmentation for the BRATS
Challenge[M]// Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic
Brain Injuries. 2016:195-205.
[9] Moon N, Bullitt E, Leemput K V, et al. Model-Based Brain and Tumor
Segmentation[J]. 2002, 1(1):528-531.
[10]Agn M, Puonti O, Rosenschöld P M A, et al. Brain Tumor Segmentation Using a
Generative Model with an RBM Prior on Tumor Shape[C]// International
Workshop on Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic
Brain Injuries. Springer International Publishing, 2015:168-180.
[11]Yao J, Chen D. Live level set: A hybrid method of livewire and level set for
medical image segmentation[J]. Medical Physics, 2008, 35(9):4112.
[12]Kaus M, Warfield S K, Jolesz F A, et al. Adaptive Template Moderated Brain
Tumor Segmentation in MRI[M]// Bildverarbeitung für die Medizin 1999.
48
硕士学位论文 参考文献Springer Berlin Heidelberg, 1999:102-106.
[13]Arikan M, Fröhler B, Möller T. Semi-automatic brain tumor segmentation using
support vector machines and interactive seed selection[C]//Proc. MICCAI-
BRATS Workshop 2016. 2016: 1-3.
[14]Bauer S, Nolte L P, Reyes M. Fully automatic segmentation of brain tumor
images using support vector machine classification in combination with
hierarchical conditional random field regularization[C]//International Conference
on Medical Image Computing and Computer-Assisted Intervention. Springer,
Berlin, Heidelberg, 2011: 354-361.
[15]Lee C H, Schmidt M, Murtha A, et al. Segmenting brain tumors with conditional
random fields and support vector machines[C]//International Workshop on
Computer Vision for Biomedical Image Applications. Springer, Berlin,
Heidelberg, 2005: 469-478.
[16]Ellwaa A, Hussein A, Alnaggar E, et al. Brain Tumor Segmantation Using
Random Forest Trained on Iteratively Selected Patients[M]// Brainlesion: Glioma,
Multiple Sclerosis, Stroke and Traumatic Brain Injuries. 2016:129-137.
[17]Lefkovits L, Lefkovits S, Szilágyi L. Brain Tumor Segmentation with Optimized
Random Forest[M]// Brainlesion: Glioma, Multiple Sclerosis, Stroke and
Traumatic Brain Injuries. 2016.
[18]Meier R, Bauer S, Slotboom J, et al. A hybrid model for multimodal brain tumor
segmentation[J]. Multimodal Brain Tumor Segmentation, 2013, 31: 31-37.
[19]KamnitsasK, Ferrante E, Parisot S, et al. DeepMedic for Brain Tumor
Segmentation[J]. 2016:138-149.
[20]Shin H C. Hybrid clustering and logistic regression for multi-modal brain tumor
segmentation[C]//Proc. of Workshops and Challanges in Medical Image
Computing and Computer-Assisted Intervention (MICCAI’12). 2012.
[21]C.W. Chen, J. Luo, K.J. Parker. Image segmentation via adaptive K-mean
clustering and knowledge-based morphological operations with biomedical
applications[J]. IEEE Transactions on Image Processing, 1998, 7 (12):1673-1683.
[22]Hsieh T M, Liu Y M, Liao C C, et al. Automatic segmentation of meningioma
from non-contrasted brain MRI integrating fuzzy clustering and region
growing[J]. BMC medical informatics and decision making, 2011, 11(1): 54.
[23]Meier R, Knecht U, Wiest R, et al. CRF-Based Brain Tumor Segmentation:
Alleviating the Shrinking Bias[C]// International Workshop on Brainlesion:
49
硕士学位论文 参考文献Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Springer, Cham,
2016:100-107.
[24]Zhao X, Wu Y, Song G, et al. Brain Tumor Segmentation Using a Fully
Convolutional Neural Network with Conditional Random Fields[M]//
Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries.
2016:75-87.
[25]Bjoern Menze, Andras Jakab, Stefan Bauer, Jayashree Kalpathy-Cramer, Keyvan
Farahani, et al. The Multimodal Brain Tumor Image Segmentation Benchmark
(BRATS). IEEE Transactions on Medical Imaging, 2014, 99(10):1-33.
[26]Fletcher-Heath L M, Hall L O, Goldgof D B, et al. Automatic segmentation of
non-enhancing brain tumors in magnetic resonance images[J]. Artificial
intelligence in medicine, 2001, 21(1): 43-63.
[27]Bauer S, Fejes T, Slotboom J, et al. Segmentation of brain tumor images based on
integrated hierarchical classification and regularization[C]//MICCAI BraTS
Workshop. Nice: Miccai Society. 2012.
[28]Reza S K M, Iftekharuddin K M. Multi-class Abnormal Brain Tissue
Segmentation Using Texture Features[J]. Multimodal Brain Tumor Segmentation,
2013.
[29]Cordier N, Menze B, Delingette H, et al. Patch-based Segmentation of Brain
Tissues[J]. Miccai Challenge on Multimodal Brain Tumor Segmentation, 2013,
2013.
[30]Götz M, Weber C, Blöcher J, et al. Extremely randomized trees based brain tumor
segmentation[M]// In Proceedings of MICCAI 2014 Brain Tumor Segmentation
Challenge. 2014.
[31]LeCun Y, Bengio Y, Hinton G. Deep learning[J]. nature, 2015, 521(7553): 436.
[32]Havaei M, Davy A, Warde-Farley D, et al. Brain tumor segmentation with deep
neural networks[J]. Medical image analysis, 2017, 35: 18-31.
[33]Pereira S, Pinto A, Alves V, et al. Brain tumor segmentation using convolutional
neural networks in MRI images[J]. IEEE transactions on medical imaging, 2016,
35(5): 1240-1251.
[34]Casamitjana A, Puch S, Aduriz A, et al. 3d convolutional networks for brain
tumor segmentation[J]. Proceedings of the MICCAI Challenge on Multimodal
Brain Tumor Image Segmentation (BRATS), 2016: 65-68.
[35]Ellwaa A, Hussein A, Alnaggar E, et al. Brain Tumor Segmantation Using
50
硕士学位论文 参考文献Random Forest Trained on Iteratively Selected Patients[M]// Brainlesion: Glioma,
Multiple Sclerosis, Stroke and Traumatic Brain Injuries. 2016:129-137.
[36]阮萍. 核磁共振成像及其医学应用[J]. 广西物理, 1999 (2): 50-53.
[37]王颖,刘金丰.肿瘤 CT 与 MRI 诊断[M].科学出版社,北京,2009.
[38]Menze B H, Jakab A, Bauer S, et al. The multimodal brain tumor image
segmentation benchmark (BRATS)[J]. IEEE transactions on medical imaging,
2015, 34(10): 1993-2024.
[39]Bakas S, Akbari H, Sotiras A, et al. Advancing The Cancer Genome Atlas glioma
MRI collections with expert segmentation labels and radiomic features[J].
Scientific data, 2017, 4: 170117.
[40]Sled J G, Zijdenbos A P, Evans A C. A nonparametric method for automatic
correction of intensity nonuniformity in MRI data. IEEE transactions on medical
imaging, 1998, 17(1):87-97.
[41]Tustison N J, Avants B B, Cook P A, et al. N4ITK: improved N3 bias
correction[J]. IEEE Trans Med Imaging. 2010, 29(6): 1310-1320.
[42]Diaz I, Boulanger P, Greiner R, et al. A critical review of the effects of de-noising
algorithms on MRI brain tumor segmentation[C]//Engineering in Medicine and
Biology Society, EMBC, 2011 Annual International Conference of the IEEE.
IEEE, 2011: 3934-3937.
[43]Buades A, Coll B, Morel J M. Non-local means denoising[J]. Image Processing
On Line, 2011, 1: 208-212.
[44]Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-
propagating errors[J]. nature, 1986, 323(6088): 533.
[45]Zikic D, Ioannou Y, Brown M, et al. Segmentation of brain tumor tissues with
convolutional neural networks[J]. Proceedings MICCAI-BRATS, 2014, 13(1):
36-39.
[46]Urban G, Bendszus M, Hamprecht F A, et al. Multi-modal brain tumor
segmentation using deep convolutional neural networks[J]. MICCAI BraTS
(Brain Tumor Segmentation) Challenge. Proceedings, winning contribution,
2014, 13(1): 31-35.
[47]Zhao L, Jia K. Multiscale CNNs for brain tumor segmentation and diagnosis[J].
Computational and Mathematical Methods in Medicine, 2016, 28(16): 1-7.
[48]El-Dahshan E S A, Mohsen H M, Revett K, et al. Computer-aided diagnosis of
human brain tumor through MRI: A survey and a new algorithm[J]. Expert
51
硕士学位论文 参考文献Systems with Applications, 2014, 41(11):5526-5545.
[49]Farahani, K. , Menze, B., Reyes, M., 2013. Multimodal Brain Tumor
Segmentation (BRATS2013).
[50]IvnCabria, IkerGondra. MRI segmentation fusion for brain tumor detection[J].
Information Fusion,2017,3636.
[51]Pereira S, Pinto A, Alves V, et al. Brain Tumor Segmentation using Convolutional
Neural Networks in MRI Images.[J]. IEEE Transactions on Medical Imaging,
2016, 35(5):1240-1251.
[52]Havaei M, Davy A, Warde-Farley D, et al. Brain tumor segmentation with deep
neural networks[J]. Medical image analysis, 2017, 35: 18-31.
[53]Kleesiek J, Urban G, Hubert A, et al. Deep MRI brain extraction: a 3D
convolutional neural network for skull stripping[J]. NeuroImage, 2016, 129: 460-
469.
[54]Casamitjana A, Puch S, Aduriz A, et al. 3d convolutional networks for brain
tumor segmentation[J]. Proceedings of the MICCAI Challenge on Multimodal
Brain Tumor Image Segmentation (BRATS), 2016: 65-68.
[55]Kamnitsas K, Ledig C, Newcombe V F J, et al. Efficient multi-scale 3D CNN
with fully connected CRF for accurate brain lesion segmentation[J]. Medical
image analysis, 2017, 36: 61-78.
[56]Çiçek Ö, Abdulkadir A, Lienkamp S S, et al. 3D U-Net: learning dense
volumetric segmentation from sparse annotation[C]//International Conference on
Medical Image Computing and Computer-Assisted Intervention. Springer, Cham,
2016: 424-432.
[57]Badrinarayanan V, Kendall A, Cipolla R. Segnet: A deep convolutional encoder-
decoder architecture for image segmentation[J]. IEEE transactions on pattern
analysis and machine intelligence, 2017, 39(12): 2481-2495.
[58]Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical
image segmentation[C]//International Conference on Medical image computing
and computer-assisted intervention. Springer, Cham, 2015: 234-241.
[59]Noh H, Hong S, Han B. Learning deconvolution network for semantic
segmentation[C]//Proceedings of the IEEE International Conference on Computer
Vision. 2015: 1520-1528.
[60]McKinley R, Wepfer R, Gundersen T, et al. Nabla-net: A deep dag-like
convolutional architecture for biomedical image segmentation[C]//International
52
硕士学位论文 参考文献Workshop on Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic
Brain Injuries. Springer, Cham, 2016: 119-128.
[61]Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic
segmentation[C]//Proceedings of the IEEE conference on computer vision and
pattern recognition. 2015: 3431-3440.
[62]Milletari F, Navab N, Ahmadi S A. V-net: Fully convolutional neural networks for
volumetric medical image segmentation[C]//3D Vision (3DV), 2016 Fourth
International Conference on. IEEE, 2016: 565-571.
[63]Yang S, Ramanan D. Multi-scale recognition with DAG-CNNs[C]//Computer
Vision (ICCV), 2015 IEEE International Conference on. IEEE, 2015: 1215-1223.
[64]Pereira S, Pinto A, Alves V, et al. Deep convolutional neural networks for the
segmentation of gliomas in multi-sequence MRI[C]//International Workshop on
Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries.
Springer, Cham, 2015: 131-143.
[65]Menon N, Ramakrishnan R. Brain Tumor Segmentation in MRI images using
unsupervised Artificial Bee Colonyal gorithmand FCM clustering [C] //
Communications and Signal Processing (ICCSP), 2015 International Conference
on. IEEE, 2015: 0006-0009.
[66]Njeh I, Sallemi L, Ayed I B, et al. 3D multimodal MRI brain glioma tumor and
edema segmentation: a graph cut distribution matching approach[J].
Computerized Medical Imaging and Graphics, 2015, 40: 108-119.
[67]Goetz M, Weber C, Bloecher J, et al. Extremely randomized trees based brain
tumor segmentation[J]. Proceeding of BRATS challenge-MICCAI, 2014: 006-
011.
[68]Meier R, Bauer S, Slotboom J, et al. Appearance-and context-sensitive features
for brain tumor segmentation[J]. Proceedings of MICCAI BRATS Challenge,
2014: 020-026.
[69]Doyle S, Vasseur F, Dojat M, et al. Fully automatic brain tumor segmentation
from multiple MR sequences using hidden Markov fields and variational EM[J].
Procs. NCI-MICCAI BraTS, 2013: 18-22.
[70]Zeiler M D, Fergus R. Visualizing and Understanding Convolutional
Networks[J]. 2013, 8689:818-833.
[71]Bengio Y. Practical recommendations for gradient-based training of deep
architectures[M]//Neural networks: Tricks of the trade. Springer, Berlin,
53
硕士学位论文 参考文献Heidelberg, 2012: 437-478.
[72]Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: A simple way to prevent
neural networks from overfitting[J]. Journal of Machine Learning Research,
2014, 15(1): 1929-1958.
[73]Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by
reducing internal covariate shift[J]. arXiv preprint arXiv:1502.03167, 2015.
54
硕士学位论文 攻读硕士期间成果
攻读硕士期间主要的研究成果论文发表[1] 脑肿瘤图像分割的 Keras 实现. 2017 年中南大学信息科学与工程学院研究生
学术年会论文集, 收录. 本人第一作者参与科研项目情况[1] 移动医疗教育部-中国移动联合实验室项目：多模脑部图像的肿瘤特征分析 ，
2017.09-至今，主要研究人员[2] 华为车载语音与手势识别控制系统 2016.03-2016.12
[3] 车道线识别系统实现 2017.02-2017.06
55
硕士学位论文 致谢
致谢时光飞逝，短暂的研究生学习时光即将结束，一时感慨万千。回首这三年，
有太多的感触，跟师兄师弟一起奋战的夜晚，与智能所的小伙伴们一起玩耍的欢乐时光，有太多的瞬间浮现在眼前，感谢一路陪伴我成长的师长和小伙伴们。首先要感谢的就是我的导师——谢斌老师！谢老师是一位为人务实、与人
和善的好老师。还记得第一次与谢老师沟通是通过视频通话，当时谢老师还在美国，谢老师当时是在做可穿戴设备的研究。当时就觉得谢老师思想很新潮、很有创新意识；三年来，谢老师经常指导我要有长远意识、大局观念、积极创新，要真抓实干，技术过硬才能在将来的发展中做出更大的贡献。谢老师带给我的影响不仅是在学术上，在生活上要劳逸结合，玩的时候要痛快的玩；还记得密室逃脱的中谢老师的笑声、溜冰场上矫健的身影，遗憾的是那次烧脑的推理游戏没有同谢老师一起玩。真的非常感谢谢老师这三年的指导与照顾，我们这支团队还年轻，未来的发展是不可估量的。感谢王勇老师、李仪老师、唐琎老师、肖晓明老师、刘丽珏老师、余玲俐
老师、陈白帆老师、高琰老师、郭璠老师、谭平老师、邹逸群老师在研究生期间给我的指导和帮助，谢谢各位老师，衷心祝愿老师们工作顺利，身体健康！感谢尤作师兄，是尤作师兄带我进入了代码的世界，可以说我的编程能力
是作哥手把手教出来的；作哥教会我的不仅仅是编码能力，更多的是拼搏的精神，作哥的勤奋是我之前没有遇到过的，太佩服作哥了；每一次通宵都能学到很多东西，坐在作哥身边看作哥码代码，同时跟我们讲这些代码的功能；带我们一起做无人车的测试，去跟客户沟通；从作哥身上学到了很多东西，非常感谢作哥。感谢已经毕业的喻仲斌师兄两年多的照顾与研究方向上的指导，感谢已经
毕业的师兄师姐的照顾。非常感谢我的同门李沁，一直给予的无私帮助，是你带我认识了整个智能所的小伙伴；还是你帮我选的课呢，谢谢你沁崽。还要感谢我的师弟何小宇、宋迪，跟你们一起搞学习、一起玩耍、一起出差、一起通宵搞事情，还要感谢师弟林学斌、秦觅、师妹张文婷组织的烧脑推理游戏，还有两个为团队带来新鲜血液的准研究生师弟徐勇和赵新宇。感谢同届的万明阳、李佳朋、龙子威，很开心能与你们一起讨论算法；感
谢同届李凡在语音识别技术上的帮助；感谢同届薛喜辉、刘昊、刘春发、莫斯尧、张财旺、罗舒宁、王琦、梁春芳、李路、吴潇和顾磊，有你们的陪伴我的这三年研究生业余生活过的非常充实；还记得我们在新校区 D座的“奔跑吧，智能所”、别墅趴的狼人杀、橘子洲的春游等等太多的回忆。感谢刘志中博士
56
硕士学位论文 致谢的指导，感谢王欣师妹提供的显示器、感谢智能所的小伙伴们！还要感谢我的室友刘洋、周刚、赵志祥给我营造了一个舒适温馨的宿舍环
境，一起畅想未来的发展方向、一起吐槽某品牌的手机渣，感谢赵志祥带的夜宵，感谢周刚分享的面试经历、感谢刘洋分享的 Java 编程技巧。感谢我的女朋友在我读研期间给予的帮助，让我可以专心于学术与工作，
在我心情郁闷的时候想方设法的让我开心，非常感谢一直以来的陪伴。最后重点感谢我的父母！是我父母含辛茹苦供我上学，二十多年的求学之
路，寄托着父母对我的殷切期望，唯有不断努力来报答父母的恩情。2018 年 5 月 16 日星期三
于中南大学升华楼
57
