薛蕴菁

福建医科大学附属协和医院

人工智能在医学图像临床诊断中应用研究

2020/1/10

影像医师的需求

减少阅片时间

定位、定性、鉴别、分期 复发、生存期

输出相关的测量值 纹理分析、影像组学

定量测量和评估（如：好转、进展或稳定）

基于国内/国际指南、共识

快速检出病灶

病灶的辅助诊断

病灶的定量测量 病灶的影像组学

随访的前后对比 随访意见或检查建议

病灶的预后预测

影像医师

临床应用

2020/1/10

影像医师的需求

⚫ 智能化的结构式报告

⚫ 智能化影像数据管理、质量控制

⚫ 智能化的多学科医疗资料共享与多学科会诊架构

❖恶性肿瘤（肺癌、乳腺癌、结直肠癌、胃癌等）\心脑血管疾病

\呼吸系统慢性病和职业病（肺TB、矽肺、慢阻肺等）\神经变

性病或退行性病的多学科医疗资料智能化管理、共享和会诊

❖ ……

放射技师与影像技术的需求

协助改善工作流程，智能化管理患者预约与等待时间

智能化的扫描方案

智能化的辐射剂量评估

智能化的对比剂用量与注射方案

高级图像后处理的AI需求，包括：CT、MR、DSA等

智能化的工作量计算

根据检查部位

根据患者症状

根据拟诊疾病

智能化多部位联合扫描

2020/1/10

影像AI临床应用场景的价值与意义

通过提供测试、评价、测试数据集等手段，为AI的临床应用提供方法论

为在临床实践中实施人工智能算法开发标准化途径

为持续监测AI算法在临床应用的效能提供可能

帮助AI在影像诊断、介入、放疗领域满足监管、法规、道德方面的要求

❖ AI在影像诊断、介入影像学、放疗影像学的应用场景

6

影像AI 的场景

• 腹部影像

• 基于CT的急腹症及其并发症的检出、诊断、测量、病情评估、危机值预警、

治疗建议、随访复查对比

• 急性胰腺炎

• 急性阑尾炎

• 急性肠梗阻

• 急性肠穿孔

• ……

7

影像AI 的场景

• 腹部影像

• 基于CT/MR的腹部肿瘤的检出、诊断、测量、鉴别诊断、分期、进一步检查或随访

建议、治疗前后对比、发现复发病灶

• 肝脏肿瘤

• 肾脏肿瘤

• 脾脏肿瘤

• 胰腺肿瘤

• 腹腔及腹膜后实性肿瘤

• 前列腺肿瘤

• 子宫/附件肿瘤

• ……

• 胃肿瘤，如：胃癌、胃间质瘤等

• 小肠肿瘤，如：良恶性肿瘤鉴别，

恶性肿瘤分期

• 结直肠癌

• 结肠息肉探查，超过6mm的息肉，

依据 C-RADS

• ……

8

影像AI 的场景

• 乳腺影像

• 乳腺钼靶影像可疑钙化的分类

• 乳腺钼靶影像肿块的分类

• 乳腺钼靶影像结构扭曲/不对称的检出与诊断

• ……

• 基于乳腺MR-动态增强影像的异常信号的检出、定位、定性、鉴别诊断与定

量测量、前后随访的定量比较

• 基于乳腺MR-DWI影像的异常信号的检出、定位、定性、鉴别诊断与定量测

量、前后随访的定量比较

• ……

9

影像AI 的场景

• 胸部影像学

• 基于X线/CT的各种肺炎类型的检出、诊断、严重程度分级、随访复查及前后对比

• 基于X线/ CT的气胸的检出、诊断、定量分级、随访复查及前后对比

• 基于X线/ CT的肺TB的检测、诊断、活动期与陈旧性肺TB的分类、随访建议、前后对比

• 基于X线/ CT的肋骨/胸骨等骨折的检出、新鲜骨折与陈旧骨折的判断、随访建议、前后对比

• 基于CT的肺小结节/纵隔肿瘤/肺肿瘤/胸腔（胸膜）肿瘤的检出、定位、诊断、鉴别诊断、定量测量、随访建议，前后对比

• 基于CT的胸腔积液的检测和定量分析

• ……

10

影像AI 的场景

• 心血管影像

• 基于X线/CT/MR的心脏大血管各径线测量

• 升主动脉直径测量

• 心胸比测量

• 隆凸角测量

• 心脏各室腔径线测量

• 心肌壁的测量，如：CT/MR下的左室壁增厚评估与自动测量

• 肺动脉直径自动测量

• 肺动脉和主动脉直径比值

• 消融治疗前的肺静脉相关解剖参数获取

• 主动脉换瓣术前的主动脉根部测量

• 基于CTA/MRA的各血管的狭窄程度AI评估

11

影像AI 的场景

• 心血管影像

• 基于CT/MR的各血管壁病变的AI检出、定位、定量测量

• 基于超声/CT/MR的各瓣膜功能分析

• 基于CT/MR的左、右心功能测量

• 左心输出量测量

• MR钆对比剂增强晚期的左心室评价

• MR T1 Mapping下的左心室定量分析

• ……

• 基于CT/MR的心室壁运动分析

• 基于CT/MR的心肌灌注定量分析

12

影像AI 的场景

• 心血管影像

• 基于CT/MR心脏占位病变的AI检出、诊断与随访

• 基于CT/MR的心腔及各大血管血流定量测量

• MR自动计算升主动脉的血流

• MR自动计算肺动脉的血流

• MR下的肺血流系统流量比

• ……

13

影像AI 的场景

• 肌肉骨关节

• 基于X线/CT/MR的全身各肌群的AI识别

• 基于X线/CT/MR的全身骨关节的AI识别

• 基于CT/MR的四肢各肌群病变的检出、定位、诊断与鉴别诊断

• 基于X线/CT/MR的股骨头坏死的检出与分级

• 基于X线/CT/MR的慢性骨性病变的检出、定位、诊断与分级

• 基于X线/CT/MR的骨关节各径线测量，如：

• 基于X线/CT/MR的全身各骨的骨折/畸形检出、定位、诊断与分级

• 基于CT/MR的定量化判断软组织肿瘤的体积变化

• 基于CT/MR的韧带/肌腱/软骨病变的检出、定位、诊断与分级

• 基于MR的四肢各肌群病变导致的神经血管损害

14

影像AI 的场景

• 神经影像

• 基于CT/MR的各肿脑出血（脑实质出血、硬膜下血肿、硬膜外血肿、蛛网膜

下腔出血）的检测、急慢性分类、随访对比测量

• 基于CT/MR的颅内中线位移的探测与测量

• MR下大脑运动皮层的敏感性定量映射

• 基于CT/MR的急性脑卒中的检测、诊断、分期、随访对比、预后预测

• 基于MR的脑缺血半暗带的检测、随访对比、疗效评价与预后评估

15

影像AI 的场景

• 神经影像

• 基于CT/MR的脑肿瘤的检出、定位、定性、分级、分型、预后预测、治疗方

法建议、治疗后随访对比

• 基于CT/MR的颅骨骨折的检出、定位、分类、复查对比

• 基于CT/MR的皮质、白质、脑室系统的分割

• 基于CT/MR的皮质病灶、白质病灶、脑室内病灶的检出、脑区定位、诊断与

鉴别诊断、测量、分级或分型、预后预测、随访复查对比

• ……

2020/1/10

肺癌影像智能诊断系统：三大递进功能模块

病灶检出 精准诊断 智慧教研

❖ 自动征象提取

❖ 良恶性判断

❖ 智能随访：历史影像联动、病灶

弹性配准、倍增时间

❖ 推荐处理意见

❖ 智能大数据分析

(科研、教学、管理)

❖ 病灶检出：病灶列表、病灶导航

❖ 病灶特征：大小、体积、密度

❖ 病灶位置： IM位置、解剖学定位、

多平面病灶追踪

❖ 影像所见报告

2020/1/10

基于DR肺结节的AI识别

2020/1/10

基于DR的骨折AI识别

2020/1/10

基于CT的骨折AI识别

2020/1/10

基于DR的气胸AI识别

住院医师漏诊：左侧气胸 住院医师漏诊：左侧少量气胸，压缩肺上缘平行于肋骨

2020/1/10

冠脉AI的临床应用

冠脉识别 冠脉命名图像后处理

狭窄与斑块检测

管径计算和狭窄程度判定

冠脉优势型

和起源判定

CAD-RADS

结构化报告胶片打印

影像后处理 疾病诊断 报告和打印

冠脉AI解放医生生产力 省力：病例覆盖广，并行处理快

2020/1/10

冠脉AI的临床应用

CCTAAI CCTA AI CCTA AI

男性，71岁，心率133bpm，胸闷不适，心电图提示异常

2020/1/10

冠脉AI的临床需求：标准化

结构化报告，诊断同质

2020/1/10

临床实例：一致性对比

RCA重度狭窄 RCA重度狭窄 RCA重度狭窄

数坤AI 一致 CCTA（医生） 一致 CAG 金标准

数坤AI 一致 CCTA（医生）误判 CAG 金标准

LCX 轻度狭窄 LCX 中度狭窄 LCX 轻度狭窄

2020/1/10

心包脂肪提取

Commandeur F , Goeller M , Betancur J , et al. IEEE Transactions on Medical Imaging, 2018:1-1.

The proposed method may represent a tool for rapid fully automated quantification of adipose tissue and

may improve cardiovascular risk stratification in patients referred for routine CT calcium scans.

快速全自动定量脂肪组织，提高常规CT钙扫描患者的心血管风险分层

2020/1/10

FAI（冠脉周边脂肪指数）

The perivascular FAI enhances cardiac risk prediction

and restratification over and above current state of the

art assessment in coronary CTA by providing a

quantitative measure of coronary inflammation.

Oikonomou Evangelos K, et al. The Lancet, 2018, 392(10151):

血管周围FAI定量测量，在冠状动脉CTA

评估的基础上，增强了对心脏病风险的预测和再分层研究

2020/1/10

基于人工智能的冠脉FFRct

• FFRCT能准确地诊断血流动力学异

常的冠状动脉狭窄病变

• 在诊断或怀疑冠心病的患者中应用

FFRCT结合CCTA检查，提供形态

与功能信息，提高准确性

• 通过深度学习计算的FFRct与基于

流体力学的FFR有着良好的一致

性，且与金标准符合率高

Adriaan C , Young-Hak K , Mariusz K , et al. Circulation: Cardiovascular Imaging, 2018, 11(6):e007217.

2020/1/10

基于AI的左心腔容积量化监测

Narang A1, Mor-Avi V1, Prado A, et al. European Heart Journal - Cardiovascular Imaging (2019) 20, 541–549

• 自动快速测量动态LV和LA体积，准确分析射血/填充参数；有助于提高3D超声心动图的利用率和

测量准确度

2020/1/10

头颈AI的工作流程

影像后处理 疾病诊断 报告和打印

头颈血管识别

血管

命名

图像后处理

斑块和动脉瘤检测

管径计算和狭窄程度判定

血管变异识别

自动生成结构化报告

胶片

打印

2020/1/10

头颈AI vs.传统后处理

AI全自动 人+传统工作站 AI全自动 人+传统工作站

2020/1/10

病例展示：烟雾病（moyamoya）

诊断意见：头颈动脉硬化改变左侧颈内动脉闭塞左侧大脑中动脉M1闭塞，分支稀疏、浅淡左侧大脑后动脉P1段、右侧大脑后动脉P2闭塞

病史：患者男性，56岁，脑梗塞4个月，CTA复查。

2020/1/10

脑动脉瘤辅助诊断

AI辅助脑动脉瘤诊断：AI +医生 > 医生

斯坦福团队 AI辅助脑动脉瘤诊断

• The deep learning model developed

successfully detected clinically

significant intracranial aneurysms on

CTA.

• This suggests that integration of an

artificial intelligence–assisted

diagnostic model may augment

clinician performance with dependable

and accurate predictions and thereby

optimize patient care. Allison Park, BA, Chris Chute, et al. JAMA Netw Open. 2019 Jun

5;2(6):e195600

2020/1/10

基于深度学习的主动脉模型

✓ B型主动脉夹层的自动分割

✓ B型主动脉夹层的真假腔分离

✓ 提取主动脉夹层真腔假腔和各分支的中心线

✓ 主动脉真腔和假腔拉直

✓ 各分支位置的自动确定算法

✓ 不规则截面的最大最小直径计算及相关可视化

✓ 分段体积的计算

✓ 随访，队列研究，量化参数变化监控

➢基于卷积神经网络实现：

2020/1/10

主动脉夹层虚拟支架：术前规划与疗效预测

血管类疾病病灶识别与重建人工智能算法

虚拟手术算法量化评估手术方案安全性

支架植入效果预测

35

影像AI 需要临床持续评价

在实际的临床应用中监控影像AI的表现，便于

上市前产品的稳定性和鲁棒性评估

上市后对于产品的监管

AI算法的效能评价与算法的持续改进和迭代

提高影像AI的质量

2020/1/10

ACR发布的单个应用场景的文档结构

• 以CT主动脉瓣测量为例

该AI应用的临床背景

叙述性的案例

AI与检查和诊断医生的流程关系

数据集主要由扫描参数确定

2020/1/10

ACR发布的单个应用场景的文档结构

影像的数据规格要求，主要由扫描参数确定

说明每个输出值的本体编码、含义、类型和单位

影像AI输出的参数：收缩期的百分比舒张期的百分比

主动脉瓣最大张开面积 • 如果使用者有评价需要提交，可以按照如下

这段文字提交

38

中国影像AI应用场景的基本输入或输出要求

• 影像AI的基本输入参数：

• DICOM图像输入接口

• 原始图像

• 后处理图像

• 扫描参数输入接口

• X线：mA，kV，曝光时间、体位等

• CT：mAs，kVp，螺距，层厚，重建算法（bone,soft,standard等）

• 对比剂使用方案：浓度，总量，注射速率和时间，延迟时间等

• MR：T1W、T2W、DWI、DCE、PWI、ASL、CEMRA等具体参数

39

中国影像AI应用场景的基本输入或输出要求

• 影像AI的基本输入参数：

• 患者的个人信息：

• 性别，年龄，身高，体重，血压等

• 基本临床信息输入接口：现病史、既往史，遗传史，家族史，有无手术史，有无放化

疗史等

• 实验室检查资料输入接口

• 影像AI的输出：根据具体应用场景而设置

2020/1/10

影像AI应用场景基本信息交互—CT肺结节检测

2020/1/10

影像AI应用场景基本信息交互—脑血管侧枝循环分级

42

建立影像AI 应用场景文档的必要性和重要性

▪用于说明每个影像 AI 使用的临床背景、输入、输出和迭代所需的

数据情况

▪可以在临床端统一思想，也可以在技术端统一解决方案的框架，也

还可以在临床端与技术端达成临床目标时实现的共识

2020/1/10

应用场景的提出与确认

❖ 可由任何人提出，比如临床医生，或者开发影像AI的工程技术人员

❖临床应用场景往往只关注80%的通用需求

❖ 20%的个性化需求不是通用应用场景关注的内容

❖ 某个应用场景是不是通用的需求，由用户--医生投票确定，而不是由非用户确定

44

必需建立用于AI 的验证的、带标注的、公开的数据集

• 美国放射学会（ACR)公布的

用于AI验证的公开数据集

• 中国也需要建立适合中国人群

的、多病种的、优质的、用于

AI验证的公开数据集

2020/1/10

影像科 + AI 的正在进行时

算法 + 算力

金标准临床实用科研课题

Three elements of

AI

Data

Computing power

Algorithm

2020/1/10

影像科 + AI 的正在进行时

肺结核影像数据集

DR+CT肺炎影像数据集

DR+CT

胸腔积液数据集

DR+CT肺结节数据集

DR + CT

肋骨骨折数据集

DR+CT

气胸数据集

DR+CT

数据集

2020/1/10

影像科 + AI 的正在进行时

由放射科与临床共同提出

AI临床应用场景

肺部炎症AI预测分类系统

脑出血医学影像AI

应用

脑梗塞医学影像AI

应用

骨质疏松医学影像AI应用

腰椎退行性病变医学影像AI

应用

经手术的肺小结节医学影像AI应用

2020/1/10

影像科 + AI 的正在进行时

由放射科与临床共同提出

AI临床应用场景

基于MR

的脑肿瘤AI应用

基于X线的乳腺疾病的AI应用

基于CT的肋骨骨折检出的AI

应用

基于CT的心血管图像后处理与诊断的AI应用

基于DR的骨折AI应用

基于MR

的乳腺疾病的AI应用

2020/1/10

人工智能驱动下的未来医疗

渗透院内外，综合院内多学科、院外权威数据、患者端智能硬件等的综合诊疗方案

医学数据平台

医学文本智能引擎

电子病历

医学语义网络

NLP 技术

医学影像智能引擎

医学影像、病理、超声

权威医学指南

计算机视觉技术

医学语音智能引擎

医疗语音

电子病历库纠错

语音识别技术

第一阶段

智能科室

第二阶段

智能诊疗

第三阶段

智慧医院

在单病种单科室任务的维度进行“点”上的优化，更高

效、更准确

以任务为中心 以疾病为中心 以患者为中心

院内多学科数据

全球权威数据

智能设备数据

贯穿多科室（临床、放射、病理、基因），实现多学科

的综合诊疗

THANK YOU FOR YOUR ATTENTION

2019-12-19

NVIDIA CLARA

IOMT

IOMT market $125B 2025 | Saving $300B

THREE TRENDSACCELERATING AIINTO HEALTHCARE

AI

>70% of Imaging Research in AI | 100s FDA approved AI Applications

EDGE

Smart Hospitals | Real-time & Preventative

ARTIFICIAL INTELLIGENCE

TECHNOLOGY TRENDSSoftware Defined Imaging + AI Redefine Radiology

SERVICE-ORIENTED ARCHITECTURE

Monolith Modular

AIData

SMART HOSPITALS1000s of AI Applications, 1000s of Devices

AIDevelopment

AIApplications

AIDevices

WHAT NVIDIA Provide?

•NGC•AAIA

• Federated Learning

•DGX

•EGX

•AGX

•Pretrained models

•Transfer Leaning

算法 算力

社区数据

AIAA server

MITK Workbench

AIAA client

Clients

Server Pre-trained BYOM

TensorRT Inference Server

Fovia

AIAA client

Nvidia GPUs

3D slicer

AIAA client

OHIF

AIAA client

数据标注：AI-ASSISTED ANNOTATIOn （AIAA）

CLARA FEDERATED LEARNING

Distributed Collaborative Learning

Build a common, robust AI model without sharing data

Using NVIDIA Clara and EGX to:

Authenticate and deliver Clara FL to participating hospitals

Locally train on private data

Share partial-model weights

Apply Federated Averaging creating a new global model

Addressing Data Diversity & PrivacyGlobal Model

w

数据共享：FEDERATED LEARNINGCollaborative Distributed Learning

SERVER-CLIENT FEDERATED LEARNINGChanging the way AI algorithms are trained

GPU

GPU

GPU

Creating AI-Ready Data

AI Assisted Annotation APIs & Server

Trigger continuous learning APIs

Making any Medical Viewer AI Capable

Training Framework

Configurable MMAR

Pre-Trained Models

Transfer Learning

AMP, Determinism, Domain Optimized Performance

模型：CLARA TRAIN SDK

AI-ASSISTED ANNOTATION API AND SERVER

TRAINING FRAMEWORK

CLARA TRAIN DOCKER

PRE-TRAINED MODELS

MEDICAL MODEL ARCHIVE

CONFIGURABLE COMMAND LINE INTERFACE

• Brain Tumor Segmentation

• Spleen Segmentation

• Liver Segmentation

• X-Ray Classification

• Brain Annotation

• Spleen Annotation

DICOM 2 NIFTI

DATA

TRANSFORMS INFERENCE OPTIMIZED

DATA PREPARATION TRAINING MODEL OUTPUT

Domain Optimized Training Framework

Features & Capabilities

算力：AI EDGE COMPUTING FOR MEDICAL DEVICESDeliver Real-Time AI and Imaging Applications

NGC: A GPU OPTIMIZED SOFTWARE HUBSimplifying AI : From Development to Deployment

NVIDIA CLARADevelop and Deploy AI and Imaging Applications

CLARA

AI Assisted Annotation

Pre-TrainedModels

TransferTraining

FederatedLearning

I/OAdapters

WorkflowOrchestration

Scalable AI Inferencing

Real-time Imaging

ECOSYSTEM PARTNERSNGC

CUDA-X

NVIDIA GPU

AIData

AIDevelopment

AIApplications

AIDevices

CLARA APPLICATION FRAMEWORKIncludes SDKs and Reference Applications

CLARA APPLICATION FRAMEWORK

NVIDIA EDGE STACK

AI Assisted Annotation Pre-Trained Models Transfer Learning

I/O Adapters Workflow Orchestration Scalable AI Inferencing Real-time Imaging

Federated Learning

DISTRIBUTED AI TRAINING

SCALE OUT INFERENCING REAL TIME ENDOSCOPY

INTERACTIVE LABELING AI IMAGE RECONSTRUCTION

AI CLINICAL INTEGRATION

ContainersKubernetes CUDA-X

APPLICATIONS

Security

UnlabeledData

AnnotatedData

TrainingClara

Application

ServerScanner Radiology

AI Assisted Annotation

Pre-trained Models

Annotation Client APIs

Annotation Server

Training

Pre-trained Models

Federated Learning

Transfer Learning

Deployment

Reference Deployment Platform

Services for workflow orchestration

Platform APIs and definition language

CollaborativeLearning

Clara Train SDK Clara Deploy SDK

Embedded AIReal-time video processing

Sensor Processing Capabilities

Windows Support in device

mode

Clara AGX SDK

Clara Embedded Application

Smart Devices

CLARA APPLICATION FRAMEWORK

Download the SDKs today and read the technical blogs

Get the docker containers today from NGC ngc.nvidia.com

Integrate AI Assisted Annotation Client or use already integrated MITK Software

ClaraImaging@nvidia.com

GETTING STARTED