ANWENDUNG VON DEEP-LEARNING-VERFAHREN ZUR OCT … · Degenerationsprozess der menschlichen Netzhaut, häufig altersbedingt (AMD) ist in Deutschland mit 50% Anteil die häufigste Ursache

DIPL.-INF. HOLGER LANGNER, PROF. DR. MARC RITTER

Vortrag zum Workshop „LocalizeIT“

IM RAHMEN DER CHEMNITER LINUXTAGE 2019

ANWENDUNG VON DEEP-LEARNING-VERFAHREN

ZUR OCT-BILDANALYSE BEI DEGENERATIVEN

NETZHAUTERKRANKUNGEN

17.03.19

1. Kurzvorstellung unseres Forschungsprojekts TOPOs

2. Degenerative Netzhauterkrankungen in der Augenmedizin: Bedeutung, Diagnostik und

Therapie

3. Der TOPOs-Patientendatenbestand

4. Anwendung von Maschinellen Lernverfahren auf die OCT-Bildanalyse in der

Augenmedizin

VORTRAGSGLIEDERUNG

2

KURZVORSTELLUNG UNSERES

FORSCHUNGSPROJEKTS TOPOS

DAS FORSCHUNGSPROJEKT TOPOS

4

Das Projekt wird gefördert von: BMBF Förderschwerpunkt „Digitale Gesundheitsversorgung“

▪ Laufzeit: 02.2017 - 01.2020

Beteiligte Forschungspartner:

Professur Medieninformatik

Fakultät für Angewandte Computer- und

Biowissenschaften

http://topos.averbis.de/

Averbis GmbH, Freiburg

Verbundkoordinator

Klinik für Augenheilkunde am

Universitätsklinikum Freiburg

Universität Rostock

Institut für Informatik

Visual Computing und Computergraphik

DEGENERATIVE

NETZHAUTERKRANKUNGEN

▪ Degenerationsprozess der menschlichen Netzhaut, häufig altersbedingt (AMD)

▪ ist in Deutschland mit 50% Anteil die häufigste Ursache für eine schwere Sehbehinderung1

▪ jährlich erblinden in Deutschland dadurch etwa 5.000 Menschen neu

▪ 2012 waren in Deutschland rund 1.6 mio. Menschen ernsthaft daran erkrankt, und weitere 2.6 mio. im Frühstadium

▪ weltweit sind es ca. 20-25 mio. Menschen

▪ eine individuelle Therapie-Erfolgsprognose war bisher nicht möglich

6

DEGENERATIVE NETZHAUTERKRANKUNGEN

1lt. Berufsverband der Augenärzte Deutschlands e.V. (BVA)

ALTERSBEDINGTE MAKULADEGENERATION

AM SEHVORGANG DIREKT BETEILIGTE AUGENTEILE

7


Bildquelle: Wikipedia

Netzhaut (Retina)

mit Makula /Fovea Centralis

FUNDUSKAMERA

8

BILDGEBENDE VERFAHREN IN DER OPTHALMOLOGIE

Bildquellen: Wikipedia, 2, 3commons.wikimedia.org

Funduskamera2

Fundusbild eines gesunden rechten

Auges3

FUNDUSKAMERA

9

BILDGEBENDE VERFAHREN IN DER OPTHALMOLOGIE

Sehnerv / Papille

Fovea Centralis, Punkt des schärfsten Sehens

Fundusbild eines gesunden rechten Auges

OPTISCHE KOHÄRENZTOMOGRAFIE (OCT)

10

BILDGEBENDE VERFAHREN IN DER OPHTHALMOLOGIE

Bildquellen: 1http://www.labmedicasystems.com/spectral-domain-oct.php?c=2,2Videoausschnitt „SPECTRALIS 4D HD Eye Health Check”, https://www.youtube.com/watch?v=c9MWijaByek

Laser-Ophthalmoskop

Heidelberg Spectralis OCT1

volumetrische OCT-Tiefenschnitt-

aufnahme der Netzhautregion2

11


MAKULADEGENERATION: FORMEN UND VERLAUF

Trockene Form der AMD

▪ Einlagerung der Abbaustoffe in Drusen

Drusenbildung bei trockener AMD

Retinales Pigmentepithel (RPE)

im gesunden Zustand

12




im gesunden Zustand

Atrophie bei trockener AMD

Trockene Form der AMD

▪ Einlagerung der Abbaustoffe in Drusen

▪ späte Phase: Absterben der Photorezeptoren

(geographische Atrophie)

▪ führt i.A. zu Erblindung

▪ ist nicht direkt therapierbar

▪ derzeit Suche nach Prognoseindikatoren, die

anzeigen, ob eine frühe Phase in die späte

Phase übergehen wird

13



Feuchte Form der AMD

▪ Auge bildet neue Blutgefäße aus, die beim

Abtransport der Abbaustoffe helfen sollen

(Choroidale Neovaskularisationen)

▪ führt zu Leckagen d.h. Flüssigkeits-

ansammlungen sowie Blutungen

subretinale Flüssigkeit bei feuchter AMD


im gesunden Zustand

14




▪ Auge bildet neue Blutgefäße aus, die beim Abtransport der Abbaustoffe helfen sollen(Choroidale Neovaskularisationen)

▪ führt zu Leckagen d.h. Flüssigkeits-ansammlungen sowie Blutungen

▪ Therapie: Injektion von VGEF-Inhibitoren in die Netzhaut („IVOM“-Therapie)

▪ unterdrücken des Blutgefäßwachstums

▪ Leckagen klingen dann ab

▪ Serie mehrerer Injektionen notwendig (Wirkung über ca. 4 Wochen hinweg)

subretinale Flüssigkeit bei feuchter AMD

15




▪ Auge bildet neue Blutgefäße aus, die beim Abtransport der Abbaustoffe helfen sollen(Choroidale Neovaskularisationen)

▪ führt zu Leckagen d.h. Flüssigkeits-ansammlungen sowie Blutungen

▪ Therapie: Injektion von VGEF-Inhibitoren in die Netzhaut („IVOM“-Therapie)

▪ unterdrücken des Blutgefäßwachstume

▪ Leckagen klingen dann ab

▪ Serie mehrerer Injektionen notwendig (Wirkung über ca. 4 Wochen hinweg)

▪ Komplizierte Form: Flächenblutungen und Vernarbung Makulanarbe bei feuchter AMD

TOPOS-

PATIENTENDATENBESTAND

▪ wir verwenden einen „Realwelt“-

Klinikdatensatz der Augenklinik am

Universitätsklinikum Freiburg

▪ Historie von ca. 3600 Patienten

▪ erhoben im Zeitraum zwischen 2007 und

01.2018

▪ zumeist ältere Patienten

▪ jeder von ihnen hat mind. einmal eine IVOM-

Therapie bekommen

▪ viele davon über lange Zeit hinweg

▪ ansonsten keine besonderen Auswahlkriterien

▪ viele Patienten leiden an mehreren

Augenerkrankungen gleichzeitig

DER TOPOS PATIENTENDATENSATZ

17

DATENERHEBUNG IN DER AUGENMEDIZIN

Datenelement Anzahl

Datensätze

Patienten 3 683

OCT Exportdateien 49 856

OCT-Befunde 110 283

OCT-Einzelbilder („B-Scans“) 3 465 957

Fundusbilder 110 282

ICD/OPS Ereignisse 334 102

Visusmessungen 86 491

Händisch erhobene OPS-Ereignisse 45 491

Arztbriefe 40 485

Averbis Text-Mining-Annotationen,

extrahiert aus Arztbriefen

> 280 000

WIE WERDEN PATIENTENDATEN COMPUTERTECHNISCH ERFASST?

18


Schematische Darstellung (BPMN) am Beispiel der Augenklinik Freiburg

WIE WERDEN PATIENTENDATEN COMPUTERTECHNISCH ERFASST?

19


Anonymisierung

Dateiexport und -transfer

ca. 2.6 TB Rohdaten, nach Aufbereitung ca. 500GB KIS-seitige Entwicklungdauer

für Datenbereitstellung:

ca. 9-12 Monate

AUFBEREITUNG DER OCT-BILDROHDATEN

20


1https://bitbucket.org/uocte/uocte/wiki/Home2http://www.labmedicasystems.com/spectral-domain-oct.php?c=2

*.E2E-Files

Heidelberg Spectralis OCT-Gerät2

OCT-Bilddatenserver

Dateiexport

UOCTE-Bildexport

B-Scans als 512 x 496 Grauwert *.png

reine Rechenzeit für

50000 E2E-Files:

ca. 450h

1. Export des proprietären OCT-Bildformats

(E2E) in Bilddateien mit dem „Unified OCT

Explorer“1

▪ Bilder werden anschließend im

Dateisystem verwaltet

ANWENDUNG VON

MASCHINELLEN LERNVERFAHREN

AUF DIE OCT-BILDANALYSE

EIN EINFACHES OCT-KLASSIFIKATIONSBEISPIEL

22

ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER

Diagnoseklassifikation: Unterscheidung feuchte vs. trockene AMD

▪ Aufgabe für das Klassifikationssystem:

▪ wir zeigen dir ein OCT-Bild eines an AMD erkrankten Patienten

▪ entscheide, welche Form der AMD dieser Patient hat

feucht

?trocken

FUNKTIONSPRINZIP MASCHINELLER LERNVERFAHREN

23


Trainingsmenge von OCT-Bildern d.h. für diese ist uns bekannt,

ob jeweils AMD feucht oder trocken vorliegt

feucht

trockenDeep-Learning-System

Trainingsphase:

das System lernt die Klassenzuordnung aus

den ihm präsentierten Beispielen

es werden sehr viele Bildbeispiele

pro Patientenkategorie benötigt!

▪ wurde eingeführt von Simonyan and Zisserman: “Very Deep Convolutional Networks for Large Scale

Image Recognition”

24


AUFBAU EINES CNN

Bildquelle: Webseite “VGG in Tensorflow” (Davi Frossard), https://www.cs.toronto.edu/~frossard/post/vgg16/ (letzter Zugriff: 14.03.19)

VGG16-CNN-Architektur:

https://www.cs.toronto.edu/~frossard/post/vgg16/

25


AUFBAU EINES CNN

Input Image

128x128x8bit

conv2d_1

8x28x96 relu

… …

conv2d_2

9x9x64 relu

MaxPooling 3x3

…

conv2d_3

3x3x256MaxPooling 3x3

dense_1

1024, reludense_2

1024, relu

dense_3

512, relu

trocken

feucht

Output

2, softmax

adam update

cross entropy loss

lrate 0.00015

80 epochs

Beispiel für ein funktionsfähiges handcrafted CNN:


26

Schema unseres ML-Prozessierungsframeworks

EIN EINFACHES OCT-KLASSIFIKATIONSBEISPIEL

27



▪ Aufgabe für das Klassifikationssystem:

▪ wir zeigen dir ein OCT-Bild eines an

AMD erkrankten Patienten

▪ entscheide, welche Form der AMD

dieser Patient hat

feucht

?trocken


28

Typisches Klassifikationsergebnis:


Accuracy: 87,3% (80/20-Test)

▪ → CNNs sind offenbar sehr gut darin,

komplexe Befundmerkmale in Bildern zu

detektieren

▪ Wie viele Injektionsserien werden notwendig

sein?

▪ Wird der Patient viele Serien über lange Zeit

hinweg benötigen?

▪ Oder wird der Zustand nach den ersten Serien

dann stabil bleiben (regelmäßige Kontrolle)

▪ Wie hoch ist das Risiko einer ungeplanten

Therapiepause?


29

Kernproblem: Individuelle Erfolgsprognose der IVOM-Therapie

29

Wird eine IVOM-Therapie dem individuellen Patienten wahrscheinlich helfen?


30

Patientensegmentierung nach Therapieerfolg

▪ Woran kann man an einer vorhandenen

Patientenhistorie erkennen, ob die Therapie

erfolgreich war?

▪ → am Verlauf des Visus

IVOM-Injektionstermine

Kontrolltermine

fiktiver Idealverlauf des Visus bei erfolgreicher

Therapie:


31

Praxisprobleme bei der Patientensegmentierung nach Therapieerfolg

▪ Wie kann man diese Idealverläufe in der

Datenmenge automatisch auffinden?

▪ Visusdelta mit Schwellenwert?

▪ reicht nicht aus, denn

▪ nur wenige Patienten weisen einen

solchen Idealverlauf auf, da viele andere

Einflussfaktoren den Visus drastisch

verändern

▪ bisherige Lösung: grobes Vorfiltern und

händisches Annotieren an Hand mehrerer

Faktoren gleichzeitig

▪ Form des Verlaufs

▪ Berücksichtigen von anderen

Einflussfaktoren

unterscheidbare Kategorien des Therapieerfolgs:

4_untreat: IVOM-Therapie ist nicht (mehr) anwendbar

z.B. da der Visus von Anfang an sehr schlecht (<0.05 vdez) war

2_instable: Sehschärfe stabilisiert sich, benötigt aber über

lange Zeit hinweg beständige IVOM-Therapie

1_decr: Visus nimmt trotz Therapie sukzessive / drastisch ab

3_incr: der Patient spricht dauerhaft auf eine kurze Therapie an


32

Praxisprobleme bei der Patientensegmentierung nach Therapieerfolg

insgesamt 7726 Sehverläufe (= Augen)

2596 = 33,6% zu kurze Befundhistorie

weniger als 6 Visusmessungen

63 = 0,8% increasing 98 = 1,3% instable

139 = 1,3% decreasing

4830 = 4_untreat oder unklar

▪ Das Endergebnis: eine Tabelle mit händisch

nach Verlaufskategorie annotierten Patienten

▪ enthält alle eindeutigen Fälle

PID eyeSide performerClass

2273 R 3_incr

2318 L 1_decr

437 R 1_decr

152 L 2_stable

1882 R 2_stable

… … …


33

Vorhersage des Therapieerfolgs an Hand eines OCT-Befundes

▪ Aufgabe für das Prognosesystem:

▪ wir zeigen dir ein OCT-Bild vom

Erstbefund des Patienten

▪ sage vorher, in welcher Erfolgskategorie

der Patient am Ende landen wird

1_decr

? 2_instable

3_incr


34


▪ Training des Prognosesystems:

▪ bekommt als Bilddatenmenge alle B-

Scans des ersten OCT-Befunds des

jeweiligen Patienten

▪ Bilddatenmenge enthält alle 300

Sehverläufe, die eindeutig

kategorisierbar waren

▪ davon wurden 90% fürs Training und

10% für den Test verwendet

Kategorie Anzahl Bilder in der

Trainingsmenge

Anzahl Bilder in

der Testmenge

1_decr 3231 360

2_instable 2197 245

3_incr 1539 172

▪ → Es gibt Anzeichen dafür, dass

Informationen über den finalen Therapieerfolg

bereits im ersten OCT-Befund enthalten sind

▪ Nächste Schritte im FuE-Projekt:

▪ Vertreter der Kategorie 4_untreat

herausfiltern

▪ die unklaren Fälle in den Griff bekommen

▪ die Beispielmenge erweitern, um valide /

reproduzierbare Ergebnisse zu erhalten

▪ empirischer Vergleich mit der

Prognosefähigkeit menschlicher

Fachexperten


35

Accuracy: 77,09%

Typisches Klassifikationsergebnis:


SCHLUSS!

VIELEN DANK FÜR IHRE

AUFMERKSAMKEIT!

Documents

ANWENDUNG VON DEEP-LEARNING-VERFAHREN ZUR OCT … · Degenerationsprozess der menschlichen Netzhaut, häufig altersbedingt (AMD) ist in Deutschland mit 50% Anteil die häufigste Ursache