BEELDVERWERKING VOOR HIGH-
THROUGHPUT BEELDANALYSE VAN
MULTI-WELL PLATEN
Joachim Savat Stamnummer: 01206593
Promotor(en): Prof. dr. Ir. Jan Verwaeren en dr. Ir. Maarten Ameye
Masterproef voorgelegd voor het behalen van de graad in Master of Science in de industriële
wetenschappen: biochemie
Academiejaar: 2018 - 2019
i
Abstract Ondanks een snelle evolutie van de plantengenomica is er nog steeds een gebrek aan ontwikkeling
voor plantfenotypering. High-throughput plantfenotyperingplatforms worden steeds vaker gebruikt
om deze problemen op te lossen. Verschillende beeldvormingstechnieken worden op deze platforms
gebruikt voor de visualisatie van de structurele en functionele eigenschappen van een plant. Eén van
deze platforms maakt deel uit van het laboratorium van toegepaste mycologie en phenomics aan de
UGent, namelijk de Pathoviewer. Het bevat een gerobotiseerde multispectraalcamera, die gebruikt
wordt om abiotische als biotische stress bij planten te detecteren onder gecontroleerde
omstandigheden. In deze thesis zal er een pipeline ontwikkeld worden om beeldmateriaal op een
robuuste manier te analyseren. Met een GUI kunnen plantfenotypische kenmerken zoals
bladoppervlakte, oppervlakte laesie, percentage laesie en het aantal laesie bepaald worden. Deze
kenmerken werden zowel handmatig met een open software programma berekend, als met de
zelfgeschreven software toepassing. Er werd een duidelijk lineair verband gevonden tussen beide
methoden. De gemiddelde correlatiecoëfficiënt bedroeg 0,9578 voor de bepaling van het gezonde
oppervlakgedeelte van bladeren in een multititerplaat. Voor de oppervlakte laesie op de bladeren
was dit 0,7903. Tijdens een tweede experiment werd de invloed van enzymen op de afremming van
de groei van laesies bepaald met behulp van de zelfgeschreven software toepassing. Als resultaat
werd een gelijkaardige conclusie getrokken als een medestudent die onderzoek verrichte naar
dezelfde studie, namelijk dat er weldegelijk een significante invloed terug te vinden is voor bepaalde
enzymen op de afremming van laesie.
Kernwoorden: Plantfenotypering - Planfenotyperingsplatforms – Pathoviewer – Software applicatie –
ImageJ - Laesie
ii
Voorwoord Bij de start van mijn thesis was ik zeer nieuwsgierig en benieuwd naar de rol, die geautomatiseerde
beeldverwerkingstechnieken bieden in het plantfenotyperingsproces. Dit was een vrij nieuw thema
voor mij en ik keek er naar uit om te ontrafelen wat deze nieuwe wereld allemaal in zijn mars had.
Niet alleen deze wereld van ‘phenomics’ en ‘genomics’ was nieuw, maar ook het programmeren in
Python had ik nog nooit gedaan. Gelukkig werd ik goed ondersteund door twee gedreven
begeleiders. Ze maakten dat ik al snel op weg raakte met de beginselen van het programmeren in
Python en legden me uit hoe de wereld rond plantfenotypering in zijn werk ging. Niet alleen tijdens
het praktische gedeelte kon ik altijd met mijn vragen bij hen terecht, maar ook voor het schrijven van
de literatuurstudie en de resultaten van de thesis kon ik op hun hulp rekenen. Vandaar een grote
dank naar mijn beide promotoren. Bedankt voor het vele verbeterwerk, de lange maar zeer nuttige
vergaderingen en de hulp waarop ik altijd kon rekenen gedurende mijn thesis.
Vervolgens wil ik graag ook mijn proffen bedanken die tijdens mijn opleiding ervoor gezorgd hebben
dat ik klaar ben om in het bedrijfsleven te stappen. De vele interessante lessen en ook soms wat
uitdagendere lessen zorgden voor de goede ontwikkeling van de student die ik nu geworden ben.
Tenslotte zou ik graag ook mijn zussen, ouders en vele vrienden willen bedanken die me altijd
gesteund hebben tijdens mijn opleiding en de vorming van deze thesis. Zij waren altijd klaar voor een
luisterend oor, een schouderklopje of een helpende hand tijdens deze, soms wat chaotische,
periode.
iii
Inhoud Abstract .................................................................................................................................................... i
Voorwoord ...............................................................................................................................................ii
Inhoud ..................................................................................................................................................... iii
1 Inleiding ........................................................................................................................................... 1
2 Beeldvorming voor plantfenotypering ............................................................................................ 2
2.1 Plantfenotypering door middel van beeldanalyse in hedendaags onderzoek ........................ 2
2.1.1 Genoom, omgeving, fenotype en (high-throughput) fenotypering ................................ 2
2.1.2 Gebruik van beeldvorming en –analyse voor fenotypering ............................................ 3
2.2 Beeldvormingstechnieken ....................................................................................................... 3
2.2.1 Absorptiespectra van (groene) planten .......................................................................... 4
2.2.2 Beeldvorming in het zichtbare spectrum ........................................................................ 5
2.2.3 Beeldvorming in het nabije infrarood spectrum en korte golf infrarood spectrum ....... 7
2.2.4 Thermische beeldvorming ............................................................................................... 9
2.2.5 Fluorescentie beeldvorming .......................................................................................... 10
2.2.6 Multispectrale en hyperspectrale beeldvorming .......................................................... 12
2.3 Beeldvormingsplatformen ..................................................................................................... 13
2.3.1 PathoViewer .................................................................................................................. 13
2.3.2 Beeldvormingsplatformen in Europa en internationaal ................................................ 16
3 Beeldanalyse voor plantfenotypering ........................................................................................... 19
3.1 Digitale beeldverwerking ....................................................................................................... 19
3.2 Belangrijke stappen in het beeldanalyseproces .................................................................... 19
3.2.1 Setup en beeldcaptatie.................................................................................................. 20
3.2.2 Preprocessing ................................................................................................................ 20
3.2.3 Segmentatie................................................................................................................... 24
3.2.4 Beeldfenotyperingsanalyse ........................................................................................... 27
4 Materiaal en methoden ................................................................................................................ 29
4.1 Inleiding ................................................................................................................................. 29
4.2 Materiaal ............................................................................................................................... 29
4.2.1 Beeldverwerking met behulp van ImageJ ..................................................................... 29
4.2.2 Beeldverwerking met behulp van software .................................................................. 30
4.3 Methoden .............................................................................................................................. 31
4.3.1 Setup en beeldcaptatie.................................................................................................. 31
4.3.2 Preprocessing ................................................................................................................ 31
iv
4.3.3 Segmentatie................................................................................................................... 33
4.3.4 Samenvoegen van de individuele segmenten in een welletje tot één segment .......... 37
4.3.5 Parameters bepalen ...................................................................................................... 37
4.3.6 Output ........................................................................................................................... 37
5 Resultaten...................................................................................................................................... 38
5.1 Inleiding ................................................................................................................................. 38
5.2 De zelfgemaakte software toepassing .................................................................................. 38
5.3 Beeldfenotyperingsanalyse ................................................................................................... 39
5.3.1 Beeldverwerking met behulp van software .................................................................. 40
5.3.2 Vergelijking resultaten beeldverwerking met behulp van ImageJ en met behulp van
software 41
6 Conclusie en discussie ................................................................................................................... 54
7 Bibliografie..................................................................................................................................... 56
1
1 Inleiding Sinds het begin van de jaren zestig is de populatie in deze wereld verdubbeld tot ongeveer 7,5
miljard mensen. Niettegenstaande de groeipercentages dalen, is de stijging nog steeds merkbaar.
Omwille van dit stijgend bevolkingsaantal, zal de voedselvraag blijven toenemen. Meer nog, in 2050
verwacht men dat de productie zou moeten verdubbelen om aan deze voedselvraag te kunnen
beantwoorden. Nu stijgt deze jaarlijkse opbrengst slechts met 1,3 % per jaar, terwijl dit verhoogd zou
moeten worden tot 2,4 % (FAO, 2018). Eén van de technologieën die een oplossing zou kunnen
bieden voor dit probleem, is biotechnologie. Dit is de technologie die gebruik maakt van de
biologische processen van organismen, voor commerciële doeleinden. Plant fenotypering is vaak een
onderdeel van de biotechnologische pipeline (Sai, Siva Kishore, Dattatreya, Anand, & Sridhari, 2011).
Plant fenotypering is een zeer nuttig hulpmiddel in de biotechnologie, waarbij op een kwantitatieve
manier een beschrijving wordt gegeven van de structurele en functionele eigenschappen van een
plant. High-throughput plant fenotypering is de laatste jaren een zeer belangrijk onderdeel geworden
in de plantenbiologie en landbouw; niet alleen als inbreng in de geavanceerde gewasveredeling maar
ook in de manier van beheren van verschillende planten. De laatste jaren is deze technologie een
ware evolutie ondergaan omwille van de snelle ontwikkelingen van niet-destructieve, beeldanalyses
bedoeld voor fenotypering. Met als gevolg dat via “high-throughput”, planten op een snelle en
efficiënte manier gekarakteriseerd kunnen worden. Niettegenstaande dat deze techniek al een grote
stap in de goede richting heeft gezet, blijft het een technologie die, in tegenstelling tot bijvoorbeeld
plantengenomica, nog niet op het punt staat waar het zou moeten staan. Vaak zijn de technieken
nog gelimiteerd om grote aantallen te behandelen of worden de analyses beperkt tot het bepalen
van de opbrengsten, metingen van planthoogtes of bovengrondse en ondergrondse biomassa (Li,
Zhang, & Huang, 2014).
Het hoofddoel van deze thesis is de ontwikkeling en implementatie van een pipeline om
beeldmateriaal op een robuuste manier te analyseren. Hier zal de focus gelegd worden op
beeldmateriaal van multititerplaten in de PathoViewer. Dit is een gerobotiseerde
multispectraalcamera die deel uitmaakt van het laboratorium voor toegepaste mycologie en
phenomics (LAMP) van de UGent.
Eerst zal er in de literatuurstudie nagegaan worden waarom beeldvorming een ideaal hulpmiddel kan
zijn voor plantfenotypering en welke onderzoeken gebruik maken van beeldanalyses om planten te
fenotyperen. Daarna wordt er een overzicht gegeven van de belangrijkste hedendaagse
beeldvormingstechnieken. Hierbij zal de nadruk opnieuw gelegd worden op
beeldvormingstechnieken op multiwell-schaal. Vervolgens worden enkele beeldvormingsplatformen
besproken, waaronder de Pathoviewer. Ten slotte wordt in de literatuurstudie ook onderzocht welke
beeldverwerkingstechnieken er beschikbaar zijn en welke belangrijk zijn in het beeldanalyseproces.
Voor het PathoViewer platform zal in het praktisch gedeelte software worden ontwikkeld, om de
beeldanalyse op een efficiënte en robuuste manier te laten verlopen.
Om uit ruw beeldmateriaal een kwantitatieve beschrijving van het fenotype van een plant te kunnen
extraheren, dienen een aantal stappen doorlopen te worden (de beeldverwerkingspipeline). Deze
stappen zullen samen met de software die hierbij gebruikt wordt, in de literatuurstudie nog verder
besproken worden. Ten slotte zal er nog onderzocht worden wat de nieuwe trends zijn en wat er nog
te verwachten valt de komende jaren in het onderdeel plant fenotypering.
2
2 Beeldvorming voor plantfenotypering
2.1 Plantfenotypering door middel van beeldanalyse in hedendaags
onderzoek
2.1.1 Genoom, omgeving, fenotype en (high-throughput) fenotypering Eén van de eerste personen die de term fenotype en genotype gebruikte was een Deense
wetenschapper Wilhelm Johannsen. Hij toonde aan dat er een aanzienlijke variatie in kwantitatieve
eigenschappen kan optreden bij genetisch identieke organismen. Deze eigenschappen benoemde hij
‘fenotypische eigenschappen’. Tijdens zijn onderzoek definieerde hij fenotypering als: “Fenotypering
is de beschrijving van alle soorten organismen, die onderscheiden kunnen worden door direct
onderzoek of met behulp van fijne meetmethoden.” (Johannsen, 1911).
In zijn studie verklaarde Johannsen dat fenotypering zowel voor planten, dieren, schimmels als
bacteriën gekenmerkt wordt door tal van processen, functies en structuren. Fenotypering is in dit
geval niet zo lineair als het bepalen van een genotype, maar is vaak een interactie tussen het
genotype, de omgeving en de behandelingen van de plant (Figuur 1).
Een belangrijke tak in het onderdeel van de biotechnologie is de ‘phenomics’. Vaak wordt deze term
verward met fenotypering. Beide begrippen duiden op observeerbare of meetbare eigenschappen
van een plant, maar hiernaast omvat men bij phenomics ook nog een evaluatie van de patronen en
relaties tussen genotype en fenotype en tussen individuen met een gelijkaardig fenotypen (Perez-
Sanz, Navarro, & Egea-Cortines, 2017). Anders gezegd, omvat dit het verzamelen van bepaalde
fenotypische gegevens op allerlei vlakken. Deze gegevens dragen bij tot een completere benadering
van een concrete fenotypische ruimte die bekomen wordt door een bepaald genoom of een set van
genomen. Niet alleen wil dit dus zeggen dat plant fenotypering afhankelijk is van allerlei
verschillende dimensies en resoluties, maar ook onder verschillende werkomgevingen moet het
effectief zijn. Zowel voor kleinschalige als grootschalige projecten (Lobos, et al., 2017).
Omwille van de snelle evolutie in de ontwikkeling van beeldanalysetechnieken, focust de plant
fenotypering zich steeds meer op high-throughput plant fenotypering. Plant fenotypering kan
gedefinieerd worden als de totale beschrijving van tal van cascades die plaatsvinden na de
transcriptie van DNA naar RNA voor de vorming van eiwitten. Deze eiwitten zorgen voor de
fenotypische kenmerken zoals morfologische en architecturale structuren, maar ook voor de
ontwikkeling van metabolieten en ionen (Walter, Liebisch, & Hund, 2015). Oorspronkelijk werden
deze kenmerken manueel opgemeten, maar met de ontwikkeling van professionele
beeldvormingstechnieken, kan dit nu op een veel snellere, goedkopere en meer effectieve wijze
bereikt worden.
De term high-throughput fenotypering bij planten wordt gebruikt voor technologieën die
gebruikmaken van geautomatiseerde, niet-destructieve, online gestuurde machines die meerdere
morfofysiologische planteigenschappen screent. Vaak kunnen deze metingen continu gemeten
worden over een bepaalde tijdslengte, wat gebruikt wordt voor het volgen van de voortgang van de
groei van een plant. Bovendien kan er ook gemeten worden hoe ze reageren op bepaalde
3
stresssituaties en wat de gegeven opbrengst is van een plant (Rouphael, Spíchal, Panzarová, Casa, &
Colla, Augustus).
Figuur 1: Invloed van genoom en de verschillende omgevingstoestanden op het fenotype. Ondanks een gelijkaardig genotype, beïnvloedt de omgeving het fenotype van de plant. Zo lijkt hier op figuur 1 de plant bij omgeving A minder toegang verkregen te hebben tot licht, water en/of nutriënten waardoor deze een kleinere structuur lijkt te bezitten
(Walter, Liebisch, & Hund, 2015).
2.1.2 Gebruik van beeldvorming en –analyse voor fenotypering Verschillende beeldvormingstechnieken beschikken sensoren, die gebruikt kunnen worden om
planten te fenotyperen. Tal van morfologisch kenmerken kunnen via twee- of driedimensionale
beeldvormingssystemen gemeten worden. Enkele voorbeelden zijn: kleur en grootte van zaden
(Dumont, et al., 2015), bladeren (Gao, Van der Heijden, Vos, Eveleens, & Marcelis, 2012), boomlaag
(Omasa, Hosoi, & Konishi, 2007), wortels (Zhu, Ingram, Benfey, & Elich, 2011), vruchten (Kumar,
Pratap, & Kumar, 2015) enzoverder.
Naast morfologische kenmerken kan het gebruik van beeldvorming en beeldvormingsanalyses een
nuttig hulpmiddel zijn om fysiologische kenmerken waar te nemen. Deze kenmerken kunnen
gerelateerd zijn aan plantorgaan functies of pathologische eigenschappen waarbij men bepaalde
ziektes snel en eenvoudig kan detecteren. Elke beeldvormingstechniek gebruikt hiervoor specifieke
sensoren, die verder in de literatuurstudie worden besproken.
2.2 Beeldvormingstechnieken Een groot verschil vergeleken met de eerste jaren waarin men fenotypische analyses maakte, is de
grote capaciteit en verscheidenheid aan technologieën waar men nu op kan terugvallen. In plaats van
parameters zoals gewicht, lengte en biomassa manueel op te meten, wordt steeds vaker gebruik
gemaakt van beeldanalyse om deze parameters te kwantificeren. Veel technieken en
methodologieën die worden gebruikt bij deze beeldanalyse, zijn afkomstig uit het domein van de
Computer Vision (PhenomUK, 2018). Computer Vision is een computerwetenschap die zich bezig
houdt met het ontwikkelen en toepassen van technologieën (vaak algoritmisch van aard) en op een
sterk geautomatiseerde manier informatie kunnen extraheren uit (sequenties van) beelden. Dit
houdt onder meer in dat een toestel, op basis van een afbeelding of een segment van een
afbeelding, een bepaalde visuele analyse kan maken, specifieke elementen kan detecteren en
4
onderscheiden van andere delen (BMVA, 2018). In de fenotypering zijn dit vaak onderdelen van een
plant (zoals bladeren of zaden). Het onderscheiden van deze onderdelen is vaak een eerste stap in
een groter fenotyperingsproces. Wanneer men deze analyses systematisch uitvoert op tijdsreeksen
van beelden, kan men bijvoorbeeld de groei van planten monitoren op een gedetailleerde en deels
geautomatiseerde manier. Een ander, meer geavanceerde toepassing, bestaat uit de opbouw van
3D-modellen en analyses van plantengroei.
In fenotyperingsplatformen die gebruik maken van beeldverwerking, worden vaak twee
componenten onderscheiden. Enerzijds is er de beeldcaptatiecomponent. Dit is de technologie die
de beelden genereert. Anderzijds is er de beeldanalysecomponent. Dit is de beeldanalysesoftware,
die uit de ruwe beelden het fenotype extraheert en kwantificeert. In de volgende sectie zal een
overzicht gegeven worden van de hedendaagse gebruikte beeldvormings- of captatietechnieken. De
fysische (en fysiologische) principes waarop de technieken berusten, worden besproken alsook de
voor- en nadelen van deze technieken. Veel van deze technieken maken gebruik van het
absorptiespectra van (groene) planten. Bij diverse golflengtes kunnen zeer uiteenlopende
eigenschappen opgemeten en geanalyseerd worden.
2.2.1 Absorptiespectra van (groene) planten Het absorptiespectrum van groene planten bestaat uit golflengtes die ontstaan door
elektromagnetische radiatie. Deze golflengtes worden geabsorbeerd door verschillende onderdelen
van groene planten wanneer het licht hierdoor passeert. Het absorptiespectrum toont aan in welke
mate het inkomend licht geabsorbeerd wordt door bepaalde moleculen in een plant. De twee grote
klassen van fotosynthetische pigmenten zijn chlorofyl en carotenoïden, die elk zelf enkele
verschillende types pigmentmoleculen bevatten. Elk van deze pigmenten zullen enkel golflengten
absorberen in een specifieke regio. Zoals weergegeven op Figuur 2, zijn de meest voorkomende
moleculen in planten die licht absorberen chlorofyl a, chlorofyl b, carotenoïden en anthocyanen.
Zowel chlorofyl a als b bevatten een hoog absorptiespectrum in de rode (430-460 nm) en blauwe
regio’s (640-660 nm). Toch zal ook een deel van het licht bij andere golflengtes geabsorbeerd
worden. Carotenoïden en anthocyanen zijn hierbij de meest voorkomende fotoreceptoren en dragen
tevens bij tot de fotosynthese bij planten (Hashimoto, Uragami, & Cogdell, 2016).
Figuur 2: Absorptie spectrum van enkele belangrijke plant pigmenten (Taiz, Zeiger, Møller, & Murphy, 2014)
5
De pigmenten zullen na het absorberen van het licht geëxciteerd worden, wat wil zeggen dat ze naar
een hogere energietoestand worden gebracht (Figuur 3). De energie kan dan doorgegeven worden
naar een molecule die instaat voor de start van de fotofosforylatie. Tijdens dit proces zal het licht
omgezet worden in chemische energie, ATP en NADPH (Easlon, 2015). Fotosynthese zelf is het
integreren van deze lichtreacties die zorgen voor de omzetting van CO2 tot suikers.
Vervolgens zal ook een deel van de geëxciteerde elektronen van chlorofyl terugvallen naar zijn
grondtoestand via vibrerende relaxatie. Het terugvallen naar zijn grondtoestand via fotonemissie
wordt ook wel fluorescentie-emissie genoemd. Dit fluorescentielicht kan met fluorescentiecamera’s
waargenomen worden. Tijdens het terugvallen van het elektron naar zijn grondtoestand zal
bovendien een deel van de energie als warmte-energie uitgezonden worden. Deze energie is met
thermische camera’s te detecteren (Misra, Misra, & Singh, 2012).
De drie processen die met andere woorden plaatsnemen wanneer licht energie geabsorbeerd wordt
door chlorofyl in een fotosynthetisch systeem zijn: a) gebruik van energie voor fotosynthese, b)
energie uitgezonden als warmte-energie en c) energie dat uitgestraald wordt als fluorescentie-
energie. Zo bekomt men drie processen die alle drie met elkaar in competitie treden, waarbij de ene
in efficiëntie zal afnemen wanneer de andere in efficiëntie zal toenemen (Misra, Misra, & Singh,
2012).
Figuur 3: Energie diagram van wat er gebeurt wanneer een pigmentmolecule een foton van het licht absorbeert (Easlon, 2015)
2.2.2 Beeldvorming in het zichtbare spectrum
2.2.2.1 Algemene beschrijving
Beelden die in het bereik van het zichtbaar spectrum genomen worden, worden gebruikt om een
weergave te creëren van planten die nauw aansluit bij de manier waarop ook de mens een plant
waarneemt. Met deze informatie kan men een plant fenotyperen op basis van zichtbare kenmerken
(Li, Zhang, & Huang, 2014). De meest gebruikte standaard camera’s hebben een bereik in het
zichtbaar spectrum (400-700 nm) en zorgen voor een twee dimensionaal beeld. De sensoren, die
deze camera gebruikt, maken gebruik van drie kleuren sensoren (rood, groen en blauw). Op die
6
manier kan elke pixel met elk zijn eigen kleur als een array van drie waarden worden opgeslagen.
Voor kleine planten wordt via een bovenaanzicht een foto genomen, zoals bijvoorbeeld bij
Arabidopsis thaliana. Terwijl voor grotere planten verschillende afbeeldingen genomen worden om
zo (door gebruik te maken van image-stitching) tot één complete afbeelding met hoge resolutie te
komen (Figuur 4) (Fahlgren, Gehan, & Baxter, 2015).
Figuur 4: Voorbeeld van een RGB camera met digitale fenotypering op basisch van het visueel spectrum (Jansen, 2016).
2.2.2.2 Belangrijke toepassingen en limitaties
Omwille van de vrij goedkope en makkelijk bruikbare camera’s, zijn high-throughput
fenotyperingsystemen de voorbije jaren zeer populair geworden (Fahlgren, Gehan, & Baxter, 2015).
Bovendien zijn verschillende van deze camera’s draagbaar en omwille van de grote kennis die
ondertussen ontwikkeld is rond de analyse van RGB-beelden, is er al talrijke vrije software
beschikbaar (Tabel 1) (Perez-Sanz, Navarro, & Egea-Cortines, 2017). Enkele van deze veel gebruikte
software toepassingen zijn Rosette Tracker (De Vylder, Vandenbussche, Hu, Philips, & Van Der
Straeten, 2012), Phenophyte (Green, et al., 2012), SmartRoot (Lobet, Pagès, & Draye, 2011) en
RootNav (Pound, et al., 2013).
Tabel 1: overzicht van vrije softwaretoepassingen die beschikbaar zijn voor de analyse van RGB-beelden
Rosette Tracker Een opensourcesoftware beeldanalyse hulpmiddel voor automatische kwantificatie van genotypen (De Vylder, Vandenbussche, Hu, Philips, & Van Der Straeten, 2012).
Phenophyte Een goedkope webapplicatie gebruikt voor semi-geautomatiseerde kwantificatie van eigenschappen die via tweedimensionale beelden zichtbaar zijn (Green, et al., 2012).
SmartRoot Een software toepassing die semi-geautomatiseerd beeldanalyses uitvoert voor kwantitatieve analyses van complexe wortelsystemen (Lobet, Pagès, & Draye, 2011).
RootNav Een beeldverwerkingssysteem met semi-geautomatiseerd kwantificatie van de architectuur van wortelsystemen (Pound, et al., 2013).
In een gecontroleerde omgeving zoals een groeikamer of serre heeft beeldanalyse met behulp van
zichtbaar licht tal van toepassingen. Vaak zijn deze toepassingen gerelateerd aan morfologische
7
eigenschappen zoals vorm, structuur, geometrische eigenschappen zoals lengte en oppervlak en
kleuren. De voornaamste zijn: meten van biomassa (Golzarian, et al., 2011), opbrengst (Duan, Yang,
Huang, & Liu, 2011), wortel structuren (Clark, et al., 2011), morfologie van zaden (Joosen, et al.,
2012), bladstructuur (Jansen, et al., 2009).
Het grootste voordeel aan beeldanalyse in het spectrum van het zichtbaar licht, is de eenvoud van de
technologie en de prijsvoordeligheid. Ondertussen zijn er al heel wat sensoren en camera’s
ontwikkeld die ervoor zorgen dat de kwaliteit van de beelden uitstekend zijn, voor een relatief lage
prijs. Het grote nadeel echter aan deze manier van beeldvorming, is dat deze afbeeldingen slechts
weinig informatie bevatten over de fysiologische toestand van de plant (Humplík, Lazár, Husičková, &
Spíchal, 2015). Bovendien zorgt het overlappen van bladeren vaak voor moeilijkheden in het exact
berekenen van de biomassa van een plant. Zowel de bepaling van het aantal bladeren als het
oppervlakte van de bladeren kunnen een probleem vormen. Dit is echter enkel wanneer er op grote
schaal gewerkt wordt. Op multiwell-schaal is dit probleem beperkt vanwege de geringe grootte van
de planten, zaden of wortels en de ontwikkeling van 3D-beeldverwerkingstechnieken (Li, Zhang, &
Huang, 2014).
2.2.3 Beeldvorming in het nabije infrarood spectrum en korte golf
infrarood spectrum
2.2.3.1 Algemene beschrijving
Zoals eerder werd weergegeven op onderstaande figuur (Figuur 2), is er een sterk
absorptievermogen van chlorofylmoleculen in de buurt van rood (430-460 nm) en blauw (640-660
nm) licht. Beide in het zichtbaar spectrum terug te vinden. Omwille van de grote hoeveelheid
absorptie is er maar een klein deel (vooral het groene gedeelte) van de plant dat gereflecteerd wordt
in het zichtbaar spectrum. Daarentegen is er in het nabij-infrarood spectrum een hoge reflectie
(Knipling, 1970).
Figuur 5: Grafiek met de reflectie in functie van de golflengte van een tabaksblad (Knipling, 1970)
Het infrarood spectrum kan onderverdeeld worden in drie groepen: het nabij infrarood spectrum
(700 nm - 1000 nm), het korte golf infrarood spectrum (900 nm – 2500 nm) en het lange golf
infrarood spectrum (2,5 µm – 13 µm). Het bereik van de sensoren van het korte golf infrarood
8
spectrum is echter van 900 nm - 1700 nm en dit van het lange golf infrarood spectrum van 7,5 µm –
13 µm (Fahlgren, Gehan, & Baxter, 2015). Het lange golf infrarood spectrum wordt ook wel het
thermisch infrarood spectrum genoemd en wordt specifiek verder in een apart deel besproken.
Wanneer een lichtstraal invalt op een blad, kan deze op drie verschillende wijzen zich doorheen het
blad bewegen. Een deel van de lichtstralen zal worden gereflecteerd, een ander deel wordt
geabsorbeerd en nog een ander deel zal via transmissie zich doorheen het blad begeven. In het
zichtbaar spectrum is er vooral een grote absorptie door chlorofylmoleculen, vanaf 1,3 µm is dit
vooral door de absorptie van water (Knipling, 1970). Zoals weergegeven op onderstaande figuur
(Figuur 5) zorgt dit voor een dal in de grafiek die de reflectie van het licht weergeeft van een
tabaksplant. In het gedeelte tussen 0,7 µm en 1,3 µm is de reflectie afkomstig van interne cellulaire
structuren. De buitenwand is zowel voor het infrarood als zichtbaar licht transparant zodat slechts
een klein deel van het zonlicht gereflecteerd wordt (Knipling, 1970). Het licht wordt echter wel
verstrooid wanneer het door de cuticula en epidermis gaat en verder tot in de mesofylcellen (Figuur
6). In deze regio zal er reflectie optreden met een index tussen deze van lucht (1,0) en deze van
water (1,4).
Een belangrijke factor is dus water, die ervoor zorgt dat een groot deel van het licht geabsorbeerd
wordt. Wanneer een plant veel water bevat zullen de kleine luchtkamertjes, aanwezig in de
plantencellen, gevuld worden met water. Dit zorgt ervoor dat het licht niet meer kan passeren en
geabsorbeerd zal worden (Knipling, 1970).
Figuur 6: Reflectie bij het invallen van licht op een plantencel zal vooral groen licht gereflecteerd worden in het zichtbaar spectrum en een sterke reflectie van IR-licht in het nabij infrarood spectrum (Carns, 2016)
.
2.2.3.2 Belangrijke toepassingen en limitaties
Door de toename van reflectie in het nabij infrarood spectrum van het mesofyl in de bladeren, wordt
deze beeldvorming vaak gebruikt voor de dikte van de bladeren te meten of bij grootschalige
onderzoeken om de structuur van de boomlaag te meten. Vanaf 1300 nm zal echter de reflectie
afnemen, dit komt omdat rond dit spectrum water de stralen absorbeert. Deze molecule heeft
9
namelijk drie verschillende absorptiebanden liggen tussen 1300 nm en 2500 nm (bij 1450 nm, 1930
nm en 2500 nm). Studies die onderzoek doen naar de water stress bij planten, gebruiken daarom
vaak nabij infrarood spectroscopie.
De grootste limitatie voor nabij infrarood beeldvorming is dat deze technologie afhankelijk is van
kalibratie modellen. Men moet op voorhand een kalibratie sample hebben, dat gebruikt kan worden
om een grote groep planten of plantendelen te kunnen fenotyperen. Aan de hand van
mathematische modellen en berekeningen kan het gemeten (infrarood) signaal vertaald worden in
een fysiologisch relevante eigenschap. Technieken die daarvoor gebruikt worden ,zijn ondermeer 2D
correlatie schetsen, principale componenten analyses, kleinste-kwadratenmethodes, support vector
machines en andere ‘machine learning’ methodes. Deze kalibratie modellen zorgen voor een hoge
kostprijs en bovendien in combinatie met high-throughput fenotypering zorgt dit voor een grote
kwantiteit aan afbeeldingen. De verwerking van deze beelden zijn dan vaak ook niet economisch
rendabel (Li, Zhang, & Huang, 2014).
Een limitatie die zich enkel voordoet bij grootschalige onderzoeken op grote velden, is de verstoring
van de reflectie van zonlicht door atmosferische waterdamp. Vandaar dat de waterstress van planten
vaak op golflengtes gemeten wordt tussen 970 nm en 1200 nm. Volgens verschillende studies
(Penuelas et al., 1993, 1997b; Babar et al., 2006; Seelig et al., 2008 ) wordt op deze golflengte echter
niet de absorptie van water gemeten, maar is dit eerder een reflectie van de algehele verandering in
de architectuur van een plant (Berger, Parent, & Tester, 2010).
2.2.4 Thermische beeldvorming
2.2.4.1 Algemene beschrijving
Thermische infrarood camera’s, ook wel warmtebeeldcamera’s genoemd, zijn camera’s die beelden
waarnemen in een bereik van 3 tot 14 µm in het elektromagnetisch spectrum. IR thermografie geeft
de temperatuurverdeling weer van een oppervlakte van een bepaald object (zoals de oppervlakte
van een blad). Verschillende andere functionele karakteristieken, zoals bladoriëntatie,
warmtecapaciteit, oppervlakte-eigenschappen, infraroodabsorptie en transpiratiesnelheden kunnen
gelinkt worden aan de temperatuur van een plant (Fiorani, Rascher, Jahnke, & Schurr, 2012).
De belangrijkste parameter die automatisch gecorreleerd wordt aan thermische beeldvorming, is de
stomatale geleiding (𝑔𝑠 =𝑚𝑚𝑜𝑙 𝐻2𝑂
𝑚² 𝑠) (Sirault , James , & Furbank , 2009). Dit is de passage snelheid
van waterdamp door de huidmondjes of kleine poriën van de plant. Dit verloopt evenredig met de
CO2-opname van een plant. Tijdens de transpiratie zal er namelijk CO2 opgenomen worden dat
gebruikt zal worden tijdens de fotosynthese in de chloroplasten. Op hetzelfde moment zal de plant
via de stomata water verliezen dat voor de afkoeling van de plant zorgt. Dit wil dus zeggen dat de
bladtemperatuur in relatie staat met de transpiratie snelheid als de geleiding van de stomata
(Damour, Simonneau, Cochard, & Urban, 2010).
De prestatie van de thermische camera’s zijn afhankelijk van drie componenten: de snelheid van
scannen, de resolutie en de gevoeligheid (Mahlein, Oerke, Steiner, & Dehne, 2012). Een groot
voordeel ten opzichte van de oorspronkelijke methodes, waarbij men apparatuur nodig had om de
stomatale geleiding te meten, is de niet-invasieve vorm van de analyse. Bovendien is deze
10
oorspronkelijke methode zeer tijdrovend en enkel bruikbaar voor kleinschalige onderzoeken, terwijl
thermische beeldvorming een snelle en attractieve manier is om planten te fenotyperen (Humplík,
Lazár, Husičková, & Spíchal, 2015).
2.2.4.2 Belangrijke toepassingen en limitaties
Thermische beeldvorming wordt gebruikt om de temperatuur van het oppervlak van bladeren op te
meten. Deze metingen kunnen in verband gebracht worden met de waterstresstoestand van de
plant, aangezien planten afkoelen wanneer ze transpireren. Meer bepaald is dit afhankelijk van de
geleiding van de stomata. Wanneer deze gesloten zijn zal de temperatuur van de plant stijgen
aangezien er geen transpiratie meer mogelijk is. Verschillende onderzoeken omtrent de water
stressbestendigheid van planten wordt daarom uitgevoerd met thermische beeldvorming (Humplík,
Lazár, Husičková, & Spíchal, 2015).
Het opmeten van abiotische en biotische stress kan tevens gebeuren met behulp van thermische
beeldvorming. Deze kunnen namelijk gelinkt worden aan de afname van fotosynthese en
transpiratie. Op grote schaal zijn al succesvolle experimenten uitgevoerd, zoals metingen van de
temperatuur van de boomlaag; alsook op multiwellschaal, waarbij men thermische beeldvorming
gebruikte tijdens de screening naar interessante mutanten (Zia, et al., 2012).
Een tweede veelgebruikte toepassing van thermische beeldvorming is het detecteren van lokale
ziektes. Omwille van een infectie van pathogenen of als respons van het immuunsysteem zal de plant
lokale temperatuursveranderingen ondergaan die gedetecteerd kunnen worden met deze
thermische beeldvorming (Mahlein, 2016).
Ondanks de snelle en gebruiksvriendelijke methode zijn er ook enkele limitaties. Zo is het van
cruciaal belang dat onderzoekers rekening moeten houden met de omgevingstoestand waarin een
experiment plaats vindt. Vele factoren kunnen namelijk een invloed hebben op de metingen zoals
lichtintensiteit, luchtvochtigheid, windsnelheden. Deze zijn echter voornamelijk van toepassing bij
fenotypering op grote schaal waardoor deze nadelen gelimiteerd zijn op laboniveau (Humplík, Lazár,
Husičková, & Spíchal, 2015).
2.2.5 Fluorescentie beeldvorming
2.2.5.1 Algemene beschrijving
Fluorescentie is de emissie van licht met een langere golflengte, nadat dit licht met een kortere
golflengte geabsorbeerd werd door dat object. In planten zijn fotosystemen de belangrijkste
fluorescentie complexen van een plant. Met als gevolg dat de metabolische status van een plant kan
onderzocht worden met behulp van artificiële excitatie van de fotosystemen van een plant en de
verschillende reacties hierop (Baker N. R., 2008). Beeldvorming met behulp van fluorescentie, is één
van de meeste relevante technieken die gebruikt wordt voor de beschrijving van deze processen (Li,
Zhang, & Huang, 2014). De moleculen die fluorescentie uitstralen, hebben de capaciteit om licht te
absorberen bij een bepaalde specifieke golflengte. De energie die deze moleculen hierbij ontvangen,
wordt gebruikt om valentie-elektronen naar een hogere energetische toestand te brengen; om dan
stelselmatig terug te vallen naar hun oorspronkelijke grondtoestand. De energie die hierbij vrijkomt
wordt geëmitteerd onder de vorm van fluorescerend licht (Haustein & Schwille, 2007).
11
Een vaak onderzocht deel van de plant dat fluorescentie bevat, is het chlorofyl complex. Een groene
plant wordt bestraald met hoog energetisch licht afkomstig van een lamp of laser. Een deel van het
terug gestraalde licht wordt opgevangen met een fluorescentie detectie camera (Figuur 7a). De
eigenschappen van het bestraalde licht en het terug gestraalde licht, zijn variabel en bovendien
afhankelijk van de capaciteit van de plant om licht te metaboliseren (Figuur 7b).
Volgens een studie van Buschmann en Lichtenthaler (Buschmann & Lichtenthaler, 1998) stralen
groene planten zowel blauwe, groene als rode en ver-rode elektromagnetische stralingen uit na een
UV-bestraling (Figuur 7b). De maxima zijn respectievelijk te vinden bij 440 nm (blauw), 520 nm
(groen), 690 nm (rood) en 740 nm (ver-rood). In de rode en ver-rode regio wordt dit veroorzaakt
door chlorofyl a en in de blauwe en groene regio is dit ten gevolge van ferulazuren die covalent
gebonden zijn met de celwanden (Buschmann, Langsdorf, & Lichtenthaler, 2000). Deze fenolen zijn
secundaire metabolieten die in het plantmetabolisme een belangrijke rol spelen, zoals onder andere
bij de synthese van lignine. Vandaar dat deze in de plant fenotypering vaak als indicator gebruikt
wordt, voor de bepaling van het plant metabolisme.
Figuur 7a: opstelling voor fluorescentie beeldverwerking, Figuur 7b: fluorescentieprincipe die van toepassing is bij fluorescentie beeldverwerking (Li, Zhang, & Huang, 2014)
2.2.5.2 Belangrijke toepassingen en limitaties
Verschillende studies die gebruik maken van fluorescentie beeldvorming, gebruiken de
fluorescentietechniek om vroegtijdig stress bij de plant te kunnen detecteren vooraleer er zichtbare
symptomen zijn (Baker, 2008; Jansen et al., 2009; Konishi et al., 2009; Munns et al., 2010; De Smet et
al., 2012; Chen et al., 2014b). Deze stress wordt veroorzaakt door biotische en abiotische
stressfactoren.
Een tweede belangrijk onderwerp waarbij men gebruik maakt van fluorescentie beeldvorming is bij
het scannen van een groot aantal mutanten en bij mutanten die elk verschillende pigmenten
bevatten (Rahaman, Chen, Gillani, Klukas, & Chen, 2015; Niyogi, Grossman, & Björkman, 1998; Lu,
Savage, & Last, 2011).
De grootste voordelen ten opzicht van andere beeldvormingstechnieken is de hoge selectiviteit en de
goede signaal-ruisverhouding. De reden hiervoor is de hoge selectiviteit van de transitie van een
molecule naar een hogere elektronische toestand, die enkel voorkomt bij bepaalde fotonen met een
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B7https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B57https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B69https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B77https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B28https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B28https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B18
12
hoge energie. Daarentegen lijkt de FV/FM verhouding bij ernstige waterbeperkingen, nauwelijks
gevoelig bij de metingen, waardoor de plant niet op waterstress situaties kan getest worden (Jansen,
et al., 2009).
2.2.6 Multispectrale en hyperspectrale beeldvorming
2.2.6.1 Algemene beschrijving
Multispectrale en hyperspectrale beeldvormingstechnieken maken gebruik van multispectrale en
hyperspectrale sensoren, die de reflectie signalen opvangen van complexe foton-vegetatie
interacties; de multispectrale sensoren fixeren zich op de reflectie van een select aantal banden,
terwijl hyperspectrale sensoren de reflectie meten op een breed bereik van golflengtes (400-2000
nm) (Mishra, Mishra, Klem, & Govindjee, 2016). Zowel multispectrale als hyperspectrale
beeldvorming functioneren op een gelijkaardige manier. Er worden verschillende afbeeldingen
geconstrueerd, die allemaal gevormd worden bij een verschillende golflengte. Deze sets van
afbeeldingen worden dan via image-stitching samengebracht tot één geografische mozaïek. Via
wiskundige berekeningen kan men voor deze beelden vervolgens vegetatieve-indexen berekenen.
Verschillende van deze indexen kunnen gebruikt worden om het chlorofyl-gehalte te bepalen of om
het bladoppervlak per eenheid grondoppervlak te bepalen. Een derde belangrijke index is de
Normalized Difference Vegetation Index (NDVI). Deze index kwantificeert de hoeveelheid vegetatie
van een gebied of de gezondheid van een bepaalde plant (Taipale, 2018). Het berekent het verschil
tussen de intensiteit van dichtbij infrarood en rood licht. Het infrarood licht wordt sterk gereflecteerd
door de vegetatie en gezonde groene planten, terwijl rood licht geabsorbeerd zal worden door de
vegetatie en gezonde groene planten (Figuur 8). Dit gebeurt volgens de vergelijking: 𝑁𝐷𝑉𝐼 =
(𝑁𝐼𝑅−𝑅𝐸𝐷)
(𝑁𝐼𝑅+𝑅𝐸𝐷).
Figuur 8: het verschil in Normalized Difference Vegetation Index (NDVI) tussen een boom met gezonde bladeren (linkse) en een boom met bladeren met een slechtere gezondheid. De linkse gezonde vegetatie zal meer near-infrared (NIR) en
groen licht reflecteren vergeleken met andere golflengtes en absorbeert zo ook meer blauw en rood licht (GisGeography, 2018).
13
Het grote verschil tussen eenvoudige digitale RGB-beeldvorming en multispectrale/hyperspectrale
beeldvorming, is dat bij RGB-beeldvorming een beeld opgemaakt wordt met licht verspreid over het
zichtbaar spectrum. Bij multispectrale en hyperspectrale beeldvorming daarentegen ligt het bereik
zowel in het niet-zichtbaar spectrum als zichtbaar spectrum. Multispectrale beeldvorming zal enkel
een klein aantal spectrale banden gebruiken, terwijl hyperspectrale beeldvorming een compleet
spectrum gebruikt per pixel.
Zowel multispectrale als hyperspectrale beeldvorming maken gebruik van verschillende camera’s die
elk een eigen optische filter bevatten, waarmee men bij een aantal specifieke golflengtes een
afbeelding kan nemen (MicaSense, 2016). Elk oppervlak, van zowel plant als blad, reflecteert een
bepaalde hoeveelheid van het licht dat het ontvangt. Omwille van ieders eigen specifiek oppervlak,
zal de radiatie van het zonlicht op een eigen unieke manier geabsorbeerd worden. Via de
verschillende sensoren, die zowel bij multispectrale als hyperspectrale beeldvorming aanwezig is, kan
deze reflectie gemeten en verwerkt worden tot verschillende afbeeldingen (Corrigan, 2018).
2.3 Beeldvormingsplatformen
2.3.1 PathoViewer
Figuur 9: Voorstelling van de PathoViewer
2.3.1.1 Algemene beschrijving
De PathoViewer (Figuur 9) is een beeldvormingsplatform dat met behulp van hoge resolutiebeelden
planten kan fenotyperen onder gecontroleerde omstandigheden. Het bevat een 6 MP – 16 bit
camera uitgerust met verschillende optische filters die toegepast kunnen worden voor talloze
toepassingen zoals het meten van chlorofyl fluorescentie, Red Fluorescent Protein (RFP), Green
Fluorescent Protein (GFP), auto-fluorescentie, RGB, gemodificeerde anthocyaanreflectie-index en
chlorofylindex. Het is een geautomatiseerd systeem, dat ingezet wordt om biotische als abiotisch
stress na te gaan van planten of plantendelen (Phenovation Life Science, 2016).
2.3.1.2 Specificaties van de Pathoviewer
De Pathoviewer maakt gebruik van een combinatie van RGB, chlorofylfluorescentie, anthocyaan, NIR
en GFP/RFP beeldverwerking om de impact van abiotische en biotische stress te visualiseren. Met
behulp van deze camera’s kunnen onderzoekers bovendien wetenschappelijke relevante informatie
14
verzamelen van planten, naast de visualisatie van de fenotypische kenmerken. In de volgende sectie
worden de belangrijkste parameters die gemeten worden besproken.
FV/FM
Een eerste belangrijke parameter die gemeten kan worden met de Pathoviewer is de Fv/FM-waarde.
Deze parameter bekomt men door gebruik te maken van chlorofyl fluorescentie, die een maatstaf is
voor het bepalen van de fotosynthetische prestaties van een plant. Met behulp van fluorescentie
kunnen verschillende parameters berekend worden zoals lineaire elektronenstroom, CO2-assimilatie
en veranderingen in fotosysteem II (PSII) fotochemie (Baker N. R., 2008).
Figuur 10: Fluorescentie-quenching-analyse bepaald door gemoduleerde fluorescentie. FO = minimaal fluorescentielevel, FM = maximaal fluorescentielevel en Fv = variabel fluorescentielevel (Baker N. R., 2008)
De Fv/FM -waarde bepaalt de maximum kwantumefficiëntie van de fotochemie van PSII. Eerst zal het
minimaal fluorescentielevel F0 bepaald worden (Figuur 10). Door een kleine hoeveelheid (0,1 µmol
fotonen m-1 s-1) niet-actinisch licht vrij te stellen aan het blad van een plant. Actinisch licht, is licht dat
geabsorbeerd wordt door fotosynthetische apparaten, dat fotochemische effecten veroorzaakt en
zorgt voor een elektronentransport (Baker N. R., 2008).Vervolgens wordt een korte actinische puls
met hoge foton flux densiteit (685 µmol fotonen m-1 s-1) aan het blad vrijgeste,ld zodat er een
maximaal fluorescentielevel bereikt wordt (FM). Dit zorgt ervoor dat de reactiecentra met primaire
chinonenacceptoren van het PSII (QA) zich in een gesloten status zullen bevinden. Het verschil tussen
FM en F0 wordt de variabele fluorescentie Fv genoemd. Het quotiënt van Fv/FM, is een maat voor de
stresssituatie van een plant. Hoe lager deze waarde, hoe lager het aantal bruikbare open reactie
centra en dus hoe hoger de stresssituatie van de plant (Baker & Rosenqvist, 2004).
15
Figuur 11: Voorbeeld van een Fv/FM - meting toegepast op tarwe geïnfecteerd met Zymoseptoria tritici
Anthocyanine
Een tweede belangrijke parameter die gemeten kan worden met de Pathoviewer, is de Ant-index.
Deze index correleert met de hoeveelheid anthocyanine die zich in een blad bevindt. Athocyanen zijn
pigmenten die verantwoordelijk zijn voor de vermiljoen verkleuring. Deze pigmenten zouden een
invloed hebben op de manier van reageren op bepaalde stresssituaties zoals: droogte, UV-B, zware
metalen, bepaalde herbivoren en pathogenen. Dit doen ze door hoogenergetische kwantumdeeltjes
te absorberen en zo chloroplasten te beschermen van foto-inhiberende en foto-oxidatieve effecten
als van het metaboliseren van fotolabiele verdedigingscomponenten (Gould, 2004).
Groen Fluorescentie proteïne (GFP) en rood fluorescentie proteïne (RFP) beeldvorming:
De laatste beeldvormingen die vaak toegepast wordt bij metingen van de Pathoviewer, zijn de
visualisatie van groen en rode fluorescentie proteïnen (GFP en RFP). Deze proteïnen zijn in staat om
proteïnen in vivo te detecteren en zo nieuwe inzichten te verschaffen over welbepaalde
celstructuren. Bovendien kunnen deze beeldvormingsprincipes ingezet worden voor het identificeren
van genfuncties en regulatorische netwerken.
Figuur 12: een voorbeeld van spectrale karakteristieken van GFP. Hierbij stelt de stippenlijn het exitatiespectrum voor en de volle lijn het emissiespectrum. De emissiefilter wordt met een dikke zwarte streep weergegeven.
16
Fluorescentie proteïnen werken op dezelfde werkwijze als andere fluorescentie labels (Figuur 12).
Ten eerste is er een bron noodzakelijk, die zorgt voor de excitatie. LED-lampen zorgen voor deze bron
bij de Pathoviewer. Hiernaast bevat de Pathoviewer een dichroïde, die ervoor zorgt dat de
excitatiewegen en emissiewegen van elkaar gescheiden blijven. Als derde element bevat het een
filter, die nodig is om het emissiegolflengtebereik te verzenden terwijl het excitatiegolflengtebereik
geblokkeerd wordt. Enkele voorbeeld waarbij GFP proteïnen toegepast worden, zijn hieronder
weergegeven (Figuur 13,Figuur 14).
Figuur 13: Voorbeeld van een plant dat een GFP-proteïne bevat, weergegeven links met en RGB camera en rechts met de multispectrale camera's van de Pathoviewer.
Figuur 14: Voorbeeld van een GFP geïnjecteerde tarwe plant weergegeven links met een RGB-camera en rechts met een multispectrale camera van de Pathoviewer
2.3.2 Beeldvormingsplatformen in Europa en internationaal Binnen Europa bestaan verschillende initiatieven, met als doel de mensen te ondersteunen in het
onderzoek naar plantfenotypering. Deze organisaties doen dit door het bezorgen van faciliteiten die
gebruikt kunnen worden over de gehele fenotyperingspijplijn zoals onder andere sensoren,
verschillende beeldvormingstechnieken, specifieke data-analyses in relatie met
omgevingsomstandigheden, opslagplaatsen… (Coppens, Wuyts, Inzé, & Dhondt, 2017).
2.3.2.1 EMPHASIS en IPPN
De European Infrastructure for Multi-scale Plant Phenomics and Simulation (EMPHASIS) is een
organisatie die zich inzet voor de ontwikkeling van grootschalige projecten voor fenotypering van
planten. Ze voorziet en ontwikkelt faciliteiten en diensten om in verschillende agrarische
omstandigheden factoren te kwantificeren zoals: plantenstructuur en -architectuur, fysiologische
functies en output, opbrengsten en de kwaliteit van planten. EMPHASIS heeft als doel om de
limitaties zowel op technologisch als organisatorisch vlak in Europa aan te pakken om tot
gewasverbeteringen te komen die nodig zijn om gewassen aan te passen aan de veranderende
klimaatomstandigheden (EMPHASIS, 2019).
17
Het International Plant Phenotyping Network (IPPN) is een tweede grote organisatie die zich inzet
voor de verbetering van fenotyperingbeeldvormingplatforms in de wereld. Het representeert het
grootste plant fenotyperingcentra in de wereld. Het heeft als doel een wereldwijd netwerk op te
richten van instellingen om de synergie tussen verschillende platforms te maximaliseren; en hierbij
de knelpunten zo goed mogelijk in kaart te brengen, om deze zo minimaal mogelijk te houden.
Vervolgens zorgt het ook voor een goede communicatie tussen zowel de academische wereld,
industriële wereld als de globale populatie zowel in als uit hun eigen onderzoeksgemeenschap. Ten
slotte zorgt deze associatie voor opleidingen en trainingen die nodig zijn om planten correct en op
een effectieve manier te fenotyperen.
Om te voldoen aan deze doelen organiseert de organisatie: workshops, summer schools, en symposia
met als doel de kennis die aanwezig is bij verschillende onderzoeksgroepen te verspreiden en
samenwerking tussen groepen te stimuleren. Daarnaast werden werkgroepen samengesteld, die zich
focussen op verschillende onderwerpen om nieuwe ideeën te ontwikkelen en tekortkomingen weg te
werken. Het zorgt voor de opstart van verschillende nieuwe research projecten vooral in gebieden
waar men nog niet aan plant fenotypering doet. Tot slot zorgt de organisatie ook voor geavanceerde
trainingsactiviteiten (IPPN, 2019).
2.3.2.2 Beeldvormingsplatformen in de wereld
Volgens de database van EMPHASIS zijn er momenteel 116 plant fenotyperingsinstallaties aanwezig
in Europa, waaronder de Pathoviewer. De meeste installaties zijn te vinden in Duitsland (22), België
(20), Frankrijk en het Verenigd Koninkrijk (beide 14).
Grafiek 1: Aantal plantfenotyperingplatformen in Europa (EMPHASIS & EPPN, 2018)
De fenotyperinginstallaties worden volgens EMPHASIS onderverdeeld in vijf verschillende
categorieën: de gecontroleerde velden, deep phenotyping, e-infrastructure, highly equiped fields en
network of lean fields. De meeste installaties (68 %) zijn installaties die functioneren in (semi-)
gecontroleerde omstandigheden voor hoge-resolutie en high-throughput fenotypering. Net zoals de
Pathoviewer, worden deze fenotyperinginstallaties gebruikt voor onderzoek naar de kenmerken van
0
5
10
15
20
25
Aan
tal
Landen in Europa met plant fenotyperingsplatforms
Fenotyperingsplatforms
18
planten in gecontroleerde omstandigheden, zoals in een abiotische of biotische toestand. De
capaciteit om het aantal planten tegelijk te fenotyperen is beperkt tot een 100-1000 tal (EMPHASIS,
2019). Sommige van deze platforms specialiseren zich in deep phenotyping; deze vorm van
fenotypering gebeurt ook onder gecontroleerde omstandigheden, maar er is een lagere high-
throughput. Bovendien zal er een uitgebreidere en preciezere analyse uitgevoerd worden van een
afzonderlijke fenotypische component (Robinson, 2012).
De tweede grootste categorie waarvoor fenotyperingplatforms gebruikt worden zijn highly equiped
fields of ook wel intensive fields genaamd. Intensive fields zijn installaties die in detail een veld onder
natuurlijke condities onderzoekt, voor verschillende kenmerken. Deze installaties bevatten
verschillende camera’s en toestellen om zowel de planten te fenotyperen als de omgeving te
controleren. Er wordt constant data verzameld, die de verschillende toestellen gebruiken om de
omgeving aan te passen naar de voorkeuren van de plant. Deze vorm van fenotypering laat de studie
toe om de interacties tussen verschillende genotypische variaties en de omgeving op te meten
(EMPHASIS, 2018).
Grafiek 2: Onderverdeling van de verschillende plant fenotyperingplatforms volgens de database van EMPHASIS
De derde grootste categorie zijn netwerken van velden, met een minimum maar efficiënt
plantfenotypering. Er worden in deze categorie niet-invasieve sensoren gebruikt om onder
veldomstandigheden via minimale inspanning, analyses af te nemen en plantkenmerken op te meten
(IPPN, 2019).
Ten slotte zijn er nog de kleinere categorieën deep phenotyping en e-infrastructure. Deep
phenotyping is een vorm van gecontroleerde conditie, waarbij zeer nauwkeurige precisie platforms
gebruikt worden om zeer gedetailleerde analyses uit te voeren op planten. De e-infrastructure
categorie omvat alle plantfenotyperingplatforms die in bezit zijn van informatiesystemen die
methoden en interfaces voor verschillende datasets aanbieden. Ze kunnen gebruikt worden door
verschillende platformen. Dit zowel voor het beheren, delen, hergebruiken als visualiseren van high-
throughput fenotyperinggegevens (EMPHASIS, 2019).
68% 3%
3%
14%
12%
Gecontroleerde condities
Deep phenotyping
e-infrastructure
highly equipped fields
(network of) lean field(s)
19
3 Beeldanalyse voor plantfenotypering
3.1 Digitale beeldverwerking Om het genoom van een plant te kunnen linken aan de omgevingstoestanden en fenotypische
kenmerken, moeten er vaak drie cruciale stappen ondernomen worden vooraleer er een exacte
analyse opgemaakt kan worden. Eerst moet er een experiment opgesteld worden. Daaropvolgend
moeten er kwantitatieve metingen uitgevoerd worden om dan tenslotte de resultaten op een
correcte wijze te interpreteren. Digitale beeldverwerking is een nuttig hulpmiddel, dat gebruikt kan
worden om op een vlotte efficiënte manier metingen uit te voeren. Vele kenmerken (zoals
planthoogte, bladoppervlak of stikstofinhoud) werden oorspronkelijk manueel of op een destructieve
manier opgemeten. Onder invloed van technologische vooruitgangen in de digitale beeldvorming en
-analyse, wordt steeds vaker gebruikgemaakt van beeldmateriaal om het fenotyperen te
automatiseren (Li, Zhang, & Huang, 2014).
Er moeten enkele cruciale stappen doorlopen worden om met behulp van beelden bepaalde
fenotypische eigenschappen van een plant te bepalen. Deze stappen vormen samen een
beeldanalysepipeline, die een beeld als input vraagt en als output een meting teruggeeft. Hoe
complex deze pipeline is, hangt af van het beeldmateriaal dat verkregen wordt, maar ook van de
eigenschap van de plant die men wenst op te meten. In deze thesis wordt de nadruk gelegd op top-
view beelden van kleine (dicotyle) planten. Wanneer men als voorbeeld het geprojecteerde
bladoppervlak van de plant wenst te meten, dan herleidt de beeldanalyse zich tot het detecteren en
tellen van de pixels die tot de plant behoren. Eventueel gevolgd door een herschaling met een vooraf
bepaalde schaalfactor. Wenst men daarentegen vormeigenschappen van de bladeren van deze plant,
zoals de circulariteit te meten, dan dient de pipeline ook technieken te bevatten die bladeren kunnen
herkennen en onderscheiden (Lee, Chang, Putra, Kim, & Kim, 2018).
3.2 Belangrijke stappen in het beeldanalyseproces Niettegenstaande de grote variatie aan technieken om beelden te analyseren, starten de meeste
pipelines met een segmentatiestap. Het belangrijkste doel hierbij is de plant in een beeld te
onderscheiden van de achtergrond. Voor eenvoudige planten op een homogene achtergrond
volstaat soms een eenvoudig kleurcriterium om pixels die tot de plant behoren te onderscheiden van
achtergrondpixels. Voor meer complexe achtergronden, waarbij veel componenten op één beeld
aanwezig zijn, zijn vaak bijkomende filterstappen of meer complexere segmentatietechnieken nodig.
Andere voorbeelden waarbij extra stappen noodzakelijk zijn, is bij planten die bijvoorbeeld
geelverkleuring vertonen waardoor de kleur binnen de plant varieert, of beelden die veel
onzuiverheden bevatten. In de volgende secties wordt er een overzicht gegeven van de belangrijkste
stappen die zich in een image processing pipeline bevinden en wordt er nagegaan welke technieken
frequent gebruikt worden tijdens dit proces. Een schematisch overzicht wordt weergegeven op de
onderstaande figuur (Figuur 15) en is gebaseerd op een studie van Lee, Chang, Putra, Kim & Kim in
2018 (Lee, Chang, Putra, Kim, & Kim, 2018).
20
Figuur 15: Stappenplan in het ondernemen van een beeldanalyseproces gelijkaardig aan studie van Lee, Chang, Putra, Kim & Kim in 2018
3.2.1 Setup en beeldcaptatie Voor elk onderzoek wordt er eerst een setup gemaakt van alle beeldcaptatie instrumenten,
omgevingssensoren en andere systemen die paramaters controleren zoals irrigatie en licht. Al deze
instrumenten zijn afhankelijk van de omgeving waar het beeldanalyseproces verloopt (Lee, Chang,
Putra, Kim, & Kim, 2018). Beeldcaptatie is het proces waarin een digitale representatie van een
bepaalde scene wordt vastgelegd. Deze representatie wordt opgeslagen onder de vorm van een
afbeelding, die pixels bevat. De instrumenten die zorgen voor deze captatie, worden
beeldverwerkingssensoren genoemd. Met behulp van allerlei optische filters worden vervolgens
verschillende beelden vastgelegd van planten (Perez-Sanz, Navarro, & Egea-Cortines, 2017).
3.2.2 Preprocessing Een eerste stap die noodzakelijk is, na de opzet en vastlegging van deze foto’s, is het preprocessing
proces van een afbeelding. Bij preprocessing worden er algoritmen gebruikt om ruis en allerhande
perspectiefvervormingen uit een afbeelding te verwijderen. Deze onregelmatigheden zijn vaak te
linken aan de geometrie van de afbeelding of de helderheid van pixels en kunnen worden
gecorrigeerd via mathematische modellen. Deze fouten in de afbeelding zijn te wijten aan het feit dat
enerzijds het beeldvlak van de camera niet parallel staat met de tafel waarop de planten zich
bevinden of in het bijzonder geval van multiterplaten een inclinatie t.o.v. de platen (Chitradevi &
Srimathi, 2014; Klukas, Chen, & Pape, 2014; Lee, Chang, Putra, Kim, & Kim, 2018).
3.2.2.1 Distortie
Elke afbeelding van een plant moet voor een accurate analyse op een gelijkaardige manier
vastgelegd worden. Een eerste belangrijke stap om dit te bewerkstellen, is het corrigeren van de
vervormingen die mogelijk hebben plaatsgenomen bij het nemen van de foto. Een vaak gebruikte
methode om alle planten op een gelijkaardige manier te fotograferen is, door gebruik te maken van
vier verschillende gekleurde markeerpunten op de well-platen of het rooster waarin de planten zich
bevinden. Met behulp van de coördinaten van deze markeerpunten, kan men voor alle afbeeldingen
een gelijke weergave terugvinden (Lee, Chang, Putra, Kim, & Kim, 2018). Een groot voordeel dat de
21
Pathoviewer heeft ten opzichte van andere systemen is dat dit platform onder gecontroleerde
lichtomstandigheden te werk gaat en lenzen bevat die minimale distortie bevatten. Met andere
woorden het werkt altijd onder dezelfde gecontroleerde (licht)omstandigheden.
3.2.2.2 Kleurconversie
Het begrip kleur is een ingewikkeld concept, aangezien het een reactie van het brein is op een
specifieke visuele prikkel. Ondanks dat kleur beschreven kan worden met bepaalde golflengtes zoals
Figuur 2 weergaf, wordt het signaal voor iedereen toch op een eigen manier opgenomen. Het signaal
dat wordt opgevangen, is immers afhankelijk van bepaalde componenten van kleur zoals: de
helderheid, de tint, de volheid, licht, chroma en verzadiging (Ford & Roberts, 1998). Bij
beeldverwerking van planten kan kleur aanzien worden als de manier waarop detectoren zoals een
camera, computer of het menselijk brein, licht waarnemen dat gereflecteerd wordt door bepaalde
objecten. In dit geval zullen deze objecten de planten zijn met de bijhorende achtergrond (Hill, Roger,
& Vorhagen, 1997).
Er bestaan verschillende manieren om kleuren te beschrijven. Kleuren worden vaak voorgesteld in
een kleurruimte. Een kleurruimte is een methode waarbij kleur gespecifieerd, gecreëerd en
gevisualiseerd worden (Ford & Roberts, 1998). De keuze van een kleurruimte is belangrijk in het
beeldanalyseproces omdat ze bepaalt welke kleuren eenvoudig van elkaar te onderscheiden zijn (Hill,
Roger, & Vorhagen, 1997).
Grayscale:
De meest eenvoudige beelden zijn grijswaardebeelden. Deze beelden bevatten geen kleurinformatie,
maar geven de totale intensiteit weer van het deel van het spectrum, waarvoor de camera gevoelig
is. Hoe hoger de waarde van een pixel, hoe hoger de intensiteit zal zijn. Vaak worden deze
intensiteiten bewaard als 8-bit unsigned integers, zodat de intensiteiten variëren van 0 tot 255. Een
afbeelding kan in dit geval voorgesteld worden door een afbeelding als een twee-dimensionele array
(Sinha U. , 2011).
Rood, Groen, Blauw (RGB):
De meest gebruikte kleurenruimte, die toegepast wordt voor de analyse van beelden voor plant
fenotypering, is de RGB-ruimte. De RGB (rood, groen blauw) kleurruimte zal een kleur voorstellen
door ze te ontbinden in de intensiteiten van rood, groen en blauw die men additief moet mengen om
de oorspronkelijke kleur te benaderen (Pascale, 2003). Zoals de naam van de ruimte ook zegt, zullen
deze afbeeldingen opgeslagen worden als een array van drie verschillende waarden. Waarbij de
eerste waarde voor de hoeveelheid rood van een pixel staat, de tweede voor de hoeveelheid groen
en de derde voor de hoeveelheid blauw in een pixel.
Hue, Saturation, Value (HSV):
Een derde frequent gebruikte kleurenruimte is de HSV kleurenruimte die, zoals op de volgende figuur
(Figuur 16) weergegeven is, bepaald wordt door drie componenten van de afbeelding: de tint, de
waarde en verzadigingsfactor. Bij dit systeem worden de RGB waarden geprojecteerd op een kegel of
cilinder (Erdogan & Yilmaz, 2014).
22
Figuur 16: Hue, Saturation, Value kleurenruimte (Erdogan & Yilmaz, 2014)
Deze vorm zorgt ervoor dat je in plaats van bij de oorspronkelijke RGB kleurenruimte op een
willekeurige manier een kleur kan aanduiden. Aangezien je voor één tint nog heel wat verschillende
verzadigingswaarden kan terugvinden en bovendien ook nog een bepaalde helderheidswaarde kan
toewijzen (Erdogan & Yilmaz, 2014). De HSV kleurenruimte is een veelgebruikte ruimte voor
plantfenotypering omwille van het eenvoudig concept en de toepassing op afbeeldingen van digitale
camera’s (Pan, Li, & Sun, 2007).
3.2.2.3 Filtreren
Het filtreren van een afbeelding is het veranderen van een afbeelding door de waarde van de pixels
aan te passen. De pixels worden vaak onderverdeeld in de cijfers één en nul, waarbij één de
voorgrond van de afbeelding voorstelt en nul de achtergrond. Met voorgrond bedoelt men dan de
pixels van de afbeelding die voor de gebruiker interessant zijn. In ons voorbeeld zullen dit de pixels
zijn die de bladeren van een plant voorstellen en de achtergrond zal dan de multiwellplaat
voorstellen.
In de meeste gevallen zal het filtreren zich focussen op alle naburige pixels om zo tot een bepaalde
waarde te komen. Meestal zal er een gewogen gemiddelde genomen worden van de naburige pixels
om onzuiverheden weg te werken of om bepaalde effecten te creëren. Er zijn tal van filters
beschikbaar, maar veel voorkomende filters bij beeldverwerkingssystemen zijn: Gaussian blur,
Mediaan filter, dilatatie en erosie (Kapur, 2017).
Gaussian blur
De Gaussian blur is een klassiek en veel gebruikte methode voor de convolutie van afbeeldingen. De
methode is vernoemd naar de Duitse wiskundige en wetenschapper Carl Friedrich Gauss (van Almsick
& ter Haar Romeny, 2008). De grijswaarden van een afbeelding worden hierbij geconvolueerd met
een Gauss-kernel, om op die manier een vervaagde gewijzigde versie van het beeld te bekomen
waarin intensiteiten lokaal worden uitgemiddeld. Een voorbeeld van deze filter is weergegeven op de
linkerzijde van (Figuur 17).
Mediaan filter
De mediaan filter is waarschijnlijk de meest gekende en meest gebruikte filter in het
beeldverwerkingsproces. Het vervangt een pixel door de mediaan van de grijswaarden van de
23
aangrenzende pixels. Bovendien wordt de oorspronkelijke waarde van de pixel ook opgenomen in de
berekening van deze mediaan. Deze filter leent zich uitstekend om ‘defectieve pixels’ uit een beeld te
elimineren (Gupta, 2011). Op onderstaande figuur (Figuur 17,) is aan de rechterzijde een voorbeeld
weergegeven van een toepassing van een mediaan filter.
Figuur 17: twee filteringsmethodes met aan de linkerzijde Gaussian blur en aan de rechterzijde een voorbeeld van een mediaan filter (Kapur, 2017; Pantech Solutions, 2003)
Dilatatie en erosie
Dilatatie en erosie zijn twee voorbeelden van morfologische filters, die beide op een gelijkaardige
maar tegengestelde manier opereren. Beide filters zijn toepassingen die gebruikt worden bij binaire
afbeeldingen. Bij dilatatie (Figuur 19a) zullen kleine regio’s van een afbeelding opgevuld worden met
de achtergrondkleur van de aanliggende pixel, zodat er vaak een meer egaal beeld gevormd wordt. In
binaire afbeelding zullen alle pixels grenzend aan een pixel met waarde één eveneens een waarde
van één toegewezen worden (Kapur, 2017).
Om precies te bepalen welke pixel een meetwaarde nul of één moet krijgen, wordt er gebruik
gemaakt van een structuurelement (Figuur 18). Dit is een belangrijk element in het ontwerp van een
morfologisch beeldverwerkingsproces. De kenmerken van een afbeelding worden namelijk vaak
betwist door deze factor. Voor dilatatie zal het structuurelement doorheen de afbeelding scannen
(van links naar rechts) en zoeken naar pixels met waarde één. Wanneer er zo’n pixel gevonden
wordt, zullen alle pixels rondom deze centrale pixel een waarde één toegewezen worden in de vorm
van het structuurelement. Zo zal voor dilatatie de voorgrond groter worden, terwijl voor erosie de
voorgrond van de afbeelding zal verminderen (Said, Jambek, & Sulaiman, 2016).
Figuur 18: voorbeeld van een structuurelement met een straal van acht pixels (Said, Jambek, & Sulaiman, 2016)
Erosie filters zullen bijgevolg net het tegengestelde doen als dilatatie filters; de kleine deeltjes tussen
verschillende regio’s in zullen vergroten en de kleine details in de afbeelding zullen verwijderd
worden. Opnieuw zal dit op zijn eigen manier voor een beter contrast en voor een duidelijker beeld
24
zorgen. In dit geval zullen enkel de pixels met waarde één, die in alle richtingen omringd zijn met een
gelijkaardige pixel, hun pixelwaarde behouden (Figuur 19b) (Kapur, 2017).
Figuur 19: a) voorbeeld van dilatatie filter, b) voorbeeld van een erosie filter (Bhuvaneswari & Keerthana, 2016)
3.2.3 Segmentatie De voorgaande filterstappen, opschalingen en bepaalde keuzes voor kleurenconversies, staan vaak in
het teken van de daarna volgende segmentatiestappen. Segmentatie heeft als doel het definiëren
van regio’s met interne gelijkenissen op vlak van zowel textuur als statistisch vlak. Elk van deze
segmenten kan dan verder geanalyseerd worden, om uiteindelijk een totale beeldanalyse te vormen
van een afbeelding. De segmentatiemethodes kunnen onderverdeeld worden in vier verschillende
categorieën, die zich baseren op ofwel: een bepaalde threshold, een watershed transformatie,
randherkenning of een clustering methode (Perez-Sanz, Navarro, & Egea-Cortines, 2017).
De eerste methode is gebaseerd op threshold waarbij een onderscheid tussen segmenten zal
gemaakt worden met de technieken die aangehaald worden bij threshold methodes. De regio’s
zullen gesplitst worden op basis van hun intensiteit.
De watershed transformatie is een veelgebruikt algoritme, dat gebruikt wordt voor segmentatie. De
afbeelding wordt als het ware voorgesteld als een geografisch landschap dat overspoeld wordt, maar
dan op basis van pixelintensiteit. Dit zorgt ervoor dat de afbeelding heel wat hoogtes en laagtes
bevat. De toppen komen overeen met grenzen en zorgen ervoor dat de segmentatie op deze plaats
stopt. Alle delen (pixels) binnen deze grenzen worden dan als één geheel gezien (Vincent & Soille,
1991).
Regio-gebaseerde methoden leggen de nadruk op de eigenschappen van de pixels in relatie tot hun
buren. Wanneer verschillende pixels gelijkaardige eigenschappen hebben, zullen deze in dezelfde
regio ondergebracht worden. Deze techniek wordt vaak gebruikt bij wazige afbeeldingen. De meeste
methodes die hiervoor gebruikt worden zijn gebaseerd op edge detection, die bepalen waar de
randen van gelijkaardige regio’s gesitueerd worden (Shrivakshan & Chandrasekar, 2012).
Canny edge detection is een populaire vorm van edge detection en wordt vaak als eerste stap in
regio-gebaseerde methodes als segmentatie methode gebruikt. John F. Canny heeft een multistage
algoritme ontwikkeld, dat ervoor zorgt dat bepaalde randen nauwkeurig opgespoord kunnen
worden. Bij canny edge detection moeten verschillende stappen ondergaan worden vooraleer men
tot een correcte segmentatie komt.
Clusteringmethoden vormen de vierde en laatste methode. Deze methodes zijn processen waarbij
objecten met gelijkaardige eigenschappen gegroepeerd worden in clusters. Bijgevolg zullen deze
a b
25
objecten gescheiden worden van objecten met verscheidene eigenschappen van verschillende
clusters. Eén van de meest gebruikte methodes hierbij is K-means Clustering (Kuruvilla, Sukumaran,
Sankar, & Joy, 2016).
3.2.3.1 Thresholding
Thresholding is dikwijls een onvermijdelijke stap in het beeldverwerkingsproces; het is het aanpassen
van een kleurwaarde van een pixel naar ofwel een wit- of zwartwaarde. Wanneer een pixel een
bepaalde grens (threshold) overschrijdt, zal deze omgezet worden naar een witte of zwarte pixel; of
net omgekeerd zoals bij inverse thresholding. De onderverdeling van lichte en donkere regio’s zorgt
ervoor dat verschillende delen van een afbeelding vrij eenvoudig van elkaar gescheiden kunnen
worden. Het resultaat is een binair beeld waarbij een duidelijk onderscheid gemaakt wordt tussen
verschillende pixels.
Er zijn heel wat verschillende vormen van thresholding, er kan een onderscheid gemaakt worden in
vier groepen: gemiddelde thresholding, Otsu’s threshold, histogram gebaseerde thresholding en
locale thresholding (Morse, 2000).
Gemiddelde thresholding:
De eenvoudigste vorm van thresholding is deze met behulp van een gemiddelde threshold waarde.
Bij deze methode wordt er een gemiddelde intensiteit berekend voor zowel de voorgrond als de
achtergrond. Vervolgens berekent men het gemiddelde van deze twee waarden en deze waarde
wordt dan als threshold ingesteld om het verschil vast te leggen tussen voor- en achtergrond (Srisha
& Khan, 2017).
Otsu’s threshold:
De Otsu’s threshold methode is vernoemd naar zijn uitvinder Nobuyuki Otsu. In 1979 publiceerde hij
een thresholdmethode, die gebaseerd is op een clusteringsmethode. De clusters, bestaande uit
pixels die tot de voor- of achtergrond behoren, worden zo klein mogelijk gemaakt om de overlap
tussen beide te minimaliseren. Meer bepaald zal er een tresholdwaarde gezocht worden die de intra-
class variantie, de variantie in de klasse zelf, zo minimaal mogelijk houdt. Dit wordt ook wel
gedefinieerd als een gewogen som van varianties van twee klassen. De Otsu methode zal de
thresholdwaarde iteratief aanpassen om deze varianties zo klein mogelijk te maken (Otsu , 1979).
Wanneer de thresholdwaarde aangepast wordt, zal voor de ene cluster de spreiding groter worden
terwijl dit bij de andere zal verkleinen; de Otsu threshold methode zorgt ervoor dat de som van deze
twee spreidingen zo laag mogelijk is (Otsu , 1979). Bij afbeeldingen waar het verschil tussen voor- en
achtergrond nauwelijks zichtbaar is, levert dit extra voordelen op. Omwille van het feit dat er een
optimale waarde gezocht wordt om het contrast tussen voor- en achtergrond duidelijk te maken
(Morse, 2000).
Lokale thresholding
Een groot probleem bij het gebruik van een globale threshold (zoals bv. bepaald door Otsu’s
methode) is dat de belichting in een afbeelding kan variëren, waardoor bij sommige delen van de
afbeelding de helderheid hoger of net lager is, zonder dat het afhankelijk is van het object. Hierdoor
26
dreigen objecten niet altijd correct onderverdeeld te worden. Bij lokale thresholding worden kleine
onderverdelingen gemaakt van de afbeelding en als deelafbeelding behandeld. Zo zullen er telkens
voor een klein deel van het totale aantal pixels een lokale waarde gezocht worden, die als threshold
wordt gebruikt om het onderscheid te maken tussen voor- en achtergrond. Dusdanig zal de
thresholdwaarde variabele veranderen voor elk deel van de afbeelding (dilip & Sahu, 2017).
3.2.3.2 Watershed
Watershed transformaties, zijn transformaties die hun oorsprong hebben in de topografische sector.
In dit vakgebied worden er twee delen van elkaar gescheiden door een grens die bepaalt of
bijvoorbeeld een waterstroom naar links of naar rechts zal stromen. Beeldverwerkingsmethoden
maken gebruik van hetzelfde principe. Foto’s met grijswaarden kunnen voorgesteld worden als
landschappen. De numerieke schaal van de intensiteit van een grijswaarde stelt de hellinghoogte
voor op dat bepaald punt. Een segment wordt bepaald door gebieden op hun minimum te laten
vollopen (inkleuren) tot deze gebieden met elkaar in contact komen. De contactlijn vormt vervolgens
een grens tussen twee gebieden (Vincent & Soille, 1991).
3.2.3.3 Edge detection
Het doel bij edge detection is het produceren van lijnen op een afbeelding die een lokale verandering
van een intensiteit aanduiden. Deze intensiteitsveranderingen merken typisch een lokale regio en
zorgen voor een scheiding van bepaalde compartimenten in een afbeelding. Op die manier kunnen
bepaalde vormen, hoeken of randen herkend worden (Kapur, 2017).
Er zijn zeer verschillende vormen van edge detection (Sponton & Cardelino, 2015), maar drie meest
voorkomende werkwijzen die gebruikt worden bij edge detection zijn gradiënt gebaseerde edge
detection, Laplaciaan gebaseerde edge detection en canny edge detection (Mutneja & Mutneja,
2015). De eerste methode zal zich focussen op het punt waar de eerste afgeleide van de intensiteit
groter is dan een bepaalde grootte. Terwijl de tweede methode zal zoeken naar het punt waar de
tweede afgeleide van de functie van de intensiteit gelijk is aan nul (Figuur 20a).
Gradiënt gebaseerde edge detection:
Deze detectie zal randen construeren op de locatie van de pixels waar er abrupt een groot verschil is
in grijswaarden. Een moeilijkheid stelt zich voor bij continue afbeeldingen (waarbij de waarden
continue overlopen); daarom wordt er bij een gradiënt gebaseerde edge detection de eerste
afgeleide berekend van de intensiteit van de afbeelding. Zodat deze afgeleiden lokale maxima
voorstellen die de richting van een rand voorstellen (Figuur 20b) (Savant, 2014).
Laplaciaan gebaseerde edge detection:
Gradiënt gebaseerde edge detection wordt vooral gebruikt bij afbeeldingen die grote contrasten in
hun grijswaarden bezitten. Voor afbeeldingen waar de overgangen minder duidelijk zijn, is het aan te
raden om een Laplaciaan gebaseerde edge detection methode te gebruiken. Deze methode is
afhankelijk van de tweede afgeleide van de intensiteitscurve van de afbeelding. Wanneer deze
functie een nulpunt bereikt, zal dit corresponderen met een lokaal maximum in de afbeelding. Dit
maximum is de pixellocatie, die als rand aanzien wordt (Figuur 20c) (Savant, 2014).
27
Figuur 20: a) een voorbeeld van een intensiteitscurve, b) de eerste afgeleide van de intensiteitscurve (gradiënt gebaseerde edge detection), c) tweede afgeleide van de intensiteitscurve (Laplaciaan gebaseerde edge detectie) (Sinha U.
, 2010)
3.2.3.4 Canny edge detection
De canny edge detection, vernoemd naar John F. Canny, is een algoritme dat ontworpen is om
scherpe randen te detecteren (Canny, 1986). Het is een ingewikkeld algoritme, maar één van de
meest gebruikte algoritmes voor het herkennen van randen in een afbeelding. Het maakt gebruik van
drie hoofddoelen namelijk: een zo laag mogelijk foutenmarge creëren, de randen moeten zo duidelijk
mogelijk weergegeven worden en als derde mag er maar één punt per randdetectiepunt aanwezig
zijn.
Het principe van deze methode is onderverdeeld in zes belangrijke stappen. Het proces zal starten
met het filtreren van de afbeelding; waarin alle ruis en onregelmatigheden geëlimineerd worden.
Vervolgens zal er een gradiënt operator gebruikt worden, die de richting van de rand zal aangeven.
Daaropvolgend zullen de rand verdund worden met een functie ‘Non Maxima’ genoemd. Hierna
volgt er een thresholding die onnauwkeurigheden in de verfijning verwijdert. Uiteindelijk volgt er een
scheiding tussen hoge en lage intensiteit, die zorgt voor een duidelijke randdetectie (Ilkin, Hangisi,
Tafralı, & Sahin, 2017).
3.2.3.5 K-means clustering
K-means clustering is een algoritme, die een afbeelding in meestal twee of meerdere groepen pixels
onderverdeeld. Een cluster bevat punten met gelijkaardige intensiteiten. Hoe gelijkaardig de
intensiteiten binnen een cluster zijn, wordt bepaald door het bepalen van de afstand tot het centrum
van deze clusters en vervolgens deze afstanden te sommeren. Het K-means algoritme zal de centra
iteratief gaan wijzigen en de som van deze afstanden zo klein mogelijk maken. De segmentatie
bekomt men door tenslotte elke pixel toe te kennen aan het dichtst bijliggende clustercentrum.
(Morse, 2000).
3.2.4 Beeldfenotyperingsanalyse Na het hele fenotyperingsproces ontstaat er een grote hoeveelheid aan data, die vlot verwerkt en
geanalyseerd moet worden. In vele gevallen zullen de gesegmenteerde afbeeldingen nog objecten of
onregelmatigheden bevatten die niet bij het gesegmenteerde gedeelte horen. Dit kan bijvoorbeeld
mos zijn op de achtergrond dat als blad wordt beschouwd, of een deel van een blad van een andere
plant die overlapt met het gesegmenteerde blad. Wanneer deze laatste problemen opgelost worden,
door vaak opnieuw gebruik te maken van erosie technieken die bij de filteringtechnieken
voorkwamen, kan men de uiteindelijke analyses uitvoeren. Tijdens deze analyses kunnen parameters
a b c
28
zoals bladoppervlakte, hoeveelheid laesie, NDVI-index, FV/FM ratio... bepaald worden. Een handig
hulpmiddel bij deze analyses voor high-throughput plantfenotypering is Machine learning (Lee,
Chang, Putra, Kim, & Kim, 2018; Perez-Sanz, Navarro, & Egea-Cortines, 2017).
29
4 Materiaal en methoden
4.1 Inleiding Het doel van de thesis is het ontwikkelen van een software applicatie om afbeeldingen gemaakt door
de Pathoviewer op een efficiënte en vlotte manier te analyseren. De nadruk wordt gelegd op het
herkennen van leasis in bladschijfjes die in een multi-wellplaat liggen. Laesie is schade of een
afwijkende structuur aan het weefsel van een organisme. Deze aantasting kan het gevolg zijn van
fysiologische stress, verwonding of ziekte (Walbot, Hoisington, & Neuffer, 1983). In het eerste deel
van de proef, worden enkele fenotypische kenmerken handmatig gemeten. Nadien zal dit proces
geautomatiseerd worden door analysescripts te schrijven in Python en deze scripts te koppelen aan
een ‘graphical user interface’ (GUI).
4.2 Materiaal
4.2.1 Beeldverwerking met behulp van ImageJ Voor de handmatige bepaling werd er gebruik gemaakt van ImageJ, een Java-gebaseerd
beeldprocessing programma dat toelaat om wetenschappelijke multidimensionale afbeeldingen te
verwerken (LOCI, 2018). Met dit programma kan er handmatig een schatting gemaakt worden van
totale bladoppervlakte, het aantal laesies en de percentuele oppervlakte van de laesies (Figuur 21).
De afbeeldingen die afkomstig zijn van de Pathoviewer worden opgeslagen als PNG-file, zodat deze
bewerkt kunnen worden in ImageJ. Dit beeldverwerkingsprogramma geeft de mogelijkheid om een
bepaalde regio aan te duiden en hiervan de oppervlakte te bereken. Deze oppervlakte wordt
uitgedrukt in aantal pixels. Met behulp van deze tool kan men zo op een eenvoudige manier de
totale oppervlakte van een blad bepalen.
De oppervlakte van de laesie worden op analoge manier berekend. Het verschil tussen de totale
oppervlakte en de oppervlakte laesie is gelijk aan de totale gezonde oppervlakte van een gezond
blad. Het percentage laesie is bijgevolg de hoeveelheid oppervlakte laesie gedeeld door het totale
blad oppervlak.