Bedankt voor uw bezoek aan Nature.com.U gebruikt een browserversie met beperkte CSS-ondersteuning.Voor de beste ervaring raden wij u aan een bijgewerkte browser te gebruiken (of de compatibiliteitsmodus in Internet Explorer uit te schakelen).Om voortdurende ondersteuning te garanderen, tonen we de site bovendien zonder stijlen en JavaScript.
Sliders met drie artikelen per dia.Gebruik de knoppen Vorige en Volgende om door de dia's te bladeren, of de knoppen op de schuifregelaar aan het einde om door elke dia te bladeren.
Optische coherentietomografische angiografie (OCTA) is een nieuwe methode voor niet-invasieve visualisatie van retinale vaten.Hoewel OCTA veel veelbelovende klinische toepassingen heeft, blijft het bepalen van de beeldkwaliteit een uitdaging.We hebben een op deep learning gebaseerd systeem ontwikkeld met behulp van de ResNet152 neurale netwerkclassificator, vooraf getraind met ImageNet om oppervlakkige capillaire plexusbeelden van 347 scans van 134 patiënten te classificeren.De beelden werden ook handmatig als waarheid beoordeeld door twee onafhankelijke beoordelaars voor een begeleid leermodel.Omdat de eisen aan de beeldkwaliteit kunnen variëren afhankelijk van de klinische of onderzoeksomgeving, zijn er twee modellen getraind: één voor beeldherkenning van hoge kwaliteit en de andere voor beeldherkenning van lage kwaliteit.Ons neurale netwerkmodel vertoont een uitstekend gebied onder de curve (AUC), 95% BI 0,96-0,99, \(\kappa\) = 0,81), wat aanzienlijk beter is dan het signaalniveau dat door de machine wordt gerapporteerd (AUC = 0,82, 95). % BI).0,77–0,86, \(\kappa\) = 0,52 en AUC = 0,78, respectievelijk 95% BI 0,73–0,83, \(\kappa\) = 0,27).Onze studie toont aan dat machine learning-methoden kunnen worden gebruikt om flexibele en robuuste kwaliteitscontrolemethoden voor OCTA-beelden te ontwikkelen.
Optische coherentietomografische angiografie (OCTA) is een relatief nieuwe techniek gebaseerd op optische coherentietomografie (OCT) die kan worden gebruikt voor niet-invasieve visualisatie van de retinale microvasculatuur.OCTA meet het verschil in reflectiepatronen van herhaalde lichtpulsen in hetzelfde gebied van het netvlies, en reconstructies kunnen vervolgens worden berekend om bloedvaten bloot te leggen zonder het invasieve gebruik van kleurstoffen of andere contrastmiddelen.OCTA maakt ook vasculaire beeldvorming met diepteresolutie mogelijk, waardoor artsen oppervlakkige en diepe vaatlagen afzonderlijk kunnen onderzoeken, waardoor onderscheid kan worden gemaakt tussen chorioretinale aandoeningen.
Hoewel deze techniek veelbelovend is, blijft variatie in de beeldkwaliteit een grote uitdaging voor betrouwbare beeldanalyse, waardoor beeldinterpretatie moeilijk wordt en wijdverbreide klinische adoptie wordt voorkomen.Omdat OCTA meerdere opeenvolgende OCT-scans gebruikt, is het gevoeliger voor beeldartefacten dan standaard OCT.De meeste commerciële OCTA-platforms bieden hun eigen beeldkwaliteitsmetriek, genaamd Signal Strength (SS) of soms Signal Strength Index (SSI).Beelden met een hoge SS- of SSI-waarde garanderen echter niet de afwezigheid van beeldartefacten, die de daaropvolgende beeldanalyse kunnen beïnvloeden en tot onjuiste klinische beslissingen kunnen leiden.Veelvoorkomende beeldartefacten die kunnen optreden bij OCTA-beeldvorming zijn onder meer bewegingsartefacten, segmentatieartefacten, media-opaciteitsartefacten en projectieartefacten1,2,3.
Omdat van OCTA afgeleide metingen zoals vasculaire dichtheid steeds vaker worden gebruikt in translationeel onderzoek, klinische onderzoeken en de klinische praktijk, is er een dringende behoefte aan het ontwikkelen van robuuste en betrouwbare controleprocessen voor de beeldkwaliteit om beeldartefacten te elimineren4.Skip-verbindingen, ook wel residuele verbindingen genoemd, zijn projecties in de neurale netwerkarchitectuur die ervoor zorgen dat informatie convolutionele lagen kan omzeilen terwijl informatie op verschillende schalen of resoluties wordt opgeslagen5.Omdat beeldartefacten de beeldprestaties op kleine en grote schaal kunnen beïnvloeden, zijn neurale netwerken met skip-connectie zeer geschikt om deze kwaliteitscontroletaak te automatiseren5.Recent gepubliceerd werk heeft enige belofte getoond voor diepe convolutionele neurale netwerken die zijn getraind met behulp van hoogwaardige gegevens van menselijke schatters6.
In deze studie trainen we een convolutioneel neuraal netwerk dat verbindingen overslaat om automatisch de kwaliteit van OCTA-beelden te bepalen.We bouwen voort op eerder werk door afzonderlijke modellen te ontwikkelen voor het identificeren van afbeeldingen van hoge kwaliteit en afbeeldingen van lage kwaliteit, omdat de vereisten voor beeldkwaliteit kunnen verschillen voor specifieke klinische of onderzoeksscenario's.We vergelijken de resultaten van deze netwerken met convolutionele neurale netwerken zonder verbindingen te missen om de waarde te evalueren van het opnemen van functies op meerdere granulariteitsniveaus binnen deep learning.Vervolgens hebben we onze resultaten vergeleken met de signaalsterkte, een algemeen aanvaarde maatstaf voor de beeldkwaliteit die door fabrikanten wordt geleverd.
Onze studie omvatte patiënten met diabetes die tussen 11 augustus 2017 en 11 april 2019 het Yale Eye Center bezochten. Patiënten met een niet-diabetische chorioretinale ziekte werden uitgesloten.Er waren geen in- of uitsluitingscriteria op basis van leeftijd, geslacht, ras, beeldkwaliteit of enige andere factor.
OCTA-beelden werden verkregen met behulp van het AngioPlex-platform op een Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) onder beeldprotocollen van 8\(\times\)8 mm en 6\(\times\)6 mm.Van elke deelnemer aan het onderzoek werd geïnformeerde toestemming verkregen voor deelname aan het onderzoek, en de Yale University Institutional Review Board (IRB) keurde het gebruik van geïnformeerde toestemming met wereldwijde fotografie voor al deze patiënten goed.Volgens de principes van de Verklaring van Helsinki.De studie werd goedgekeurd door de Yale University IRB.
Oppervlakteplaatbeelden werden geëvalueerd op basis van de eerder beschreven Motion Artefact Score (MAS), de eerder beschreven Segmentation Artefact Score (SAS), het foveale centrum, de aanwezigheid van media-opaciteit en goede visualisatie van kleine haarvaten zoals bepaald door de beeldbeoordelaar.De beelden zijn geanalyseerd door twee onafhankelijke beoordelaars (RD en JW).Een afbeelding heeft een score van 2 (geschikt) als aan alle volgende criteria wordt voldaan: afbeelding is gecentreerd op de fovea (minder dan 100 pixels vanaf het midden van de afbeelding), MAS is 1 of 2, SAS is 1, en de media-opaciteit is minder dan 1. Aanwezig op afbeeldingen met grootte / 16, en kleine haarvaten zijn te zien in afbeeldingen groter dan 15/16.Een afbeelding krijgt de beoordeling 0 (geen beoordeling) als aan een van de volgende criteria wordt voldaan: de afbeelding staat niet in het midden, als MAS 4 is, als SAS 2 is, of de gemiddelde dekking groter is dan 1/4 van de afbeelding, en de kleine haarvaten kunnen niet meer dan 1 afbeelding /4 worden aangepast om onderscheid te maken.Alle andere afbeeldingen die niet voldoen aan de scorecriteria 0 of 2 worden gescoord als 1 (clipping).
Op afb.1 toont voorbeeldafbeeldingen voor elk van de geschaalde schattingen en beeldartefacten.De interbeoordelaarsbetrouwbaarheid van individuele scores werd beoordeeld aan de hand van Cohen's kappa-weging8.De individuele scores van elke beoordelaar worden opgeteld om voor elke afbeelding een totaalscore te verkrijgen, variërend van 0 tot 4. Afbeeldingen met een totaalscore van 4 worden als goed beschouwd.Afbeeldingen met een totaalscore van 0 of 1 worden als lage kwaliteit beschouwd.
Een convolutioneel neuraal netwerk met ResNet152-architectuur (Fig. 3A.i), vooraf getraind op afbeeldingen uit de ImageNet-database, werd gegenereerd met behulp van fast.ai en het PyTorch-framework5, 9, 10, 11. Een convolutioneel neuraal netwerk is een netwerk dat gebruikmaakt van de geleerde filters voor het scannen van beeldfragmenten om ruimtelijke en lokale kenmerken te bestuderen.Ons getrainde ResNet is een 152-laags neuraal netwerk dat wordt gekenmerkt door gaten of ‘restverbindingen’ die tegelijkertijd informatie met meerdere resoluties verzenden.Door informatie met verschillende resoluties over het netwerk te projecteren, kan het platform de kenmerken van afbeeldingen van lage kwaliteit op meerdere detailniveaus leren kennen.Naast ons ResNet-model hebben we ook AlexNet, een goed bestudeerde neurale netwerkarchitectuur, getraind zonder verbindingen te missen ter vergelijking (Figuur 3A.ii)12.Zonder ontbrekende verbindingen kan dit netwerk functies niet met een hogere granulariteit vastleggen.
De originele 8\(\times\)8mm OCTA13-beeldset is verbeterd met behulp van horizontale en verticale reflectietechnieken.De volledige dataset werd vervolgens op afbeeldingsniveau willekeurig opgesplitst in datasets voor training (51,2%), testen (12,8%), hyperparameterafstemming (16%) en validatie (20%) met behulp van de scikit-learn toolbox python14.Er werden twee gevallen onderzocht, één gebaseerd op het detecteren van alleen beelden van de hoogste kwaliteit (totale score 4) en de andere gebaseerd op het detecteren van alleen beelden van de laagste kwaliteit (totale score 0 of 1).Voor elke gebruikssituatie van hoge en lage kwaliteit wordt het neurale netwerk één keer opnieuw getraind op basis van onze beeldgegevens.In elk gebruiksscenario werd het neurale netwerk getraind voor 10 tijdperken, werden alle gewichten behalve de hoogste laag bevroren, en werden de gewichten van alle interne parameters geleerd voor 40 tijdperken met behulp van een discriminerende leersnelheidsmethode met een cross-entropieverliesfunctie 15, 16..De cross-entropieverliesfunctie is een maatstaf voor de logaritmische schaal van de discrepantie tussen voorspelde netwerklabels en echte gegevens.Tijdens de training wordt een gradiëntdaling uitgevoerd op de interne parameters van het neurale netwerk om verliezen te minimaliseren.Het leerpercentage, het uitvalpercentage en de hyperparameters voor gewichtsvermindering werden afgestemd met behulp van Bayesiaanse optimalisatie met 2 willekeurige startpunten en 10 iteraties, en de AUC op de dataset werd afgestemd met behulp van de hyperparameters als doel van 17.
Representatieve voorbeelden van 8 x 8 mm OCTA-afbeeldingen van oppervlakkige capillaire plexussen scoorden 2 (A, B), 1 (C, D) en 0 (E, F).Getoonde beeldartefacten zijn onder meer flikkerende lijnen (pijlen), segmentatieartefacten (sterretjes) en media-ondoorzichtigheid (pijlen).Afbeelding (E) bevindt zich ook buiten het midden.
Vervolgens worden er ROC-curven (Receiver Operating Characteristics) gegenereerd voor alle neurale netwerkmodellen, en worden er rapporten over de signaalsterkte van de motor gegenereerd voor elk gebruiksscenario van lage en hoge kwaliteit.De oppervlakte onder de curve (AUC) werd berekend met behulp van het pROC R-pakket, en 95% betrouwbaarheidsintervallen en p-waarden werden berekend met behulp van de DeLong-methode18,19.De cumulatieve scores van de menselijke beoordelaars worden gebruikt als basis voor alle ROC-berekeningen.Voor de door de machine gerapporteerde signaalsterkte werd de AUC tweemaal berekend: één keer voor de schaalbaarheidsscore van hoge kwaliteit en één keer voor de schaalbaarheidsscore van lage kwaliteit.Het neurale netwerk wordt vergeleken met de AUC-signaalsterkte, wat de eigen training- en evaluatieomstandigheden weerspiegelt.
Om het getrainde deep learning-model verder te testen op een afzonderlijke dataset, werden modellen van hoge en lage kwaliteit rechtstreeks toegepast op de prestatie-evaluatie van 32 full face 6\(\times\) 6mm oppervlakteplaatafbeeldingen verzameld van Yale University.Oogmassa wordt tegelijkertijd met het beeld gecentreerd 8 \(\times \) 8 mm.De 6\(\×\) 6 mm-afbeeldingen werden handmatig beoordeeld door dezelfde beoordelaars (RD en JW) op dezelfde manier als de 8\(\×\) 8 mm-afbeeldingen, AUC werd berekend, evenals de nauwkeurigheid en Cohen's kappa .gelijk.
De klassenonbalansverhouding is 158:189 (\(\rho = 1,19\)) voor het model van lage kwaliteit en 80:267 (\(\rho = 3,3\)) voor het model van hoge kwaliteit.Omdat de klassenonevenwichtsverhouding kleiner is dan 1:4, zijn er geen specifieke architectonische veranderingen aangebracht om de klassenonevenwichtigheid te corrigeren20,21.
Om het leerproces beter te visualiseren, werden klassenactiveringskaarten gegenereerd voor alle vier de getrainde deep learning-modellen: het ResNet152-model van hoge kwaliteit, het ResNet152-model van lage kwaliteit, het AlexNet-model van hoge kwaliteit en het AlexNet-model van lage kwaliteit.Klasse-activeringskaarten worden gegenereerd op basis van de convolutionele invoerlagen van deze vier modellen, en warmtekaarten worden gegenereerd door activeringskaarten te overlappen met bronafbeeldingen uit de validatiesets van 8 x 8 mm en 6 x 6 mm .
R versie 4.0.3 werd gebruikt voor alle statistische berekeningen en visualisaties werden gemaakt met behulp van de grafische toolbibliotheek ggplot2.
We verzamelden 347 frontale afbeeldingen van de oppervlakkige capillaire plexus van 8 \(\ maal \) 8 mm van 134 mensen.De machine rapporteerde de signaalsterkte op een schaal van 0 tot 10 voor alle afbeeldingen (gemiddelde = 6,99 ± 2,29).Van de 347 verkregen beelden was de gemiddelde leeftijd bij onderzoek 58,7 ± 14,6 jaar, en 39,2% was afkomstig van mannelijke patiënten.Van alle afbeeldingen was 30,8% afkomstig van blanken, 32,6% van zwarten, 30,8% van Iberiërs, 4% van Aziaten en 1,7% van andere rassen (tabel 1).).De leeftijdsverdeling van patiënten met OCTA verschilde aanzienlijk, afhankelijk van de kwaliteit van het beeld (p <0,001).Het percentage afbeeldingen van hoge kwaliteit bij jongere patiënten in de leeftijd van 18-45 jaar was 33,8%, vergeleken met 12,2% van afbeeldingen van lage kwaliteit (Tabel 1).De verdeling van de status van diabetische retinopathie varieerde ook aanzienlijk in beeldkwaliteit (p < 0,017).Van alle beelden van hoge kwaliteit was het percentage patiënten met PDR 18,8% vergeleken met 38,8% van alle beelden van lage kwaliteit (Tabel 1).
Individuele beoordelingen van alle afbeeldingen vertoonden een matige tot sterke inter-ratingbetrouwbaarheid tussen mensen die de afbeeldingen lazen (Cohen's gewogen kappa = 0,79, 95% BI: 0,76-0,82), en er waren geen afbeeldingspunten waarop de beoordelaars meer dan 1 verschilden (Fig. 2A)..De signaalintensiteit correleerde significant met handmatige scoring (Pearson productmomentcorrelatie = 0,58, 95% BI 0,51–0,65, p<0,001), maar van veel beelden werd vastgesteld dat ze een hoge signaalintensiteit hadden maar een lage handmatige score (Fig. .2B).
Tijdens de training van de ResNet152- en AlexNet-architecturen valt het cross-entropieverlies bij validatie en training over 50 tijdperken (Figuur 3B,C).De validatienauwkeurigheid in het laatste trainingstijdperk is meer dan 90% voor gebruiksscenario's van zowel hoge als lage kwaliteit.
Prestatiecurven van de ontvanger laten zien dat het ResNet152-model aanzienlijk beter presteert dan het signaalvermogen dat door de machine wordt gerapporteerd, zowel in gebruikssituaties van lage als hoge kwaliteit (p < 0,001).Het ResNet152-model presteert ook aanzienlijk beter dan de AlexNet-architectuur (p = 0,005 en p = 0,014 voor respectievelijk gevallen van lage kwaliteit en hoge kwaliteit).De resulterende modellen voor elk van deze taken konden AUC-waarden van respectievelijk 0,99 en 0,97 bereiken, wat aanzienlijk beter is dan de overeenkomstige AUC-waarden van 0,82 en 0,78 voor de machinesignaalsterkte-index of 0,97 en 0,94 voor AlexNet ..(Afb. 3).Het verschil tussen ResNet en AUC in signaalsterkte is groter bij het herkennen van beelden van hoge kwaliteit, wat wijst op extra voordelen van het gebruik van ResNet voor deze taak.
De grafieken tonen het vermogen van elke onafhankelijke beoordelaar om te scoren en te vergelijken met de signaalsterkte die door de machine wordt gerapporteerd.(A) De som van de te beoordelen punten wordt gebruikt om het totaal aantal te beoordelen punten te bepalen.Aan afbeeldingen met een algehele schaalbaarheidsscore van 4 wordt een hoge kwaliteit toegewezen, terwijl aan afbeeldingen met een algehele schaalbaarheidsscore van 1 of minder een lage kwaliteit wordt toegewezen.(B) Signaalintensiteit correleert met handmatige schattingen, maar afbeeldingen met een hoge signaalintensiteit kunnen van slechtere kwaliteit zijn.De rode stippellijn geeft de door de fabrikant aanbevolen kwaliteitsdrempel aan op basis van de signaalsterkte (signaalsterkte \(\ge\)6).
ResNet-overdrachtsleren biedt een aanzienlijke verbetering in de identificatie van de beeldkwaliteit voor gebruiksscenario's van zowel lage als hoge kwaliteit in vergelijking met door de machine gerapporteerde signaalniveaus.(A) Vereenvoudigde architectuurdiagrammen van vooraf getrainde (i) ResNet152 en (ii) AlexNet-architecturen.(B) Trainingsgeschiedenis en prestatiecurven van de ontvanger voor ResNet152 vergeleken met de door de machine gerapporteerde signaalsterkte en de lage kwaliteitscriteria van AlexNet.(C) Trainingsgeschiedenis en prestatiecurven van de ResNet152-ontvanger vergeleken met door de machine gerapporteerde signaalsterkte en de hoge kwaliteitscriteria van AlexNet.
Na aanpassing van de beslissingsgrensdrempel bedraagt ​​de maximale voorspellingsnauwkeurigheid van het ResNet152-model 95,3% voor het geval van lage kwaliteit en 93,5% voor het geval van hoge kwaliteit (Tabel 2).De maximale voorspellingsnauwkeurigheid van het AlexNet-model is 91,0% voor het geval van lage kwaliteit en 90,1% voor het geval van hoge kwaliteit (Tabel 2).De maximale nauwkeurigheid van de voorspelling van de signaalsterkte is 76,1% voor gebruik van lage kwaliteit en 77,8% voor gebruik van hoge kwaliteit.Volgens Cohen's kappa (\(\kappa\)) bedraagt ​​de overeenkomst tussen het ResNet152-model en de schatters 0,90 voor het geval van lage kwaliteit en 0,81 voor het geval van hoge kwaliteit.Cohen's AlexNet kappa is 0,82 en 0,71 voor respectievelijk gebruiksscenario's van lage kwaliteit en hoge kwaliteit.Cohen's signaalsterktekappa is respectievelijk 0,52 en 0,27 voor gebruiksscenario's van lage en hoge kwaliteit.
Validatie van herkenningsmodellen van hoge en lage kwaliteit op 6\(\x\) afbeeldingen van een vlakke plaat van 6 mm demonstreert het vermogen van het getrainde model om de beeldkwaliteit te bepalen over verschillende beeldparameters heen.Bij gebruik van ondiepe platen van 6\(\x\) 6 mm voor beeldkwaliteit had het model van lage kwaliteit een AUC van 0,83 (95% BI: 0,69–0,98) en het model van hoge kwaliteit een AUC van 0,85.(95% BI: 0,55–1,00) (Tabel 2).
Visuele inspectie van de activeringskaarten van de invoerlaagklassen toonde aan dat alle getrainde neurale netwerken beeldkenmerken gebruikten tijdens beeldclassificatie (Fig. 4A, B).Voor beelden van 8 \(\times \) 8 mm en 6 \(\times \) 6 mm volgen de ResNet-activeringsbeelden nauwgezet het vaatstelsel van het netvlies.AlexNet-activeringskaarten volgen ook de vaten van het netvlies, maar met een grovere resolutie.
De klassenactiveringskaarten voor de ResNet152- en AlexNet-modellen benadrukken kenmerken die verband houden met beeldkwaliteit.(A) Klasse-activeringskaart die coherente activering toont na oppervlakkige retinale vasculatuur op 8 \(\times \) 8 mm validatieafbeeldingen en (B) omvang op kleinere 6 \(\times \) 6 mm validatieafbeeldingen.LQ-model getraind op lage kwaliteitscriteria, HQ-model getraind op hoge kwaliteitscriteria.
Eerder is aangetoond dat de beeldkwaliteit een grote invloed kan hebben op de kwantificering van OCTA-beelden.Bovendien verhoogt de aanwezigheid van retinopathie de incidentie van beeldartefacten7,26.In onze gegevens hebben we, consistent met eerdere onderzoeken, zelfs een significante associatie gevonden tussen toenemende leeftijd en ernst van netvliesaandoeningen en verslechtering van de beeldkwaliteit (p < 0,001, p = 0,017 voor respectievelijk leeftijd en DR-status; tabel 1) 27 Daarom is het van cruciaal belang om de beeldkwaliteit te beoordelen voordat u een kwantitatieve analyse van OCTA-beelden uitvoert.De meeste onderzoeken die OCTA-beelden analyseren, maken gebruik van door de machine gerapporteerde signaalintensiteitsdrempels om beelden van lage kwaliteit uit te sluiten.Hoewel is aangetoond dat de signaalintensiteit de kwantificering van OCTA-parameters beïnvloedt, is een hoge signaalintensiteit alleen mogelijk niet voldoende om afbeeldingen met beeldartefacten uit te sluiten2,3,28,29.Daarom is het noodzakelijk om een ​​betrouwbaardere methode voor beeldkwaliteitscontrole te ontwikkelen.Daartoe evalueren we de prestaties van begeleide deep learning-methoden aan de hand van de signaalsterkte die door de machine wordt gerapporteerd.
We hebben verschillende modellen ontwikkeld voor het evalueren van de beeldkwaliteit, omdat verschillende OCTA-gebruiksscenario's verschillende vereisten voor de beeldkwaliteit kunnen hebben.Afbeeldingen moeten bijvoorbeeld van hogere kwaliteit zijn.Daarnaast zijn specifieke kwantitatieve parameters van belang ook belangrijk.Het gebied van de foveale avasculaire zone is bijvoorbeeld niet afhankelijk van de troebelheid van het niet-centrale medium, maar beïnvloedt de dichtheid van de bloedvaten.Hoewel ons onderzoek zich blijft richten op een algemene benadering van de beeldkwaliteit, die niet gebonden is aan de vereisten van een bepaalde test, maar bedoeld is om de door de machine gerapporteerde signaalsterkte rechtstreeks te vervangen, hopen we gebruikers een grotere mate van controle te geven, zodat ze kan de specifieke metriek selecteren die van belang is voor de gebruiker.kies een model dat overeenkomt met de maximale mate van beeldartefacten die aanvaardbaar worden geacht.
Voor scènes van lage en hoge kwaliteit laten we uitstekende prestaties zien van diepe convolutionele neurale netwerken die verbinding missen, met AUC's van respectievelijk 0,97 en 0,99 en modellen van lage kwaliteit.We demonstreren ook de superieure prestaties van onze deep learning-aanpak in vergelijking met signaalniveaus die alleen door machines worden gerapporteerd.Dankzij Skip-verbindingen kunnen neurale netwerken kenmerken op meerdere detailniveaus leren, waardoor fijnere aspecten van beelden (bijvoorbeeld contrast) en algemene kenmerken (bijvoorbeeld beeldcentrering) worden vastgelegd30,31.Omdat beeldartefacten die de beeldkwaliteit beïnvloeden waarschijnlijk het best over een breed bereik kunnen worden geïdentificeerd, kunnen neurale netwerkarchitecturen met ontbrekende verbindingen betere prestaties leveren dan die zonder taken voor het bepalen van de beeldkwaliteit.
Bij het testen van ons model op 6\(\×6mm) OCTA-afbeeldingen merkten we een afname in de classificatieprestaties voor modellen van zowel hoge als lage kwaliteit (Fig. 2), in tegenstelling tot de grootte van het model dat was getraind voor classificatie.Vergeleken met het ResNet-model heeft het AlexNet-model een grotere daling.De relatief betere prestaties van ResNet kunnen te wijten zijn aan het vermogen van de resterende verbindingen om informatie op meerdere schalen te verzenden, waardoor het model robuuster wordt voor het classificeren van beelden die op verschillende schalen en/of vergrotingen zijn vastgelegd.
Sommige verschillen tussen 8 \(\×\) 8 mm-afbeeldingen en 6 \(\×\) 6 mm-afbeeldingen kunnen leiden tot een slechte classificatie, waaronder een relatief groot aantal afbeeldingen met foveale avasculaire gebieden, veranderingen in zichtbaarheid, vasculaire arcades en geen oogzenuw op de afbeelding 6×6 mm.Desondanks kon ons ResNet-model van hoge kwaliteit een AUC van 85% bereiken voor 6 \(\x\) 6 mm-afbeeldingen, een configuratie waarvoor het model niet was getraind, wat erop wijst dat de informatie over de beeldkwaliteit die in het neurale netwerk is gecodeerd is geschikt.voor één afbeeldingsgrootte of machineconfiguratie buiten de training (tabel 2).Het is geruststellend dat ResNet- en AlexNet-achtige activeringskaarten van 8 \(\times \) 8 mm en 6 \(\times \) 6 mm afbeeldingen in beide gevallen de vaten van het netvlies konden markeren, wat erop wijst dat het model over belangrijke informatie beschikt.zijn toepasbaar voor het classificeren van beide typen OCTA-afbeeldingen (Fig. 4).
Lauerman et al.Beoordeling van de beeldkwaliteit op OCTA-beelden werd op vergelijkbare wijze uitgevoerd met behulp van de Inception-architectuur, een ander convolutioneel neuraal netwerk met skip-connectie6,32 met behulp van deep learning-technieken.Ze beperkten het onderzoek ook tot afbeeldingen van de oppervlakkige capillaire plexus, maar gebruikten alleen de kleinere 3x3 mm-afbeeldingen van Optovue AngioVue, hoewel ook patiënten met verschillende chorioretinale ziekten werden geïncludeerd.Ons werk bouwt voort op hun fundamenten, waaronder meerdere modellen om verschillende drempels voor beeldkwaliteit aan te pakken en resultaten voor afbeeldingen van verschillende formaten te valideren.We rapporteren ook de AUC-metriek van machine learning-modellen en verhogen hun toch al indrukwekkende nauwkeurigheid (90%)6 voor modellen van zowel lage kwaliteit (96%) als hoge kwaliteit (95,7%).
Deze training heeft verschillende beperkingen.Ten eerste werden de beelden verkregen met slechts één OCTA-machine, inclusief alleen beelden van de oppervlakkige capillaire plexus op 8\(\times\)8 mm en 6\(\times\)6 mm.De reden voor het uitsluiten van afbeeldingen uit diepere lagen is dat projectieartefacten de handmatige evaluatie van afbeeldingen moeilijker en mogelijk minder consistent kunnen maken.Bovendien zijn beelden alleen verkregen bij diabetespatiënten, voor wie OCTA in opkomst is als een belangrijk diagnostisch en prognostisch hulpmiddel33,34.Hoewel we ons model konden testen op afbeeldingen van verschillende groottes om er zeker van te zijn dat de resultaten robuust waren, waren we niet in staat geschikte datasets uit verschillende centra te identificeren, wat onze beoordeling van de generaliseerbaarheid van het model beperkte.Hoewel de beelden uit slechts één centrum afkomstig zijn, zijn ze verkregen van patiënten met verschillende etnische en raciale achtergronden, wat een unieke kracht van ons onderzoek is.Door diversiteit op te nemen in ons trainingsproces hopen we dat onze resultaten in bredere zin zullen worden gegeneraliseerd, en dat we zullen voorkomen dat raciale vooroordelen worden gecodeerd in de modellen die we trainen.
Ons onderzoek toont aan dat neurale netwerken die verbindingen overslaan, kunnen worden getraind om hoge prestaties te bereiken bij het bepalen van de OCTA-beeldkwaliteit.Wij bieden deze modellen aan als hulpmiddelen voor verder onderzoek.Omdat verschillende metrieken verschillende beeldkwaliteitseisen kunnen hebben, kan voor elke metriek een individueel kwaliteitscontrolemodel worden ontwikkeld met behulp van de hier vastgelegde structuur.
Toekomstig onderzoek zou afbeeldingen van verschillende groottes uit verschillende diepten en verschillende OCTA-machines moeten omvatten om een ​​diepgaand evaluatieproces van de beeldkwaliteit te verkrijgen dat kan worden gegeneraliseerd naar OCTA-platforms en beeldvormingsprotocollen.Huidig ​​onderzoek is ook gebaseerd op diepgaande leerbenaderingen onder toezicht die menselijke evaluatie en beeldevaluatie vereisen, wat arbeidsintensief en tijdrovend kan zijn voor grote datasets.Het valt nog te bezien of onbewaakte deep learning-methoden adequaat onderscheid kunnen maken tussen afbeeldingen van lage kwaliteit en afbeeldingen van hoge kwaliteit.
Naarmate de OCTA-technologie zich blijft ontwikkelen en de scansnelheden toenemen, kan de incidentie van beeldartefacten en beelden van slechte kwaliteit afnemen.Verbeteringen in de software, zoals de onlangs geïntroduceerde functie voor het verwijderen van projectie-artefacten, kunnen deze beperkingen ook verlichten.Er blijven echter veel problemen bestaan, aangezien beeldvorming van patiënten met slechte fixatie of aanzienlijke mediatroebelheid steevast resulteert in beeldartefacten.Naarmate OCTA op grotere schaal wordt gebruikt in klinische onderzoeken, is zorgvuldige overweging nodig om duidelijke richtlijnen vast te stellen voor aanvaardbare beeldartefactniveaus voor beeldanalyse.De toepassing van deep learning-methoden op OCTA-beelden is veelbelovend en verder onderzoek op dit gebied is nodig om een ​​robuuste aanpak voor de controle van de beeldkwaliteit te ontwikkelen.
De code die in het huidige onderzoek wordt gebruikt, is beschikbaar in de octa-qc-repository, https://github.com/rahuldhodapkar/octa-qc.Datasets die tijdens het huidige onderzoek zijn gegenereerd en/of geanalyseerd, zijn op redelijk verzoek verkrijgbaar bij de respectieve auteurs.
Spaide, RF, Fujimoto, JG & Waheed, NK Beeldartefacten in optische coherentie-angiografie.Retina 35, 2163–2180 (2015).
Fenner, BJ et al.Identificatie van beeldvormingskenmerken die de kwaliteit en reproduceerbaarheid van retinale capillaire plexusdichtheidsmetingen bij OCT-angiografie bepalen.BR.J. Ophthalmol.102, 509–514 (2018).
Lauerman, JL et al.Invloed van eye-trackingtechnologie op de beeldkwaliteit van OCT-angiografie bij leeftijdsgebonden maculaire degeneratie.Ernstige boog.klinisch.Uitv.oogheelkunde.255, 1535-1542 (2017).
Babyuch AS et al.OCTA capillaire perfusiedichtheidsmetingen worden gebruikt om maculaire ischemie te detecteren en evalueren.oogchirurgie.Retinale laserbeeldvorming 51, S30-S36 (2020).
Hij, K., Zhang, X., Ren, S., en Sun, J. Deep Residual Learning voor beeldherkenning.In 2016 op de IEEE-conferentie over computervisie en patroonherkenning (2016).
Lauerman, JL et al.Geautomatiseerde OCT-angiografische beeldkwaliteitsbeoordeling met behulp van deep learning-algoritmen.Ernstige boog.klinisch.Uitv.oogheelkunde.257, 1641–1648 (2019).
Lauermann, J. et al.De prevalentie van segmentatiefouten en bewegingsartefacten bij OCT-angiografie hangt af van de ziekte van het netvlies.Ernstige boog.klinisch.Uitv.oogheelkunde.256, 1807-1816 (2018).
Pask, Adam et al.Pytorch: een noodzakelijke, krachtige deep learning-bibliotheek.Geavanceerde verwerking van neurale informatie.systeem.32, 8026–8037 (2019).
Deng, J. et al.ImageNet: een grootschalige hiërarchische beelddatabase.2009 IEEE-conferentie over computervisie en patroonherkenning.248–255.(2009).
Krizhevsky A., Sutzkever I. en Hinton GE Imagenet-classificatie met behulp van diepe convolutionele neurale netwerken.Geavanceerde verwerking van neurale informatie.systeem.25, 1 (2012).