Medisinsk bildebehandling og maskinlæring

Robert JenssenMachine Learning Group, UiT The Arctic University of Norway

machine-learning.uit.no

Tekna, 12.10 2020

Agenda

• Litt bakgrunn og kontekst

• Blodstrømming til hjernen - PET

• Segmentere lunketumorer – PET/MR

• Tolkbar AI innen medisinsk bildebehandling (sneak peak)

2

~25 Group Members / machine-learning.uit.no 3

Numbers: FeaturesTraining data:Text

DocumentsImages

Measure-ments

Machine learning

algorithmAnnotations / labels / gold standard

New data:Text

DocumentsImages

Measure-ments

Trainedmodel

PredictionExpected label

0.31020.8...

3070.40.1...

1.20.431.1...

1.411101.2...

AI: learn patterns in the numbers!

4

I front innenmaskinlæring og deep learning

SEN: A Novel Dissimilarity Measure for Prototypical Few-Shot Learning NetworksN Van Nguyen, S Løkse, K Wickstrøm, M Kampffmeyer, D Roverso, R. Jenssen ECCV, 2020

Multivariate Extension of Matrix-based Renyi's α-order Entropy FunctionalS Yu, L Giraldo, R Jenssen, J PrincipeIEEE Trans. Pattern Analysis and Machine Intelligence, 2020

Understanding Convolutional Neural Networks with Information Theory: An Initial ExplorationS Yu, K Wickstrøm, R Jenssen, J PrincipeIEEE Trans. Neural Networks and Learning Systems, 2020

Deep Divergence-based Approach to ClusteringM Kampffmeyer, S Løkse, F Bianchi, L Livi, A Salberg, R JenssenNeural Networks, 2019

Rethinking Knowledge Graph Propagation for Zero-Shot LearningM Kampffmeyer, E Xing et al.CVPR, 2019

We are grateful to NVIDIA Corporation for GPU donations

Elektroniske pasientjournaler

Patientinfo, diagnostske tester, lab resultater, medisinske bilder, genomikk, proteomikk, behandlinger (ICD), utfall, økonomi, transaksjoner.

• Kan vi utnytte disse datakildene?

• Bedre helsetjenester og redusertekostnader.

Helsedata

6

Tidsskrift for Den norske legeforening, Oct. 2019

8

Best Paper Award

International Medical Informatics

Association(IMIA)

>1000 kandidater

Karl Ø MikalsenStein O SkrøvsethArthur RevhaugRobert Jenssen

MaskinlæringDeep learningKunstig intelligens/AI

ved UiT i partnerskap med Universitetssykehuset i Nord Norge (UNN)

For medisinsk bildebehandling

10

Tett samarbeid med PET-senteret ved Universitetssykehuset i Nord Norge

11

Rune Sundset (venstre), lederTrond Mohn (høyre), bidragsyter Samlokalisert med UiT

Blodforsyning til hjernen

• PET tracer (oksygen-15 merka vann)

• Forskjellige områder (kammermodell).

• Kontinuerlig uttaking av blod fra arterie (arterial input function - AIF).

12

Tracer in arterialblood

Cp

Tracer in tissue

Ct

K1

k2

https://en.wikipedia.org/wiki/Cerebral_circulation

13

• Ubehagelig!

• Tekniske begrensninger.

• Alternativene har også utfordringer.

Cerebralbloodflowmeasurementswith15O-waterPETusinganon-invasivemachine-learning-

derivedarterialinputfunction

SamuelKuttner1,2,3*,KristofferKnutsen Wickstrøm2,MarkLubberink4,AndreasTolf5,JoachimBurman5,RuneSundset1,3,RobertJenssen2,LieuweAppel4,JanAxelsson6

1NuclearMedicineandRadiationBiologyResearchGroup,DepartmentofClinicalMedicine,UiT TheArcticUniversityofNorway,Tromsø,Norway.2UiTMachineLearningGroup,DepartmentofPhysicsandTechnology,UiT TheArcticUniversityofNorway,Tromsø,Norway.3ThePETImagingCenter,UniversityHospitalofNorthNorway,Tromsø,Norway.4DepartmentofSurgicalSciences,Radiology,UppsalaUniversity,Uppsala,Sweden.5DepartmentofNeuroscience,UppsalaUniversity,Uppsala,Sweden.6DepartmentofRadiationSciences,UmeåUniversity,Umeå,Sweden.

Journal of Cerebral Blood Flow and Metabolism, 2020

• #pasienter = 25• Uppsala

universitetssykehus• Multiple sklerose

• Summér pikselintensiteter påhvert tidssteg.

t=23s t=28s t=33s t=38s t=570s

5 13 18 23 28 33 38 43 48 55 65 75 85 98 113 130 150 170 195 225 270 330 390 450 510 570Linearized time [s]

0

1

2

3

4

5

6

7

Sum

[kBq

/cc]

109

25% max

Kurve over tidssteg.

Optimalt tidsstegCoronal MIPs:

Tverrfaglighet er nøkkelen!

AIF-relevantefeatures

N=100 N=101 N=102 N=103 N=104 N=105 N=all

• N: #piksler med høyest intensitet

• Blodkurver

Features for maskinlæring

Predikere AIF (supervised)

Maskinlæring (KI/AI)

N

pt

Input, Xtr

N = patientsp = featurest = time steps

Output, ytr

N

Prediction, YtrLoss

1t

ML model

Update ML model

Model training

TrainedML modelXte Yte yteLModel

testing

𝐿 =1𝑁%!"#

$

𝑦! − (𝑦! %

Fold 1

k-fold cross validation

Fold 2 Fold k

All patients are in test set once!If k=N => Leave-one-out cross validation

Xte

Xtr ...

Veldig lovenderesultater!

Kan få storbetydning ogklinisk relevans.

Utfordringer

• Få annoteringer/labels (liten kohort).

• Nyttiggjøre nye typer avbildningsteknikker?

• Potensiale i hybrid PET/MR?

20

Segmentere tumorer uten noen “fasit” å

lære av:

21

• Samarbeid m/NTNU (Live Eikenes)• #pasienter = 18 (18F-FDG)• Lungekreft• I revisjon

Prosedyre

ü Kombinere informasjon fra PET og MR (co-registrert).

ü Oversegmentere/lage supervoksler for hver pasient.

ü Lage features for hver supervoksel.

ü Bruke/utvikle maskinlæring kjent som klynging for å grupperesupervokslene i tumor eller ikke-tumor.

22

23

Tumor-relevantefeatures

ß Supervokser Beggemodaliteter

bidrar

24

25

Finner tumorer helt uten «fasit»

Forskjellige metoder

for klynging

ß Nyere metode (vi har bidratt)

26

• Nytt forskningssenter med ~300 MNOK totalbudsjett/8 år.

• Innovasjoner fra komplekse bildedata, inkludert medisinske bilder.

• Internasjonalt ledende senter, løse neste generasjons forskningsutfordringer innen deep learning.

Partnere

Hjelpe legen med å tolke resultatNy metodikk innen deep learning-feltet

28

Uncertainty and Interpretability in Convolutional Neural Networks for Semantic Segmentation of

Colorectal PolypsK Wickstrøm, M Kampffmeyer, R Jenssen

Medical Image Analysis, 2020

Sneak peak Visual Intelligence @ Youtube

Normkonferansen2019

30

Meg

Direktoratet for e-helse

Innleder og i panel

• “King of disruption –kunstig intelligens i helse”

(med bl.a datatilsynet og pasientombud Oslo og Akershus)

Takk til alle!

31