1
DerEinsatzderOpenSource-LösungenXNATundProxmoximDatenintegra>onszentrumderUniversitätsmedizinMagdeburg
Dr.TimHerrmann08.04.2019DMEA-Satellitenveranstaltung2019vonGMDSundBVMI
2
Überblick§ Einleitung:AnwendungvonXNAT
§ Au5auundKernkomponenten§ WorkflowundDatenstruktur§ PACSAnbindung§ NutzungskonzeptfürMIRACUM
§ IT-LeistungsanforderungandasUMMD-DIZ§ IT-EntscheidungsfindungfürDIZ-Hypervisorsystem§ ProxmoxVEHypervisorsystem§ ProxmoxineinerHeterogenenHardwareumgebung§ ProxmoxInterface
§ ZusammenfassungundAusblick
3 hVps://youtu.be/ENk589mOkhI
Einleitung:AnwendungvonXNAT
4
§ eXtensibleNeuroimagingArchiveToolkit§ Forschungsbilddatenarchiv§ Management-Pla_ormfürProjekteausdermedizinischenBildgebung(z.B.MRT,PET,CT,CR)
§ OpenSource(Quell-offen,CommunitySupport,erweiterbar,individuellanpassbar)
§ XNAT–URL:hVp://xnat.org• Marcus,DanielS.;Olsen,TimothyR.;Ramaratnam,Mohana;Buckner,RandyL.(2007):TheExtensibleNeuroimagingArchiveToolkit:aninformakcsplalormformanaging,exploring,andsharingneuroimagingdata.Neuroinforma+cs5(1),S.11–34.
Einleitung:AnwendungvonXNAT
5
XNATNutzer-Standorte(kleineAuswahl):
USA:§ CNDA(CentralNeuroimagingDataArchive)-WashingtonUniversitySchoolofMedicine
§ TheHumanConnectomeProject§ Brain-CODEattheOntarioBrainInsktute(Non-NIH)
§ HarvardCatalyst§ ICTSatWashingtonUniversityinStLouis
Einleitung:AnwendungvonXNAT
Europa:§ BiomedicalImagingGroup(BIGR)amErasmusMC,RoVerdam,Niederlande
§ BiobankingandBioMolecularresourcesResearchInfrastructure,Niederlande
§ DZNE,Deutschland§ UniversitätMagdeburg,Deutschland§ UniversitätTübingen,Deutschland§ BHIundHTW,Berlin
6
§ XNATDatenhierarchie§ Project>>Subject>>Experiment>>Modality(MR,CT,etc.)
§ Datei-Upload§ DICOM,ZIP,Metadaten§ Direkt-ImportvomScannermöglich>>PACSAnbindung§ FormularbasierteAssistenten
§ Datenorganisakon§ EigeneDatenverwalten§ Projekte,Teilprojekte,Studie,TeileeinerverteiltenStudie
§ Autorisierung
XNAT-WorkflowundDatenstruktur
7
XNAT–3-Schichten-Modell:
XNAT-WorkflowundDatenstruktur
§ ZugriffperBrowseroderKommandozeile
§ ApacheTurbine(Security,Scheduling,XML-Validierung)
§ AnpassungundErweiterungenerfolgenüberdieAPI(SchniVstellefürEntwickler)
§ ExtensibleFormarngTool(XFT)undXNAT-EngineführenQuery-undSchreiboperakonenaufDatenspeicheraus
8
XNAT–Workflow:§ Datenakquise§ Datenvalidierung§ Analyse§ Auswertung§ Verteilung>>2ndUse§ Publikakon
XNAT-WorkflowundDatenstruktur
9
§ HTML5XNATImageviewer
XNAT-WorkflowundDatenstruktur
10
DICOM-Daten(MR/CT/XR) XNAT1.7.5VM/CT SANSpeicherung
Metadaten-Auswertung
upload
PostprocessingPipelines(Op>onal)
XNAT-WorkflowundDatenstruktur
11
§ XNATDICOMReceiverundSender(seit2019)
XNAT1.7.5VM/CTPACS TransferSend
XNAT–PACSAnbindung
12
§ XNATAnbindunganData-Warehousei2b2undOMOP/OHDSI
HeaderextrackonMaybeanonymize
(XNAT)
ClinicalDATAImagingDATA
XNAT–NutzungskonzeptMIRACUM
13
§ XNATData-WarehouseAnbindungderXNATPostgreSQLDB:
XNAT1.7.5PSQLDB
Metadaten-ETLTransfer
KhvastovaM,WiVM,MollenhauerS,HerrmannT,RivadeneiraIK(2018)xnat-tir-plugin.DOI10.5281/zenodo.1481893
FHIREinbindung
XNAT–NutzungskonzeptMIRACUM
14
XNATEntwicklungsumgebungamMIRACUMStandortMagdeburg:
§ AktuelleXNATInstanzinderUMMDDMZalsDemosystemfürPartnerstandorte§ URL:hVps://miracum-xnat.med.ovgu.de
§ BereitstellungvonXNATangepasstundsupportedfür10MI-IStandorte(MIRACUM)§ Installakons-undEinbindungsanleitung(Deutsch)inklinischeUmgebung§ Containerformat(docker)§ PostproccessingRouknen
§ Pseudonymisierung,Segmenkerung
§ AnpassungfürForschungsdatenmanagement
XNAT–NutzungskonzeptMIRACUM
15
§ Virtualisierungskompetenzen§ Bereitstellung:VirtuellerMaschinenundContainerterminals
§ Datenbankkompetenzen§ ETLProzessebegleiten
§ Datensicherheits-undSicherungskompetenz§ ZugriffaufausfallsichereSpeicherundBackupsysteme§ VerschlüsslungundpersonalisierterZugriffvonhochsensiblenDaten
§ UnterstützungfürForschungsdatenmanagement
IT-LeistungsanforderunganUMMD-DIZ
16
HerausforderungenbeimAuhauderDIZIT-Architektur:§ GeringeInveskkonsmiVel
§ Kompensakondurchin-houseIT-Zentrumnichtimmermöglich
§ EtablierungdesDIZalseigenständigeOrganisakonseinheit§ HochverfügbarkeitfürwelcheDIZIT-Systeme?
§ Kostenintensiver§ GPU-Compukngfürz.B.MachineLearningundKI
IT-LeistungsanforderunganUMMD-DIZ
17
IT-EntscheidungsfindungfürHypervisorsystem:
§ 4etablierteHypervisorsysteme:§ VMware(Marklührer),MSHyper-V,CitrixXenServer,LinuxKVMQEMU
§ DIZUMMDLeistungsanforderungen:GPU-Passthrough,NutzungvonlokalemFestspeicher,OpkonfürHochverfügbarkeit,hoheHardwarekompakbilität,gutesPreisleistungsverhältnis...
§ Entscheidungnach4MonatenRechercheundausgiebigenTestesfürdieOpenSourceSovwareProxmoxaufBasisLinuxKVMQEMU
IT-LeistungsanforderunganUMMD-DIZ
18
ProxmoxVE5.3
§ GPU-Passthrough§ Kompakbilität
§ NutzunglokalemFestspeicher§ OpkonfürHochverfügbarkeit§ hoheHardwarekompakbilität§ OpkonfürContainer§ VerwaltungmehrereHypervisor§ GutesPreisleistungsverhältnis
VMWareESXi6.7 MSHyper-V
§ SehrgutePerformance§ HoheKomptabilität
§ Ja,sogarmitZFS§ Ja,über2Methoden§ Ja,daDebianLinux§ Ja,LXC,DockerperVM§ Ja§ Ja,kostenlos>>AngebotfürFirmengebührenpflichkgermehrLevelSupport
§ MiVlerePerformance§ Eingeschränkt
§ Nein§ Ja§ eingeschränkt§ Ja,Docker§ Ja,VMCenter§ Ca.4500€pro
Hypervisor
§ gutePerformance§ JedeKarte
§ Ja,NTFS,ReFS§ Ja§ Ja,Windows§ Ja§ Nein§ Nein,KomplexesPreissystemBezahlungproVM
Leistungsanforderungen:
IT-LeistungsanforderunganUMMD-DIZVergleichHypervisorsysteme
19
ProxmoxVEHypervisorsystemK-Features:
§ NutzungFestspeicher(lokal)mitZFS§ Container:LXCimInterface,DockermitVMHost>>mitLXCHost§ EnterpriseLevelBackupsystemintegriert,kommerz.Support§ OpkonfürHochverfügbarkeit:CephundProxmoxNodekonzept§ Debian9StretchalsOS>>TypIIHypervisor§ GPU-Passthrough§ HoheHardwarekompakbilität:FiberChannel,iSCSI,ZFSoveriSCSI§ VerwaltungmehrereHypervisordurcheinenHypervisor§ 10JahreimMarkt,OpenSource,kostenlos
20
DateisystemZFSalssehrsicheresSpeicherkonzeptfürTera-undPetabyteSpeicherVorrausetzung:ArbeitsspeichermitECC>>Linux,FreeBSD,Solaris§ Vorteile:
§ Trimming(abQ2/2019)>>SLC-SSD§ Verschlüsslung§ LiveKompression(LZ4),Datasets,Snapshots,>>hoheDatensicherheit§ VerzichtaufRAIDControllermöglich>>JBODbenökgt>bietetjederPC§ JedeFestplaVenutzbar(SASundSATA),schnellesre-silvering§ AusfallsicherheitgegenüberdefektenHDD/RAIDController§ Tiering/Caching§ Nachteile:RAM/SSDCacheverbrauchbeimHostsystem(ca.0,5-1GBproTBHDD)
ProxmoxVEHypervisorsystem
21
§ HighAvailability(HA)Cluster:§ 2ProxmoxNodesundeinzentralerNetzwerkspeicherfürdieVMsundCTs
§ CephServicesonProxmox:§ 3ProxmoxNodesundeinaufdieNodesverteilterNetzwerkspeicherfürdieVMs>>CephFS
§ ProxmoxHochverfügbarkeit§ 2Methoden:Voraussetzungmin.2-3Hypervisornodes
ProxmoxinHeterogenerIT-Umgebung
22
ProxmoxinHeterogenerIT-Umgebung
UMMDDIZIT-Fundament:§ NutzungundErweiterungvorhandenerIT-Struktur(ServerundWorkstakons)
§ ProxmoxNodesalsApplikakons-u.Speicherserver:§ 3xNodesIntranet&3xNodesDMZ§ MachineLearningundKI§ GPUCompukng:4xNVIDIATeslaK80M(24GBRAM4992-Cores)§ ZFSSpeicherproNodemit0,5PetabyteneVo>>LZ4Basis>>1PetabytebruVo
§ Tiering/CachingKonzeptfürDatenbanken
23
ProxmoxInterface
24
ZusammenfassungundAusblick§ XNATundProxmoxalswichkgeKernkomponentendesForschungsdatenmanagementsderUMMD
§ ProxmoxzusammenmitZFS/CTS/CephhatIndustrieniveau§ IntegriertesBackupkonzeptundHochverfügbarkeit§ NutzungvonHeterogenerHardware§ NakveContainerUnterstützung§ KeineKosten>>ohneSupportvertrag
§ MagdeburgwirdProxmoxfürdasUMMD-DIZeinsetzen§ ZerkfizierungvonUMMD-DIZ-Mitarbeiternfür2019geplant
§ Know-HowwirddemMIRACUMKonsorkumbereitgestellt§ Fortbildungbzw.Schulungen
25
WeiterführendeLinks
FKZ01ZZ1801G
§ hVps://xnat.org§ hVps://www.proxmox.com
§ hVps://de.wikipedia.org/wiki/Proxmox_VE
§ hVps://www.admin-magazin.de/Das-Hev/2016/06/Virtualisierung-mit-Proxmox-VE
§ hVps://www.heise.de/ix/meldung/ZFS-und-Debian-9-Proxmox-VE-5-0-ueberzeugt-im-Test-3813719.html
§ hVps://docs.oracle.com/cd/E19253-01/819-5461/zfsover-1/index.html
§ hVps://de.wikipedia.org/wiki/Ceph§ Buch:MasteringProxmox-ThirdEdikon,AhmedWasim