KI in Medizin und Automotive - Embedded Testing · Künstliche Intelligenz in Medizin und Automotive Effektive Strategien zur Sicherheitsargumentation Safety & Security München,

Künstliche Intelligenz in

Medizin und Automotive

Effektive Strategien zur Sicherheitsargumentation

Safety & Security

München, 01.07.2019

Tim Jones

Senior Safety Consultant

[email protected]

Florian Bogenberger

Managing Safety Consultant

[email protected]

2

Who is exida?

Excellence

▪ Focus on Safety & Security

▪ Knowledge in many Industries

▪ app. 150 Partners and employees with a

cumulative experience of several hundred

years in safety and dependability

▪ Many books & publications

Patents with customers

Independent and neutral

▪ We are privately owned

▪ We have no OEM / vendor bias

International customer base

▪ Our client base is international

▪ We cover the full supply-chain,

end-users, OEM’s, vendors, engineering contractors

Jul 01, 2019 Copyright © exida.com 2000-2019

exida.com

LLC (USA)

exida.com

Asia Pacific

exida.com

GmbH (Germany)

exida.com

Israel Ltd.

Medical

IC Industry

Who is exida?

Automotive, Medical, Semiconductor, Automation & Process Industry

Independent, International

In Depth Technical Consultancy & Solutions -System, HW, SW

Leading Edge Technologies– Artificial Intelligence

– Autonomous Driving, E-Drive

– Agile Development, SCRUM

– ICs

– …

Safety & Security Concepts, Architecture & Design

Safety Analyses, Cybersecurity Analyses, Assessments, FMEA, FTA

Trainings & Workshops, Process Definition, Safety Management

Jul 01, 2019 Copyright © exida.com 2000-2019 3

Process Industry

Automotive

Automation

Einordnung

AI

Machine Learning

Neural Networks

Deep Learning


Artificial Intelligence Index – 2018 annual report

Agenda

1. Künstliche Intelligenz – Ein Einblick

2. Dependability – KI – Sicherheitsnachweis

3. Beispiele für Sicherheitsargumentationen

4. Schlüsselaspekte


KI – So einfach… – So komplex…


There are two ways of constructing a software design: One way is to make it so

simple that there are obviously no deficiencies, and the other way is to

make it so complicated that there are no obvious deficiencies. The first

method is far more difficult.C.A.R. Hoare

http://yann.lecun.com/exdb/mnist/

Wie wir wahrnehmen und lernen…


…wie ein Computer wahrnimmt und lernt


70 253 198 156 232 229 137 209 141 94 33 207 212 63 172 153 185 144 1

99 94 31 25 109 55 84 171 127 155 64 164 221 11 227 95 76 19 60

191 244 18 151 255 235 218 123 149 126 234 123 31 255 195 253 29 19 108

28 72 73 135 33 132 217 196 187 228 209 43 196 176 32 194 218 88 141

142 227 197 217 172 134 18 154 150 247 1 98 128 30 123 47 129 175 35

158 26 13 189 68 146 235 103 45 174 43 44 128 28 99 118 20 189 58

216 212 44 160 5 88 41 209 207 177 153 233 128 247 133 69 241 56 127

112 207 10 139 204 97 132 14 118 28 249 1 70 212 57 225 235 190 145

91 29 10 233 185 159 199 116 78 97 59 78 227 168 138 151 162 85 112

224 138 106 82 110 77 225 74 250 7 69 158 237 127 181 167 236 72 120

133 175 21 148 128 0 212 28 194 63 149 38 99 170 132 222 73 15 117

7 70 37 163 205 27 78 136 137 182 243 15 235 39 104 228 91 51 32

224 87 155 59 151 205 78 21 29 161 99 11 237 220 230 22 12 24 224

195 116 33 104 26 9 13 179 122 245 229 50 178 56 165 22 140 140 107

16 169 242 98 196 242 237 23 96 170 24 84 4 154 247 26 6 58 255

82 200 114 77 221 94 102 238 122 36 99 219 241 245 197 157 3 211 48

53 176 70 81 123 118 217 57 58 142 24 66 231 99 231 207 26 251 174

194 181 240 105 242 60 150 11 250 139 101 105 138 233 53 135 139 249 219

232 97 189 96 186 74 39 117 104 96 65 254 197 76 87 195 143 96 140

182 169 178 55 83 138 49 164 60 230 124 228 155 181 224 176 86 144 205

122 90 25 72 52 37 97 75 50 69 188 195 69 175 155 50 174 46 144

6 46 30 158 208 54 98 62 131 135 178 68 78 139 24 43 212 136 20

34 248 211 213 166 140 193 136 226 149 19 71 124 29 241 158 41 20 124

154 87 48 226 180 179 198 81 2 29 148 204 241 43 229 48 216 214 3

116 183 51 126 238 63 21 218 156 213 41 154 83 34 76 227 252 89 163

135 127 124 78 57 115 12 125 67 252 199 72 53 134 9 30 255 3 160

95 167 161 70 97 134 238 68 122 46 179 49 171 220 3 221 71 178 78

164 202 166 148 47 34 184 240 145 63 195 173 133 170 52 222 117 118 112

40 55 176 22 92 42 104 186 209 106 173 93 10 232 94 84 55 208 38

116 163 234 143 97 94 187 97 150 143 112 76 152 221 184 227 100 139 169

27 36 225 212 69 209 26 47 126 4 33 199 31 60 28 246 69 242 71

230 162 155 145 64 100 202 126 29 89 41 220 80 85 157 100 193 248 200

Cyclist

Couch

Car

Zebra

Agenda






Zuverlässigkeit - Dependability


Safety

in Use

Security

Functional

Safety

Faults do

not cause a

Hazard

Attacks do not

cause a Hazard

Normal Use*)

does not cause

a Hazard

*) Including forseeable misuse

Wieso ist ein Sicherheitsnachweis für KI schwierig?


Paradigmen Shift


Classic Development Neural Networks

Paradigm

Shift

Structure homomorph

to System

Structure disparate

to System

Umgang mit Quasi-Stochastik


…

printf("hello world\n");…

…Mio LOC… Architecture & Design

…Mio Neuronen…

DER Schlüsselaspekt…

Copyright © exida.com 2000-2019 14Jul 01, 2019

Funktionale Sicherheit sicherheitsbezogener elektrischer / elektronischer / programmierbarer elektronischer Systeme

Road vehicles – Functional safety

Road vehicles -- Safety of the intended functionality

Medizinische elektrische Geräte; Allgemeine Festlegungen für die Sicherheit

Medical device software – software life cycle processes

Autonomous Product Safety Standard (not released, yet)

Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Discussion Paper and Request for Feedback


Welche Standards helfen mir?

IEC 61508

ISO 26262

ISO/PAS 21448

IEC 62304

UL4600

FDA AI

Discussion

Paper

IEC 60601-1

Agenda






• EKG-Analyse in Defibrillatoren

• Sprachsteuerung

• Autonomes Fahren

Automatischer Externer Defibrillator


KEINE

Schockabgabe

Schockabgabe

ECG Figures: PhysioNet; The Creighton University Ventricular Tachyarrhythmia Database

Exemplarische Wirkkette


Schockabgabe

HV

En

dstu

fe

Vo

r-V

era

rbeitun

gEKG-Analyse

Impedanz-Analyse

Bewegungs-Analyse

Atmungs-Analyse

Master

Slave

User Interface …

DefibrillationsimpulsEKG Input

EKG Analyse - Generalisierung


Pa

ram

ete

r 1

Parameter 2

Beispiel:

Parameter 1: Frequenz Parameter 2: ∫ | Kurvenabschnitt |

KEINE Schockabgabe

Schockabgabe

Generalisierung beachten!

Trennung von Trainings- und Testdaten

Erklärbarkeit der Ergebnisse

Ausgewählte Aspekte der Sicherheitsargumentation

Produktnorm vorhanden (IEC 60601-2-4): Medizinische elektrische Geräte –Teil 2-4: Besondere Festlegungen für die Sicherheit von Defibrillatoren

Sicherheitsrelevante Fehlerfälle bekannt– Falsch positive Schockabgabe

– Falsch negative Nicht-Schockabgabe

Anforderungen nach IEC 60601-2-4 an Rhythmuserkennungsdetektoren:• Sensitivität > 90%

• Spezifität > 95%

• Trainings- und Testdaten müssen verschieden sein

Anerkannte Datenbank vorhanden: Creighton University VentricularTachyarrhythmia Database– 35 x 8min annotiertes EKG mit Episoden von ventrikulärer Tachykardie,

Kammerflimmern und –flattern

Ergebnisse sind erklärbar


Agenda







• Sprachsteuerung


Sprachsteuerung

Exemplarische Anwendungsfälle– Systemsteuerung

• OP-Leuchten

• OP-Robotern

• Bildgebenden Systemen

• …

– Kontrolle von Parametern von Analyseeinheiten• Bildparameter (Helligkeit, Kontrast, Zoom, …)

• Programmparameter

• …

– Smart Hospital Anwendungen• Kommunikation

• “Nachschlagewerk”

• …

Potentielle Risiken– (Schwere) Verletzungen, z.B. Quetschungen

– Blutungen

– Verbindungsabbrüche

– Security Issues

– …




Move Up Interpretation und

Kontextanalyse

Vor-

Vera

rbeitung

Aktu

ato

r

Spracherkennung

(ASR)

Exemplarischer Fehlerbaum


Potentially

black boxes

Small λ

imaginable

Potentially

black boxes

Infinite State

Space



Move Up Interpretation und

Kontextanalyse

Vor-

Vera

rbeitung

Aktu

ato

r

Spracherkennung

(ASR)

Schlüsselwort-

erkennung

Redundante Aktivierungstrigger


Safety Case als Top Level Arbeitsprodukt – Sicherheitsargumentation in Abstimmung mit

• exida.com

• Benannter Stelle

Use Case Definition

Risikobewertung & Sicherheitskonzept(e)– Ermittlung sicherheitsrelevanter Fehlfunktionen

– Definition Systemarchitektur

– Bestimmung von sicheren Zuständen

– Bestimmung von Akzeptanzkriterien

– Erklärbarkeit der Ergebnisse

– Bewertung von SOUP / COTS

– …

Definition, Erhebung, Maintenance der Datenbasis– Schlüsselworte

– Zu erkennende Kommandos

– Umgebungsgeräusche

– Sprachen, Dialekte, Native / Non-native Speakers

– Annotation der Daten

– Bewusste Auswahl von Performancemetriken


Agenda







• Sprachsteuerung


Autonomes Fahren


Individual Vehicle

Backend Tool Chain

Training/Test

Data Bases

Event Processing,

Anomaly Detection, …

Vehicle Fleet

Uplink

Downlink

Car-to-Car

Car-to-Infrastructure

Riesiger Zustandsraum


Fail Operational Systeme


Traditionelle Methoden und Machine Learning sind oft gemischt

Monitor, Rückfallebene & Safety Mechanismus

Systembetrachtung notwendig für Verfügbarkeit der Rückfallebene

Was heißt unsicher in Bezug auf KI?


Pa

ram

ete

r 1

Parameter 2

?

Uncertainty

Fehlentscheidung

Im Allgemeinen:

Keine Daten vorhanden ≠ Sicherer Bereich

https://codewords.recurse.com/issues/five/why-

do-neural-networks-think-a-panda-is-a-vulture

Ausgewählter Mechanismus - Un-certainty


Run Label Certainty

1 Cyclist 0,98

2 Cyclist 0,99

3 Cyclist 0,97

… … …

Run Label Certainty

1 Couch 0,58

2 Zebra 0,69

3 Cyclist 0,87

… … …

Apply Dropouts – Re-Calulcate Network – Apply Certainty Threshold

Systematische Fehler ≈> “Quasi-stochastische Fehler”


Safety Case als Top Level Arbeitsprodukt– Bewertung der gesamten Wirkkette

– Training / Validierung / Test

– Field Monitoring / Anomalie-Detektion (Edge/Corner Cases)

– Change Management - Aging

– Absicherung der Toolkette

– Evaluierung und Bewertung der (Safety-) Performance

Automatisierung als Schlüssel

Absicherung der Datenbasis

Erklärbarkeit der Ergebnisse

Metriken für NNs– Bewusste Auswahl von Performancemetriken

– Strukturelle Coverage

– Uncertainty


Agenda






Schlüsselaspekte


Belastbare Sicherheitsargumentation

durch Traceability

Regulierung auf Stand der Technik erweitern

Neue Kombination bekannter Konzepte

Architektur für KI / ML / NNs

Erklärbarkeit trotz Paradigmen Shift

Quasi-Stochastik übersteigt

menschliches Vermögen

Automatisiertes Field Monitoring und Update

Komplexität ist keine Ausrede!

Many Thanks for Your [email protected]

[email protected]

excellence in dependable automation

Copyright © exida.com 2000-2019 36Jul 01, 2019

Documents

KI in Medizin und Automotive - Embedded Testing · Künstliche Intelligenz in Medizin und Automotive Effektive Strategien zur Sicherheitsargumentation Safety & Security München,