Messung von Biosignalen in Videos: Aktuelle Verfahren im Überblick

K.I.T.T.: „... und Michael, ihre Pulsfrequenz ist erhöht. Sie hat Angst.“

Messung von Biosignalen in Videos:Aktuelle Verfahren im Überblick

Nicolai Spicher Christopher Brumann

17. Mai 2015chaos.cologne

Nicolai Spicher, Christopher Brumann chaos.cologne 1 / 26

https://www.youtube.com/watch?v=OX7enqyFYF8#t=460

Image source: The Province (Link)Video Source: Youtube


http://www.theprovince.com/entertainment/David+Hasselhoff+hopes+retro+Knight+Rider+movie/7525844/story.html

Inhaltsverzeichnis

1 Einführung

2 Gestik

3 Mimik

4 Biosignale

5 AusblickImage source: The Province (Link)


http://www.theprovince.com/entertainment/David+Hasselhoff+hopes+retro+Knight+Rider+movie/7525844/story.html

MotivationVideobasierte Messung von ...

7 Biometrischen Charakteristika„ ...Meßdaten, die ein vereinfachtes Modell des vermessenen Menschen darstellen,können wie andere Daten auch vom Computer gespeichert, komprimiert, übertragenund mit vorher gespeicherten biometrischen Daten verglichen werden.“ — CCC e.V.

→ Einmaligkeit und Konstanz des Charakteristikums notwendig→ Siehe dazu den Talk von starbug auf dem 31c3:

Gefahren von Kameras für (biometrische) Authentifizierungsverfahren

3 Biosignalen„ Biosignale sind Signale, die von biologischen Systemen (Organismen,Organsystemen, Einzelorganen oder isolierten Geweben) mithilfe von Sensorenabgeleitet werden.“ — [Lip98]

→ Einmaligkeit und Konstanz nicht gegeben

... mit handelsüblichen KamerasNicolai Spicher, Christopher Brumann chaos.cologne 4 / 26

http://www.ccc.de/de/biometrie

http://media.ccc.de/browse/congress/2014/31c3_-_6450_-_de_-_saal_1_-_201412272030_-_ich_sehe_also_bin_ich_du_-_starbug.html



















Kontaktbasierte Messverfahren

I Elektroenzephalografie (EEG)Nichtinvasive Messung der elektrischen Aktivität des Gehirns

I Elektrokardiografie (EKG)Nichtinvasive Messung der elektrischen Aktivität des Herzens

I Elektromyografie (EMG)Invasive Messung der elektrischen Aktivität der Muskeln

I Elektrookulografie (EOG)Nichtinvasive Messung der elektrischen Aktivität des Auges

I Pulsoxymetrie (PPG)Nichtinvasive Messung der Sauerstoffsättigung des Blutes

EKG+PPG PPG EMG EEG + EOG

Quelle: https://commons.wikimedia.org/


https://commons.wikimedia.org/


NachteileI Kostenintensive Hard- und Software notwendigI Verfahren in gewissen Kontexten nicht einsetzbar

z.B. Patienten nicht kompatibel oder kooperativ

I Größtenteils zeitintensive VerkabelungBeispiel EKG: Umfasst meistens 12 Elektroden welche direkten Hautkontaktbenötigen → Einsatz von Kontaktgel und unter Umständen Enthaarung nötig

I Fachpersonal notwendigFür Verkabelung MTA notwendig, invasive Verfahren nur von Arzt durchführbar

→ Videobasierte Verfahren können einige dieser Nachteile lösen→ Darüber hinaus lassen sich Fragestellungen beantworten,

welche den herkömmlichen Biosignalbegriff übersteigen (z.B.Messung von Gestik und Mimik)



NachteileI Kostenintensive Hard- und Software notwendigI Verfahren in gewissen Kontexten nicht einsetzbar

z.B. Patienten nicht kompatibel oder kooperativ

I Größtenteils zeitintensive VerkabelungBeispiel EKG: Umfasst meistens 12 Elektroden welche direkten Hautkontaktbenötigen → Einsatz von Kontaktgel und unter Umständen Enthaarung nötig

I Fachpersonal notwendigFür Verkabelung MTA notwendig, invasive Verfahren nur von Arzt durchführbar

→ Videobasierte Verfahren können einige dieser Nachteile lösen→ Darüber hinaus lassen sich Fragestellungen beantworten,

welche den herkömmlichen Biosignalbegriff übersteigen (z.B.Messung von Gestik und Mimik)


Gestenerkennung”A gesture is a motion of the body that contains information. Wavinggoodbye is a gesture.” — [KH90]

I Die automatisierte Erkennung von menschlichen Gesten isteine bereits etablierte Technologie

I Beispielhafte Produkte: Smartphones, -TVsI Für den Heimgebrauch: Microsoft Kinect

→ v1) IR Tiefensensor v2) Time-of-flight Kamera→ SDK erlaubt skelettales Tracking und Gestenerkennung→ Workshop gestern: ”Grasp the edge without even touching”

Quelle: Microsoft 2015 (Link) Quelle: Space-X 2013 (Link) Quelle: Ziicon 2013 (Link)


http://chaos.cologne/Fahrplan/events/6614.html

http://www.youtube.com/watch?v=hglZb5CWzNQ

http://www.youtube.com/watch?v=xNqs_S-zEBY

http://www.youtube.com/watch?v=pbTuuKK38-c



I Beispielhafte Produkte: Smartphones, -TVs

I Für den Heimgebrauch: Microsoft Kinect→ v1) IR Tiefensensor v2) Time-of-flight Kamera→ SDK erlaubt skelettales Tracking und Gestenerkennung→ Workshop gestern: ”Grasp the edge without even touching”



























Prinzipielle Funktionsweise

Quelle: [PSH97]


MimikerkennungI Prinzipielle Fragestellung wie bei Gestenerkennung, aber:

→ Intensitäten deutlich kleiner→ Es lassen sich auch Anzeichen für Emotionen messen

Quelle: [Ekm72]

I Algorithmen zurGesichtserkennungexistieren zahlreich, z.B.Viola Jones Algorithmus

I Weiterhin gibt es vieleAlgorithmen für spezielleAnwendungen: z.B.Lidschlag, Blickrichtung, ... Quelle: CV Dazzle (Link)


http://cvdazzle.com/

MimikerkennungI Prinzipielle Fragestellung wie bei Gestenerkennung, aber:

→ Intensitäten deutlich kleiner→ Es lassen sich auch Anzeichen für Emotionen messen

Quelle: [Ekm72]

I Algorithmen zurGesichtserkennungexistieren zahlreich, z.B.Viola Jones Algorithmus

I Weiterhin gibt es vieleAlgorithmen für spezielleAnwendungen: z.B.Lidschlag, Blickrichtung, ... Quelle: CV Dazzle (Link)


http://cvdazzle.com/

Mimikerkennung

I Lösung im Kinect SDK:→ Detektion markanter Punkte im Gesicht

Quelle: Microsoft (Link)

I Beispielhafte Anwendungen→ Adaptives Scheinwerferlicht angepasst anBlickrichtung (Pressemeldung Opel April 2015)→ Emotionen des Trägers und Umfeldes durchBrille (Microsoft Patent April 2015)→ Blickrichtung des Fahrers in RichtungRückspiegel, automatische Aktivierung desHeckscheibenwischers (Jaguar Land RoverPatent März 2015)

Quelle: Smart Eye (Link)


https://msdn.microsoft.com/en-us/library/jj130970.aspx

https://www.youtube.com/watch?v=0sX8FrqSV1o

Mimikerkennung

I Lösung im Kinect SDK:→ Detektion markanter Punkte im Gesicht

Quelle: Microsoft (Link)

I Beispielhafte Anwendungen→ Adaptives Scheinwerferlicht angepasst anBlickrichtung (Pressemeldung Opel April 2015)→ Emotionen des Trägers und Umfeldes durchBrille (Microsoft Patent April 2015)→ Blickrichtung des Fahrers in RichtungRückspiegel, automatische Aktivierung desHeckscheibenwischers (Jaguar Land RoverPatent März 2015)

Quelle: Smart Eye (Link)


https://msdn.microsoft.com/en-us/library/jj130970.aspx

https://www.youtube.com/watch?v=0sX8FrqSV1o

Biosignale

I Es lassen sich auch Signale jenseits derSichtbarkeit für einen menschlichenBetrachter messen

I Durch die minimale Intensität dieserSignale sind diese jedoch starkrauschanfällig

I Hierbei handelt es sich um Biosignale imeigentlichen Sinn: Atmung, Herzschlag,Sauerstoffsättigung, ...

I Diese Signale können Informationen überden Gesundheitszustand des gemessenenbiologischen Systems enthalten

Quelle: [WRS+12] (Link)


http://people.csail.mit.edu/mrub/vidmag/

Biosignale

I Es lassen sich auch Signale jenseits derSichtbarkeit für einen menschlichenBetrachter messen

I Durch die minimale Intensität dieserSignale sind diese jedoch starkrauschanfällig

I Hierbei handelt es sich um Biosignale imeigentlichen Sinn: Atmung, Herzschlag,Sauerstoffsättigung, ...

I Diese Signale können Informationen überden Gesundheitszustand des gemessenenbiologischen Systems enthalten

Quelle: [WRS+12] (Link)



Prinzipielle Funktionsweise

Quelle: [VSN08]


Messung: Aktivität des Herzens durch...

I Farbveränderungen der HautLichtabsorbierende Komponenten im Blut sind inAbhängigkeit der Phase des Herzschlagesunterschiedlich stark vorhanden → Veränderungder reflektierten Strahlung → Messung derminimalen Veränderung der Hautfarbe Quelle: [KSH95]

I Bewegung des KopfesBei jedem Herzschlag wird Blut vom Herz zumKopf über Halsschlagader gepumpt → Messungder minimalen Bewegung des Kopfes

Quelle: [BDG13]


Messung: Aktivität des Herzens durch...

I Farbveränderungen der HautLichtabsorbierende Komponenten im Blut sind inAbhängigkeit der Phase des Herzschlagesunterschiedlich stark vorhanden → Veränderungder reflektierten Strahlung → Messung derminimalen Veränderung der Hautfarbe Quelle: [KSH95]

I Bewegung des KopfesBei jedem Herzschlag wird Blut vom Herz zumKopf über Halsschlagader gepumpt → Messungder minimalen Bewegung des Kopfes

Quelle: [BDG13]


Messung: Atmung

I Atmung ist theoretisch an diversenStellen des Körpers messbar (Mund,Nase, Brustkorb)

I Die Messung des Brustkorbes hat sichbisher am stabilsten herausgestelltWährend des Atemzyklus dehnt sich die Lungeaus → Brustkorb hebt und senkt sich → Lässtsich direkt oder indirekt (Beleuchtung) messen


Anwendungen: Mobile Applikationen

I Seit einigen Jahren gibt es diverse”Gesundheits Apps” welche die Messungder Herz- und Atemrate erlauben

Werbevideo kommerzielle App (Link)

I Wie bei vielen biometrischen Systemhaben Stichproben von uns hier zuzweifelhaften Ergebnissen geführt...

I Prinzipielle Herausforderungen:I Bewegung der Kamera und des ObjektsI Niedrige oder wechselnde BeleuchtungI Andere Bewegungen können fälschlich

als Atmung oder Puls angenommenwerden


https://www.youtube.com/watch?v=LLDF0Cur9mk

Anwendungen: Mobile Applikationen

I Seit einigen Jahren gibt es diverse”Gesundheits Apps” welche die Messungder Herz- und Atemrate erlauben

Werbevideo kommerzielle App (Link)

I Wie bei vielen biometrischen Systemhaben Stichproben von uns hier zuzweifelhaften Ergebnissen geführt...

I Prinzipielle Herausforderungen:I Bewegung der Kamera und des ObjektsI Niedrige oder wechselnde BeleuchtungI Andere Bewegungen können fälschlich

als Atmung oder Puls angenommenwerden


https://www.youtube.com/watch?v=LLDF0Cur9mk

Anwendungen: Monitoring im med. Umfeld

I Messung der Herzrate innerhalb einer Neugeborenenstation

I Messung der Herzrate innerhalb eines MRT und Triggerungder Bilderzeugung

I Messung der Herz- und Atemrate während Einsatz währendDialyse

Quelle: [AJC+13] Quelle: [TVG+14]


Anwendungen: Verstärkung der Signale in Videos

I Die Messung von Biosignalen erlaubt es auch diese für einenMenschen sichtbar zu machen

Quelle: [WRS+12] (Link) Quelle: [WRS+12] (Link)




Ausblick: Weitere mögliche Kameramodelle

I HochgeschwindigkeitskamerasI PhotodiodenI Infrarot- bzw. WärmebildkamerasI Handykameras → Direktes Auflegen des Fingers

Quelle: Samsung (Link) Quelle: [AHJ+11]

Quelle: [CAAvL10]


http://www.samsung.com/global/microsite/galaxys5/features.html

Ausblick: Mögliche zukünftige Anwendungen

I ”Aufwertung” der gemessenen Biosignale zu höherwertigenAussagen, z.B. über Emotionen oder Gesundheitszustand:

I Durchblutung des Kopfes bei Migräne

Quelle: [ZTN+13]

I Vermessung der Achillessehne

Quelle: Prof. Dr. Markus Kukuk, FH Dortmund





Quelle: [ZTN+13]







Quelle: [ZTN+13]




Ausblick: Und ganz ohne Mensch...?

Quelle: [DRW+14] (Link)


http://people.csail.mit.edu/mrub/VisualMic/

Source: Comcast (Link)

Danke für die Aufmerksamkeit - Fragen?


http://xfinity.comcast.net/blogs/tv/2011/05/03/david-hasselhoff-dropped-from-another-talent-show/

Literatur I

Abbas K Abbas, Konrad Heimann, Katrin Jergus, ThorstenOrlikowsky, and Steffen Leonhardt, Neonatal non-contactrespiratory monitoring based on real-time infraredthermography, BioMedical Engineering OnLine 10 (2011),no. 93, http://www.biomedical-engineering-online.com/content/10/1/93.Lonneke A.M. Aarts, Vincent Jeanne, John P. Cleary, C. Lieber,J. Stuart Nelson, Sidarto Bambang Oetomo, and WimVerkruysse, Non-contact heart rate monitoring utilizing cameraphotoplethysmography in the neonatal intensive care unit - apilot study, Early Human Development 89 (2013), no. 12,943?948.


http://www.biomedical-engineering-online.com/content/10/1/93

http://www.biomedical-engineering-online.com/content/10/1/93

Literatur II

Guha Balakrishnan, Frédo Durand, and John Guttag, Detectingpulse from head motions in video, Conference on ComputerVision and Pattern Recognition (2013), 3430–3437,https://www.youtube.com/watch?v=EhZXDgG9oSk.Giovanni Cennini, Jeremie Arguel, Kaan Aksit, and Arno vanLees, Heart rate monitoring via remote photoplethysmographywith motion artifacts reduction, Optics Express 18 (2010), no. 5.Abe Davis, Michael Rubinstein, Neal Wadhwa, GauthamMysore, Fredo Durand, and William T. Freeman, The visualmicrophone: Passive recovery of sound from video, ACMTransactions on Graphics (Proc. SIGGRAPH) 33 (2014), no. 4,79:1–79:10, http://people.csail.mit.edu/mrub/VisualMic/.


https://www.youtube.com/watch?v=EhZXDgG9oSk

http://people.csail.mit.edu/mrub/VisualMic/

Literatur III

Paul Ekman, Universals and Cultural Differences in FacialExpressions of Emotions, Nebraska Symposium on Motivation,1972, pp. 207–282.Gord Kurtenbach and Eric Hulteen, The Art ofHuman-Computer Interface Design, ch. Gestures inHuman-Computer Communication, pp. 309–317,Addison-Wesley, 1990.Elli Kohen, Rene Santus, and Joseph Hirschberg, Photobiology,1st ed., Elsevier, 1995.Hans-Gerd Lipinski, Einfuehrung in die medizintechnischeInformatik, Oldenbourg, 1998.


Literatur IV

Vladimir I. Pavlovic, Rajeev Sharma, and Thomas S. Huang,Visual Interpretation of Hand Gestures for Human-ComputerInteraction: A Review, IEEE Transactions on Pattern Analysisand Machine Intelligence 19 (1997), no. 7, 677–695.L Tarassenko, M Villarroel, A Guazzi, J Jorge, D A Clifton, andC Pugh, Non-contact video-based vital sign monitoring usingambient light and auto-regressive models, PhysiologicalMeasurement 35 (2014), no. 5, 807?831.Wim Verkruysse, Lars O Svaasand, and J Stuart Nelson,Remote plethysmographic imaging using ambient light, OpticsExpress 16 (2008), no. 26, 21434?21445,http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2717852/.


http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2717852/

Literatur V

Hao-Yu Wu, Michael Rubinstein, Eugene Shih, John Guttag,Frédo Durand, and William T. Freeman, Eulerian VideoMagnification for Revealing Subtle Changes in the World, ACMTransactions on Graphics 31 (2012), no. 4,http://people.csail.mit.edu/mrub/vidmag/.Nina Zaproudina, Victor Teplov, Ervin Nippolainen, Jukka A.Lipponen, Alexei A. Kamshilin, Matti Naerhi, Pasi A.Karjalainen, and Rashid Giniatullin, Asynchronicity of facialblood perfusion in migraine, PLOS One 8 (2013).



Documents

Messung von Biosignalen in Videos: Aktuelle Verfahren im Überblick