Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia Visor Video Surveillance Online Repository Dott. Roberto Vezzani Imagelab – Dip. di Ingegneria

Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia

Visor Visor Video Surveillance Online RepositoryVideo Surveillance Online Repository

Dott. Roberto Vezzani Imagelab – Dip. di Ingegneria dell’InformazioneUniversità di Modena e Reggio Emilia


Laboratorio di Pattern Recognition, Visione Artificiale e Multimedia

•Analisi di video per videosorveglianza sia indoor che outdoor, applicazioni domotiche,

sistemi di trasporto intelligenti

• Strumenti e tecniche multimediali per annotazione in video digital library, transcodifica di

video e content-based video adaptation

• Analisi di immagini per automazione industriale

•Analisi di immagini per medical imaging

Imagelab Dipartimento di Ingegneria

dell’Informazione

Università di Modena e Reggio Emilia.


Laboratorio di Pattern Recognition, Visione Artificiale e Multimedia

Imagelab Dipartimento di Ingegneria

dell’Informazione

Università di Modena e Reggio Emilia.

STAFFProf. Rita Cucchiara (Professore ordinario)

Ing. Andrea Prati (Ricercatore)Ing. Costantino Grana (Ricercatore)

Ing. Roberto Vezzani (Assegnista di Ricerca)Ing. Simone Calderara (Dottorando)Ing. Giovanni Gualdi (Dottorando)Ing. Borghesani Daniele (Collaboratore)

Ing. Rudy Melli (Spin-off industriale Vision-E)Ing. Emanuele Perini (Spin-off industriale Vision-E)Ing. Giuliano Pistoni (Spin-off industriale Vision-E)


Analisi di traffico veicolareAnalisi di traffico veicolare

Progetti con:•UCSD – San

Diego•Traficon N.V.

(Belgio)•Digitek spa

Progetti con:•UCSD – San

Diego•Traficon N.V.

(Belgio)•Digitek spa


Sorveglianza di personeSorveglianza di persone

Progetti:•Fondazione Cassa

Risparmio di Modena•NATO - Israele (Besafe)

•FreeSurf (MUR)

Progetti:•Fondazione Cassa

Risparmio di Modena•NATO - Israele (Besafe)

•FreeSurf (MUR)


Applicazioni forensiApplicazioni forensi

Collaborazioni con Polizia di Modena

Carabinieri di Sassuolo

Collaborazioni con Polizia di Modena

Carabinieri di Sassuolo


Progetti di ricerca @ ImagelabProgetti di ricerca @ Imagelab

L.A.I.C.A.: Laboratorio di Ambient Intelligence per una Città Amica (2004-2006) – Videosorveglianza di parchi cittadini - Comune di Reggio Emilia

BESAFE: Behavioral lEarning in Surveilled Areas with Feature Extraction (2006-2008) – NATO – collaborazione con Israele per controllo di comportamenti anomali

FreeSURF: FREE SUrveillance in a pRivacy-respectFul way (2006-8) – MUR (Unimore, Unifi, Unipr, ITC-irst) – Tecniche innovative di visione artificiale per la sorveglianza

VidiVideo: Interactive semantic video search with a large thesaurus of machine-learned audio-visual concepts (2007-2009) – Sottoprogetto VISOR (Unimore – IIT Bombay, India)



VISOR: VISOR: Video Surveillance Online RepositoryVideo Surveillance Online Repository

Visor Visor Video Surveillance Video Surveillance Online RepositoryOnline Repository

Università di Modena e Reggio

Emilia

Indian Institute of Technology,

Bombay

•Intelligent Systems Lab (Amsterdam) •Informatics and Telematics Institute (Greece)•Institute for Systems and Computer Engineering (Portugal)•Centre for Vision, Speech and Signal Processing (University of Surrey UK)•Media Integration and Communication Centre (Università degli Studi di Firenze)•Computer Vision Center (Barcelona)•Sound & Vision, the Dutch national audio and video archive (The Netherlands)•FDR, Fondazione Rinascimento Digitale (Firenze)

Interactive semantic video search with a large thesaurus of machine-learned audio-visual concepts


Un problema reale: la mancanza di dati di VideosorveglianzaUn problema reale: la mancanza di dati di Videosorveglianza

• Per valutare la bontà di un sistema: fase di test, ovvero sperimentazione su una grande mole di dati (video)

• Validazione e valutazione dei risultati: servono i dati reali/attesi (annotazioni)

• Confronto di prestazioni: servono video comuni e dati in un formato comune.

• Molte tecniche richiedono una fase di “addestramento”

NIST – Trecvid I-Lids (Polizia inglese) PETSS

No videosorveglianza Non libera Limitata


Visor - Visor - VIdeoVIdeo Surveillance Online Repository Surveillance Online Repository

È una collezione condivisa di video relativi alla sorveglianza

Contiene annotazioni sia manuali che automaticheFornisce tali informazioni in un formato comune di annotazione(formato Viper – University of Maryland)

Per ogni video….


Formato Viper e Viper-GTFormato Viper e Viper-GT


Contenuto delle AnnotazioniContenuto delle Annotazioni

Physica l Object

Context

Content

Action/EventConcept

Persone, oggetti fissi, oggetti mobili individuati nella scena

Azioni di o tra persone, interazioni, eventi

Autore del video, caratteristiche della telecamera, località, orario


Ricerca di video basata sul contenutoRicerca di video basata sul contenuto


Il rispetto della PrivacyIl rispetto della Privacy

• Accesso protetto consentito solo ad utenti registrati• Abilitazione dell’account moderata• Alcuni contenuti video modificati per eliminare informazioni utili

alla identificazione• Materiale a solo uso di ricerca• Responsabilità a carico

del proprietario (uploader) del video (cfr. youtube)

• Collaborazione in atto con la Facoltà di Giurisprudenza• Centro Interdipartimentale per la Sicurezza (Modena)


System Features – MemorizzazioneSystem Features – Memorizzazione

• Video– Supporto di diversi formati video– Indicizzazione con parole chiave– Informazioni video (autore, data di creazione, …)

– Caratteristiche del sistema di acquisizione (Tipo di telecamera, infrarossi,

telecamera statica/mobile, dati di calibrazione, …)

• Annotazioni– Memorizzate su Database– Divise in due categorie: automatiche e manuali– Completamente personalizzabile


• Video– Anteprima– Screenshot singolo– Sommario (sequenza dei frame salienti)

– Accesso protetto– Ricerca per parola chiave,

per contenuto, per metadati

• Annotazioni– Importazione ed Esportazione in diversi formati (Viper, MPEG7, custom)

– Esportazione di una sottoparte della annotazione– Unione di differenti annotazioni provenienti da differenti autori

System System Features – Gestione Features – Gestione


• Usergroup di quanti ricercano nell’ambito della videosorveglianza

• Creazione di un Forum– Topic generici sulla

videosorveglianza– Topic su VISOR (es:

richieste di video, annotazioni, commenti, suggerimenti, ecc…)

– Un topic per ogni video

Usergroup e ForumUsergroup e Forum


Un invito per tutti…

• Contribuire alla nascita e alla espansione del portale condividendo i propri video (e le proprie annotazioni)

• Unirsi alla comunità, anche tramite il forum creato• Inviare suggerimenti, critiche, richieste…

Ing. Roberto VezzaniDipartimento d’Ingegneria dell’informazione, Modena [email protected] +39-059-2056270

Prof. Rita CucchiaraDipartimento d’Ingegneria dell’informazione, Modena [email protected] +39-059-2056136

http://imagelab.ing.unimore.it/visor


Ing. Roberto VezzaniDipartimento d’Ingegneria dell’informazione, Modena [email protected] +39-059-2056270

Prof. Rita CucchiaraDipartimento d’Ingegneria dell’informazione, Modena [email protected] +39-059-2056136

http://imagelab.ing.unimore.it/visor

Visor Visor Video Surveillance Online RepositoryVideo Surveillance Online Repository


Grazie dell’attenzione


•XML based•Config and data are separated•Widely diffused•Easy to use•Clear•Documentation•Compact•Extensible•Annotation Tool (VIPER-GT)

Annotation Format – ViperAnnotation Format – Viper

Documents

Roberto Vezzani - Imagelab – Università di Modena e Reggio Emilia Visor Video Surveillance Online Repository Dott. Roberto Vezzani Imagelab – Dip. di Ingegneria