Mauricio Ferreiramalf@tecgraf.puc-rio.br

Sistemas de Vigilância

em Tempo Realde Pessoas e Carros

Motivação

• Pesquisa na área de Vigilância Eletronica tem crescido muito nos últimos anos.

• Câmeras de segurança cada vez mais populares.

Motivação

• Os sistemas atuais de vigilância eletrônica para domicílios utilizam sensores infra-vermelhos ou câmeras de monitoramento humano.

Motivação

• Número de câmeras instaladas ultrapassa a capacidade humana de analisar as imagens em tempo-real.

Motivação

• Aplicações de Vigilância poderiam automatizar tarefas humanas.

• Esses sistemas podem auxiliar nas tarefas de:– Alarme– Perseguição de objetos de interesse– Análise de multidões– Análise de tráfego automobilístico– Análise de pessoas de interesse– Detecção de ações potencialmente perigosas

Motivação

Técnicas de Segmentação de Movimento

• Objetivo: A partir de imagens de uma câmera, segmentar os objetos de interesse

(em movimento) de uma cena.

• Essas técnicas vêm sendo estudadas a mais de 20 anos.

• Diversas abordagens existem na literatura para tratar o problema.

• Sem solução definitiva, dependente da aplicação.

• Características: • Imagens Estáticas.• Câmeras monocromáticas de baixa resolução.• Tempo Real

Técnicas de Segmentação de Movimento

• Dificuldades:

– Mudanças na iluminação (posição, intensidade gradual / instantânea, sombras)

– Mudanças na movimentação (oscilação da câmera, objetos de alta freqüência)

– Mudanças na geometria do fundo

– Superfícies espelhadas

– Camuflagem

– Objetos em movimento que se tornam estáticos (carro estacionado)

Técnicas de Segmentação de Movimento

• Abordagens:

1. Subtração de Fundo

2. Estatística

3. Segmentação de pele

4. Diferenciação Temporal

5. Fluxo Óptico

(1) Subtração de Fundo

• Classe de técnicas que estimam um modelo de fundo para que os objetos de interesse sejam encontrados pela diferença simétrica com o quadro atual.

• Vantagens:– Simplicidade dos métodos– Boa recuperação da forma dos objetos

• Desvantagens:– Alto custo computacional de criar e manter o modelo de

fundo– Muito susceptível a alterações na iluminação

(1) Subtração de Fundo

• Método Trivial:– Técnica Chroma-Keying

• Métodos Reais:– Média– Mediana– Média Adaptativa– Mediana de um intervalo

Subtração de Fundo estimado pela MÉDIA[Velastin, 2001]

• Modelo de Fundo:

• Segmentação dos objetos de interesse:

• Vantagem: – Método rápido

• Desvantagens:– Depende do limiar escolhido– Não é robusto, depende da seqüência– A média é muito susceptível a valores discrepantes– Consome muita memória (n x w x h)

Subtração de Fundo estimado pela MEDIANA[Cucchiara, 2003]

• Modelo de Fundo:

• Segmentação dos objetos de interesse:

• Vantagem: – Mediana é robusta em relação a valores discrepantes

• Desvantagens:– Método não recursivo: Alto custo computacional de armazenamento– Continua dependente do limiar– Consome muita memória (n x w x h)

Subtração de Fundo estimado pela MÉDIA ADAPTATIVA[Heikkila, 1999]

• Modelo de Fundo:

• Segmentação dos objetos de interesse:

• Taxa de aprendizado (α):– Caso α seja baixo (perto de 0), o fundo irá se adaptar

muito lentamente as alterações de cena causando detecção de falso-positivos.

– Caso α seja alto (perto de 1), o fundo irá se adaptar rapidamente as alterações no cenário e objetos em movimento podem ser perdidos.

Subtração de Fundo estimado pela MÉDIA ADAPTATIVA[Heikkila, 1999]

• Pós-Processamento:1. Adaptar as mudanças bruscas de iluminação e variações no cenário:

- Se um pixel for marcado como “em movimento” mais que m nos últimos M quadros, então a manutenção do fundo será o próprio pixel de entrada.

2. Cenas de ambientes externos:

- Se um pixel mudar de estado de fundo para “em movimento” frequentemente, ele será incluido como fundo.

• Vantagens:– Técnica recursiva: Não existe a necessidade de manter um buffer de

memória para guardar o modelo do fundo.– Flexível a mudanças de iluminação e física.

• Desvantagens:– Determinar o valor de α

Subtração de Fundo estimado pela MEDIANA DE UM INTERVALO

• Modelo de Fundo:

• Segmentação dos objetos de interesse:

• Vantagens:– Não utiliza a taxa de aprendizado – Também se adapta às alterações de cenário e

iluminação– Resultado robusto e fácil de ser parametrizado

(1) Subtração de FundoResultados

(2) Abordagem Estatística

• Classe de técnicas que funcionam como a classe de subtração de fundo, porém permite que sejam contruídos modelos de fundo mais sofisticados baseados nas características individuais do pixel e de seus vizinhos.

• Vantagens:– Robustez a ruídos, sombras, alterações na iluminação e no modelo do

fundo– Populares

• Desvantagens:– Complexidade dos algorítmos – Custo computacional

(2) Abordagem Estatística

• Métodos:

– Gaussiana Simples (Pfinder)– SPfinder– Gaussiana Múltipla (MGM)– Predição Linear– W4

– Wallflower– LOTS– Eigenbackgrounds– Filtro de Kalman– Horprasert

– CMU– MIT– KidRooms– TI– SRI– Easy Living– M. Mirror– Cutler– Co-Ocurrence– Halevy– KDE– Monnet

Método W4

• Método Estudado:

– “W4: Real-Time Surveillance of People and Their Activities”

[ I. Haritaoglu, 2000]

- “What”, “Where”, “When” & “Who” O que elas estão fazendo?Onde elas estão?Quando elas interagem?Quem elas são?

Método W4

[Haritaoglu, 2000]

• Distribuição Bimodal

• Trabalha com imagens em tons de cinza

• Visível ou Infra-Vermelho

• Única câmera

• Preparado para ambientes externos

• Suporta fundos não estáticos

• Suporta mudanças na iluminação, baixa iluminação, ambientes noturnos

• Suporta treinamento com fundo não estático

Método W4

[Haritaoglu, 2000]

• Suporta modelos de fundo que não seja completamente estacionário. Ex.: Galhos de Árvores.

• Diferencia pessoas de outros objetos.

• Rastreia pessoas simultaneamente, mesmo que elas estejam movimentando juntas.

• Cria um modelo de aparência para cada pessoa durante a fase de rastreamento utilizado para identificar uma pessoa após a oclusão.

• Detecta e rastreia as principais partes do corpo humano: Cabeça, Mãos, Pés e Tronco.

• Determina se uma pessoa está carregando algum objeto e o segmenta para que possa se rastreado.

Método W4

Arquitetura

Método W4

• Etapa 1- Detecção de movimento (Fase de Limiar):

– Modelagem do Fundo / Treinamento

– Atualização do Modelo de Fundo

– Subtração de Fundo

Método W4

Modelagem do Fundo

• Modelado por pixel através do vetor:

- m(x)Maior valor do pixel x- n(x) Menor valor do pixel x- d(x) Maior diferença entre dois

quadros consecutivos

Método W4

Fase de Treinamento

• Duração média de 20 a 40 segundos.

• Treinamento com imagens estáticas leva um treinamento com sucesso com apenas 100 frames (+-3.3 segundos).

[ J. J. Júnior, C. R. Jung. S. R. Musse. "Background Subtraction and Shadow Detection in Grayscale Video Sequences“, 2005. ]

• Duas sub-fases:1. Filtro de Mediana por pixel:2. Montagem do vetor de fundo

Método W4

Fase de Treinamento – (1) Filtro de Mediana por pixel

• Possibilita filtrar os pixels estáticos dos pixels em movimento.

• Filtro da Mediana:

- V z(x) Intensidade do pixel no quadro z- λ(x) Mediana do pixel no treinamento- σ(x) Desvio padrão do pixel no

treinamento

Método W4

Fase de Treinamento – (2) Montagem do Vetor de Fundo

• A montagem do vetor de fundo ocorre apenas para os pixels estáticos filtrados na fase anterior.

Método W4

Fase de detecção de movimento – Fase de limiar

• O pixel de entrada é classificado segundo a expressão abaixo:

• Valor empírico: k=2

• du Mediana das maiores diferenças absolutas.

Método W4

Fase de detecção de movimento – Fase de limiar

• Problemas do modelo original:

– Falsos-Positivos

– Alto custo computacional para calcular a mediana para toda atualização de modelo de fundo

• Solução proposta:

Método W4

Fase de atualização do Modelo de Fundo

• Essa fase existe pois o método se adapta a mudanças no fundo ao longo do tempo.

• Para isso, durante a fase de tracking são construidos mapas de mudanças:– Mapa de suporte a detecção (gS)– Mapa de suporte ao movimento (mS)– Mapa histórico de mudanças (hS)

• Os mapas são zerados sempre que o modelo de fundo é atualizado.

Método W4

Fase de atualização do Modelo de Fundo – (1) gS

• Representa a quantidade de vezes que um pixel é classificado como fundo nos últimos N quadros.

Método W4

Fase de atualização do Modelo de Fundo – (2) mS

• Representa a quantidade de vezes que um pixel é classificado como em movimento nos últimos N quadros.

Método W4

Fase de atualização do Modelo de Fundo – (3) hS

• Representa o tempo passado (em número de quadros) desde a última vez que o pixel foi classificado como fundo.

Método W4

Fase de atualização do Modelo de Fundo

• Esses mapas são construídos para constituir os dois métodos da fase de atualização do modelo de fundo.

– “Pixel-Based” Atualiza o modelo para se adaptar a mudança de iluminação. Mapa: gS.

– “Object-Based” Atualiza o modelo para se adaptar a mudanças físicas do fundo. Mapas: gS, nS e Hs.

Método W4

Fase de atualização do Modelo de Fundo

• Além dos mapas, durante a fase de tracking são computados modelos de fundo separadamente para:

– Objetos em movimento

– Fundo

– Modelo de fundo anterior

Método W4

Fase de atualização do Modelo de Fundo

• Com posse desses modelos e dos mapas é possível encontrar o novo modelo de fundo.

• Valores empíricos: k=0.8 e r=0.1

Método W4

Fase de detecção de movimento – Fase de limiar

• Problema do modelo original:

– Atualização / Treinamento do modelo de fundo com muitos objetos em movimento

[ I. Huerta, D. Rowe, J.Gonzàlez & J.J. Villanueva. “Improving Foreground Detection for Adaptive Background Segmentation”, 2005. ]

Método W4

Fase de detecção de movimento – Fase de limiar

• Solução proposta:

Método W4

Fase de detecção de movimento – Fase de limiar

Método W4

Resultados Parciais

Método W4

Fase de detecção de movimento – Fase de limiar

• Outros problemas gerais do método:• Mudanças drásticas de iluminação. A

solução é retreinar todo o modelo de fundo caso 70% dos pixels sejam classificados como movimento (por ex.).

• O método não remove a sombra dos objetos. Solução:[ J. J. Júnior, C. R. Jung. S. R. Musse. "Background Subtraction and Shadow Detection in Grayscale Video Sequences“, 2005. ]

Método W4

Etapa 2

• Etapa 2 - Pós-Tratamento:

– Remoção de Ruídos– Filtro Morfológico– Análise Binária de Componentes Conexos

Método W4

Etapa 2 – Remoção de Ruídos

• Métodos Remoção de Ruídos:– Filtro da Mediana– Filtro Sigma– Filtro Gaussiano– Filtro “Amer”

Método W4

Etapa 2 – Operações Morfológicas

• Operações Morfológicas simples são utilizadas para remover os falsos-positivos da imagem.

• Essas operações são de “erosion” e “dilation”.

Método W4

Etapa 2 – BCCA

• Análise Binária de Componentes Conexos– “Connected Neighbors”– “Connected Sets”– “Region Growing”

• Tempo O(n Log(n))

Método W4

Etapa 3 - Classificador

• Etapa 3- Classificador dos objetos em movimento:

– O Método calcula as características Locais e globais das silhuetas

Método W4

Etapa 3 - Classificador

• Características Globais:– A partir de uma região classificada na etapa anterior,

é calculada a coordenada da Mediana.– A partir daí determina-se o eixo principal e a

centóide utilizando uma técnica PCA (Principal Component Analysis)

– O Eixo principal é utilizado para computar a orientação relativa das partes do corpo e sua postura.

Método W4

Etapa 3 - Classificador

• Características Globais:– A forma das silhuetas são representadas pelos seus

histogramas de projeção.

– É computado para cada frame a projeção X e Y do eixo principal (Fig.f e Fig.g)

Método W4

Etapa 3 - Classificador

• Características Locais:– Por causa da topologia do corpo humano, é

comumente econtrado que algumas partes do corpo se encontre nos pontos extremos ou na curvatura máxima da silhueta.

– O método analiza a forma da silhueta para encontrar os vértices “naturais” para serem candidatos a pedaços do corpo.

Método W4

Etapa 3 - Classificador

• Características Locais:– Dois métodos possíveis para encontrar esses

vértices:• Algorítmo recursivo de fecho convexo (“Graham Scan”)

para encontrar os vértices do fecho convexo e côncavo da silhueta Melhores resultados, Caro computacionalmente, Utilizado

apenas quando o algorítmo deseja encontrar as partes do corpo.• Detector de cantos baseado na curvatura da silhueta.

Calculado todo frame.

Método W4

Etapa 3 - Classificador

• Seres humanos têm um formato, aparência e movimentação bem distintos.

• Através de uma análise de silhueta, de perímetro, relação de aspecto, de movimentação dinâmica (velocidade, etc.) é possível distinguir humanos de outros objetos.

Método W4

Etapa 3 - Classificador

• A partir da análise do histograma de projeção vertical das silhuetas é possível diferenciar um grupo de pessoas de uma única pessoa. (Método SAD)

Método W4

Arquitetura

Cronograma

• Tarefas realizadas

– Comparações dos métodos de segmentação existentes na literatura.

– Implementação parcial do modelo W4

• Modelagem do Fundo / Treinamento.• Atualização do Modelo de Fundo.• Subtração de Fundo.• Modificações no método original para aumento de

performance e resultados.

Cronograma

• Tarefas a serem implementadas para defender a dissertação em Agosto/2007

– Métodos Remoção de Ruídos– Operações Morfológicas– Análise Binária de Componentes Conexos– Remoção de Sombras– Classificador dos objetos em movimento– Tracking de pessoas isoladas– Detecção dos pedaços do corpo humano– Detecção de objetos carregados por pessoas– Segmentação de pessoas em grupos– Tracking de pessoas em grupos

Referências Principais

• [1] J. Amat, A. Casals, and M. Frigola. Stereoscopic system for human body tracking in natural scenes. In Proceedings. IEEE International Workshop on Modelling People, 1999.

• [2] Junior Barrera, Gerald Jean Francis Banon, Roberto de Alencar Lotufo, and Roberto Hirata Jr. Mmach: A mathematical morphology toolbox for khorossystem. Journal of Eletronic Imaging, 7(1), January 1998.

• [3] J. L. Barron, D. J. Fleet, and S. S. Beauchemin. Performance of optical flowb techniques. International Journal of Computer Vision, 12(1), February 1994.

• [4] Caviar: Context aware vision using image-based active recognition. http://homepages.inf.ed.ac.uk/rbf/CAVIAR/.

• [5] Robert T. Collins, Alan J. Lipton, and Takeo Kanade. Introduction to the special section on video surveillance. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(8), August 2000.

• [6] Robert T. Collins, Alan J. Lipton, Takeo Kanade, Hironobu Fujiyoshi, David Duggins, Yanghai Tsin, David Tolliver, Nobuyoshi Enomoto, Osamu Hasegawa, Peter Burt, and LambertWixson. A system for video surveillance and monitoring. Technical report, The Robotics Institute - Carnegie Mellon University- Pittsburgh - USA and The Sarnoff Corporation - Princepton - USA, 1999.

• [7] Edward R. Dougherty and Roberto A. Lotufo. Hands-On Morphological Image Processing. SPIE Press, Bellingham, WA, USA, 2003.

• [8] C. Finch. Special Effects: Creating Movie Magic. Abbeville Press, 1984.

• [9] R. B. Fisher. Pets04 surveillance ground truth data set. In Proc. Sith IEEEInt. Work. on Performance Evaluation of Tracking and Surveillance, May 2004.

• [10] R. C. Gonzalez and R. E. Woods. Digital Image Processing. Addison-Wesley Publishing Company, second edition, 2002.

• [11] Daniel Grest, Jan-Michael Frahm, and Reinhard Koch. A color similaritymeasure for robust shadow removal in real time. In Vision, Modeling, and Visualization, 2003, Munich, Germany, November 2003.