REGISTRO AUTOMÁTICO
DE IMAGENS
Dmitry Fedorov
Dr. Leila M. G. Fonseca
INSTITUTO NACIONAL DE PESQUISAS ESPACIAIS,
São José dos Campos, 2003.
Fases de registro
Registro pode ser realizado nas seguintes etapas:
1. Obtenção de pontos de controle
2. Determinação da função de transformação
3. Interpolação
Como registro é feito?
Geralmente, o registro é feito manualmente
Através de vários pontos de controle modela-se a função de
distorção entre as duas imagens, que é usada para corrigir a
imagem de ajuste
pontos de controle
Obtenção de Pontos de controle
Obtenção de pontos de controle inclui duas etapas:
1. Extração de feições (pontos, cantos, linhas,
contornos): Segmentação, transformada Wavelet,
Optical Flow...
Obtenção de Pontos de controle
2. Casamento das feições extraídas
Métodos de correlação, função de custo, códigos em
cadeia, geometria...
Obtenção de Pontos de controle
1K
0l
1L
0m
1K
0l
1L
0m
2
ij
2
z
1K
0l
1L
0m
ijz
m)(l,Sm)(l,W
m)(l,m)S(l,W
j)R(i,Correlação Cruzada Normalizada:
janelas mais parecidas tem R(i,j) máximo
Coeficiente de correlaçãoC(i,j) em escala absoluta [-1, 1]
1K
0l
1L
0m
1K
0l
1L
0m
2
s
2
ij
2
w
2
z
1K
0l
1L
0m
sijwz
)-m)(l,(S)-m)(l,(W
)-m)(l,)(S-m)(l,(W
j)C(i,
Detecção de similaridade seqüencial
1
0
1
0
),(),(),(K
l
L
m
ijz mlSmlWjiE
Sij – Janela da imagem de referência;
Wz – Janela da imagem de ajuste
w - média da janela W;
s - média da janela W.
Obtenção de Pontos de controle
Extração de Feições usando LoG
2
22
2
2
22
4 21
1),(
yx
eyx
yxLoG
-4
0-22
1
0
-1
-2
-3
YX
x 10 -3
0-2
-42
-4
Obtenção de Pontos de controle
Casamento de feições usando códigos em cadeia
Números representam ângulos,
Unidade representa um ângulo de 45°,
Ex: 3 -> próximo pixel esta a nordeste
(135°).
C1: 11122211334
C2: 11112211133
Comparar por correlação
Obtenção de Pontos de controle
Extração de feições usando segmentação
21
21
21
21
21
212
1
21
21
cc
cc
rr
rr
pp
pp
aa
aa
ai – Área da região i (polígono);
pi – Extensão do perímetro da região i;
ri e ci - Largura e comprimento do
retângulo delimitante da região i.
Função de transformação
A transformação espacial
que modela a distorção
entre as imagens é
calculada através do
conjunto de pontos de
controle
Maneira tradicional para estimar os parâmetros da transformação
é através da solução de mínimos quadrados
23
13
2221
1211
a
a
y
x
aa
aa
Y
XA transformação mais
utilizada é a Afim:
T
Função de transformação
Rotação, escala e translação:
Translação
dy
dx
y
xr
Y
X
cossin
sincos
EscalonamentoRotação
Problemas de registro de imagens
• Grande número de métodos automáticos são
desenvolvidos por causa do aumento da geração e
utilização das imagens
• Um único método não funciona adequadamente para
diferentes tipos de dados
• Sem interferência do especialista os métodos
automáticos apresentam dificuldades na geração de
resultados corretos e confiáveis
Sistema de registro
Registro
Mosaico
Verificação de consistência e
edição dos pontos de controle.
Escolha do método de mosaico
Escolha o método de registro.
RESULTADO Avaliação do resultado.
SISTEMA USUÁRIO
Ima
ge
ns
Ima
ge
m
Pontos de controle
Transformação associada
Resultados de testes de aceitação
Sistema de registro
Código do sistema foi escrito em C++ utilizando
bibliotecas livres (Qt, libtiff, libjpeg)
Foi enfatizada a utilização em plataformas diferentes
Três métodos de registro automático foram
implementados:
• método baseado em optical flow e geometria
• método baseado na transformação wavelet
• método baseado em contornos
Método padrão
Optical Flow
imagem1 imagem 2
Extração de pontos utilizando máximos locais
pontos 1 pontos 2
Casamento preliminar utilizando janelas rotacionadas e
normalizadas
pontos
casados
Refinamento dos casamentos utilizando geometria
imagem 1 imagem 2
O método baseado em
optical flow e geometria
É o mais lento, porém é
o mais robusto e aceita
uma grande variedade
de dados de entrada
Método baseado em wavelets
Pré-processamento
imagens
de
entrada
Decomposição wavelet
n=1,...,L
L
n Extração de feições
Extração de feições
Casamento de feições
Verificação de
consistência dos
casamentos
Função de transformação
inicial
Casamento inicial
Casamento de feições
Refinamento de
parâmetros do modelo de
distribuição
Função de transformação
final
Interpolação
Imagens registradas
O método baseado em
wavelets é importante
para o registro de
imagens de radar onde
identifica uma boa
quantidade de pontos
de controle
Apresenta melhor
precisão e eficiência de
registro do que o
método padrão
O método baseado em contornos
Apresenta processamento
rápido, porém só pode ser
utilizado em imagens que
possuem um número
suficiente de contornos
fechados bem definidos
É adequado para o registro de
imagens de diferentes
sensores pois o método de
casamento de feições não
depende da resposta
espectral
imagem1 imagem 2
Extrair contornos utilizando código em cadeia
contornos
1
contornos
2
Casar contornos utilizando código em cadeia
Refinar os casamentos utilizando geometria
contornos casados
Extrair pontos utilizando centroides dos contornos
pontos
casados
contornos casados
LoG
imagem 1 imagem 2
Interpolação
O resultado pode ser:
imagem registrada
mosaico de imagens
O mapeamento de
NCs é realizada
usando interpolação:
bilinear
vizinho mais
próximo
Interface gráfica do sistema
Três passos lógicos:
1) Dados e pre-processamento
2) Busca de pontos de controle
3) Geração da imagem resultante
Controle das janelas
Interface gráfica do sistema
1) Identificação de pontos
(auto, semi-auto, manual)
2) Transformação
(translação, RST, afim, etc.)
3) Identificar pontos!
Busca de pontos de controle
Interface gráfica do sistema
1) Imagem resultado
(mosaico, registro separado)
2) Sobreposição
(normal, interlaçado, blended)
3) Interpolação
(vizinho mais próximo, Bilinear)
Geração da imagem resultante
4) Equalização
Ferramentas do sistema
Pre-processamento:
Modificar resolução,
escolher a banda, realçar...
Edição de pontos de controle:
Remover, gravar ou carregar,
mostrar nas imagens...
Ferramentas do sistema
Registro de áreas retangulares aproximadamente
correspondentes selecionadas por operador
Testes do sistema
O sistema foi testado operacionalmente por vários
pesquisadores em:
• Instituto Nacional de Pesquisas Espaciais
• Universidade da Califórnia, Santa Barbara
• Office of Naval Research, China Lake Naval Air Warfare
Center, China Lake, Califórnia
Testes exaustivos foram executados com imagens:
• Radar
• Multi-sensores
• Alta resolução
• Seqüências de vídeo
Testes do sistema
Imagens Método wavelets Método padrão
Radar, JERS-1
(10/10/95) + (08/13/96)
Amazônia, floresta
(512*512)(512*512)
Tempo: 3185ms
C.P.: 53
RMSE: 0.7648
Tempo: 6099ms
C.P.: 6 (de 300)
RMSE: 1.0000
SPOT band 3 + TM band 4
(08/08/95) + (06/07/94)
Cidade Brasília
(512*512)(512*512)
Tempo: 3325ms
C.P.: 29
RMSE: 0.8710
Tempo: 5889ms
C.P.: 6 (de 300)
RMSE: 1.8257
TM band 5
(06/07/92) + (07/15/94)
Amazônia, floresta
(512*512)(512*512)
Tempo: 3104ms
C.P.: 188
RMSE: 0.5359
Tempo: 2914ms
C.P.: 4 (de 128)
RMSE: 0.7071
Comparação entre os métodos padrão e wavelets:
Testes do sistema
Comparação entre os métodos padrão e contornos:
Imagens Método
contornos
Método padrão
Landsat, composição 3,4,5
Litoral
(1390*1500)(1200*1650)
Tempo: 2604ms
C.P.: 3
RMSE: 0.8165
Tempo: 6008ms
C.P.: 5 (de 128)
RMSE: 1.3416
Fotos aéreas
Área urbana, Bay area, Califórnia
(1283*2352)(1547*2284)
Tempo: 4566ms
C.P.: 32
RMSE: 1.4790
Tempo: 9183ms
C.P.: 22 (de 128)
RMSE: 2.0226
Fotos aéreas coloridas
Área urbana, Santa barbara, Califórnia
(306*386)(335*472)
Tempo: 521ms
C.P.: 6
RMSE: 0.4082
Tempo: 1392ms
C.P.: 21 (de 128)
RMSE: 1.2536
Imagens de florestas
Imagens da floresta amazônica, TM na banda 5,
adquiridas em diferentes datas, 07/06/1992 e 15/07/1994
Imagens de Radar
Imagens da floresta amazônica, JERS-1, adquiridas em
diferentes datas, 10/10/1995 e 08/13/1996
Imagens Landsat
Mosaico de duas imagens Landsat de datas diferentes. Foi
gerado sem equalização em 3 minutos e 50 segundos
Detalhe do registro
Mosaico de duas imagens Landsat de datas diferentes. Foi
gerado com equalização em 5 minutos e 45 segundos
Imagens do LANDSAT 7 PAN - CBERS CCD
R: PAN
G,B: CCD 4
Registro automático usando
retângulos
Composição colorida das imagens registradas
R-PAN, G-4CCD, B-3CCD
Mosaicos de seqüências de vídeo
Mosaicos registrados
das seqüências de
640x480 pixels
14 visíveis
6 termais
Conclusão
• O sistema foi implementado e testado
• Existem binários para Windows, Linux, Solaris Sparc
• Desenvolvida a página WEB do sistema:
http://regima.dpi.inpe.br/
• Desenvolvida a versão demo para WEB:
http://regima.dpi.inpe.br/demo/
http://nayana.ucsb.edu/registration/
Agradecimentos
Várias instituições participaram no desenvolvimento:
• Divisão de Processamento de Imagens, INPE
• Divisão de Sensoriamento Remoto, INPE
• Vision Lab, Universidade da Califórnia, Santa Barbara
• China Lake Naval Air Warfare Center, Califórnia
O trabalho foi financiado pelas instituições:
• CAPES
• SELPER Brasil
• Office of Naval Research, China Lake Naval Air
Warfare Center
• CalTrans