Edicao tridimensional de fotografias arquitetonicas

Beatriz Silva Villa Alvarez

Orientador: Paulo Cezar Pinto Carvalho

Co-orientador: Marcelo Gattass

29 de junho de 2001

Resumo

Este trabalho propoe um sistema simples e interativo que possibilita alterar a fotografia de

uma cena tridimensional envolvendo elementos arquitetonicos, de modo que o usuario pos-

sa avaliar os efeitos esteticos e o impacto que as modificacoes no ambiente real poderao

causar em outras pessoas. O metodo utilizado se baseia na existencia, em fotos ar-

quitetonicas, de tres direcoes principais de interesse, mutuamente ortogonais. A identifi-

cacao de pontos de fuga destas direcoes permite calibrar a camera utilizada nas fotos e

inserir novos elementos na cena.

Abstract

This work propose a simple and interactive system that enable changing a photography

of a tridimensional scene, envolving architectural elements......

Sumario

Lista de Figuras iii

Lista de Notacoes iv

1 Introducao 1

1.1 Motivacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Apresentacao do trabalho . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.3 Descricao do problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.4 Trabalhos Relacionados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.5 Organizacao do trabalho . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2 Tecnicas do metodo 7

2.1 Calibracao de camera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.1.1 Modelo de camera . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.2 Metodo de calibracao utilizado . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.3 Obtencao da posicao da camera . . . . . . . . . . . . . . . . . . . . . . . . 11

i

2.4 Equacoes de projecao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3 Aplicacoes do metodo 18

3.1 Aplicacoes implementadas . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3.1.1 Edicao em um plano principal . . . . . . . . . . . . . . . . . . . . . 19

3.2 Correcao da perspectiva . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.3 Outras aplicacoes possıveis . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3.4 Tecnologia utilizada na implementacao . . . . . . . . . . . . . . . . . . . . 23

4 Resultados e Conclusoes 25

Glossario 28

ii

Lista de Figuras

1.1 (a,b) Fotografias originais, (c) outdoor aplicado na lateral da casa . . . . . 4

2.1 Modelo pin-hole de camera . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.2 (a) Projecao paralela e (b) Projecao perspectiva . . . . . . . . . . . . . . . 9

2.3 Linhas guias para direcoes e posicao do centro otico C . . . . . . . . . . . 11

2.4 Localizacao do centro otico . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.5 Ortocentro do triangulo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.6 Translacao da origem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2.7 Sistemas de coordenadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3.1 Etapas do processo de edicao de um plano principal . . . . . . . . . . . . . 20

3.2 Processo de calculo da nova camera . . . . . . . . . . . . . . . . . . . . . . 22

3.3 Imagens originais e reprojetadas com inclinacao vertical . . . . . . . . . . . 23

4.1 (a) Imagem original ; (b) imagem transformada, considerando que todos

os elementos estao no mesmo plano . . . . . . . . . . . . . . . . . . . . . . 27

iii

Lista de Notacoes

F ponto de fuga (uf , vf ) generico

Fx ponto de fuga (ux, vx) da direcao X

Fy ponto de fuga (uy, vy) da direcao Y

Fz ponto de fuga (uz, vz) da direcao Z

X direcao principal X

Y direcao principal Y

Z direcao principal Z

Sm sistema de coordenadas do mundo formado pelos eixos

X, Y e ZSi sistema de coordenadas da imagem formado pelos eixos

u, v e wSc sistema de coordenadas da camera formado pelos eixos

U , V e WC centro otico da camera (uc, vc, wc), em coordenadas de

pixel no sistema Si

Cp centro projetivo (up, vp), em coordenadas de pixel no sis-

tema Si

e1 ponto extremo (u1, v1) do par de linha guia da direcao X,

Y ouZe2 ponto extremo (u2, v2) do par de linha guia da direcao X,

Y ouZe3 ponto extremo (u3, v3) do par de linha guia da direcao X,

Y ouZ

iv

e4 ponto extremo (u4, v4) do par de linha guia da direcao X,

Y ouZ~s segmento de reta correspondente a uma linha guia

~t segmento de reta correspondente a uma linha guia-------------→CFx vetor que une o centro otico C ao ponto de fuga Fx

-------------→CFy vetor que une o centro otico C ao ponto de fuga Fy

-------------→CFz vetor que une o centro otico C ao ponto de fuga Fz

|-------------→CFx| vetor unitario (Xu, Xv , Xw)

|-------------→CFy| vetor unitario (Yu, Yv , Yw)

|-------------→CFz| vetor unitario (Zu, Zv , Zw)

O ortocentro do triangulo

L1 lado do triangulo que une os pontos de fuga Fx e Fy

L2 lado do triangulo que une os pontos de fuga Fy e Fz

L3 lado do triangulo que une os pontos de fuga Fx e Fz

p1 ponto extremo do quadrilatero p1q1p2q2 a ser editado

q1 ponto extremo do quadrilatero p1q1p2q2 a ser editado

p2 ponto extremo do quadrilatero p1q1p2q2 a ser editado

q2 ponto extremo do quadrilatero p1q1p2q2 a ser editado

P1 ponto extremo do retangulo P1Q1P2Q2 no espaco

Q1 ponto extremo do retangulo P1Q1P2Q2 no espaco

P2 ponto extremo do retangulo P1Q1P2Q2 no espaco

Q2 ponto extremo do retangulo P1Q1P2Q2 no espaco

T′

transformacao projetiva bidimensional

α,β e eixos de coordenadas da nova camera relacionada a apli-

cacao de correcao de perspectiva

v

Capıtulo 1

Introducao

1.1 Motivacao

Antes mesmo da tecnologia digital surgir, a fotografia ja vinha sendo utilizada em

publicidade, arquitetura e artes graficas em geral. Com o advento da informatica, as

fotografias ganharam o formato digital, e sua utilizacao contribui para agilizar a dinamica

dos trabalhos destes profissionais, resultando num trabalho de arte magnıfico e criativo.

Ou seja, ajudou a ampliar os limites da criatividade, pois as pessoas se sentem mais livres

para arriscar suas ideias testando diferentes caminhos, uma vez que os resultados podem

ser vistos de imediato.

Com tantas facilidades que a era digital proporcionou a estes profissionais, sua uti-

lizacao, agora, esta ainda mais ampla. Mas e natural que surjam outras necessidades

que estimulem a descoberta de tecnicas para a criacao de novas ferramentas. Existem no

mercado softwares de diversos nıveis e recursos, indo dos mais simples e amigaveis ate os

altamente profissionais que necessitam um bom treinamento ou muitas horas de estudo

para sua plena utilizacao. Softwares que possibilitam imitar, complementar ou modificar

a realidade.

1

Atualmente, os sistemas de edicao de imagens podem ser desenvolvidos em micro-

computadores pois ja superou-se o problema de armazenamento dos dados e eficiencia

no processamento destes dados, tornando-os accessıveis a um maior numero de usuarios.

Nestes sistemas, utiliza-se processamento de imagens para acrescentar informacoes que

serao sobrepostas a imagem real, gerando melhorias espectrais ou espaciais na mesma.

Um exemplo e a manipulacao de imagens que envolve mudancas em suas caracterısticas,

como uma simples alteracao da cor de fundo de uma foto ou a remocao de algum indivıduo

ou elemento indesejado, ate aquelas altamente complexas envolvendo radicais mudancas

sobre a tomada original, ajudando-a a transforma-la em um trabalho artıstico. A maior

parte das imagens digitais envolvem previa manipulacao, nem que seja uma equalizacao

das cores em relacao a foto original, devido ao processo de digitalizacao da mesma. Outro

exemplo e a composicao de imagens que consiste em montar em uma unica composicao di-

versas imagens, graficos, textos e outros elementos. Ela pode ser considerada como o topo

da imagem digital, considerando-se a complexidade dos trabalhos e tecnicas envolvidas.

Contudo, e necessario desenvolver ferramentas computacionais capazes de transcender

a limitacao bidimensional destes sistemas inerentes a superfıcie plana de uma fotografia,

que digitalizada esta projetada, tambem em outra superfıcie plana que e a tela de um

monitor de video. Muitos dos trabalhos de artistas graficos consiste na criacao de logo-

marcas, anuncios, placas de sinalizacao,etc. Na maioria das vezes, estes trabalhos sao

exibidos em superfıcies planas. Mais cedo ou mais tarde, surgiria a necessidade de in-

gressar no mundo tridimensional ( e nao restringir as criacoes). Estas criacoes precisam

ser inseridas dentro de um contexto (supostamente) real. Qual publicitario nao teve a

necessidade de aplicar anuncios ou logos em cima a imagem de um onibus ou caminhao?

Ou inserir posters ou outdoors na fachada de um predio? Assim como arquitetos, os

criadores de logomarcas e de embalagens precisam apresentar seus trabalhos com a pers-

pectiva que se assemelhe ao produto final. Este tipo de apresentacao ajuda os clientes a

entender como os designs serao na vida real. Antes que seja feito um investimento alto, os

criadores tambem precisam ter certeza que suas simulacoes fotograficas (composicoes de

2

imagens) parecam o mais real possıvel. Muitos clientes sentem dificuldade em visualizar

como um anuncio plano ficara inserido num contexto tridimensioanl, podendo, por isso,

rejeitar uma campanha publicitaria de sucesso.( Por nao conseguir avaliar o impacto que

pode causar nas pessoas).

1.2 Apresentacao do trabalho

Nesta presente dissertacao apresentamos um sistema simples e interativo, capaz de

alterar uma fotografia de uma cena tridimensional, que envolve elementos arquitetonicos,

inserindo novos objetos em determinados planos desta cena. O proposito e disponibilizar

uma ferramenta para composicao de imagem que consiga extrair alguma representacao

geometrica da cena tridimensional, de modo que a sobreposicao em planos da fotografia

original seja feita automaticamente.

O sistema visa atender profissionais da area de arquitetura, fotografia, publicidade

e artes visuais, quando suas principais necessidades envolvem a alteracao de cenarios

reais. Por exemplo, arquitetos podem inserir novos objetos tridimensionais em fachadas de

predios e casas para avaliar o resultado de uma reforma ou restauracao antes de dispender

tempo e dinheiro com a execucao real, enquanto publicitarios podem ter uma visualizacao

previa de suas campanhas em mıdias de outdoor e testar seu impacto visual (vide Figura

1.1). Artistas graficos tambem podem aprimorar suas pinturas em paredes, atualmente

muito comuns nos grandes centros, testando virtualmente o resultado estetico e fazendo

um estudo de cores e tamanho de seus grafismos, antes de se tornarem reais. Ou seja, o

mesmo processo pode ter utilizacoes praticas diferentes para cada usuario.

3

Figura 1.1: (a,b) Fotografias originais, (c) outdoor aplicado na lateral da casa

1.3 Descricao do problema

Na composicao de imagens fotograficas, e comum o usuario querer inserir novas im-

agens em determinados planos da fotografia de origem, ou obter uma nova vista da ce-

na utilizando uma projecao que preserve proporcoes paralelas a um determinado plano.

Muitas vezes, estas tarefas sao executadas a sentimento, com o usuario deformando a

imagem, por tentativa e erro, ate obter o efeito desejado. Este processo, no entanto, e

arduo, tedioso e nem sempre fornece bons resultados, mesmo para usuarios experientes e

habilidosos. Alem do que, acarreta desperdıcio de um tempo precioso dentro de prazos

geralmente corridos. Por exemplo, aplicar varias transformacoes em uma imagem de alta

resolucao, que resultara na saıda, em plotter, de um poster de 5 metros, demanda um

tempo significativo, mesmo que executados em computadores velozes. A ideia e dar mais

precisao a este tipo de operacao, utilizando apenas uma transformacao, e de modo que,

nao seja mais, executada repetidas vezes ate conseguir o resultado desejado.

Para que haja uma solucao que nao esteja ligada ao a sentimento do usuario, necessita-

se recuperar informacoes do cenario tridimensional projetado na fotografia. O problema

de obter informacao tridimensional a partir de fotografias tem recebido bastante atencao

na literatura, mas quase sempre com objetivos diferentes dos aqui propostos. Um grande

numero de trabalhos [Che95, MB95, YHA97] aborda o problema de visualizacao utilizan-

do tecnicas de image based rendering, onde o objetivo e obter novas vistas de uma cena a

4

partir de um conjunto de imagens. Outros trabalhos abordam a reconstrucao tridimen-

sional da cena, utilizando visao estereo [OFZ98] ou adotando modelos matematicos para

os objetos la presentes [PEDM96]. Na secao 1.4 veremos em alguns detalhes as diferencas

entres estes trabalhos relacionados.

1.4 Trabalhos Relacionados

FALAR DO PROBLEMA DE VISUALIZACAO A PARTIR DE IMAGENS......E

FALAR DO PROBLEMA DE RECONSTRUCAO DO MODELO A PARTIR DE IM-

AGENS......

• [Che95]

• [MB95]

• [YHA97]

• [OFZ98]

• [PEDM96]

Ao contrario destas abordagens, o metodo aqui apresentado nao pretende obter uma

reconstrucao completa da cena. Em compensacao, utiliza como dado de entrada uma unica

fotografia, sobre a qual nao se supoe conhecida nenhuma informacao metrica previa, seja

sobre a cena (como coordenadas de pontos de referencia ou medidas de elementos) ou

sobre o posicionamento da camera.

O presente trabalho tem varios pontos em comum com [P3D99], que fornece um am-

biente para extracao de informacao tridimensional a partir de uma unica foto. A enfase

la, no entanto, esta na modelagem parcial de objetos tridimensionais da cena. Nosso

objetivo, em contraste, e fornecer ferramentas para que o usuario possa editar de forma

5

geometricamente correta, e nao apenas a sentimento, planos na fotografia de origem, in-

serindo novos objetos nestes planos com uma perspectiva apropriada. O metodo tambem

permite que o usuario possa extrair uma textura da fotografia de entrada com correcao

automatica de perspectiva e simular uma lente fotografica capaz de corrigir a distorcao

angular provocada pela projecao perspectiva. Deve-se notar que esta projecao nem sempre

pode ser obtida com uma lente fotografica real.

1.5 Organizacao do trabalho

O capıtulo 2 deste trabalho descreve alguns conceitos e tecnicas utilizadas no metodo

proposto que sao comuns as aplicacoes apresentadas ao longo da dissertacao.

O capıtulo 3 apresenta as diferentes aplicacoes desenvolvidas para a edicao tridimen-

sional de fotografias arquitetonicas. Finalmente, o capıtulo 4 mostra testes realizados das

diferentes aplicacoes implementadas, e conclui o trabalho, fazendo uma revisao e analise

do que foi apresentado e sugerindo novos caminhos para trabalhos futuros.

6

Capıtulo 2

Tecnicas do metodo

Este capıtulo inicialmente mostra ...... Emseguida trata .... O capıtulo termina citando......

2.1 Calibracao de camera

Uma das condicoes para construcao de representacoes geometricas, a partir de fo-

tografias, e conhecer ou conseguir identificar os parametros– divididos em intrınsecos e

extrınsecos – da camera que capturou a respectiva imagem. Com isso, obtem-se uma

transformacao que, dado um ponto no espaco, encontra seu ponto correspondente na ima-

gem. Este problema e denominado calibracao de camera e um estudo mais detalhado

pode ser encontrado em [Fau93, TT91].

Os parametros intrınsecos sao aqueles que definem a geometria interna da camera

e suas caracterısticas oticas (distancia focal, centro projetivo, constante de distorcao da

lente, fator de escala em x ). Enquanto que os parametros extrınsecos, ou de orientacao

exterior, representam a posicao da origem do referencial imagem e sua orientacao em

relacao ao referencial objeto (do mundo real). Podemos dizer que sao a posicao e ori-

7

entacao 3D da camera em relacao a um determinado sistema de coordenadas; ou seja,

a relacao espacial entre a camera e o mundo. Os parametros extrınsecos fazem a trans-

formacao entre o sistema de coordenadas do mundo para o sistema de coordenadas da

camera e sao portanto 3 translacoes e 3 rotacoes.

Nesta presente dissertacao, estaremos preocupados em encontrar, dentre estes parametros

citados, a orientacao e posicao virtual da camera no espaco 3D. O calculo destes parametros

serao vistos em detalhes na secao 2.3.

2.1.1 Modelo de camera

E necessario estabelecer o modelo de camera que sera utilizado no metodo proposto.

Por sua estreita relacao com a geometria projetiva, consideramos o modelo simples pin-

hole de camera, que nao considera a existencia de lentes: a imagem de um objeto 3D e

obtida atraves de sua projecao perspectiva em uma superfıcie plana 2D atraves do centro

otico da camera (pin-hole).

Figura 2.1: Modelo pin-hole de camera

8

Projecao perspectiva

Para melhor entendimento do metodo proposto e necessario que o leitor esteja fami-

liarizado com o conceito de projecao perspectiva. A projecao perspectiva e a projecao

paralelas sao classes das projecoes geometricas planares, e a distincao entre estas classes

esta na relacao do centro de projecao ao plano de projecao. Enquanto na projecao paralela

o centro de projecao esta a uma distancia infinita e com os raios de projecao paralelos

ao plano de projecao, na projecao perspectiva, o centro de projecao esta explıcitamente

especificado; ou seja a distancia e finita, e os raios de projecao que emanam do centro

de projecao, passando por cada ponto do objeto e interceptando o plano de projecao

[SKFH97].

Figura 2.2: (a) Projecao paralela e (b) Projecao perspectiva

O efeito visual de uma projecao perspectiva e similar a um sistema fotografico e ao

sistema visual humano. Preserva os elementos lineares mas nao preserva a relacao de

paralelismo. A projecao paralela de um conjunto de linhas paralelas que nao estejam

paralelas ao plano de projecao convergem para um ponto de fuga. Em 3D, as linhas

paralelas encontram-se no infinito, entao o ponto de fuga pode ser pensado como a projecao

de um ponto no infinito. Existe, claro, uma infinidade de pontos de fuga, um para cada

infinidade de direcoes nos quais uma linha pode ser orientada. Como veremos na secao

2.2, estaremos interessados em encontrar os pontos de fuga do conjunto de linhas que

estao paralelos a tres direcoes principais.

9

2.2 Metodo de calibracao utilizado

Diversos metodos de calibracao de camera sao baseados na existencia de pontos de

referencia na imagem, cujas coordenadas no mundo real sejam conhecidas [PCPCG98,

Tsa86]. Outros [PEDM96] empregam informacoes metricas conhecidas, tais como medi-

das de elementos arquitetonicos como janelas ou portas. DEVO ESCREVER UM POUCO

SOBRE ESTES TRABALHOS? CITAR O QUE ELES FAZEM COM ESTAS INFOR-

MACOES?

Neste trabalho supomos que nenhuma informacao deste tipo esta disponıvel. Isto e

importante, por exemplo, em situacoes envolvendo fotos antigas, para as quais e impossıvel

recuperar tais informacoes.

O metodo de calibracao usado neste trabalho, que e o mesmo de [P3D99], recorre

exclusivamente a informacoes relativas a direcoes. Mais exatamente, aos pontos de fuga

relativos a tres direcoes mutuamente ortogonais (FAZER FIGURA). Como mostramos a

seguir, tais pontos de fuga determinam a posicao da projecao do centro-otico da camera

e o angulo de abertura da camera. No entanto, na ausencia de informacoes metricas

complementares, e impossıvel resgatar a distancia focal da camera. Em consequencia,

objetos podem ser inseridos na cena com as proporcoes corretas, mas sem controle absoluto

de seu tamanho. Por exemplo, na Figura 1, o tamanho do outdoor pode apenas ser

especificado em relacao a elementos da cena, como o pe direito da edificacao.

A necessidade de que seja possıvel identificar pontos de fuga de tres direcoes orto-

gonais torna este metodo especialmente aplicavel para fotografias arquitetonicas, onde

usualmente existem tres direcoes principais facilmente identificaveis. Admitimos tambem

que os elementos a serem inseridos na imagem, ou dos quais se pretenda obter informacao

a partir da imagem, estejam alinhados com estas direcoes.

10

2.3 Obtencao da posicao da camera

Esta secao mostra como obter a posicao da camera em relacao a imagem a partir de

tres pontos de fuga Fx, Fy e Fz relativos a tres direcoes ortogonais X, Y e Z. Em fotos

arquitetonicas, a escolha destas direcoes e natural, correspondendo as direcoes principais

de altura, largura e profundidade das edificacoes. Os pontos de fuga sao os pontos de

intersecao, com o plano de projecao, de retas paralelas a estas tres direcoes passando pelo

centro otico C. Logo, determinam um triedro tri-retangulo de vertice no centro otico C.

Esta condicao permite recuperar a posicao do centro otico C relativamentea imagem.

Na verdade, o usuario nao especifica diretamente os pontos de fuga Fx, Fy e Fz : ele

indica, para cada uma das direcoes principais, duas retas na imagem que sejam projecoes

de retas da cena que tenham esta direcao. O ponto de fuga correspondente e obtido

atraves da intersecao destas retas. Para que o usuario indique as retas correspondente a

cada direcao, o sistema oferece uma interface com tres pares de linhas guias para serem

posicionadas nestas retas da imagem, como ilustra a Figura 2.3.

Figura 2.3: Linhas guias para direcoes e posicao do centro otico C

Suponhamos que para cada par de linhas guias, temos os pontos extremos e1 = (u1, v1),

e2 = (u2, v2), e3 = (u3, v3) e e4 = (u4, v4). Para calcular o ponto de fuga F destes dois

11

segmentos de reta ~s e ~t onde :

~s = (e1 − e2) = (u1 − u2, v1 − v2)

~t = (e3 − e4) = (u3 − u4, v3 − v4)(2.1)

utilizamos a propriedade de que o ponto de fuga F ∈ a reta ~s se e somente se F , e1 e

e2 forem colineares, logo:

∆ = 0 ⇒

∣∣∣∣∣∣∣uf − u2 vf − v2

u1 − u2 v1 − v2

∣∣∣∣∣∣∣(uf − u2) (v1 − v2 ) − (vf − v2) (u1 − u2) = 0

(v1 − v2 )uf + (u1 − u2)vf + (u1v2 · u2v1) = 0

a1uf + b1vf + c1 = 0

(2.2)

e o ponto de fuga F ∈ a reta ~t se e somente se F , e3 e e4 forem colineares, logo:

∆ = 0 ⇒

∣∣∣∣∣∣∣uf − u4 vf − v4

u3 − u4 v3 − v4

∣∣∣∣∣∣∣(uf − u4) (v3 − v4 ) − (vf − v4) (u3 − u4) = 0

(v3 − v4 )uf + (u3 − u4)vf + (u3v4 · u4v3) = 0

a2uf + b2vf + c2 = 0

(2.3)

Isolando uf e vf das equacoes 2.2 e 2.3, temos:

uf =(−c1 − b1vf )

a1

vf =(−c2 − a2uf )

b2

(2.4)

Na equacao 2.4, substituindo vf e uf temos:

uf =(b1c2 − b2c1)

(a1b2 − a2 b1)vf =

(a2c1 − a1c2)

(a1b2 − a2 b1)(2.5)

Para recuperar a posicao do centro otico C, com o conhecimento dos pontos de fuga

Fx, Fy e Fz, e possıvel resolver um sistema de equacoes que expressa a ortogonalidade de

12

Figura 2.4: Localizacao do centro otico

−−→CFx,

−−→CFy e

−−→CFz ou usar o fato de que C projeta-se no ortocentro do triangulo de vertice

Fx, Fy e Fz, como ilustra a Figura 2.4.

−−→CFx = (uc − uu, vc − vu, wc − wu)−−→CFy = (uc − uv, vc − vv, wc − wv)−−→CFz = (uc − uw, vc − vw, wc − ww)

onde wu, wv e ww = 0

(2.6)

Como−−→CFx,

−−→CFy e

−−→CFz sao direcoes mutuamente ortogonais, entao o produto escalar

de CFy com CFx e igual a 0 (2.7):

(uc − uv)(uc − uu) + (vc − vv)(vc − vu) + w2c = 0 (2.7)

o produto escalar de CFy com CFZ tambem e igual a 0 (2.8):

(uc − uv)(uc − uw) + (vc − vv)(vc − vw) + w2c = 0 (2.8)

e o produto escalar de CFx com CFz tambem e igual a 0 (2.9):

(uc − uu)(uc − uw) + (uc − vu)(vc − vw) + w2c = 0 (2.9)

O ortocentro (equacoes 2.10 e 2.11) de um triangulo e formado pelas 3 retas L1, L2 e L3

que ligam os 3 pontos de fuga encontrados na imagem (figura 2.5). Segundo [TT91], um

13

sistema similar para calibracao de camera e apresentado, porem com um paralelepıpedo

cujas dimensoes sao conhecidas.

(L1 )2 = (L2 )2 + (L3 )2 − 2(L2L3) cos α1

(L2 )2 = (L1 )2 + (L3 )2 − 2(L1L3) cos α2

(L3 )2 = (L1 )2 + (L2 )2 − 2(L1L2) cos α3

(2.10)

O =Fx

tgα2 tgα3

+Fy

tgα1 tgα3

+Fz

tgα1 tgα2

(2.11)

Figura 2.5: Ortocentro do triangulo

Como o ortocentro do triangulo coincide com a projecao do centro otico C; ou seja,

com o centro projetivo Cp, com coordenadas (uc, vc), para encontrar wc basta resolver a

equacao 2.12:

FxFz = w2c + OF 2

x + z2c + OF 2

y

w2c =

FxFz + OF 2x − OF 2

y

2

(2.12)

A posicao (uc, vc, wc) do centro otico C e expressa no sistema de coordenadas da

imagem Si, que tem origem no seu canto inferior esquerdo, dois eixos u e v alinhados com

as bordas da imagem e um terceiro eixo w ortogonal a elas. As coordenadas neste sistema

sao expressas em pixels. Como dito anteriormente, nao e possıvel obter a distancia focal

real, a menos que se conheca as dimensoes de um pixel. E importante ressaltar, tambem,

14

que a projecao do centro otico nao coincide, necessariamente, com o centro da imagem

(Figura 2.3), uma vez que e possıvel que a imagem utilizada represente apenas uma porcao

da fotografia original.

2.4 Equacoes de projecao

As equacoes de projecao da camera associam a cada ponto do espaco a sua projecao

perspectiva na imagem e , segundo [TT91], representam a orientacao exterior da imagem.

A posicao de um ponto P no espaco e descrita atraves de suas coordenadas no sistema

de coordenadas do mundo Sm, que tem origem no centro otico C da camera e eixos

alinhados com as direcoes principais X, Y e Z. Note que os eixos deste sistema passam,

respectivamente, pelos pontos Fx, Fy e Fz . Como a distancia focal real nao e conhecida,

as coordenadas neste sistema tambem sao expressas em pixels. Para expressa-las em

medidas convencionais de distancia seria necessario, uma vez mais, conhecer as dimensoes

de um pixel.

As equacoes de projecao, portanto, levam um ponto (X, Y, Z) do mundo em sua pro-

jecao (u, v) na imagem. Esta transformacao do espaco objeto para o espaco imagem pode

ser realizada em dois passos. Primeiramente, para escrever estas equacoes, e conveniente

considerar um sistema de coordenadas intermediario, que compensa as diferencas angu-

lares: o sistema da camera Sc, com origem no centro otico C e eixos U , V e W paralelos

aos eixos do sistema de coordenadas da imagem Si. A Figura 2.7 ilustra estes sistemas

de coordenadas e a transformacao espacial. Dado um ponto (X,Y, Z) do mundo, suas

coordenadas no sistema da camera sao dadas por (POSSO DIZER QUE E DADA PELA

MATRIZ DE ROTACAO?):

15

U

V

W

=

Xu Yu Zu

Xv Yv Zv

Xw Yw Zw

X

Y

Z

(2.13)

onde (Xu, Xv, Xw), (Yu, Yv, Yw) e (Zu, Zv, Zw) sao os vetores unitarios correspondentes a

~CFx, ~CFy e ~CFz, respectivamente.

FAZER IMAGEM DOS EIXOS ROTACIONADOS.

Uma vez obtidas estas coordenadas de camera, e imediato obter sua projecao (u, v) ,

que, em coordenadas homogeneas, e dada por:

wc

W= u

U= v

V

t u

t v

t

=

wc 0 uc

0 wc vc

0 0 1

U

V

W

(2.14)

onde uc e vc representam a translacao da origem no centro otico C para a origem no

canto inferior esquerdo da imagem, e wc refere-se a distancia focal dada em pixels.

Assim, a equacao de projecao da camera e expressa por:tu

tv

t

=

wc 0 uc

0 wc vc

0 0 1

Xu Yu Zu

Xv Yv Zv

Xw Yw Zw

X

Y

Z

(2.15)

FALTA UM PARAGRAFO PARA TERMINAR O CAPITULO.

16

Figura 2.6: Translacao da origem

Figura 2.7: Sistemas de coordenadas

17

Capıtulo 3

Aplicacoes do metodo

Neste capıtulo sao apresentadas as aplicacoesdesenvolvidas utilizando o metodo..... Em segui-da serao mostrados alguns resultados obtidoscom testes feitos para cada aplicacao e umaanalise desses resultados.

3.1 Aplicacoes implementadas

Com base no metodo descrito no capıtulo 3, foram implementadas duas aplicacoes

com objetivos diferentes. Na secao 3.1.1, veremos em detalhes como e feita a insercao de

novas imagens em planos distintos da fotografia de origem, paralelos as direcoes principais,

enquanto que na secao 3.2, mostraremos como obter uma nova vista da cena utilizando

uma projecao que preserve proporcoes paralelas a um determinado plano.

18

3.1.1 Edicao em um plano principal

Uma vez obtida a posicao da camera e as equacoes de projecao, e possıvel editar

porcoes da imagem que correspondam a projecoes de figuras (elementos) contidas em

planos paralelos a dois dos eixos principais. Na exposicao a seguir, consideramos planos

paralelos aos eixos X e Y , sendo o tratamento analogo para os demais casos. Dado um

plano escolhido XY , Y Z ouXZ, verificamos qual das duas direcoes deste plano e a mais

vertical e qual e a mais horizontal.

Admitimos que a porcao da imagem a ser editada e a projecao de um retangulo

com lados paralelos aos eixos X e Y , especificada atraves da escolha de dois pontos

diagonalmente opostos p1 e p2, correspondentes as projecoes de dois vertices P1 e P2 do

retangulo. Ha uma infinidade de pontos do espaco que se projetam sobre p1 e sobre p2,

correspondentes as diversas profundidades Z em que o retangulo pode se situar FIGURA.

Como o nosso objetivo e apenas manter as proporcoes das dimensoes e nao recuperar

seus valores absolutos, esta profundidade pode ser arbitrada. Fixamos, assim, Z = 1

e podemos, entao, recuperar a posicao de P1 e P2 e, em consequencia, dos outros dois

vertices Q1 e Q2 do retangulo e de suas projecoes q1 e q2.

Encontramos as dimensoes horizontal e vertical do retangulo, pelas projecoes do vetor−−→P1P2 nas direcoes X e Y , respectivamente, dadas por:

~X∣∣∣ ~X∣∣∣ • −−→P1P2 = hor~Y∣∣∣~Y ∣∣∣ • −−→P1P2 = ver (3.1)

O calculo dos outros dois vertices do retangulo Q1 e Q2, e dado por:

Q1 = P1 +

~X∣∣∣ ~X∣∣∣ • −−→P1P2

Q2 = P2 +

~Y∣∣∣~Y ∣∣∣ • −−→P1P2

(3.2)

Estabelecemos, deste modo, uma correspondencia entre um retangulo do espaco P1Q1P2Q2

19

e sua projecao – o quadrilatero p1q1p2q2 –, atraves da transformacao projetiva bidi-

mensional T′, que e a projecao perspectiva [Wol90] executada pela camera restrita ao

plano Z = 1. Esta correspondencia permite recuperar uma imagem nao deformada do

quadrilatero p1q1p2q2, obtida atraves de um warping dado pela inversa de T′. Sobre esta

imagem nao-deformada podem ser aplicados novos elementos (letreiros ou fotografias, por

exemplo). Estes elementos podem ser inseridos de volta na imagem original atraves do

warping inverso ao aplicado no passo anterior. Todo o processo descrito esta ilustrado na

Figura 3.1.

Figura 3.1: Etapas do processo de edicao de um plano principal

Em muitos casos, pode ser de interesse executar apenas parte do processo acima.

Isto ocorre quando se deseja apenas extrair informacoes da cena, em vez de inserir novos

elementos. A imagem nao-deformada exibe corretamente as proporcoes entre os elementos

presentes no plano de edicao e preserva angulos entre estes elementos. Assim, pode ser

empregada para obter relacoes entre as dimensoes dos elementos (por exemplo, portas

20

ou janelas) ou para extrair texturas la presentes, que podem entao ser utilizadas na

construcao de modelos virtuais da cena.

3.2 Correcao da perspectiva

Embora as imagens produzidas atraves de projecao perspectiva sejam geometricamen-

te corretas, elas nem sempre sao as representacoes ideais do objeto de interesse. Em

particular, angulos nao sao preservados, a menos que tenham lados paralelos ao plano

de projecao. Por exemplo, quando se produz uma fotografia de um edifıcio cuja altura e

grande em relacao a sua distancia ao centro otico da camera (ou seja, em situacoes em que

ha pouca profundidade de campo), e preciso inclinar a maquina fotografica, na tentativa

de enquadrar a maior parte possıvel deste objeto. Isto faz com que a direcao vertical

nao seja paralela ao plano da foto, o que introduz um ponto de fuga correspondente a

esta direcao. Ou seja, o observador tem a impressao de que as arestas verticais do predio

se encontram. Embora isto seja perfeitamente natural, arquitetos muitas vezes preferem

imagens em que a direcao vertical seja paralela a foto, de modo a evitar este efeito. Uma

solucao e empregar lentes especiais capazes de produzir fotos com as caracterısticas de-

sejadas [Nik01]. Nosso sistema oferece uma alternativa, permitindo eliminar o ponto de

fuga correspondente a direcao vertical.

O que fazemos e reprojetar a fotografia original em um novo plano, paralelo a direcao

vertical Y e situado a mesma distancia da camera do plano de projecao original. Alem

disto, escolhemos os eixos de coordenadas neste novo plano de modo que Y se projete

segundo o eixo vertical nesta nova foto. Isto equivale a introduzir uma nova camera, com

o mesmo centro otico, a mesma distancia focal, e novos eixos de coordenadas α, β e γ.

Estes novos eixos sao escolhidos de modo que β tenha a direcao de Y e γ tenha direcao

tao proxima de W quanto possıvel, o que ocorre tomando-se γ como a projecao de W no

plano ortogonal a Y , conforme a Figura 3.2. Assim, vetores ~α, ~β e ~γ correspondentes a

21

estes novos eixos podem ser obtidos a partir dos vetores unitarios ~Y e ~W (respectivamente

vertical e ortogonal ao plano de projecao original) por meio das equacoes abaixo:

~β = ~Y

~γ = ~W − ( ~W · ~Y )~Y

~α = ~β × ~γ

(3.3)

Figura 3.2: Processo de calculo da nova camera

Finalmente, para obter a foto reprojetada, basta considerar que cada ponto (u, v)

da imagem e da forma (u, v, wc), transforma-lo para o sistema de coordenadas da nova

camera, e aplicar a nova projecao perspectiva. Assim, um ponto (u, v) da foto original e

transformado no ponto cujas cooordenadas homogeneas (tu′, tv′, t) sao dadas por:

tu′

tv′

t′

=

wc 0 0

0 wc 0

0 0 1

αu αv αw

βu βv βw

γu γv γw

u

v

wc

(3.4)

onde (αu, αv, αw), (βu, βv, βw) e (γu, γv, γw) sao os vetores unitarios correspondentes aos

vetores α, β e γ obtidos na equacao (3.3).

A equacao 3.4 determina uma transformacao espacial de warping que permite gerar

a nova imagem. O mapeamento planar e representado por duas superfıcies, onde cada

ponto 2D da imagem original se relaciona com o ponto 2D correspondente na imagem

transformada.

22

Na Figura 3.3 podemos visualizar as imagens originais e os resultados das fotografias

reprojetadas geradas pelo sistema. Pode-se observar o efeito desejado: as linhas cor-

respondentes a direcao vertical nas edificacoes tornam-se paralelas e verticais na foto

reprojetada.

Figura 3.3: Imagens originais e reprojetadas com inclinacao vertical

3.3 Outras aplicacoes possıveis

3.4 Tecnologia utilizada na implementacao

A linguagem de programacao utilizada na implementacao foi a linguagem C, por ap-

resentar boas caracterısticas de extensibilidade e performance. O compilador utilizado foi

23

o Microsoft Visual C/C++ 6.0(Windows 2000 e Windows NT).

Para o sistema de janela e interface, decidimos pela utilizacao da biblioteca: IUP/C

[Lev96] pela portabilidade, permitindo que um programa possa ser executado sem modi-

ficacoes em diferentes sistemas operacionais: Windows95/98, WindowsNT, Windows2000

e Unix (AIX, IRIX, Linux, SunOS e Solaris). Alem do que, oferece uma variedade de

funcoes para criacao de dialogos. A biblioteca grafica escolhida foi o CanvasDraw CD

[dTGT] pela sua simplicidade, por ser independente de plataforma, por estar disponıvel

para diversos compiladores e sistemas operacionais. Esta biblioteca contem funcoes para

suportar aplicacoes tanto de textos quanto de imagens e nos oferece recursos suficientes

para o desenvolvimento da ferramenta. Para abrir e gravar as imagens de trabalho uti-

lizamos a biblioteca IM [dTGT0] que e uma biblioteca de acesso a arquivos de imagem

raster.

24

Capıtulo 4

Resultados e Conclusoes

Testes :

• fotos de predios para colocar outdoor diversificando as lentes fotograficas

– Rio Design Center e outras edificacoes na Barra

– predios na Zona Sul onde ja existam outdoors (ex. Humaita)

• fotos de casas antigas que funcionam como centro culturar para colocar banners de

exposicoes, etc.

– Laura Alvin

– Museu da Republica

– ..

• fotos de casas antigas para recuperar informacoes ou restaurar suas fachadas

– Santa Teresa

– ..

25

Este trabalho apresentou um sistema para a edicao tridimensional de fotografias

arquitetonicas. O metodo e de uso simples pelos profissionais a quem se destina,

por requerer informacoes intuitivas e faceis de serem identificadas nas cenas de in-

teresse. O metodo dispensa informacoes previas sobre as cenas, podendo, portanto,

ser utilizado em quaisquer fotografias (inclusive historicas) para extrair informacoes

ou inserir novos elementos virtuais.

Uma limitacao do metodo aqui apresentado e que ele assume que a regiao edita-

da esta contida em um unico plano paralelo a dois eixos principais. Quando esta

hipotese nao e satisfeita, a imagem extraıda contem elementos que nao se apresen-

tam em suas verdadeiras proporcoes. A Figura 4.1 ilustra este fato. Ao extrair

da foto a regiao correspondente a area assinalada, os elementos da sacada tambem

sao extraıdos e aparecem deformados (na verdade, tudo se passa como se a sacada

estivesse desenhada sobre a parede da casa, ao inves de ser um elemento tridimen-

sional). Para atacar este problema, e necessario estender a superfıcie de edicao,

passando a considerar superfıcies formadas por retangulos paralelos aos eixos prin-

cipais.

Uma outra extensao natural consiste em considerar planos paralelos a apenas um

dos eixos. Este e o caso, por exemplo, de telhados, de rampas ou de paredes nao

alinhadas com as direcoes principais.

26

Figura 4.1: (a) Imagem original ; (b) imagem transformada, considerando que todos os

elementos estao no mesmo plano

27

Glossario

Centro projetivo

e o ponto onde o eixo otico do sistema de lentes cruza o plano da

imagem.

Constante de distorcao otica

representa a distorcao causada pela imperfeicao da forma geometrica

das lentes da camera.Distancia focal

e a distancia entreo o ponto nodal interior da camera e o plano da

imagem. Nao podemos considerar a distancia focal impressa nas lentes

das maquinas fotograficas pois e um parametro baseado no modelo de

camera thick-lens. Embora este parametro nos diferentes modelos de

camera – pin-hole e thick-lens – gerem efeitos similares na imagem, eles

possuem diferentes medidas.

Eixo otico

e alinha que atravessa o centro otico e intercepta perpendicularmente o

plano da imagem.

Fator de escala em x

e oriundo da diferenca de elementos sensores na camera e o numero

de pixels amostrados pelo hardware de digitalizacao da imagem. E o

fator de conversao da unidade-pixel na imagem armazenada no frame-

buffer para a unidade do sensor da camera; ou seja, uma escala de

valores armazenados para valores reais. (DUVIDA: tem relacao com a

resolucao e o tamanho do pixel?).

28

Referencias Bibliograficas

[Che95] Shenchang Eric Chen. QuickTime VR - an image-based approach to

virtual environment navigation. In Robert Cook, editor, Conference

Proceedings SIGGRAPH 95, Annual Conference, pages 29–38, Annu-

al Conference Series, Los Angeles, California, August 95. ACM SIG-

GRAPH, Addison Wesley.

[dTGT] Grupo de Tecnologia Grafica TecGraf. Canvas draw CD.

http://www.tecgraf.puc-rio.br/cd, ??

[dTGT0] Grupo de Tecnologia Grafica TecGraf. IM. http://www.tecgraf.puc-

rio.br/im, ?0.

[Fau93] Olivier Faugeras. Three-Dimensional Computer Vision: A Geometric

ViewPoint. MIT Press, Cambridge, Massachusetts, 1993.

[Lev96] Carlos Levy. IUP. http://www.tecgraf.puc-rio.br/iup/, 1996.

[MB95] Leonard McMillan and Gary Bishop. Plenoptic modeling: An image-

based rendering system. In Robert Cook, editor, Conference Proceed-

ings (SIGGRAPH ’95), pages 39–46, Annual Conference Series, Los

Angeles, California, 06-11 August 1995. ACM SIGGRAPH, Addison

Wesley.

[Nik01] Lense nikon 28mm f/3.5 PC-nikkor perspective control technology.

http://www.nikon.com, 2001.

29

[OFZ98] Stephane Laveau Gabriella Csurka Cyril Zeller Cyrille Gauclin Olivi-

er Faugeras, Luc Robert and Imad Zoghlami. 3d reconstruction of

urban scenes from image sequences. Computer Vision and Image Un-

derstanding, Vol. 69 No.3(Article No. IV970665.):292–309, March 1998.

[P3D99] Photo 3d. http://www.photo3D.com, 1999.

[PCPCG98] Flavio Szenberg Paulo Cezar Pinto Carvalho and Marcelo Gattass.

Image-based modeling using a two-step camera calibration method. In

Proceedings of International Symposium on Computer Graphics, Image

Processing and Vision, pages 388–395, 1998.

[PEDM96] Camillo J. Taylor Paul E. Debevec and Jitendra Malik. Modeling

and rendering architecture from photographs: A hybrid geometry-and

image-based approach. In Holly Rushmeier, editor, Conference Pro-

ceedings (SIGGRAPH ’ 96), pages 11–20, Annual Conference Series,

New Orleans, Louisiana, 04-09 August 1996. ACM SIGGRAPH, Ad-

dison Wesley.

[SKFH97] Andries Van Dam Steven K. Feiner, James D. Foley and John F. Hugh-

es. Computer Graphics: Principles and Practice Second Edition in.

Addison-Wesley Publishing Company, Inc., USA, 1997.

[Tsa86] Roger Y. Tsai. An efficient and accurate camera calibration technique

for 3d machine vision. Miami Beach, FL, 22-26 June 1986. IEEE Com-

puter Society Conference on Computer Vision and Pattern Recogni-

tion.

[TT91] Antonio Tommaselli and Clesio Luıs Tozzi. Tutorial:calibracao de

cameras usando feicoes geometricas. In IV Simposio Brasileiro de Com-

putacao Grafica e Processamento de Imagens, Centro de Convencoes

Reboucas, Sao Paulo, 14-17 Julho 1991. SIBGRAPI’91.

30

[Wol90] George Wolberg. Digital Image Warping. IEEE Computer Society

Press, 10662 Los Vaqueros Circle P.O. box 3014, Los Alamitos, CA

90720-1264, 1990.

[YHA97] Ken-Ichi Anjyo Youichi Horry and Kiyoshi Arai. Tour into the picture:

Using a spidery mesh interface to make animation from a single image.

In Conference Proceedings SIGGRAPH’97, pages 225–232., 1997.

31