Framework de Integração de Realidade Aumentadae Interfaces Tangíveis para Ampliação da Interação

do UsuárioIntegration Framework of Augmented Reality and Tangible Interfaces for Enhancing the User Interaction

Fábio Rodrigues¹, Fernando Sato², Leonardo Botega¹², Allan Oliveira²

¹Computing and Information Systems Research Lab - Centro Universitário Eurípides de Marília

Av. Hygino Muzzi Filho, 529 - Campus Universitário - Marília - SP

²Wireless Networks and Distributed Interactive Simulations Laboratory - Universidade Federal de São Carlos

Rodovia Washington Luís, km 235 - SP-310 - São Carlos - SP

Resumo—A integração de interfaces computacionais pós-wimpsurge como alternativa para suprir limitações individuais de cadamodalidade, considerando tanto componentes de interação comoo provimento de feedbacks aos usuários. Interfaces Tangíveispodem apresentar restrições referentes ao espaço físico emarquiteturas tabletop1, o que limita a manipulação de objetose prejudica o processo interativo. Desta maneira este artigopropõe a integração de técnicas de Realidade Aumentada comarquitetura tangível tabletop, misturando componentes reais evirtuais em sua superfície, visando tornar o processo interativomais rico, sem emendas e mais abrangente.

Palavras-chave—Realidade Aumentada Móvel, InterfacesTangíveis de Usuários, Integração de Interfaces.

Abstract—The integration of post-wimp computer interfacesarises as an alternative to meet the individual limitations ofeach modality, considering both interaction components and thefeedbacks to users. Tangible interfaces can present restrictionsreferring to physical space on tabletop architectures, whichlimits the manipulation of objects and deprecates the interactiveprocess. Hence, this paper proposes the integration of techniquesof mobile Augmented Reality with tabletop tangible architecturefor blending real and virtual components on its surface, aiming tomake the interactive process richer, seamless and more complete.

Keywords—Mobile Augmented Reality, Tangible User Inter-faces, Integration of Interfaces.

I. INTRODUÇÃO

A Realidade Aumentada (RA) configura-se como umamodalidade de interface computacional avançada que buscaalcançar a interação humano-computador de uma forma maisnatural e que mistura, em tempo real, objetos virtuais tridi-mensionais gerados por computador com elementos do am-biente físico. Esses objetos virtuais são visualizados atravésdo uso de dispositivos tecnológicos de saída de dados, taiscomo óculos especiais (head mounted displays), smartphones

e projetores, produzindo um ambiente único com impressãode continuidade ao usuário [1].

Além da sobreposição de objetos virtuais no mundo real, aRA deve permitir o manuseio direto desses objetos, eliminandoassim treinamento ao usuário e aproveitando sua experiência,

1Interface em formato de mesa sensível ao toque, marcadores e objetos

compondo uma interação atrativa e motivadora com o ambi-ente [2] [3] [4].

Com o mesmo objetivo da RA, as Interfaces Tangíveis(TUI) visam contribuir para o processo interativo por meiode objetos físicos reais, toques e marcadores, utilizados comocoleção de entradas no sistema. Tais objetos podem ser deuso cotidiano do usuário, desde que munido de marcadores ouentão reconhecidos pela sua forma [5] [6]. Em uma aplicaçãotangível esses objetos possuem uma representação digital e aoserem movimentados, ocorre uma interação com o ambientevirtual apresentado.

Entretanto, aplicações para Interfaces Tangíveis tabletop

frequentemente encontram uma barreira física, considerandoos limites espaciais de sua superfície. Tal problema podecomprometer a interação, uma vez que novos objetos nãopoderão ser instanciados e objetos já usados pouco poderãoser movimentados ao longo da superfície, impedindo a ma-nipulação direta de entidades na interface [5][6][7][8][9][10].Adicionalmente, interações que não necessitem de objetosfísicos, como as baseadas em gestos, também podem sercomprometidas pelo mesmo motivo.

Embora por um lado exista uma vantagem em limitar aquantidade de objetos físicos, autores consideram que tal es-colha seja de responsabilidade do usuário e não uma restriçãoimposta ao mesmo, uma vez que a interface computacional éacima de tudo um agente facilitador da interação.

Desta maneira, o presente trabalho de pesquisa tem comoobjetivo apresentar um framework como forma de ampliar a in-teração humano-computador através da fusão de modalidadesdistintas, porém complementares, de interfaces computacionaispós-wimp.

Tal integração ocorre entre interface de Realidade Au-mentada e Interfaces Tangíveis tabletop apresentando comobenefício somar às convencionais arquiteturas uma formainovadora de visualizar e interagir com as representaçõesdigitais, possibilitando a melhoria da experiência interativa eum melhor aproveitamento do espaço físico.

2012 14th Symposium on Virtual and Augmented Reality

978-0-7695-4725-1/25 $26.00 © 4725 IEEE

DOI 10.1109/SVR.2012.13

100

101

3

interação podem ser executados em um smartphone ou tablet,munidos com o Sistema Operacional (SO) Android.

Tal módulo tem como objetivo reconhecer múltiplos mar-cadores e executar transformações nos mesmos e nos mod-elos tridimensionais que os representam, por intermédio deinstruções enviadas para outros módulos do sistema via in-fraestrutura de rede sem fio.

Para implementar as técnicas de Realidade Aumentadanecessárias ao desenvolvimento do projeto, desde o recon-hecimento dos marcadores até o registro das representaçõesvirtuais sobre os mesmos, foi adotada a API AndAR, desen-volvida para o SO Android. Tal API, descrita na subseção 1como ferramental ao desenvolvimento do projeto, foi escolhidadevido ao desempenho apresentado na precisão de registro aose reconhecer marcadores [14].

Para os ensaios envolvendo a API AndAR foram utilizadosdois dispositivos distintos: um smartphone com 800Mhz deprocessamento, uma GPU (Graphics Processing Unit) Adreno200, 256MB RAM, câmera de 5 MP e SO Android 2.3.4 ; eum tablet que possui um processador de 1GHz, uma GPUPowerVR SGX530, 592MB RAM, câmera de 3.15 MP e SOAndroid 2.2.

O módulo foi desenvolvido para a versão Android 2.1 e écomposto por uma tela de conexão com demais módulos, umatela contendo o conjunto de instruções e uma tela onde atuaa Realidade Aumentada propriamente dita, aqui chamada detela cliente de RA.

Na primeira tela é informado o endereço de rede e a portapara conexão com o módulo TUI. Só após estabelecer essaconexão que a tela cliente de RA será iniciada.

A tela de instruções informa o modo em que o aparelhodeve ser utilizado e quais eventos de toque são permitidos emcada função da tela cliente de RA. A tela inicial e a tela deinstrução podem ser vistas na Figura 5.

Na tela cliente de RA aparecerá a imagem capturada pelacâmera, e ao apontar para algum dos marcadores de RA, aimagem real deles será sobreposta por representações tridi-mensionais. Figura 6.

Adicionalmente, na tela cliente de RA têm-se disponíveluma interface com algumas opções de ações a serem realizadassobre as representações de RA (modelos virtuais que represen-tam os objetos físicos) e sobre os marcadores do módulo TUI,a serem discutidas na próxima seção.

Tais ações sobre representações de RA compõem astransformações geométricas de “Transladar”, “Rotacionar” e“Escalonar”. Ao selecionar alguma dessas opções o usuáriopode provocar algum evento de toque na superfície do dispo-sitivo móvel, de acordo com as instruções, e assim causar asdevidas transformações.

Já a opção “Escolhe” conduz o usuário a uma seção onde omesmo pode escolher em qual dos modelos ou marcadores dosistema ocorrerá as transformações. O padrão de configuraçãode tela cliente de RA é ajustado para iniciar com a transfor-mação “Escalonar” sobre o modelo/objeto de RA posicionadorepresentado pelo marcador 1.

Já pela opção do menu “Marcador”, o usuário alterna o alvodas transformações entre marcadores e modelos, possibilitandoque a translação, rotação e escala sejam então aplicados sobre

os marcadores digitais.Adicionalmente, a opção “Marcador” possibilita que o

módulo de RA transmita mensagens para o módulo TUI,considerando a conexão estabelecida previamente, encarregadode tratá-las, conforme descrito na seção 3.2.

Por fim tem-se a opção “Desconectar” que tem por fina-lidade fechar a tela cliente de RA, desconectar dos outrosmódulos e voltar para a tela inicial. Essa opção permite aconfiguração de uma nova conexão com o módulo TUI.

O menu de opções com o cliente de RA executando podeser visto na Figura 7.

Foi estipulado um número máximo de 4 marcadores e/oumodelos a fim de não expor limitações do harware dos dispo-sitivos móveis, proporcionando assim um cenário satisfatóriopara ensaios com a aplicação.

Figura 5: Conexão e instruções de uso para o módulo de RA

Figura 6: Representações tridimensionais sobrepostas aos marcadores

utilizados pelo módulo de RA

Figura 7: Interface de escolha do módulo de RA

1) Android Augmented Reality - AndAR: O AndAR é umaAPI para aplicações de RA em Android baseado em uma

102

103

5

Tais marcadores são então reconhecidos e identificadosatravés de um número único (ID), por um sofware de ras-treamento denominado CCV 1.4 (Community Core Vision). OCCV 1.4 também é responsável por disponibilizar tais IDse suas respectivas orientações e posições físicas no endereço127.0.0.1:3333, através do uso de um protocolo de domíniopublico, denominado TUIO [17][18].

Figura 10: Marcadores amoeba a serem associados aos objetos físicos [18].

Com o marcador amoeba devidamente atrelado ao objetoe reconhecido pelo software rastreador, há a necessidade dese representar o mesmo de forma digital, transformando oobjeto físico real em um marcador digital de RA projetadona superfície da mesa.

Uma aplicação desenvolvida em Java, utilizando a API demultitoque MT4J (Multi-Touch for Java) [19], é encarregadade recuperar os IDs disponibilizados pelo CCV e referenciá-los com as imagens dos marcadores de RA. Desta maneiraobjetos físicos reais podem assumir formas digitais no sistema.Quando essa aplicação identifica um novo objeto como entradado sistema, o marcador de RA, atrelado a esse ID, é projetadoem sua posição, na exata localização dos antigos marcadoresamoeba.

Assim que o objeto tangível for retirado da superfícietabletop, é permitido ao usuário manipular os marcadores deRA, agora sensíveis ao toque.

Essa aplicação também permite receber mensagens de out-ros módulos, a fim de possibilitar o controle remoto dos mar-cadores gerados. Para isso, o módulo TUI oferece um servidorde conexão que fica aguardando mensagens de seu clientemóvel. Ao receber uma mensagem dos dispositivo móvel, omódulo TUI interpreta a requisição e efetua transformaçõesgeométricas nos marcadores de RA (translação, rotação eescala).

As Figuras 11 e 12 apresentam objetos com marcadoresfiduciais amoeba dispostos sobre a plataforma e a exibiçãode marcadores de RA associados aos marcadores fiduciaisamoeba dos objetos, já dispostos de forma digital e projetadosna superfície.

Os modelos virtuais utilizados no trabalho, como projeçõessobre os marcadores de RA, são fictícios, utilizados apenaspara representar os modelos físicos que antes se encontravamsobre a plataforma tangível.

Figura 11: Arquitetura tangível tabletop com alguns objetos como entrada

do sistema.

Figura 12: Marcadores fiduciais amoeba atrelados a objetos dispostos sobre

a plataforma e marcadores de RA associados aos marcadores fiduciais

amoeba, projetados na superfície da plataforma.

C. Integração

O módulo de Integração é o responsável por unir as capaci-dades dos módulos de RA e TUI, agregando às duas interfacesnovas funcionalidades às aplicações dos usuários.

Como únicos requisitos essenciais ao funcionamento daproposta, encontram-se um rápido rastreamento e uma taxa dequadros por segundo satisfatória (em torno de 10 fps), para quea aplicação transmita ao usuário uma sensação de interação emtempo real ao focar a câmera do dispositivo nos marcadoresdigitais dispostos sobre a superfície da plataforma.

Como infraestrutura de comunicação, foram utilizadoshotspots baseados em conexão Wi-fi, podendo conter chavesde segurança para garantir o acesso aos usuários permitidos.

Tal tecnologia de comunicação foi escolhida para o desen-volvimento deste trabalho devido a compatibilidade com alinguagem Java e diversos toolkits úteis neste contexto, comoAndAR e o MT4J, bem como o fato do tempo de transferênciaproporcionar uma sensação de tempo real, além da grandeaceitação e utilização que esta tecnologia tem entre usuários.

A transferência de dados entre dois dispositivos que estãona mesma rede não é direta, isto é, os dados enviados

104

6

pelo emissor passam pelo roteador e este direciona para odispositivo receptor.

A comunicação presente neste módulo utiliza a tecnologiawi-fi com o uso de hotspots por meio de sockets, onde oservidor que neste caso é a aplicação TUI, aguarda umaconexão de um cliente, neste caso o módulo de RA.

Quando o usuário informa o IP e a porta corretamente emseu dispositivo cliente, a conexão é estabelecida. Quando ocliente escolhe uma opção de modificação de marcadores erealiza esta ação em seu dispositivo móvel, é executado oenvio de um parâmetro em forma de código para o servidor,contendo o ID de qual marcador foi escolhido e qual ação foiexecutada

Posteriormente, a aplicação do servidor interpreta estes da-dos recebidos e realiza a modificação solicitada. Após realizara modificação, o servidor está apto novamente a receber novosparâmetros de modificação.

Vamos imaginar que fora escolhida a opção “Escalonar”no menu do módulo de RA. É preciso então decidir em qualmarcador ou modelo é desejado que sofra as mudanças atravésda opção “Escolhe”.

É preciso ainda selecionar em qual interface será provocadaas mudanças: nos marcadores projetados ou nos modelostridimensionais da RA. Para isso seleciona-se a opção nomenu “Marcador”. Após essas configurações, o módulo deRA passará a transmitir mensagens para o módulo TUI assimque ocorrer algum evento de toque em sua superfície.

O módulo TUI recebe essa mensagem em formato de String

e faz os devidos tratamentos nos marcadores projetados em suasuperfície. Um exemplo de mensagem gerada e transmitidaentre os módulos pode ser vista na Figura 13.

Figura 13: Exemplo de mensagem enviada pelo módulo de RA ao módulo

TUI

Após todas essas mudanças o módulo de RA conseguecapturar o marcador com suas novas mudanças, e consequente-mente alterar as propriedades dos modelos tridimensionais.

A Figura 14 apresenta um diagrama destes eventos paraque a fusão dos módulos ocorra com sucesso. A Figura 15mostra a integração dos dois módulos, onde o módulo de RApreviamente conectado ao módulo TUI, captura e sobrepõe osmarcadores de RA projetados.

IV. RESULTADOS

Considerando a metodologia estruturada em módulos de

RA, TUI e integração, foi possível atingir resultados significa-

tivos quanto à ampliação da interação humano-computador.

A transformação de objetos físicos em entidades digitaisprojetadas na superfície da interface tangível tabletop trouxeconsigo vários benefícios tais como:

• Rastreamento dos marcadores amoebas, pelo software

CCV1.4, devidamente atrelados aos objetos físicos. Destemodo, através de seus respectivos IDs, os objetos pas-saram a ter uma representação digital no sistema. Asinformações disponibilizadas pelo software CCV1.4 in-cluem também a posição do objeto e sua orientação,que por intermédio do módulo TUI, possibilitou quetransformações geométricas tivessem efeito na represen-tação digital. Tal representação digital também pôdeser manipulada através da aplicação de eventos multito-ques (translação, rotação e escala), proporcionando umamaior flexibilidade e customização do processo interativo.O processo de transformação dos marcadores tangíveisamoebas em marcadores de Realidade Aumentada podeser visto na Figura 16.

• Manipulação através de eventos multitoques permitiu quemarcadores digitais adquirissem uma nova propriedade,a escalabilidade, enquanto que objetos físicos reais nãoa possuem, além das transformações geométricas detranslação e rotação.

• Interface mais "limpa" e ampliada para o usuário, umavez que os marcadores projetados ocuparam menos es-paço que os objetos físicos, permitindo também umamelhor visualização e organização da superfície e dassuas aplicações. A Figura 17 ilustra o ambiente integradoentre objetos físicos e objetos tridimensionais

O usuário das interfaces consegue manipular as entidadesprojetadas através de eventos multitoques.

Utilizando apenas um dedo o usuário conseguiu transladarfacilmente um marcador virtual. Com dois dedos foi possívelescalonar e/ou rotacionar a projeção.

Considerando que o módulo TUI suporta vários toques,os marcadores projetados puderam ser manipulados por maisde um usuário simultaneamente, característica inerente deuma interface tabletop colaborativa. A Figura 18 demonstraos eventos multitoques e suas respectivas transformações detranslação, rotação e escala.

O módulo de RA permitiu ao usuário, através do smart-

phone ou tablet, interagir com as representações virtuais nodispositivo e provocar feedbacks tanto na interface tabletop

quanto na própria aplicação móvel cliente de RA. Através deeventos de toque na tela do dispositivo móvel, o usuário con-seguiu aplicar transformações geométricas tanto nos objetostridimensionais de RA quanto nos marcadores projetados nasuperfície do módulo TUI.

Desta maneira, dois conjuntos de atividades puderam serobtidos como produto da respectiva fusão de tais modalidadesde interface pós-wimp: transformações geométricas sobre osmodelos tridimensionais visualizados pelo dispositivo móvel ecustomização de marcadores de realidade aumentada de formaremota, utilizando o dispositivo móvel como controlador. AFigura 19 demonstra a interação do usuário com o produtofinal da integração.

105

106

8

Figura 19: Controle dos modelos tridimensionais e marcadores através do

dispositivo móvel. Usuários podem customizar a interação remotamente.

V. CONCLUSÕES

O presente trabalho visou apresentar a composição de umframework de integração de interfaces computacionais pós-wimp. Tal objetivo foi obtido através da adição de técnicasde Realidade Aumentada como parte de um sistema tangível,integrando-se com outros módulos de interface e contribuindopara a visualização e interação das entidades envolvidas deforma intuitiva, transparente e sem emendas.

Conclui-se que o uso de visualização e interação por Reali-dade Aumentada pôde ser integrada a uma plataforma tangíveltabletop como recurso complementar para suprir limitaçõesfísicas.

Por meio do módulo de RA, conseguiu-se provocar trans-formações nos marcadores de RA projetados na superfíciedo módulo TUI por meio de eventos de toque na superfíciedo dispositivo móvel, além de possibilitar que os própriosmodelos que os representam também pudessem ser customiza-dos quanto às suas características de posição, orientação etamanho.

Conclui-se também que a interação do usuário entre asinterfaces pôde ser ampliada. Com a integração das duasinterfaces envolvidas, a quantidade de mecanismos e meios deentrada disponíveis ao usuário aumentou, fornecendo, atravésdeste framework, os primeiros passos para uma interface únicae distribuída.

Como trabalho futuro, sugere-se a incorporação de gestosdrag-and-drop entre as interfaces envolvidas, de modo que osmarcadores de RA possam ser manipulados sob as mesmasoperações mencionadas anteriormente, nos diferentes disposi-tivos, considerando a transposição dos modelos de uma inter-face para outra de forma rápida, direta e sem obstáculos deconfiguração.

AGRADECIMENTOS

Os autores agradecem ao CNPq pelo apoio financeiro.

REFERÊNCIAS

[1] Milgram, P., Takemura, H., Utsumi, A., Kishino, F. (1994) Aug-mented Reality: A Class of Displays on the Reality-VirtualityContinuum, Telemanipulador and Telepresence Technologies,SPIE, V. 2351, p. 282-292.

[2] Billinghurst, M., Kato, H., Poupyrev. I. (2004), “Collaborationwith tangible augmented reality interfaces” In: Proceedings ofHCI International, pp. 234-241.

[3] Santin, R., Kirner, C. (2004). Ações Interativas em Ambientesde Realidade Aumentada com ARToolKit. In: Workshop deRealidade Aumentada –WRA2004, I, Piracicaba: UniversidadeMetodista de Piracicaba, 2004. Anais. Piracicaba, 2004. p. 26-30.

[4] Zhou, Z., Cheok, A. D., Chan, T., Pan, J. H., Li, Y. (2004),"Interactive Entertainment Systems Using Tangible Cubes",Australian Workshop on Interactive Entertainment, p. 19-22.

[5] Fishkin, K. P. (2004). A taxonomy for and analysis of tangibleinterfaces. Proceedings at Pers Ubiqui Comput. 8, pp. 347-358.London: SpringerVerlag London Limited.

[6] Ishii, H., e Ullmer, B. (1997). Tangible bits: towards seamlessinterfaces between people, bits and atoms. Proceeding CHI’97(pp. 234-241). New York: ACM Press.

[7] Dietz, P., e Leigh, D. (2001). DiamondTouch: a multiuser touchtechnology. Proceedings of the 14th Annual ACM Symposiumon User interface Software and Technology (pp. 219-226).Orlando: ACM Press.

[8] Rogers, Y., e Lindley, S. (2004). Collaborating around verticaland horizontal displays: witch way is best? Interacting WithComputers , 16, pp. 33-52.

[9] Radicchi, A. O., Nunes A. L. P., Botega, L. C. (2010). Develop-ment of a Tangible User Interface for Emergency ManagementApplications. Simpósio Brasileiro de Computação Gráfica eProcessamento de Imagens (SIBGRAPI), Gramado, RS.

[10] Radicchi, A. O., Nunes A. L. P., Botega, L. C. (2010). Propostade desenvolvimento de Interface Tangível para Aplicações deGerenciamento de Emergências. Simpósio de Realidade Virtuale Aumentada (SVR), Natal, RN.

[11] Lee, W., Woo, W. e Lee, J. (2005).”TARBoard: TangibleAugmented Reality System for Table-top Game Environment”.In: PerGames2005, Munich, Germany, Mai 2005. ACM Press.

[12] Open Computer Vision Library (Es-pecificação Oficial). Disponível em<http://www.intel.com/research/mrl/research/opencv/>. Acessoem Março de 2012.

[13] ARToolkit (Especificação Oficial). Disponível em<http://www.hitl.washington.edu/artoolkit/>. Acesso emMarço de 2012.

[14] AndAR (Especificação Oficial). Disponível em<http://code.google.com/p/andar/wiki/>. Acesso em Março de2012.

[15] Domhan, T. (2010). Augmented Reality on Android Smart-phones. Dissertação de Mestrado. Studiengangs Information-stechni. Dualen Hochschule Baden-Württemberg Stuttgart

[16] Cruz, G.,Botega, L. C. (2011). “Sensibilidade ao ContextoAplicada em Interface Tangível” VII Workshop de RealidadeVirtual e Aumentada (WRVA), Uberaba, MG.

[17] Community Core Vision (CCV 1.4) (Especificação Oficial).Disponível em <http://ccv.nuigroup.com/>. Acesso em Marçode 2012.

[18] Kaltenbrunner, M. & Bovermann, T. & Bencina, R. &Costanza, E. "TUIO - A Protocol for Table-Top Tangible UserInterfaces", Proceedings of the 6th International Workshop onGesture in Human-Computer Interaction and Simulation (GW2005), Vannes (France)

[19] MT4J (Especificação Oficial). Disponivel em<http://www.mt4j.org/mediawiki/index.php/Main_Page>.Acesso em Março de 2012.

107