Non-Uniform Illumination Correction in Non-Mydriatic Digital Fundus Camera

José A. Stuchi, Marcelo A. C. Vieira Department of Electrical and Computer Engineering

University of São Paulo - USP São Carlos – SP – Brazil josestuchi@gmail.com

Abstract— Fundus cameras are widely used to analyze the retina image and allow the diagnostic of many kinds of pathologies such as macular degeneration, glaucoma and hypertension. Thus, the quality of the image is an important factor for obtaining a precise diagnostic. However, a common problem in retinography is the correct alignment of the equipment light inside the patient eye to obtain the image of the retina, mainly in non-mydriatic devices. In many cases, the light doesn’t reach the retina homogeneously and the image may have problems of non-uniform illumination, which impair the medical diagnosis. Thus, this work presents a new method to enhance the image quality of the retina using homomorphic filtering and artificial neural network in order to provide homogeneous illumination to the retina images obtained using non-mydriatic fundus cameras.

Keywords—fundus camera; retinography; image filtering; image restoration; homomorphic filtering; artificial neural networks

I. INTRODUÇÃO A retinografia é o exame ocular que permite a detecção de

várias doenças, tais como: glaucoma, retinose pigmentar, degeneração macular relacionada à idade e retinopatia diabética. Por permitir a análise da condição vascular ao vivo e de maneira não intrusiva [1], também permite revelar outras informações a respeito do estado do paciente, não apenas relacionadas à saúde do olho. Dentro desse contexto, destaca-se para a capacidade de detecção de doenças como hipertensão, toxoplasmose, diabetes, leucemia e até mesmo câncer [2].

Um dos equipamentos mais comuns usado para a observação da retina é o retinógrafo digital. Esse equipamento é composto por lentes, espelhos, filtros, sistema de iluminação e câmeras e objetiva aplicar uma iluminação homogênea na retina que, depois de alinhada, é fotografada para o diagnóstico de possíveis patologias.

A maioria dos retinógrafos permite a realização de dois tipos de exames: as angiografias e as retinografias. As angiografias são exames nos quais há a injeção de contraste no paciente, objetivando o destaque de estruturas do fundo do olho. Já as retinografias não utilizam contraste e o olho pode ser fotografado diretamente. Os tipos mais comuns de angiografia são a FA (Fluorescein Angiography), usando fluoresceína como constraste, e a ICG (Indocyanine Green Angiography), com indocianina verde. No caso das

retinografias, as mais comuns são as coloridas e as RF (Red Free) [3].

O procedimento comum em exames de retinografia consiste em dilatar a pupila do paciente utilizando-se colírios midriáticos. Essa dilatação permite que mais luz gerada pelo equipamento atinja a retina, o que resulta em fotos melhores e com mais informação. No entanto, tentando diminuir a intrusão do exame, vários equipamentos permitem a realização de fotos não midriáticas, nas quais não é necessário utilizar colírio para dilatar o olho do paciente.

Em ambos os casos, e em especial no segundo, devido a não dilatação da pupila, podem ocorrer problemas de iluminação da retina, devido ao incorreto posicionamento do anel de iluminação formado pelo retinógrafo. Nesse caso, a imagem gerada apresentará problemas de iluminação, como mostra um exemplo na Fig. 1. Uma imagem desse tipo perde bastante em qualidade, uma vez que as informações da retina podem estar sendo apresentadas muito escuras em uma parte da imagem, escondendo informações dos vasos, por exemplo, e muito clara em outra parte, chegando até mesmo a saturar essas informações. Outro problema observado em exames não-midriáticos é o fato de que depois da primeira imagem, a pupila fecha ainda mais devido ao flash do equipamento e se torna mais difícil iluminar corretamente a retina, gerando imagens escuras.

Fig. 1. Imagem com diferença de iluminação na retina em exame não-

midriático

Vários métodos podem ser utilizados para tentar contornar esse problema. Considerando o domínio do espaço, um método bastante simples é tentar aumentar manualmente o brilho da imagem ou mesmo usar correção gama que permite a compensação de pontos de não-linearidade na iluminação da imagem [4]. Já no domínio da frequência, um dos métodos mais utilizados para a correção da não-homogeneidade de iluminação de imagens é a filtragem homomórfica [4].

A filtragem homomórfica permite normalizar o brilho e aumentar o contraste da imagem simultaneamente. Na imagem, a refletância e a iluminação não são separáveis, mas suas localizações no domínio da frequência podem ser localizadas por aproximação. Como a iluminação e a refletância se combinam de forma multiplicativa, aplica-se o logaritmo na imagem no domínio do espaço e as componentes multiplicativas podem ser separadas linearmente no domínio da frequência e, dessa forma, tratadas separadamente. Para deixar a iluminação da imagem mais uniforme, as altas frequências da imagem devem ser aumentadas e as baixas frequências diminuídas, uma vez que as componentes de frequências altas caracterizam mais a refletância da imagem (quantidade de luz refletida pelo objeto na cena), enquanto que as frequências baixas representam a maior parte da iluminação da imagem. Dessa forma, o filtro homomórfico utiliza um filtro passa-alta para suprimir baixas frequências e ampliar as altas, no domínio logarítmico das intensidades da imagem [4]. Para a construção da curva desse filtro, dois parâmetros devem ser definidos: o relativo à iluminação (γ!) para baixas frequências e o relativo à refletância (γ!) para as altas. Uma forma de aumentar o contraste da imagem é utilizar os parâmetros 𝛾! < 1 e 𝛾! > 1.

No entanto, a definição automática desses parâmetros não é uma tarefa fácil. Uma das maneiras é tentar determinar se a imagem está clara ou escura, fazendo uma escala de variação do γ! e γ!, conforme a classificação da intensidade de iluminação na imagem. Entretanto, como partes da imagem podem estar com diferentes intensidades de iluminação, fica bastante difícil definir o parâmetro apenas por informação da média da luminosidade da imagem ou das regiões da imagem separadamente.

Assim, para a correção da imagem ser mais adequada, os valores dos parâmetros 𝛾! e 𝛾! devem ser corretamente definidos e uma boa forma para a definição desses parâmetros é a partir da análise visual da imagem. O problema da definição dos parâmetros 𝛾! e 𝛾! tende a uma solução por generalização, após o processo de aprendizado, aplicando imagens diferentes no sistema e definindo os parâmetros de saída manualmente a partir da avaliação humana da qualidade e melhoria na imagem.

Este trabalho apresenta um novo método de correção de não homogeneidade de iluminação de imagens da retina utilizando filtragem homomórfica, no qual a definição dos parâmetros do filtro é feito automaticamente utilizando redes neurais artificiais.

II. METODOLOGIA Na filtragem homomórfica, o processamento da imagem

ocorre no domínio da frequência. Conforme Pratt et al. [4], essa técnica é utilizada quando a imagem possui ruído

multiplicativo ou interferência. A imagem, 𝐹(𝑗, 𝑘),  é modelada como um produto de uma imagem livre de ruído 𝑆 𝑗, 𝑘 e de uma matriz de interferência de iluminação 𝐼(𝑗, 𝑘). Dessa forma, tem-se que:

𝐹 𝑗, 𝑘 =  𝐼 𝑗, 𝑘 𝑆(𝑗, 𝑘) (1)

De forma ideal, a componente da iluminação deveria ser

constante para toda a imagem. Fazendo o logaritmo da equação, obtêm-se o resultado linear aditivo:

log 𝐹 𝑗, 𝑘 = log 𝐼 𝑗, 𝑘 +  log  {𝑆 𝑗, 𝑘 } (2)

Técnicas convencionais de filtragem linear podem agora ser

aplicadas para reduzir o logaritmo da componente de interferência. Após a aplicação do filtro, basta aplicar a exponencial na equação para completar o processo de melhoria da imagem. O diagrama em blocos da Fig. 2 exemplifica o processo de filtragem homomórfica.

𝐹 𝑗, 𝑘                                                                                                                                                      𝐺(𝑗, 𝑘)

Fig. 2. Processo de filtragem homomórfica

No bloco de filtragem linear, um filtro, conforme mostra a Fig. 3 deve ser implementado. Esse filtro pode ser caracterizado por qualquer curva, como a Gaussiana ou Butterworth por exemplo. No entanto, os parâmetros γ! e γ! devem ser definidos para cada imagem, buscando assim o melhor ponto de filtragem, o que resulta em uma imagem com uma qualidade melhor.

Fig. 3. Exemplo de filtro linear aplicado no domínio da frequência

A definição dos parâmetros de forma automatizada não é algo simples. Cada imagem possui os seus melhores parâmetros específicos, sendo que o 𝛾! praticamente não varia entre as imagens. No entanto, dependendo se a imagem está bem iluminada ou não, o parâmetro 𝛾! varia bastante de uma imagem para outra.

Dessa forma, optou-se nesse trabalho pela utilização das redes neurais artificiais para auxiliar nessa etapa. Como o problema trata-se de um algoritmo de generalização baseado

Log Filtragem Linear

Exp

𝐷(𝑗, 𝑘)  

𝛾!

𝛾!

𝐻(𝑗, 𝑘)  

em aproximação de funções, a rede escolhida foi a Multi-Layer Perceptron (MLP).

Essa rede é um modelo de rede neural com aprendizado supervisionado na qual se relaciona um conjunto de dados de entrada à sua saída apropriada. Consiste de múltiplas camadas de nós, em que cada camada está completamente conectada com a camada posterior. Excluindo a entrada, cada nó é a representação de um neurônio que possui uma função de ativação, sendo que o conhecimento dessa rede fica armazenado na conexão entre seus neurônios, modelo este bastante parecido com as conexões do cérebro humano.

As redes MLP possuem inúmeras aplicações em diversos tipos de problemas, sendo bastante versáteis quanto à aplicabilidade. Entre as principais aplicações, pode-se citar: aproximação universal de funções, reconhecimento de padrões, identificação e controle de processos, revisão de séries temporais e otimização de sistemas [5].

Nesse trabalho, a rede MLP foi utilizada como aproximadora universal de função, no caso, para aproximar o valor de 𝛾! do filtro homomórfico. Para a entrada da rede MLP foram selecionados alguns pixels da imagem não-corrigida e a rede irá, a partir dessas entradas, aproximar a sua saída. Assim, a partir do valor dos pixels lidos da imagem e com o conhecimento obtido durante o treinamento da rede neural, ela definirá qual o melhor valor de 𝛾! para que a imagem fique com a iluminação mais homogênea possível.

A topologia da rede utilizada é exibida na Fig. 4, na qual foram utilizados 12 neurônios na camada escondida (obtidos por experimentação),1 neurônio na camada de saída e 8 entradas provenientes dos pixels escolhidos da imagem:

Fig. 4. Topologia da rede neural MLP utilizada

Na topologia acima, 𝑥1, 𝑥2,… , 𝑥8 indicam as entradas da rede, valores esses que serão obtidos pelo nível de cinza dos pontos escolhidos da imagem. O valor 𝑊1 caracteriza a matriz de pesos (conexões) entre os 12 neurônios da primeira camada escondida com as 8 entradas; 𝑊2, da mesma forma, caracteriza a matriz de pesos entre o neurônio de saída e os 12 neurônios da camada intermediária escondida. Por fim, 𝑦 caracteriza a saída da rede, que no caso do problema em questão, é o valor de 𝛾! . Como citado anteriormente, o valor de 𝛾! muda muito pouco para a obtenção de uma imagem com boa qualidade de iluminação e foi fixado em 0,1.

Os pixels escolhidos da imagem, que caracterizam o conjunto de entrada, foram obtidos a partir de uma circunferência de raio de 75% do raio da imagem, delimitado pela máscara de cor preta aplicada, e foram tomados a cada 45°, conforme exibido na Fig. 5. Tais pontos foram escolhidos radialmente em relação ao centro da imagem, com o objetivo de colher amostras do nível de iluminação em diferentes regiões da imagem.

Para levantamento do conjunto de treinamento da rede, 150 imagens foram selecionadas e, para cada uma, o melhor ajuste de 𝛾! para o filtro homomórfico foi determinado manualmente. Tal passo foi realizado depois da implementação do software mostrado na Fig. 6, o qual apresenta a imagem original na parte superior, a imagem filtrada, na parte inferior, os pontos selecionados da imagem (que caracterizam entradas da rede) em azul e a barra para o ajuste do valor do parâmetro γ! (que caracteriza a saída esperada para as entradas apresentadas da rede).

Fig. 5. Exemplo de seleção de pontos para a rede neural MLP em uma

imagem da retina. Os pontos azuis indicam os pixels que serão usados como entradas da rede.

No algoritmo da MLP, conforme descrito em Silva et al [5], enquanto a diferença entre o erro quadrático médio atual e o do treinamento anterior for menor que um valor ε, o treinamento continua visando minimizar o erro entre o valor obtido pela saída da rede e o valor esperado para a saída, esse último extraído do conjunto de treinamento. Já o valor de épocas é utilizado para limitar a quantidade de vezes que a rede poderá ser treinada, impedindo assim que o algoritmo seja executado indefinidamente sem atingir a convergência. Os parâmetros utilizados para a rede foram os seguintes:

𝜀 = 0.00001;          É𝑝𝑜𝑐𝑎𝑠 = 100.000

Após a realização dessa etapa, o conjunto de treinamento da

rede neural foi exportado e utilizado para o treinamento da mesma. A rede foi então treinada para que pudesse aproximar a função que descreve qual o melhor parâmetro do filtro homomórfico, 𝛾!, que deve ser utilizado para cada nível de iluminação lido da imagem a partir dos pontos informados como entrada.

𝑥1

𝑥2

𝑥8  

...

1

2

12

...

1 𝑦  

𝑊1   𝑊2  

Realizado o treinamento da MLP, foram obtidas as matrizes de pesos neurais que foram então adicionadas ao software de correção automática de iluminação e novas imagens não-midriáticas, não presentes no conjunto de treinamento foram aplicadas ao sistema para a análise dos resultados.

Fig. 6. Software para levantamento do conjunto de treinamento da MLP

O desenvolvimento das rotinas presentes no método proposto foi realizado utilizando a IDE C++ Builder 2010 e a biblioteca de processamento de imagens OpenCV 1.0. As imagens utilizadas para o alinhamento foram obtidas por um retinógrafo Opto Kiron com CCD monocromático de 11 MP aproximadamente (4008 x 2672 pixels), sendo que imagens coloridas são formadas pelo chaveamento e captura de três imagens monocromáticas distintas, iluminadas com LEDs com comprimentos de onda 626 nm (vermelho), 528 nm (verde) e 463 nm (azul) [3]. O método proposto concentra-se na correção de imagens monocromáticas, sendo que nas coloridas o procedimento pode ser realizado de forma idêntica, corrigindo o canal Y do espaço de cores YCrCb.

III. RESULTADOS As Figuras 7 a 12 a seguir mostram alguns exemplos de

imagens ajustadas utilizando a correção automática de iluminação proposta nesse trabalho. Nesses exemplos são exibidas a imagem antes e após a correção.

Fig. 7. Exemplo 1 antes (acima) e depois (abaixo) da correção

Fig. 8. Exemplo 2 antes (acima) e depois (abaixo) da correção

Fig. 9. Exemplo 3 antes (acima) e depois (abaixo) da correção

Fig. 10. Exemplo 4 antes (acima) e depois (abaixo) da correção

Fig. 11. Exemplo 5 antes (acima) e depois (abaixo) da correção

Fig. 12. Exemplo 6 antes (acima) e depois (abaixo) da correção

A partir de análise visual, pode-se notar que o método consegue de forma automática melhorar a qualidade da iluminação das imagens. Na Fig. 7, por exemplo, a imagem apresentava um sério problema de diferença de iluminação: a parte de cima da imagem estava bastante clara e a parte de baixa bastante escura, caso típico de mau alinhamento do anel na retina. Nesse caso, o método conseguiu melhorar a qualidade da imagem, deixando a parte de baixo mais clara, ressaltando os vasos nessa região.

Mesmo em imagens com boa homogeneidade de iluminação, como é caso da imagem da Fig. 9, o método consegue melhorá-la, uma vez que aproxima a iluminação para uma condição ótima de visualização para o usuário, de acordo com as classificações das imagens presentes no conjunto de treinamento da rede neural. No caso dessa imagem, apesar de homogênea, ela se apresenta um pouco escura e, com a aplicação do método, pode-se clareá-la de forma homogênea, sem saturar a região do nervo óptico. Tal clareamento permite a melhor visualização dos vasos da retina, principalmente em regiões em que esses estão em partes mal iluminadas da imagem.

Já na Fig. 10 a imagem estava bastante escura e, após a aplicação do método, essa ficou mais clara e com a iluminação bastante homogênea, o que permitiu visualizar de uma forma melhorada os vasos retinianos e o nervo óptico. No caso de imagens com muita iluminação, como é o caso da Fig. 12, o método consegue corrigir a iluminação corretamente, escurecendo e homogeneizando a imagem, o que melhora o contraste e permite a melhor visualização das estruturas da retina.

O método de correção de iluminação foi aplicado em mais de 100 imagens e para todas foi bastante satisfatório, homogeneizando e corrigindo a iluminação, o que resultou em uma imagem melhorada considerando uma análise realizada por inspeção visual.

IV. CONCLUSÕES O método proposto se caracteriza como uma ferramenta

automática para a correção de iluminação em imagens da retina, obtidas através de exames não-midriáticos. Tal método melhora a qualidade de imagens da retina, uma vez que corrige eventuais problemas de iluminação na mesma, viabilizando o exame e diminuindo a intrusão do mesmo, uma vez que o paciente não precisa de dilatação da pupila para ser examinado.

Como o problema de definir os melhores parâmetros para dar o melhor resultado na imagem é bastante complexo e não linear, o uso de redes neurais artificiais se caracterizou como uma excelente ferramenta para a solução do problema, uma vez que após o treinamento, permite generalizar soluções que darão os resultados mais próximos do ideal para o filtro homomórfico aplicado na imagem da retina.

Vale ressaltar que a formação do conjunto de treinamento para a rede neural se caracteriza no processo mais importante do método e deve ser feito com os mais diversos tipos de iluminação na imagem e, de preferência, por mais de um

especialista da área. Apenas com um bom ajuste das imagens durante o treinamento é que o algoritmo conseguirá um bom desempenho, uma vez que generalizará tentando aproximar para as saídas apresentadas no treinamento. Dessa forma, quanto maior a quantidade de condições de iluminação na imagem e de opiniões sobre qual melhor 𝛾!  aplicar durante o treinamento, melhor será método. As matrizes de pesos apresentadas nesse trabalho também podem ser utilizadas para esse fim, dado que esse treinamento já foi realizado.

Um fator bastante interessante do método é a capacidade de corrigir imagens com diferenças significativas de iluminação, tanto para casos de iluminação muito escura quanto para muito clara. Também possui a capacidade de corrigir imagens com os dois tipos de iluminação, como é o caso da Fig. 11 em que a imagem possui um gradiente de escuro para claro da parte inferior esquerda para a superior direita. Nesse caso, o método tem a capacidade de deixar a parte escura mais clara, sem saturar a região em que já estava clara na imagem, trazendo melhorias significativas para a visualização das estruturas retinianas e diagnóstico.

Em relação ao tempo de processamento do método, ao ser executado em uma máquina Intel Core 2 Duo de 2.2 GHz com 2 Gb de memória RAM, a média foi de 1.5s para as imagens de 11 MP. Tal fato permite que a imagem seja corrigida e exibida durante o exame, caso a funcionalidade de correção esteja habilitada no software do equipamento, sendo, dessa forma, um processo transparente ao usuário devido ao pequeno tempo de processamento para a correção.

Devido às características apresentadas, o método proposto possibilita melhorar a qualidade da iluminação da imagem de maneira significativa em exames não midriáticos, colaborando assim para o aprimoramento das técnicas de exames de retinografia de forma não intrusiva.

AGRADECIMENTOS Ao Dr. Mário Stefani pelo incentivo às atividades

acadêmicas nas dependências da Opto e a todos os colegas que contribuíram para o desenvolvimento deste trabalho.

REFERÊNCIAS [1] Chen, J., Tian, J. “Retinal Vessel Enhancement Based on Directional

Field”, Proc. SPIE 6914, 6914221-8, 2008. [2] Oliveira, T. B., Trevelin, L. C., Moreira, F. M. A., Bagnato, V. S.,

Schor, P., Carvalho, L. A. V. “Desenvolvimento e Resultados Preliminares de um Sistema Cromático de Iluminação para Oftalmoscópios Indiretos”, Arq. Bras. Oftalmol., 72, 146-151, 2009.

[3] Vieira, F. P., Rodrigues, E. L. L. “Influência do Uso de Sensores Coloridos em Retinógrafos Digitais”, VII Workshop de Visão Computacional, 2011.

[4] Pratt, W. Digital Image Processing, 4th Ed., Wiley, 2007. [5] Silva, I. N., Spatti, D. H., Flauzino, R. A. Redes Neurais Artificiais para

Engenharia e Ciências Aplicadas, 1° Ed., Artliber Editora, 2010. [6] Stuchi, J. A.; Vieira, M. A. C.; Rodrigues, E. L. L. “Registro de Imagens

por Correlação de Fase para Geração de Imagens Coloridas em Retinógrafos Digitais Utilizando Câmera CCD Monocromática de Alta Resolução”, VIII Workshop de Visão Computacional, 2012.