1

Segmentation Floue d’Images de Documents Anciens par Approche Texture Utilisant le Filtre de Gabor

Kamel MOUATS Nicholas JOURNET Rémy MULLOT Laboratoire L3i, 17042 La Rochelle Cedex 1 – France

k_mouats@yahoo.fr nicholas.jounet@univ-lr.fr remy.mullot@univ-lr.fr

Résumé Cet article présente une méthode de segmentation

floue des images de documents anciens. Elle permet la séparation des zones de texte et de dessins d’images de documents imprimés datant de la Renaissance. Notre approche consiste à définir des bancs de filtres de Gabor capables de localiser les zones de textes et de dessin séparément à l’aide d’un processus de classification flou des résultats de filtrage. Une simple fusion des résultats des bancs de filtres fournit une version segmentée de l’image de document ancien en question. Nous avons validé notre système et des résultats seront donnés et discutés. 1. Introduction

Les documents anciens sont des documents d’archives rédigés à une autre époque et obéissant donc à des règles typographiques et de composition différentes de celles appliquées sur les documents modernes.

En effet, l’image d’un document ancien numérisé est souvent très tonale, à niveaux de gris ou en couleur. Elle peut comprendre des annotations dans les marges, des illustrations, des lettrines, voire même des écritures manuscrites. Ces documents se caractérisent par des présentations et des écritures très variées, variations dues à la multiplicité des styles et des techniques d’impression qui ont évolué au cours du temps. L’usure du temps a, de plus, produit des altérations au document original et l’image numérisée qui en découle contient alors des imperfections (taches, écritures fragmentées) qui n’existent pas dans les documents plus modernes.

La segmentation d’images de documents anciens en vue de les indexer est un sujet de recherche. Les documents anciens possèdent de nombreuses particularités qui ne permettent pas d’appliquer les techniques classiques d’analyse de documents composites et d’OCR sur ces ouvrages. Ils sont dégradés, reposent sur les anciennes techniques d’imprimerie et respectent donc des règles particulières de typographie et de mise en forme.

La segmentation de texture est un sujet de base et important en traitement d'image. Elle consiste à segmenter une image texturée en plusieurs régions ayant les mêmes caractéristiques de texture; elle est bien et belle appliquée à l'analyse des images aériennes, images biomédicales et des images sismiques, et récemment sur

les images de documents mais nécessitant une bonne définition et paramétrisation.

L'approche texturale de segmentation de textes et graphiques, dans des documents numérisés, est basée sur le fait que le texte dans le document peut être aperçu comme une texture, cependant les graphiques sont une autre texture différente. En se basant sur cette idée, on segmente les documents à l'aide d'un schéma de segmentation texture utilisant des bancs de filtres comme Extracteurs de Caractéristiques. La conception de banc de filtres utilise les filtres de Gabor, éléments de base pour l'extraction de caractéristiques, qui simulent la vision humaine et fournit une résolution optimale en temps et fréquence. Le principe consiste à décomposer l'image à travers plusieurs filtres d'images avec des fréquences et orientations sélectives.

Dans le présent article, nous allons adopter l’outil Gabor pour définir un système de segmentation d’images de documents anciens, qui soit alors une première tentative et un premier pas dans la littérature des méthodes de segmentation d’images de documents anciens. 2. Théorie gaborienne 2.1. Théorie

Un filtre de Gabor est une fonction sinusoïdale à laquelle on a rajouté une enveloppe gaussienne (figure1.1). La fonction sinusoïdale est caractérisée par sa fréquence et son orientation. Ainsi appliqué sur une image, un filtre de Gabor peut être vu comme un détecteur de segments d'orientation particulière, puisqu'il réagira aux arêtes perpendiculaires à la direction de propagation du sinus [6].

Les techniques de filtrage multi-canaux permettent l'extraction des caractéristiques de texture localement, en fréquence et orientation, pour tout pixel dans une région d'intérêt. Cette méthode est particulièrement intéressante vue qu'elle est inspirée du système de vision humain qui décompose l'image projetée sur la rétine en un nombre important d'images filtrées, chacune contenant des variations d'intensité fines de fréquences et d'orientations [3] .

L'idée de l'approche gaborienne est alors de concevoir un filtrage particulièrement sélectif en fréquence et

2

orientation dans le but de caractériser au détail près les textures.

L’idée de la segmentation de documents anciens à l’aide d’outils texture est basée sur le constat que le texte et les illustrations peuvent êtres vus comme étant des zones fortement texturées.

Il est possible de segmenter des images de documents à l’aide de plusieurs filtres selon des fréquences et des orientations différentes (Figure 2).

Une fonction de Gabor 2D « h » est une onde plane sinusoïdale modulée par une enveloppe gaussienne et orientée avec un angle q selon l'axe X. La formulation mathématique, dans le domaine spatial pour une fréquence fondamentale u0 selon l'axe X (c.à.d. q = 0°), est : où sx (respectivement sy) est l’écart type de la gaussienne selon l'axe X (respectivement Y).

Les filtres à orientation q (q∫0) sont obtenus en effectuant une rotation de l'équation précédente.

La sélectivité du banc de filtre en orientation et fréquence est clairement illustrée dans le domaine fréquentiel, c'est pour cette raison qu'on applique la transformée de Fourier à l'équation (1), et on obtient ainsi :

avec su = 1 / 2psx , sv = 1 / 2psy et A = 2psxsy .

Dans le domaine fréquentiel, le signal est représenté par deux gaussiennes selon l'axe X, centrées en +u0 et -u0 comme montré sur la figure1.2 [6]. 2.2. Panorama

Le filtre de Gabor est l’outil utilisé par excellence dans la segmentation et l’analyse de texture. Cependant, peu de travaux l’ont adopté pour la segmentation Texte/Dessin et particulièrement appliquée sur des documents contemporains.

Jain et Bhattacharjee [3] proposent une méthode directe de segmentation Texte/Dessin en utilisant un banc de filtres de Gabor; la méthode ainsi définie permet de marquer les zones de texte des images de journaux.

Trygve et al. [2] reposent sur les travaux de Jain et Bhattacharjee pour mettre au point un système de segmentation supervisé capable de séparer le texte, le dessin et le fond des images de documents fortement bruités.

Mausumi et Malay [4] développent une méthode de segmentation d’images de documents à l’aide du filtre de Gabor utilisé dans un environnement à base d’ondelette. Le travail ainsi défini opte seulement pour le marquage des zones de texte présentes dans des documents contemporains (principalement pages de journaux) et une analyse de l’efficacité en intégrant l’outil Gabor dans une analyse multirésolution. 2.3. Ce qu’il faut retenir

Si les approches de segmentation d’images de documents ascendantes/descendantes sont à privilégier lorsque l’on traite des documents fortement structurés où les modèles sont connus, il semble plus approprié de se baser sur l’analyse de texture si, à l’instar des documents anciens, les images traitées sont faiblement structurées, fortement bruitées et surtout caractérisées par une forte variabilité de leur structure.

L'objectif du filtrage multi-canaux, à base de filtres de Gabor, est de transformer les segments entre les différentes textures en des discontinuités détectables, donc pouvoir délimiter les différentes textures présentes sur une image et l’extraire à l’aide d’un filtre de Gabor pour une fréquence et une orientation spécifiques.

On utilise alors un banc de filtres de Gabor (fréquences et orientations sélectives) pour renvoyer les différentes zones (surfaces) des images dans chaque

Figure 1.1. La fonction de Gabor dans le domaine spatial

Figure 1.2. La fonction de Gabor dans le domaine fréquentiel

h x , y = 1 2 x y

exp −1 2[ x

2

x2

y2

y2 ] .cos 2U 0 x (1)

A[exp −1 2[u−u0

2

u2 v

2

v2 ]exp−1

2[uu0

2

u2 v

2

v2 ]]

H(u,v) = TF(h(x,y)) =

(2)

Figure 2. Banc de filtres de Gabor dans le domaine fréquentiel

3

canal, sachant que les zones de texte sont détectables à des fréquences importantes comparées aux zones graphiques qui le sont pour de basses fréquences. 3. Méthode de segmentation proposée

Notre méthode consiste à définir deux bancs de filtres

de Gabor, le premier destiné à détecter les zones graphiques en manipulant des basses fréquences, et le deuxième utilise des hautes fréquences pour localiser les zones de texte (figure 3).

Une fonction d’énergie locale est appliquée sur chaque image filtrée pour obtenir ainsi une image caractéristique. Pour décider sur la classe d’appartenance d’un pixel (Texte/Dessin), on a appliqué une Classification Floue en introduisant le concept de degré d’appartenance qui détermine la « force » de chaque pixel à appartenir à une classe spécifique en raisonnant sur la base d’un intervalle de valeurs (seuils d’appartenance) calculés pour chaque pixel dans un voisinage donné. A partir de la base des images obtenue (images de Texte et images de Dessin), on établit une fusion d’images pour chacune des classes à part, en associant des poids de contribution à la définition de la classe (texte ou dessin) pour chacune des orientations (méthode de fusion par vote).

Le résultat de cette dernière fusion étant deux images, la première détermine les zones de textes de l’image d’origine, et la deuxième présente les zones graphiques.

L’union de ces deux images donne lieu à l’image segmentée recherchée.

Nous allons décrire, dans ce qui suit, les différentes étapes de notre système de segmentation proposé. 3-1 Bancs de Filtres et paramétrisation

En se basant sur les travaux de Jain et Bhattacharjee [3] et Trygve et al. [2], on a opté pour la définition de deux bancs de filtres, le premier spécifique pour l’analyse du texte des images de documents anciens et le deuxième est destiné à capter les zones graphiques de ces mêmes images.

Le 1er banc manipule trois hautes fréquences qu’on a jugé discriminantes pour l’analyse des zones de textes (16√2, 32√2 et 64√2) et le 2ème utilise aussi trois basses fréquences jugées fiables pour la détection des zones graphiques (1√2, 2√2 et 4√2).On a opté pour cinq orientations : 0°, 30°, 60°, 90° et 120°.

Les images de documents anciens sont des images riches en traits, à multiples orientations, ce qui fait que la variabilité des orientations choisies est objective et justifiée.

3.2. Images caractéristiques / Calcul de l’énergie locale

L’étape suivante consiste à estimer l’énergie des

réponses des filtres dans une région locale autour de chaque pixel. L’estimateur de l’énergie locale est utilisé dans le but d’identifier les zones dans chaque canal.

Contrairement à beaucoup d’autres travaux [1], [2], [3], [4], qui utilisent une fonction d’énergie locale non-linéaire avec un facteur de saturation de canal, on a adopté la fonction d’amplitude simple comme valeur de la fonction d’énergie locale engki(x,y) autour du pixel (x,y) [4]. Ce choix se justifie par le fait qu’une fonction d’énergie locale peut être pénalisante vu le caractère compensatoire de son expression. Alors, pour favoriser la précision, on décrit chaque pixel par sa seule fonction d’amplitude : où hki(x,y) est la réponse du kème filtre au pixel (x,y). Formellement, l’image caractéristique Featki(x,y) correspondante à l’image d’entrée hki est donnée par la formule suivante : Où Y() est l’estimateur de l’énergie locale et Gx,y est une fenêtre GxG centrée au pixel de coordonnées (x,y). Il a été constaté qu’une fenêtre de taille 9x9 est appropriée [4].

engki(x,y) = hki(x,y) (3)

1 G2 m ,n hki m ,n

Featki(x,y )= (4) {(m,n) eGx,y}

Figure 3. Schéma du processus de segmentation d’image utilisant un banc de filtres de Gabor

Image résultante Segmentée

Image de Texte Image de Dessin

Fusion des résultats

15 caractéristiques textuelles par pixel

Classification

Extraction de Caractéristiques

Sous – Banc de Filtres de Gabor 1

(Hautes Fréquence)

Filtrage

Image d’Entrée

Sous – Banc de Filtres de Gabor 2

(Basses Fréquence)

GH1 F1θ1

GH1 F3θ5

GB1 F’1θ1

GH1 F’3θ5

15 caractéristiques graphiques par pixel

4

3.3. Classification

Sur les images caractéristiques obtenues, on applique une classification de type flou non supervisée dont le principe consiste à trouver une partition de chaque image, caractérisée par le degré d’appartenance d’un pixel (i,j) à une classe Ck [7], [8]. L’idée qui soutient l’approche par la logique floue est la possibilité d’appartenance à la fois à plusieurs classes pour un pixel ou une région donnée de l’image. L’approche par la logique floue en segmentation d’images se justifie donc grâce à sa capacité d’engendrer une matrice des degrés d’appartenance. L’idée est qu’au lieu de chercher un seuil unique S décidant l’appartenance à un ensemble dans un contexte donné, il semble plus réaliste de considérer deux seuils S1<S2, avec une fonction d’appartenance donnant à chaque pixel un degré d’appartenance (compris entre 0 et 1) selon lequel on décide sur son appartenance à une classe.

Dans notre cas, pour chaque banc de filtre, il existe deux classes : Texte – Non-Texte pour le 1er banc et Dessin – Non-Dessin pour le 2ème.

L’initialisation des degrés d’appartenance se fait comme suit :

Parmi les techniques de la logique floue en classification, l’algorithme C-Moyennes Floue (CMF) a été choisi pour son autonomie due à l’usage d’un classificateur non supervisé. Cet algorithme utilise un critère de minimisation des distances intra-classes et de maximisation des distances inter-classes mais en tenant compte des degrés d’appartenance.

L’exécution de cet algorithme permet d’affecter les pixels dont le degré d’appartenance est compris entre S1 et S2 aux classes jugées adéquates [7]. 3.4. Analyse de seuillage

Le seuillage adopté dans notre méthode est trop simple à mettre en œuvre et se situe dans la phase de défuzzyfication.

Il s’agit d’un seuillage local et adaptatif pour tout pixel dans un voisinage de 3x3.

Pour chaque sous-banc de filtres, le seuillage peut être formalisé comme suit :

Suite à cette opération, chaque pixel sera attribuer à une classe, ‘Texte’ ou ‘Non’ pour le premier sous-banc de filtres et ‘Dessin’ ou ‘Non’ pour le second (figure 4).

Une fois les pixels affectés à leurs classes, on procède à une fusion des résultats d’affectation pour ne garder qu’une seule classe par pixel et fournir ainsi le résultat final de notre système de segmentation d’images de documents anciens. 3.5. Fusion des résultats de chaque sous banc de filtres

Dans cette phase, on intègre les résultats de la classification précédemment réalisée, et on génère une affectation plus appropriée des pixels. Comme résultat, on obtient deux sous images de l’image d’origine, l’une produisant l’image du texte, et l’autre donne l’image des zones graphiques.

On a adopté une heuristique de fusion par vote [7], [8], [9] moyennée par le nombre de filtres utilisés dans chaque banc, et dont le résultat est comparé à un seuil qu’on a fixé à 50%.

3.6. Génération de l’image segmentée

A partir du résultat de la fusion des sorties des deux sous banc de filtres, on regroupe les 2 images produites

Si Fk(i,j) < S1 Alors App(i,j) C1; Uij-1 Fk(i,j); Sinon Si Fk(i,j) > S2 Alors App(i,j) C2; Uij-2 Fk(i,j)

Fk(i,j) : Degré d’appartenance du pixel (i,j) {résultat de la fuzzyfication des Featk(i,j)} e [0,1]; App : Matrice des affectations. C1 : Texte pour banc1 / Dessin pour banc2 C2 : Non-Texte pour banc1/Non-Dessin pour banc2 [Uij-k] : matrice des degrés d’appartenance

Calculer l’écart type (ρ) sur les degrés d’appartenance de la matrice de voisinage (%) Si ρ < 50% alors (1) sinon (2) (1) Si deg(i,j) >= Moy(deg(k,l)) i-2<=k<=i+2, Moy : moyenne j-2<=l<=j+2, Alors pixel (i,j) e Classe1 Sinon pixel (i,j) e Classe 1 (2) °/Calculer le nombre d’éléments avec un degré d’appartenance supérieur à deg(i,j) (nb1) Et le nombre d’éléments avec un degré d’appartenance inférieur à deg(i,j) (nb2); °/ Si nb1>=nb2 alors pixel (i,j) e Classe1 Sinon pixel (i,j) e Classe 1

Matrices des degrés d’appartenance produites par l’opération de normalisation des résultats de filtrage dans un Sous Banc de Filtres de Gabor.

°/ Pour le Sous Banc de Filtres 1 (HF) : Classe1 = Texte Classe1 = Non Texte °/ Pour le Sous Banc de Filtres 2 (BF) : Classe1 = Dessin Classe1 = Non Dessin

Uij-1

VC(i,j)={Uij-k,k=1..15} Si deg(i,j)<S1 I(i,j)eClasse1 Si deg(i,j)>S2 I(i,j)eClasse1

15,1),deg(1

== ∑=

− DUD

jiD

llij

Figure 4. Affectation des pixels aux classes correspondantes (Initialisation de la classification

floue)

5

pour avoir ainsi l’image segmentée de l’image de document ancien introduite en entrée.

On définit une règle heuristique de priorité textuelle, on utilise l’opérateur XOR entre les deux résultats de classification (image de texte et image de dessin) pour éviter le conflit d’affectation ; le résultat de fusion contient, en premier lieu, les composants textuels (qui sont plus sûrs), en les excluant du résultat de classification de dessin, ensuite on affecte le résultat des pixels dessins restants. Les pixels sans étiquettes forment le fond de l’image (figure 5).

4. Résultats

Nous avons implanté et testé notre système sur une base de 120 images de documents anciens tirées de quatre ouvrages de Vésale et nous avons calculé le taux de reconnaissance obtenu (Voir figures 6 et 7).

√2 Hz 8√2 Hz 16√2 Hz 64√2 Hz

0°

60°

90°

Figure 6. Effets de la fréquence et l’orientation sur le résultat de filtrage (Résultats après seuillage)

Voici quelques résultats obtenus : ²

Résultat de FCM - 1 Sous - Banc de Filtres1(Détection des zones de

textes)

Résultat de FCM – 2 Sous – Banc de Filtres 2

(Détection des zones graphiques)

XOR

Image de document ancien segmentée :

Texte / Dessin / Fond

Priorité Min

Priorité Max

Figure 5. Processus de fusion des résultats de classification floue des 2 Sous Banc de Filtres

Image de document ancien segmentée

Texte

Dessin

Fond

Filtrage (Banc de filtres 2)

Basses Fréquences

Vecteurs Caractéristiques

Dessin CMF

XOR

Figure 7. Exemple d’application du système de segmentation floue d’images de documents anciens par

le filtre de Gabor

Filtrage (Banc de filtres 1)

Basses Fréquences

Vecteurs Caractéristiques Texte

98.76% de pixels bien classés 01.34% de pixels mal classés 0% de pixels non classés

98.75% de pixels bien classés 01.21% de pixels mal classés 0.04% de pixels non classés

Apparition des zones graphiques pour des fréquences basses

(Résultats de filtrage après seuillage)

Apparition des zones textuelles pour des fréquences hautes

(Résultats de filtrage après seuillage)

6

Discussion

Les résultats obtenus sont encourageants, cependant, les valeurs calculées sur les exemples précédents ne sont pas les mêmes pour d’autres types d’images de documents anciens (images de documents avec bordures texturées, des images avec de grands portraits finement texturée, images avec des zones ombrées,…).

Les résultats de la segmentation sont de plus en plus parfaits que les zones graphiques soient de plus en plus homogènes, cependant, si les zones graphiques contiennent des textures fines (similaires à des lignes, hachurées), alors le système décide du comportent textuel de ces zones.

La structure des ombres, qui est principalement linéaire, fait que ces zones seront classées en tant que zones de texte.

La taille de la police peut basculer la décision du système sur l’appartenance des pixels de ces zones, c-à-d que tant que la taille grandisse, le système change la classe d’appartenance de texte en dessin, ceci étant logique vu qu’un caractère de grande taille est qualifié en zone homogène et se localise en basse fréquence.

Malgré les bons résultats obtenus par notre système de segmentation floue d’images de documents anciens, qui a atteint un taux de 95% de bonnes réponses, un système de segmentation basé uniquement sur les réponses du filtre de Gabor est loin d’être parfait ou meilleur. De ce fait, d’autres connaissances (mesures de texture), autres que les réponses des filtres de Gabor, sont indispensables pour améliorer les résultats et corriger les imperfections. 5. Conclusion et perspectives

Nous avons exploité les propriétés du filtre de Gabor pour développer un système de segmentation floue d’images de documents anciens.

A chaque pixel, nous avons associé une signature composée de deux parties : l’une textuelle et l’autre graphique et dont chacune est définie par les réponses de filtrage.

L’approche floue adoptée se justifie par le caractère incertain de définition de seuil ou de borne séparant les réponses des pixels graphiques et des pixels des zones de texte.

Les résultats obtenus sont très encourageants, cependant, la généralisation de l’ensemble des paramètres du banc de filtres semble une tâche difficile, voire même impraticable, de ce fait, pour chaque classe d’images de documents anciens (images avec bordure,

sans bordure et avec lettrine seule, gros dessin, gros texte,….), un banc de filtres spécifique est nécessaire à définir.

Les imperfections présentes dans quelques décisions de notre système peuvent être corrigées en incluant des mesures de texture dans la signature définie précédemment.

Les applications à prévoir comme complément de notre travail peuvent être résumées dans ce qui suit : ► Intégration des mesures de texture de Tamura dans notre système et le valider sur une base d’images de documents anciens ; ► Détermination des propriétés typographiques des documents (types du texte / tailles des fonte,…) ; ► Définir des primitives optimales et efficaces pour la quantification et la classification (segments, régions,...) afin d’éviter le parcours exhaustif et répétitif de tous les pixels ; ► Utiliser l'outil Gabor pour l'indexation et la consultation des bases de données d'Images de Documents Anciens.

6. Références [1] S. Raju S, P. Basa Pati, and A G Ramakrishnan, "Gabor Filter Based Block Energy for Text Extraction from Digital Document Images", Proc. First International Workshop on Document Image Analysis for Libraries (DIAL’04) – 2004 IEEE [2] T. Randen, J. Håkon Husǿy, ''Segmentation of Text/Image Documents Using Texture Approaches'' Proc. Norway, Juin 1994. [3] A. K. Jain and S. Bhattacharjee, ''Text Segmentation Using Gabor Filters for Automatic Document Processing'', Machine Vision and Applications (1992) 5 : 169-184. [4] M. Acharyya and M. K. Kundu, ''Document Image Segmentation Using Wavelet Scale-Space Features'', IEEE Transactions on Circuits and Systems for Video Technology, Vol. 12, n° 12, December 2002. [5] N. Journet, R. Mullot, J.Y. Ramel, V. Eglin, "Ancient Printed Documents indexation :a new approach", International Conference on Advances in Pattern Recognition, August 2005. [6] K. Hammouda, ''Texture Segmentation Using Gabor Filters'', SYDE 775, Image Processing, Department of Systems Design Engineering, University of Waterloo, Canada, December 2000. [7] Y. Smara, N. Ouarab, "Techniques de fusion et de classification floue d’images satellitaires multisources pour la caractérisation et le suivi de l’extension du tissu urbain de la région d’Alger (Algérie)", 2nd FIG Regional Conference – Marrakech, Morocco, December 2-5, 2003. [8] J.C.Bezdek, "Pattern Recognition with Fuzzy Objective Function Algorithms", Plenum Press, New York, 1981. [9] A. Martin, "Fusion de classifieurs pour la classification d’images sonar", Revue des Nouvelles Technologies de l’Information RNTI-1, 2004.

93.08% de pixels bien classés 6.02% de pixels mal classés 0.90% de pixels non classés