PSOMEM

Perfectionnement des algorithmes doptimisation par

essaim particulaire : applications en segmentation

dimages et en electronique

Abbas El Dor

To cite this version:

Abbas El Dor. Perfectionnement des algorithmes doptimisation par essaim particulaire : ap-plications en segmentation dimages et en electronique. Other. Universite Paris-Est, 2012.French. .

HAL Id: tel-00788961

https://tel.archives-ouvertes.fr/tel-00788961

Submitted on 15 Feb 2013

HAL is a multi-disciplinary open accessarchive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come fromteaching and research institutions in France orabroad, or from public or private research centers.

Larchive ouverte pluridisciplinaire HAL, estdestinee au depot et a la diffusion de documentsscientifiques de niveau recherche, publies ou non,emanant des etablissements denseignement et derecherche francais ou etrangers, des laboratoirespublics ou prives.

https://hal.archives-ouvertes.frhttps://tel.archives-ouvertes.fr/tel-00788961

UNIVERSIT PARIS-EST

COLE DOCTORALE MATHEMATIQUES ET STIC

(MSTIC, E.D. 532)

THSE DE DOCTORATEN INFORMATIQUE

par

Abbas EL DORSujet de la thse

Perfectionnement des algorithmes

dOptimisation par Essaim Particulaire.Applications en segmentation dimages et en lectronique

Thse soutenue le 5 dcembre 2012

Jury :

Damien TRENTESAUX Professeur des Universits Universit de Valenciennes Prsident

Frdric SAUBION Professeur des Universits Universit dAngers Rapporteur

Marc SEVAUX Professeur des Universits Universit de Bretagne-Sud Rapporteur

Grard BERTHIAU Professeur des Universits Universit de Nantes Examinateur

Laurent DEROUSSI Matre de Confrences Universit de Clermont-Ferrand Examinateur

Maurice CLERC Ingnieur consultant Annecy Co-directeur de thse

Patrick SIARRY Professeur des Universits Universit Paris-Est Crteil Directeur de thse

Remerciements

Je voudrais tout dabord remercier Patrick Siarry, Directeur de lquipe Traitement de

lImage et du Signal du Laboratoire Images, Signaux et Systmes Intelligents, et Directeur

de cette thse, ainsi que Maurice Clerc, pour mavoir donn la possibilit de faire cette

thse, et pour leur encadrement parfait. Ils ont toute ma gratitude pour mavoir laiss

une grande libert dans mes recherches, aid et encourag dans les moments difficiles et

mavoir consacr leur temps malgr leurs occupations.

Je tiens exprimerma gratitude Frdric Saubion et Marc Sevaux pour avoir accept

dtre les rapporteurs de cette thse. Je voudrais galement remercier Damien Trentesaux

pour avoir accept de prsider mon jury. Je remercie aussi Grard Berthiau et Laurent

Deroussi pour avoir accept dexaminer mes travaux. Jadresse un grand merci tous les

membres de mon jury, pour avoir ainsi marqu leur intrt pour mon travail, et pour les

remarques quils ont apportes durant la relecture et la soutenance de ma thse.

Je souhaite galement exprimer ma reconnaissance envers tous les membres du LiSSi,

pour mavoir accueilli chaleureusement, et pour toutes les conversations scientifiques ou

non que lon a pu avoir. Un grand merci Patricia Jamin, Sandrine David et Frdric Du-

mont, pour mavoir aid surmonter toutes sortes de problmes. Je remercie galement

Brigitte David, de lancienne Ecole Doctorale SIMME, et Sylvie Cach, de la nouvelle ED

MSTIC.

Je remercie tous mes collgues doctorants, pour la bonne ambiance et leur amiti. Merci

en particulier Kamel Aloui, Ilhem Boussad, Julien Lepagnot et Mustapha Dakkak.

Jai eu la chance denseigner en tant que vacataire, pendant mes deux premires annes

de thse, lUniversit Paris-Est Crteil. Jai beaucoup aim enseigner luniversit, et je

souhaite remercier toute lquipe enseignante avec qui jai eu lhonneur de travailler. Merci

notamment Eric Petit et Ahmed Raji.

II

Remerciements

Je suis trs reconnaissant envers les membres de lIUT de Crteil/Vitry qui mont cha-

leureusement accueilli parmi eux. Un grand merci pour leur bienveillance, et pour tous les

bons conseils quils mont prodigus.

Ce travail naurait pas pu tre ralis sans le soutien de ma famille, que je remercie

tout particulirement. Un grand merci mes parents, mes frres et mes surs, qui mont

soutenu tout au long de mes tudes et dont je serai indfiniment redevable.

Je tiens aussi remercier tous ceux qui ont, de prs ou de loin, aid rendre ce travail

possible, que ce soit par des ides ou par des encouragements.

Merci tous !

III

Rsum

La rsolution satisfaisante dun problme doptimisation difficile, qui comporte un

grand nombre de solutions sous-optimales, justifie souvent le recours unemtaheuristique

puissante. Lamajorit des algorithmes utiliss pour rsoudre ces problmes doptimisation

sont les mtaheuristiques population. Parmi celles-ci, nous intressons lOptimisation

par Essaim Particulaire (OEP, ou PSO en anglais) qui est apparue en 1995. PSO sinspire de

la dynamique danimaux se dplaant en groupes compacts (essaims dabeilles, vols grou-

ps doiseaux, bancs de poissons). Les particules dun mme essaim communiquent entre

elles tout au long de la recherche pour construire une solution au problme pos, et ce en

sappuyant sur leur exprience collective. Lalgorithme PSO, qui est simple comprendre,

programmer et utiliser, se rvle particulirement efficace pour les problmes doptimi-

sation variables continues. Cependant, comme toutes les mtaheuristiques, PSO possde

des inconvnients, qui rebutent encore certains utilisateurs. Le problme de convergence

prmature, qui peut conduire les algorithmes de ce type stagner dans un optimum lo-

cal, est un de ces inconvnients. Lobjectif de cette thse est de proposer des mcanismes,

incorporables PSO, qui permettent de remdier cet inconvnient et damliorer les per-

formances et lefficacit de PSO.

Nous proposons dans cette thse deux algorithmes, nomms PSO-2S et DEPSO-2S,

pour remdier au problme de la convergence prmature. Ces algorithmes utilisent des

ides innovantes et se caractrisent par de nouvelles stratgies dinitialisation dans plu-

sieurs zones, afin dassurer une bonne couverture de lespace de recherche par les parti-

cules. Toujours dans le cadre de lamlioration de PSO, nous avons labor une nouvelle

topologie de voisinage, nomme Dcluster, qui organise le rseau de communication entre

les particules. Les rsultats obtenus sur un jeu de fonctions de test montrent lefficacit

des stratgies mises en uvre par les diffrents algorithmes proposs. Enfin, PSO-2S est

appliqu des problmes pratiques, en segmentation dimages et en lectronique.

Mots cls : Optimisation, optimisation continue, mtaheuristiques, optimisation par essaim

particulaire, segmentation dimage.

IV

Abstract

The successful resolution of a difficult optimization problem, comprising a large num-

ber of sub optimal solutions, often justifies the use of powerfulmetaheuristics. A wide range

of algorithms used to solve these combinatorial problems belong to the class of population

metaheuristics. Among them, Particle SwarmOptimization (PSO), appeared in 1995, is ins-

pired by the movement of individuals in a swarm, like a bee swarm, a bird flock or a fish

school. The particles of the same swarm communicate with each other to build a solution

to the given problem. This is done by relying on their collective experience. This algorithm,

which is easy to understand and implement, is particularly effective for optimization pro-

blems with continuous variables. However, like several metaheuristics, PSO shows some

drawbacks that make some users avoid it. The premature convergence problem, where the

algorithm converges to some local optima and does not progress anymore in order to find

better solutions, is one of them. This thesis aims at proposing alternative methods, that can

be incorporated in PSO to overcome these problems, and to improve the performance and

the efficiency of PSO.

We propose two algorithms, called PSO-2S and DEPSO-2S, to cope with the prema-

ture convergence problem. Both algorithms use innovative ideas and are characterized by

new initialization strategies in several areas to ensure good coverage of the search space

by particles. To improve the PSO algorithm, we have also developed a new neighborhood

topology, called Dcluster, which can be seen as the communication network between the

particles. The obtained experimental results for some benchmark cases show the effective-

ness of the strategies implemented in the proposed algorithms. Finally, PSO-2S is applied

to real world problems in both image segmentation and electronics fields.

Keywords : Optimization, continuous optimization, metaheuristics, particle swarm optimiza-

tion, image segmentation.

V

Table des matires

Introduction gnrale 1

1 Mtaheuristiques doptimisation : tat de lart 41.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.2 Mtaheuristiques pour loptimisation mono-objectif difficile . . . . . . . . . 5

1.2.1 Problme doptimisation . . . . . . . . . . . . . . . . . . . . . . . . . . 51.2.2 Optimisation difficile . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.2.3 Algorithmes doptimisation approche . . . . . . . . . . . . . . . . . 7

1.2.3.1 Heuristiques . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.2.3.2 Mtaheuristiques . . . . . . . . . . . . . . . . . . . . . . . . 7

1.2.4 Diffrentes approches en optimisation statique . . . . . . . . . . . . . 91.2.4.1 Algorithme du recuit simul . . . . . . . . . . . . . . . . . . 91.2.4.2 Algorithme de recherche tabou . . . . . . . . . . . . . . . . 101.2.4.3 Les algorithmes volutionnaires . . . . . . . . . . . . . . . . 121.2.4.4 Les algorithmes de colonies de fourmis . . . . . . . . . . . . 151.2.4.5 Algorithme volution diffrentielle . . . . . . . . . . . . . 18

1.3 Optimisation par Essaim Particulaire . . . . . . . . . . . . . . . . . . . . . . . 211.3.1 Principe gnral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211.3.2 Formalisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221.3.3 Amliorations de PSO . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

1.3.3.1 Confinement des particules . . . . . . . . . . . . . . . . . . . 241.3.3.2 Coefficient de constriction . . . . . . . . . . . . . . . . . . . 251.3.3.3 Topologie de voisinage . . . . . . . . . . . . . . . . . . . . . 261.3.3.4 Coefficient dinertie . . . . . . . . . . . . . . . . . . . . . . . 271.3.3.5 Stratgie FIPS . . . . . . . . . . . . . . . . . . . . . . . . . . . 271.3.3.6 Algorithme TRIBES . . . . . . . . . . . . . . . . . . . . . . . 281.3.3.7 PSO et hybridation . . . . . . . . . . . . . . . . . . . . . . . 291.3.3.8 PSO cooprative . . . . . . . . . . . . . . . . . . . . . . . . . 301.3.3.9 Autres variantes de PSO . . . . . . . . . . . . . . . . . . . . 31

1.4 Validation des algorithmes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321.4.1 Principales fonctions de test . . . . . . . . . . . . . . . . . . . . . . . . 321.4.2 Problmes rels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

VI

Table des matires

2 laboration dun algorithme dOptimisation par Essaim Particulaire PSO-2S 352.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352.2 Description de lalgorithme PSO-2S . . . . . . . . . . . . . . . . . . . . . . . . 36

2.2.1 Structure gnrale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362.2.2 Utilisation de deux essaims . . . . . . . . . . . . . . . . . . . . . . . . 382.2.3 Partitionnement de lespace de recherche . . . . . . . . . . . . . . . . 392.2.4 Rpulsion lectrostatique des particules . . . . . . . . . . . . . . . . . 422.2.5 Recherche locale de PSO-2S . . . . . . . . . . . . . . . . . . . . . . . . 442.2.6 Rsultats et analyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

2.2.6.1 Paramtrage . . . . . . . . . . . . . . . . . . . . . . . . . . . 492.2.6.2 Analyse de complexit . . . . . . . . . . . . . . . . . . . . . 502.2.6.3 Analyse de la sensibilit des paramtres . . . . . . . . . . . 512.2.6.4 Comparaison avec dautres algorithmes . . . . . . . . . . . 532.2.6.5 Comparaison de PSO-2S, avec et sans heuristique de rpul-

sion, avec SPSO2007 . . . . . . . . . . . . . . . . . . . . . . . 552.3 DEPSO-2S : hybridation de PSO-2S avec un algorithme volution diffren-

tielle DELG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 572.3.1 Prsentation de lalgorithme DELG . . . . . . . . . . . . . . . . . . . 592.3.2 Adaptation de DELG PSO-2S . . . . . . . . . . . . . . . . . . . . . . 612.3.3 Algorithme DEPSO-2S . . . . . . . . . . . . . . . . . . . . . . . . . . . 622.3.4 Rsultats et discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

2.3.4.1 Paramtrage . . . . . . . . . . . . . . . . . . . . . . . . . . . 642.3.4.2 Comparaison avec dautres algorithmes . . . . . . . . . . . 64

2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

3 Topologie de voisinage dans PSO : tude et perfectionnement 703.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703.2 Notion de voisinage de PSO . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

3.2.1 Voisinage gographique et social . . . . . . . . . . . . . . . . . . . . . 723.2.1.1 Voisinage gographique . . . . . . . . . . . . . . . . . . . . 723.2.1.2 Voisinage social . . . . . . . . . . . . . . . . . . . . . . . . . 73

3.2.2 change des informations entre les particules dans lalgorithme PSO 743.2.3 Diffrents modles de topologies . . . . . . . . . . . . . . . . . . . . . 75

3.2.3.1 Topologies statiques . . . . . . . . . . . . . . . . . . . . . . . 763.2.3.2 Topologies dynamiques . . . . . . . . . . . . . . . . . . . . . 77

3.3 laboration de la topologie Dcluster : une combinaison de deux topologies(statique et dynamique) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 813.3.1 Prsentation de la topologie propose . . . . . . . . . . . . . . . . . . 823.3.2 Rsultats et discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

3.3.2.1 Paramtrage . . . . . . . . . . . . . . . . . . . . . . . . . . . 833.3.2.2 Analyse exprimentale et comparaison avec dautres topo-

logies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 853.3.2.3 Analyse de convergence . . . . . . . . . . . . . . . . . . . . 89

3.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

VII

Table des matires

4 Application de PSO-2S en segmentation dimages et en lectronique 934.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 934.2 Application de PSO-2S en segmentation dimages . . . . . . . . . . . . . . . 93

4.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 934.2.2 Segmentation dimages par seuillage . . . . . . . . . . . . . . . . . . 95

4.2.2.1 Formulation du problme . . . . . . . . . . . . . . . . . . . 954.2.2.2 Mthodes de seuillage . . . . . . . . . . . . . . . . . . . . . . 964.2.2.3 Seuillage par apprentissage . . . . . . . . . . . . . . . . . . 96

4.2.3 Protocole exprimental et paramtrage . . . . . . . . . . . . . . . . . 984.2.4 Rsultats et discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . 994.2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

4.3 Application de PSO-2S au dimensionnement de circuits lectroniques . . . . 1034.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1034.3.2 Convoyeur de courant de seconde gnration . . . . . . . . . . . . . 1044.3.3 Les fonctions objectifs de composants . . . . . . . . . . . . . . . . . . 1074.3.4 Lvaluation des performances . . . . . . . . . . . . . . . . . . . . . . 1094.3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

4.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

Conclusion et perspectives 118

Annexe 122

Rfrences bibliographiques 140

VIII

Introduction gnrale

Les problmes doptimisation occupent actuellement une place importante dans la

communaut des ingnieurs, des scientifiques et des dcideurs. En effet, ce genre de pro-

blmes intervient dans leurs domaines dactivit qui sont trs divers, comme la conception

de systmes mcaniques, le traitement dimages, llectronique ou la recherche opration-

nelle.

Un problme doptimisation est dfini par un ensemble de variables, une fonction ob-

jectif et un ensemble de contraintes. Lespace de recherche est lensemble des solutions

possibles du problme. Rsoudre un problme doptimisation consiste trouver la ou les

meilleures solutions (en minimisant et/ou maximisant la/les fonctions objectifs du pro-

blme pos), tout en satisfaisant un ensemble de contraintes dfinies par lutilisateur. Cer-

tains problmes doptimisation sont qualifis de difficiles, et leur rsolution dans un temps

raisonnable ncessite lutilisation dalgorithmes sophistiqus, comme les mthodes appro-

ches (Les heuristiques et les mtaheuristiques). Parmi les mtaheuristiques destines

rsoudre ces problmes, plus prcisment les problmes variables continues, loptimisa-

tion par essaim particulaire (OEP, ou PSO en anglais) est apparue en 1995. Cest le sujet

principal de ce travail de thse.

PSO est une mthode doptimisation stochastique qui est inspir dun comportement

social des animaux voluant en essaim. Ce comportement social est modlis par une

quation mathmatique permettant de guider les particules durant le processus de d-

placement. Le dplacement dune particule est influenc par trois composantes : la com-

posante dinertie, la composante cognitive et la composante sociale. Chacune de ces com-

posantes reflte une partie de lquation. PSO prsente lavantage dtre efficace sur une

grande varit de problmes, sans pour autant que lutilisateur ait modifier la structure

de base de lalgorithme. Cependant, comme toutes les mthodes stochastiques, PSO pr-

sente des inconvnients, qui rebutent encore certains utilisateurs. Parmi ceux-ci, nous ci-

tons le problme de convergence prmature, qui peut conduire les algorithmes de ce type

stagner dans un optimum local. Lobjectif de cette thse est de proposer des mthodes

1

Introduction gnrale

alternatives, incorporables PSO, qui permettent de remdier ce problme et damliorer

lefficacit de PSO.

Cette thse a t prpare au sein de lUniversit Paris-Est Crteil (UPEC), dans le Labo-

ratoire Images, Signaux et Systmes Intelligents (LiSSi, E.A. 3956). Elle a t finance par une

bourse libanaise (2 ans), puis par un demi-poste dattach temporaire lenseignement et

la recherche (ATER), partag entre le LiSSi et lIUT de Crteil-Vitry. Cette thse a t di-

rige par le Professeur P. Siarry, Directeur de lquipe Traitement de lImage et du Signal, et

co-encadre par Monsieur M. Clerc, spcialiste de la mthode PSO. Ont particip mon

travail de doctorat Julien Lepagnot, Matre de Confrences lUniversit de Haute-Alsace,

Mulhouse, et Mourad Fakhfakh, Matre de Confrences lcole Nationale dIngnieurs

de Sfax, en Tunisie.

Durant cette thse, nous avons tout dabord labor deux algorithmes, nomms PSO-

2S et DEPSO-2S. Ces deux algorithmes utilisent des ides innovantes et se caractrisent

par de nouvelles stratgies dinitialisation dans plusieurs zones de lespace de recherche.

Les algorithmes proposs ont contribu remdier notablement au problme de la conver-

gence prmature. Ensuite, toujours dans le cadre de lamlioration de lalgorithme PSO,

nous nous sommes intresss la composante sociale de lquation modlisant le dpla-

cement des particules, plus prcisment au rseau de communication entre les particules,

appel aussi topologie de voisinage . En effet, nous avons propos une nouvelle topo-

logie dynamique, appele Dcluster, qui est une combinaison de deux topologies (statique

et dynamique). Enfin, les applications tudies ont port sur lutilisation de PSO-2S pour

rsoudre des problmes de dimensionnement de circuits lectroniques et de traitement

dimages.

Le mmoire se divise en quatre chapitres. Le premier est consacr ltude bibliogra-

phique des mthodes doptimisation, dont la plus grande partie concerne loptimisation

par essaim particulaire. Le deuxime chapitre est ddi aux extensions que nous avons ap-

portes la mthode PSO (PSO-2S et sa varianteDEPSO-2S, lhybridation de PSO avec un

algorithme dvolution diffrentielle (ouDifferential Evolution en anglais). Le troisime cha-

pitre porte sur la notion de voisinage dans PSO et la nouvelle topologie propose Dcluster.

Enfin, le dernier chapitre correspond aux applications de PSO-2S des problmes rels .

Dans le premier chapitre, nous dcrivons dabord le cadre de loptimisation difficile,

puis nous prsentons un tat de lart des mtaheuristiques doptimisation pour les pro-

blmes mono-objectifs : lalgorithme du recuit simul, la recherche tabou, les algorithmes

2

Introduction gnrale

volutionnaires, lalgorithme de colonies de fourmis et lalgorithme volution diffren-

tielle. Ensuite, nous dtaillons lalgorithme dOptimisation par Essaim Particulaire (OEP,

ou PSO en anglais). Enfin, nous prsentons des fonctions de test, qui sont utilises dans le

deuxime et le troisime chapitre, pour mesurer les performances des algorithmes.

Dans le deuxime chapitre, nous dcrivons lalgorithme PSO-2S, que nous avons la-

bor durant cette thse. Il se caractrise par une nouvelle stratgie dinitialisation dans

plusieurs zones de lespace de recherche. Cette stratgie est base sur lutilisation de deux

types dessaims de particules (auxiliaire et principal), en considrant les particules comme

des lectrons. Nous commenons par dcrire PSO-2S en dtail, puis nous en prsentons

une analyse exprimentale. Une comparaison de ses performances avec celles des autres

algorithmes doptimisation proposs dans la littrature est galement effectu. Ensuite,

une variante amliore de PSO-2S, nomme DEPSO-2S, est dcrite et analyse.

Dans le troisime chapitre, nous nous concentrons dabord sur le concept de voisinage,

en tudiant les caractristiques des changes dinformations entre les particules. Ensuite,

nous prsentons la topologie Dcluster, que nous avons labore durant cette thse. Enfin,

nous effectuons une analyse exprimentale, ainsi quune comparaison de ses performances

avec celles dautres algorithmes utilisant diffrentes topologies connues dans la littrature

de PSO.

Le quatrime chapitre est consacr lapplication de PSO-2S en segmentation dimages

et en lectronique. Dans la premire partie de ce chapitre, nous prsentons la premire ap-

plication de PSO-2S en segmentation dimages. Le but est de segmenter des images multi-

classes dont le nombre de classes est connu a priori. Dans le cadre de nos travaux, nous

nous sommes limits lapproche par seuillage dimages pour dterminer les seuils des

diffrentes classes. PSO-2S est utilis comme mthode doptimisation pour minimiser un

critre qui permet de dterminer ces seuils. La deuxime partie de ce chapitre porte sur

lapplication de PSO-2S au dimensionnement de circuits lectroniques. Le but est de trou-

ver les dimensions des transistors qui permettent de faire fonctionner de manire optimale

les circuits tudis. PSO-2S est utilis pour minimiser la rsistance parasite et maximiser

la frquence de coupure dun convoyeur de courant de seconde gnration CCII+.

Enfin, dans la conclusion gnrale du manuscrit, nous rcapitulons nos principales

contributions, puis nous exposons quelques perspectives pour amliorer les performances

des algorithmes dj dvelopps.

3

CHAPITRE UN

MTAHEURISTIQUES DOPTIMISATION : TAT DE

LART

1.1 Introduction

Lun des principes les plus fondamentaux de notre monde, qui occupe aussi une place

importante dans le monde informatique, industriel, etc., est la recherche dun tat optimal.

En effet, de nombreux problmes scientifiques, sociaux, conomiques et techniques ont

des paramtres qui peuvent tre ajusts pour produire un rsultat plus souhaitable. Ceux-

ci peuvent tre considrs comme des problmes doptimisation et leur rsolution est un

sujet central en recherche oprationnelle. Des techniques ont t conues pour rsoudre

ces problmes, notamment les problmes difficiles (par exemple ceux qui prsentent

de nombreux extrema locaux pauvres), en dterminant des solutions qui ne sont pas ri-

goureusement optimales, mais qui sen approchent. Ces mthodes, appeles heuristiques

et mtaheuristiques, se basent gnralement sur des phnomnes physiques, biologiques,

socio-psychologiques, et peuvent faire appel au hasard.

Ce chapitre est structur comme suit. Dans la section 1.2, nous dcrivons dabord le

cadre de loptimisation difficile, puis nous prsentons un tat de lart des mtaheuristiques

doptimisation pour les problmesmono-objectifs, telles que lalgorithme du recuit simul,

la recherche tabou, les algorithmes volutionnaires, lalgorithme de colonies de fourmis et

lalgorithme volution diffrentielle.

Dans la section 1.3, nous dtaillons lalgorithme dOptimisation par Essaim Particulaire

(OEP, ou PSO en anglais), qui constitue le sujet principal de ce travail de thse. LOpti-

misation par Essaim Particulaire est une mtaheuristiques invente par Kennedy et Ebe-

rhart [Kenn 95] en 1995. Elle sinspire du comportement social des animaux voluant en

essaim. Les diffrentes particules dun essaim communiquent directement avec leurs voi-

sines et construisent ainsi une solution un problme, en sappuyant sur leur exprience

collective.

4

Mtaheuristiques doptimisation : tat de lart

Enfin, dans la section 1.4, nous prsentons des fonctions analytiques (principales fonc-

tions de test de CEC05 Congress on Evolutionary Computation et problmes rels) dont

les minima globaux et locaux sont connus. Ces fonctions sont utilises dans le deuxime et

le troisime chapitre pour mesurer les performances des algorithmes.

1.2 Mtaheuristiques pour loptimisation mono-objectifdifficile

1.2.1 Problme doptimisation

Un problme doptimisation au sens gnral est dfini par un ensemble de variables,

une fonction objectif f et un ensemble de contraintes dgalit (ou dingalit) que les va-

riables doivent satisfaire. Lensemble des solutions possibles du problme forme lespace

de recherche E, o chaque dimension correspond une variable. Lespace de recherche

E est fini puisque le dcideur prcise exactement le domaine de dfinition de chaque va-

riable entre autres pour des raisons de temps de calcul. Suivant le problme pos, nous

cherchons minimiser ou maximiser la fonction objectif f . Un problme doptimisation

peut tre statique ou dynamique (i.e. la fonction objectif change avec le temps), mono-

objectif ou multi-objectif (i.e. plusieurs fonctions objectifs doivent tre optimises) et avec

ou sans contraintes. Ainsi, un problme doptimisation peut tre, par exemple, la fois

continu et dynamique.

Il existe de nombreuses mthodes dterministes (ou exactes) permettant de rsoudre

certains types de problmes doptimisation et dobtenir la solution optimale du problme,

en un temps raisonnable. Ces mthodes ncessitent que la fonction objectif prsente un

certain nombre de caractristiques telles que la convexit, la continuit ou la drivabi-

lit. Nous pouvons citer, parmi les mthodes les plus connues, les mthodes de program-

mation linaire [Schr 98], quadratique [Noce 00] et/ou dynamique [Bert 95], la mthode

de Newton [Noce 00], la mthode du simplex [Neld 65] ou encore la mthode du gra-

dient [Avri 76].

1.2.2 Optimisation difficile

Les mthodes de rsolution exacte ne sont pas adaptes toutes les problmatiques,

et donc certains problmes sont trop complexes rsoudre par ces mthodes. Parmi ces

5


problmatiques, nous pouvons citer lexistence de discontinuits, labsence de convexit

stricte, la non-drivabilit, la prsence de bruit ou encore la fonction objectif peut ne pas

tre dfinie prcisment (e.g. quand cest un cout). En outre, les mthodes de rsolution

exacte peuvent avoir un temps de rsolution trop long. Dans ce cas, le problme doptimi-

sation est dit difficile, car aucune mthode exacte nest capable de le rsoudre en un temps

raisonnable. Il est alors ncessaire davoir recours des heuristiques de rsolution dites

mthodes approches, qui fournissent un rsultat sans garantie de loptimalit.

Loptimisation difficile peut se diviser en deux types de problmes : les problmes

variables discrtes et les problmes variables continues :

Un problme doptimisation variables discrtes consiste trouver, dans un en-

semble discret, une solution ralisable. Le problme majeur rside ici dans le fait que

le nombre de solutions ralisables est gnralement trs lev, donc il est trs difficile

de trouver la meilleure solution dans un temps raisonnable . Les problmes va-

riables discrtes rassemble les problmes de type NP-complets, tels que le problme

du voyageur de commerce. Lutilisation dalgorithmes doptimisation stochastiques,

tels que les mtaheuristiques, permettant de trouver une solution approche en un

temps raisonnable est donc courante.

Dans le deuxime type, les variables du problme doptimisation sont continues.

Cest le cas par exemple des problmes didentification, o lon cherche minimiser

lerreur entre le modle dun systme et des observations exprimentales. Ce type

de problmes est moins formalis que le prcdent, mais un certain nombre de diffi-

cults sont bien connues, comme lexistence de nombreuses variables prsentant des

corrlations non identifies, la prsence de bruit ou plus gnralement une fonction

objectif accessible par simulation uniquement. En effet, la grande majorit des mta-

heuristiques existantes ont t cres pour rsoudre des problmes variables dis-

crtes [Dro 03]. Cependant, la ncessit croissante de mthodes pouvant rsoudre ce

type de problmes a pouss les chercheurs adapter leurs mthodes au cas continu.

Il est noter quil existe des problmes variables mixtes (i.e. le problme prsente

la fois des variables discrtes et continues).

6


1.2.3 Algorithmes doptimisation approche

1.2.3.1 Heuristiques

Lutilisation demthodes exactes nest pas toujours possible pour un problme donn

cause dun certain nombre de contraintes, telles que le temps de calcul souvent important

ou bien la difficult, voire limpossibilit dans certains cas, dune dfinition spare du pro-

blme. Pour faire face ces contraintes, nous utilisons des mthodes approches, appeles

heuristiques. Le terme heuristique drive du grec ancien heuriskin et signifie trouver .

Il qualifie tout ce qui sert la dcouverte et lexploitation. Il est souligner ici quune

mthode heuristique peut tre dterministe ou stochastique.

Une heuristique est un algorithme qui fournit rapidement (en un temps polynomial)

une solution approche et ralisable, pas ncessairement optimale, pour un problme dop-

timisation difficile. Cette mthode approximative est le contraire dun algorithme exact qui

donne une solution optimale pour un problme donn.

Il y a une multitude dheuristiques qui ont dj t proposes dans la littrature. Nous

pouvons citer des heuristiques trs simples telles que les algorithmes gloutons [Corm 90,

DeVo 96] ou les approches par amlioration itrative [Basi 75]. Le principe des mthodes

gloutonnes est de faire une succession de choix optimaux localement, jusqu ce que lon

ne puisse plus amliorer la solution, et ce, sans retour en arrire possible. Le fonctionne-

ment dune heuristique gloutonne est similaire celui dun algorithme glouton exact. La

diffrence rside dans le fait que nous nimposons plus que la solution obtenue soit opti-

male, nous obtenons donc un algorithme dapproximation.

1.2.3.2 Mtaheuristiques

Des heuristiques plus pousses, adaptables un grand nombre de problmes diffrents,

sans changementsmajeurs dans lalgorithme, ont tmises au point et ont donn naissance

une nouvelle famille dalgorithmes doptimisation stochastiques : lesmta-heuristiques. Le

terme mta-heuristique a t invent par Fred Glover en 1986, lors de la conception de la

recherche tabou [Glov 86].

Les mtaheuristiques forment une famille dalgorithmes doptimisation visant r-

soudre des problmes doptimisation difficile, pour lesquels nous ne connaissons pas de

mthodes classiques plus efficaces. Elles sont gnralement utilises comme des mthodes

gnriques pouvant optimiser une large gamme de problmes diffrents, do le qualifica-

tif mta. Leur capacit optimiser un problme partir dun nombre minimal dinforma-

7


tions est contrebalance par le fait quelles noffrent aucune garantie quant loptimalit

de la meilleure solution trouve. Cependant, du point de vue de la recherche opration-

nelle, ce constat nest pas forcment un dsavantage, puisque lon prfre toujours une

approximation de loptimum global trouve rapidement une valeur exacte trouve dans

un temps rdhibitoire.

Il existe un grand nombre demtaheuristiques diffrentes, allant de la simple recherche

locale des algorithmes complexes de recherche globale. La plupart des mta-heuristiques

utilisent des processus alatoires comme moyens de rcolter de linformation et de faire

face des problmes comme lexplosion combinatoire. Les mtaheuristiques peuvent tre

considres comme des algorithmes stochastiques itratifs, o elles manipulent une ou

plusieurs solutions la recherche de loptimum. Les itrations successives doivent per-

mettre de passer dune solution de mauvaise qualit la solution optimale. Lalgorithme

sarrte aprs avoir atteint un critre darrt, consistant gnralement en latteinte du

temps dexcution imparti ou en une prcision demande. Ces mthodes tirent leur in-

trt de leur capacit viter les optima locaux, soit en acceptant des dgradations de la

fonction objectif au cours du traitement, soit en utilisant une population de points comme

mthode de recherche.

Les mtaheuristiques sont souvent inspires de processus naturels qui relvent de la

physique (lalgorithme du recuit simul), de la biologie de lvolution (les algorithmes g-

ntiques) ou encore de lthologie (les algorithmes de colonies de fourmis ou loptimisation

par essaim particulaire).

Les mtaheuristiques se caractrisant par leur capacit rsoudre des problmes trs

divers, elles se prtent naturellement des extensions. Pour illustrer celles-ci, nous pou-

vons citer :

Les mtaheuristiques pour loptimisation multiobjectif [Coll 02] : o il faut optimiser

plusieurs objectifs contradictoires. Le but ne consiste pas ici trouver un optimum

global, mais trouver un ensemble doptima, qui forment une surface de compromis

pour les diffrents objectifs du problme ;

Les mtaheuristiques pour loptimisation multimodale [Gold 87] : o lon ne cherche

plus loptimum global, mais lensemble des meilleurs optima globaux et/ou locaux ;

Les mtaheuristiques pour loptimisation de problmes bruits : o il existe une incerti-

tude sur le calcul de la fonction objectif, dont il faut tenir compte dans la recherche

de loptimum ;

8


Les mtaheuristiques pour loptimisation dynamique [Bran 02] : o la fonction objectif

varie dans le temps, ce qui ncessite dapprocher loptimum chaque pas de temps ;

Les mtaheuristiques hybrides [Talb 02] : qui consistent combiner diffrentes mta-

heuristiques, afin de tirer profit des avantages respectifs ;

Les mtaheuristiques parallles [Alba 05] : o lon cherche acclrer le calcul, en

rpartissant la charge de calcul sur des units fonctionnant de concert. Le problme

revient alors adapter les mtaheuristiques pour quelles soient distribues.

En gnral, lutilisateur demande des mthodes efficaces et rapides permettant dat-

teindre un optimum avec une prcision acceptable dans un temps raisonnable, mais il a

besoin aussi des mthodes simples utiliser. Un des enjeux des mtaheuristiques est donc

de faciliter le choix dune mthode et de simplifier son rglage pour ladapter au mieux

un problme pos. De nombreuses mthodes existent dans la littrature, certaines, parmi

les plus courantes, seront prsentes plus en dtail dans la section 1.2.4.

1.2.4 Diffrentes approches en optimisation statique

1.2.4.1 Algorithme du recuit simul

Le recuit simul est une mthode empirique inspire dun processus utilis en mtal-

lurgie (appel le recuit) o, pour atteindre les tats de basse nergie dun solide, on chauffe

celui-ci jusqu des tempratures leves, avant de le laisser refroidir lentement.

Lalgorithme du recuit simul a t propos par Kirkpatrick et al. [Kirk 83] (et in-

dpendamment, Cerny [Cern 85]). La description classique du recuit simul le prsente

comme un algorithme probabiliste, o un point volue dans lespace de recherche. Le re-

cuit simul sappuie sur lalgorithme de Metropolis [Metr 53, Hast 70] dcrit par lAlgo-

rithme 1.1, qui permet de dcrire lvolution dun systme en thermodynamique. Cette

procdure permet de sortir des minima locaux avec une probabilit leve si la tempra-

ture T est leve et, quand lalgorithme atteint de basses tempratures, de conserver les

tats les plus probables. Ici, la mthode de Metropolis (ou toute autre mthode dchan-

tillonnage [Creu 83, Okam 95]) tient lieu de diversification, associe la dcroissance de

temprature, qui contrle lintensification. Lalgorithme de recuit simul est rsum en Al-

gorithme 1.2.

9


Algorithme de Metropolis

1 Initialiser un point de dpart x0 et une temprature T

2 pour i=1 n faire3 tant que xi nest pas accept faire4 si f (xi) f (xi1) alors5 accepter xi6 fin

7 si f (xi) > f (xi1) alors

8 accepter xi avec la probabilit ef (xi) f (xi1)

T

9 fin

10 fin

11 fin

ALGORITHME 1.1: Algorithme de Metropolis.

Les inconvnients du recuit simul rsident dans :

1. Les rglages , car lalgorithme dispose dun nombre lev de paramtres (temp-

rature initiale, rgle de dcroissance de la temprature, dures des paliers de temp-

rature, etc.) qui rendent les rglages de lalgorithme assez empiriques ;

2. Les temps de calcul , qui peuvent devenir trs importants.

Cependant, il existe des tudes qui sattachent rgler de manire optimale les paramtres

de lalgorithme [Cour 94]. Par ailleurs, pour surmonter le problme de temps de calcul,

plusieurs mthodes de paralllisation des calculs ont t introduites [Azen 92].

Par contre, la mthode du recuit simul a lavantage dtre souple vis--vis des vo-

lutions du problme et facile implmenter. Elle a donn dexcellents rsultats pour un

certain nombre de problmes, le plus souvent de grande taille. Bien quinitialement cre

pour fonctionner avec des variables discrtes, la mthode du recuit simul possde des

versions continues [Cour 94].

1.2.4.2 Algorithme de recherche tabou

La recherche tabou est une mtaheuristique itrative qualifie de recherche locale

au sens large. Lide de la recherche tabou consiste, partir dune position donne, en

explorer le voisinage et choisir le voisin qui minimise la fonction objectif.

10


Algorithme du recuit simul

1 Dterminer une configuration alatoire S

2 Choix des mcanismes de perturbation dune configuration

3 Initialiser la temprature T

4 tant que le critre darrt nest pas satisfait faire5 tant que lquilibre nest pas atteint faire6 Tirer une nouvelle configuration S

7 Appliquer la rgle de Metropolis

8 si f (S) < f (S) alors9 Smin = S

10 fmin = f (S)

11 fin

12 fin

13 Dcrotre la temprature

14 fin

ALGORITHME 1.2: Algorithme du recuit simul.

Lalgorithme de recherche tabou a t introduit par Fred Glover en 1986 [Glov 86]. Le

principe de base de cet algorithme est de pouvoir poursuivre la recherche de solutions

mme lorsquun optimum local est rencontr et ce, en permettant des dplacements qui

namliorent pas la solution, et en utilisant le principe de la mmoire pour viter les re-

tours en arrire (mouvements cycliques). Il est essentiel de noter que cette opration peut

conduire augmenter la valeur de la fonction (dans un problme de minimisation) ; cest

le cas lorsque tous les points du voisinage ont une valeur plus leve. Cest partir de

ce mcanisme que lon sort dun minimum local. En effet, comme lalgorithme de recuit

simul, la mthode de recherche tabou fonctionne avec une seule configuration courante,

qui est actualise au cours des itrations successives. La nouveaut ici est que, pour viter

le risque de retour une configuration dj visite, on tient jour une liste de mouvements

interdits (ou de solutions interdites), appele liste tabou . Le rle de cette dernire vo-

lue au cours de la rsolution pour passer de lexploration (aussi appele diversification )

lexploitation (galement appele intensification ). Cette liste contient m mouvements

(t s) qui sont les inverses des m derniers mouvements (s t) effectus. Lalgorithmemodlise ainsi une forme primaire de mmoire court terme. Lalgorithme de recherche

11


tabou peut tre rsum par lAlgorithme 1.3.

Dans sa forme de base, lalgorithme de recherche tabou prsente lavantage de com-

porter moins de paramtres que lalgorithme de recuit simul. Cependant, lalgorithme

ntant pas toujours performant, il est souvent appropri de lui ajouter des processus

dintensification et/ou de diversification, qui introduisent de nouveaux paramtres de

contrle [Glov 97].

Algorithme de recherche tabou

1 Dterminer une configuration alatoire s

2 Initialiser une liste tabou vide

3 tant que le critre darrt nest pas satisfait faire4 Perturbation de s suivant N mouvements non tabous

5 valuation des N voisins

6 Slection du meilleur voisin t

7 Actualisation de la meilleure position connue s

8 Insertion du mouvement t s dans la liste tabou9 s = t

10 fin

ALGORITHME 1.3: Algorithme de recherche tabou.

1.2.4.3 Les algorithmes volutionnaires

Les algorithmes volutionnaires (AEs), labors au cours des annes 1950 [Fras 57],

sont des techniques de recherche inspires par lvolution biologique des espces. Ils sins-

pirent de lvolution des tres vivants (la thorie Darwinienne de la slection naturelle des

espces) pour rsoudre des problmes doptimisation. Lide ici est que, les individus qui

ont hrit des caractres bien adapts leur milieu ont tendance vivre assez longtemps

pour se reproduire, alors que les plus faibles ont tendance disparatre.

Au cours des annes 1970, avec lavnement des calculateurs de forte puissance, de

nombreuses approches de modlisation de lvolution ont t ralises. Nous pouvons

citer :

Les statgies dvolution [Rech 65, Beye 01] qui ont t conues pour rsoudre des pro-

blmes variables continues. Elles sont axes sur la modlisation des paramtres

12


stratgiques qui contrlent la variation dans lvolution, autrement dit lvolution

de lvolution ;

La programmation volutionnaire [Foge 62, Foge 66], qui vise faire voluer les struc-

tures dautomates tats finis par des successions de croisements et de mutations ;

Les algorithmes gntiques [Holl 75], qui ont t conus pour rsoudre des problmes

doptimisation variables discrtes, en modlisant lvolution gntique ;

La programmation gntique [Koza 89, Koza 90], base sur les algorithmes gntiques,

mais o les individus (ou chromosomes) sont des programmes informatiques, repr-

sents en utilisant une structure darbre ;

Lvolution diffrentielle [Stor 97, Pric 05], qui a t conue pour rsoudre des pro-

blmes variables continues. Sa stratgie consiste biaiser un oprateur demutation,

appliqu un individu, en fonction des diffrences calcules avec dautres individus

slectionns alatoirement. Une description complte et dtaille de cet algorithme

est donne dans la section 1.2.4.5.

Les approches volutionnaires sappuient sur un modle commun prsent en Algo-

rithme 1.4. Les individus soumis lvolution sont des solutions possibles du problme

pos. Lensemble de ces individus constitue une population. Cette population volue du-

rant une succession ditrations, appeles gnrations. Au cours de chaque gnration, une

srie doprateurs est applique aux individus, pour crer la population de la gnration

suivante. Chaque oprateur utilise un ou plusieurs individus, appels parents, pour engen-

drer de nouveaux individus, appels enfants. A la fin de chaque gnration, une slection

denfants crs durant la gnration remplace un sous-ensemble dindividus de la popu-

lation.

Un algorithme volutionnaire dispose de trois oprateurs principaux :

1. Un oprateur de slection, qui favorise la propagation des meilleures solutions dans

la population, tout enmaintenant une certaine diversit gntique au sein de celle-ci ;

2. Un oprateur de croisement, mis en uvre lors de la phase de cration des enfants.

Son but est dchanger les gnes des diffrents parents pour crer les enfants. Un

exemple de croisement simple pour des individus cods en reprsentation binaire

est prsent dans la figure 1.1 ;

13


Algorithme volutionnaire gnrique

1 Initialisation de la population de individus

2 Evaluation des individus

3 tant que le critre darrt nest pas satisfait faire4 Slection de individus en vue de la phase de reproduction

5 Croisement des individus slectionns

6 Mutation des enfants obtenus

7 Evaluation des enfants obtenus

8 Slection pour le remplacement

9 fin

ALGORITHME 1.4: Algorithme volutionnaire gnrique.

3. Un oprateur de mutation, consistant tirer alatoirement une composante de lindi-

vidu parent et la remplacer par une valeur alatoire. Lapport dun caractre ala-

toire la cration de la descendance permet ainsi de maintenir une certaine diversit

dans la population. La figure 1.2 montre un exemple de mutation, pour un individu

cod en reprsentation binaire.

Parent 1 Parent 2

0 1 0 1 1 0 0 1 1 0 1 1 0 1 0 1 1 00 1 0 1 1 0 0 1 1 0 1 1 0 1 0 1 1 0

0 1 0 1 1 0 1 1 1 00 1 0 1 1 1 0 0

Enfant 1 Enfant 2

FIGURE 1.1: Exemple doprateur de croisement en reprsentation binaire.

Le principe dun algorithme volutionnaire se dcrit simplement (voir figure 1.3).

14


0 1 0 1 0 0 1 1 1 0 1 0 0 1 1 1 0 0

0 1 0 1 0 0 1 1 1 1 1 0 0 1 1 1 0 0

FIGURE 1.2: Exemple doprateur de mutation en reprsentation binaire.

valuation desperformancesdes individus

Slectionpour la

reproductionCroisements Mutations

non

valuation desperformances

Slectionpour la

Initialisationalatoire

Stop ? performancesdes individus

pour lareproduction

dunepopulation

Stop ?

oui

meilleur(s) individu(s)

FIGURE 1.3: Principe dun algorithme volutionnaire standard.

1.2.4.4 Les algorithmes de colonies de fourmis

Les algorithmes de colonies de fourmis sont des algorithmes inspirs du comportement

des fourmis et constituent une famille de mtaheuristiques doptimisation pour rsoudre

naturellement des problmes complexes. Une telle aptitude savre possible en raison de

la capacit des fourmis communiquer entre elles indirectement, par le dpt dans len-

vironnement de substances chimiques, appeles phromones. Ce type de communication

indirecte est appel stigmergie. En anglais, le terme consacr la principale classe dalgo-

rithmes est Ant Colony Optimization (ACO).

La principale illustration de ce phnomne est donne par la figure 1.4 : un obstacle est

plac sur le trajet des fourmis qui, aprs une tape dexploration, finiront par emprunter

le plus court chemin entre le nid et la source de nourriture [Goss 89]. Les fourmis qui sont

retournes le plus rapidement au nid en passant par la source de nourriture sont celles

qui ont emprunt le chemin le plus court. Il en dcoule que la quantit de phromones

dposes par unit de temps sur ce trajet est plus importante que sur les autres. Par ailleurs,

15


une fourmi est dautant plus attire un certain endroit que le taux de phromones y

est important. De ce fait, le plus court chemin a une probabilit plus importante dtre

emprunt par les fourmis que les autres chemins et sera donc, terme, emprunt par toutes

les fourmis.

Le premier algorithme doptimisation sinspirant de cette analogie a t propos par

Colorni, Dorigo et Maniezzo [Colo 91, Dori 96], afin de rsoudre le problme du voyageur

de commerce. LAlgorithme 1.5 rsume lapproche par colonies de fourmis propose par

les auteurs. Si lon considre un problme de voyageur de commerce N villes, chaque

fourmi k parcourt le graphe et construit un trajet de longueur n = N. Pour chaque fourmi,

le trajet dune ville i une ville j dpend de :

La liste des dplacements possibles Jki , quand la fourmi k est sur la ville i ;

Linverse de la distance entre les villes ij = 1dij , appele visibilit. Cette information

est utilise pour diriger les fourmis vers des villes proches et, ainsi, viter de trop

longs dplacements ;

La quantit de phromones dpose sur larte reliant deux villes ij(t), appele in-

tensit de la piste. Cette quantit dfinit lattractivit dune piste et est modifie aprs

le passage dune fourmi. Cest en quelque sorte la mmoire du systme.

La rgle de dplacement est la suivante :

pkij(t) =

(ij(t))(ij)

lJk

i(il(t))(il)

si j Jki

0 sinon

(1.2.1)

o et sont deux paramtres contrlant limportance relative de lintensit de la piste et

de la visibilit.

Aprs un tour complet, chaque fourmi dpose une quantit de phromones kij(t) sur

lensemble de son parcours. Cette quantit dpend de la qualit de la solution trouve et

est dfinie par :

kij(t) =

QLk(t)

si (i, j) Tk(t)

0 sinon

(1.2.2)

16


nid nourriture nid nourritured ou u e d ou u e

obstacle

(a)

obstacle

(b)(a) (b)

nid nourriture nid nourriturenid nourriture nid nourriture

obstacle obstacle

(c) (d)

FIGURE 1.4: Illustration de la capacit des fourmis chercher de la nourriture en minimi-sant leur parcours. (a) Recherche sans obstacle, (b) Apparition dun obstacle, (c) Recherchedu chemin optimal, (d) Chemin optimal trouv.

ACO

1 t 12 tant que le critre darrt nest pas satisfait faire3 pour k = 1 m faire4 Choisir une ville au hasard

5 pour chaque ville non visite i faire6 Choisir une ville j dans la liste Jki des villes restantes selon (1.2.1)

7 fin

8 Dposer une quantit de phromones kij(t) sur le trajet Tk(t) conformment

(1.2.2)

9 fin

10 Evaporer les phromones selon (1.2.3)

11 t t+ 112 fin

ALGORITHME 1.5: Algorithme de colonies de fourmis pour le problme du voyageur decommerce.

17


o Tk(t) est le trajet effectu par la fourmi k litration t, Lk(t) est la longueur de Tk(t) et

Q est un paramtre de rglage.

Enfin, il est ncessaire dintroduire un processus dvaporation des phromones. En

effet, pour viter de rester pig dans des optima locaux, il est ncessaire quune fourmi

oublie les mauvaises solutions. La rgle de mise jour est la suivante :

ij(t+ 1) = (1 )ij(t) + ij(t) (1.2.3)

o ij(t) = mk=1

kij(t), m est le nombre de fourmis et est un paramtre de rglage.

La dmarche initie par cette analogie a t tendue la rsolution dautres problmes

doptimisation, discrets et continus [Dori 05, Dro 03]. ACO prsente plusieurs caractris-

tiques intressantes, telles que le paralllisme intrinsque lev, la robustesse (une colonie

peut maintenir une recherche efficace, mme si certains de ses individus sont dfaillants)

ou encore la dcentralisation (les fourmis nobissent pas une autorit centralise).

1.2.4.5 Algorithme volution diffrentielle

Lvolution diffrentielle (Differential Evolution DE) est une mtaheuristique stochas-

tique doptimisation qui a t inspire par les algorithmes gntiques et des stratgies

volutionnaires combines avec une technique gomtrique de recherche. Les algorithmes

gntiques changent la structure des individus en utilisant la mutation et le croisement,

alors que les stratgies volutionnaires ralisent lauto-adaptation par une manipulation

gomtrique des individus. Ces ides ont t mises en uvre grce une opration

simple, mais puissante, de mutation de vecteurs, propose en 1995 par K. Price et R.

Storn [Stor 97]. Mme si, lorigine, la mthode de lvolution diffrentielle tait conue

pour les problmes doptimisation continus et sans contraintes, ses extensions actuelles

peuvent permettre de traiter les problmes variables mixtes et grent les contraintes non

linaires [Lamp].

Dans la mthode DE, la population initiale est gnre par tirage alatoire uniforme

sur lensemble des valeurs possibles de chaque variable. Les bornes infrieures et sup-

rieures des variables sont spcifies par lutilisateur selon la nature du problme. Aprs

linitialisation, lalgorithme effectue une srie de transformations sur les individus, dans

un processus appel volution.

18


La population contient N individus. Chaque individu xi,G est un vecteur de dimension

D, o G dsigne la gnration :

xi,G = (x1i,G, x2i,G, ..., xDi,G) avec i = 1, 2, ...,N (1.2.4)

Le standard DE utilise trois techniques (mutation, croisement et slection) comme les

algorithmes gntiques. A chaque gnration, lalgorithme applique successivement ces

trois oprations sur chaque vecteur pour produire un vecteur dessai (trial vector) :

ui,G+1 = (u1i,G+1, u2i,G+1, ..., uDi,G+1) avec i = 1, 2, ...,N (1.2.5)

Une opration de slection permet de choisir les individus conserver pour la nouvelle

gnration (G+ 1).

a - Mutation

Pour chaque vecteur courant xi,G, on gnre un vecteur mutant vi,G+1 qui peut tre cr en

utilisant une des stratgies de mutation suivantes :

- Rand/1 :

vi,G+1 = xr1,G + F.(xr2,G xr3,G) (1.2.6)

- Best/1 :

vi,G+1 = xbest,G + F.(xr1,G xr2,G) (1.2.7)

- Current to best/1 :

vi,G+1 = xi,G + F.(xr1,G xr2,G) + F.(xbest,G xi,G) (1.2.8)

- Best/2 :

vi,G+1 = xbest,G + F.(xr1,G xr2,G) + F.(x3,G x4,G) (1.2.9)

- Rand/2 :

19


vi,G+1 = xr1,G + F.(xr2,G xr3,G) + F.(xr4,G xr5,G) (1.2.10)

Les indices r1, r2, r3, r4 et r5 {1, 2, . . . ,N} sont des entiers alatoires et tous diffrents. Ilssont galement choisis diffrents de lindice courant i. xbest,G est le meilleur individu la

Gme gnration. F [0, 2] est une valeur constante, appele differential weight, qui contrlelamplification de la variation diffrentielle de (xri,G xrj,G).

b - Croisement

Aprs la mutation, une opration de croisement binaire forme le vecteur dessai final

ui,G+1, selon le vecteur xi,G et le vecteur mutant correspondant vi,G+1. Lopration de croi-

sement est introduite pour augmenter la diversit des vecteurs de paramtres perturbs.

Le nouveau vecteur ui,G+1 est donn par la formule suivante :

uji,G+1 =

v1i,G+1 si (randb(j) CR) ou j = rnbr(i)

xji,G si (randb(j) > CR) et j 6= rnbr(i)pour tout j {1,2, . . . ,D}

(1.2.11)

o randb(j) est la jme valeur procure un gnrateur de nombre alatoire uniforme appar-

tenant lintervalle [0,1]. CR est le coefficient de croisement qui appartient lintervalle

[0,1] et est dtermin par lutilisateur. rnbr(i) est un indice choisi au hasard dans len-

semble {1, 2, . . . ,N}.

c - Slection

Pour dcider quel vecteur, parmi ui,G+1 ou xi,G, doit tre choisi dans la gnration G + 1,

on doit comparer les valeurs de fonction du cout de ces deux vecteurs. En effet, on garde le

vecteur ayant la plus petite valeur de fonction du cout en cas de minimisation. Le nouveau

vecteur xi,G+1 est choisi selon lexpression suivante :

xi,G+1 =

ui,G+1 si f (ui,G+1) < f (xi,G)

xi,G sinon

(1.2.12)

Il est clair quun bon rglage des principaux paramtres de lalgorithme (taille de la popu-

lation N, facteur demutation F et facteur de croisement CR) contribue de faon importante

lefficacit de la mthode. Lauto-adaptation de ces paramtres parat donc intressante

20


pour lamlioration de lalgorithme. Une comparaison des versions adaptatives et auto-

adaptatives de lalgorithme volution diffrentielle (FADE [Liu 05], DESAP [Teo 06],

SaDE [Qin 05] et jDE [Bres 06]) est prsente dans [Bres 07].

1.3 Optimisation par Essaim Particulaire

1.3.1 Principe gnral

Loptimisation par essaim particulaire (OEP), ou Particle Swarm Optimization (PSO) en

anglais, est un algorithme volutionnaire qui utilise une population de solutions candi-

dates pour dvelopper une solution optimale au problme. Cet algorithme a t propos

par Russel Eberhart (ingnieur en lectricit) et James Kennedy (socio-psychologue) en

1995 [Kenn 95]. Il sinspire lorigine du monde du vivant, plus prcisment du compor-

tement social des animaux voluant en essaim, tels que les bancs de poissons et les vols

groups doiseaux. En effet, on peut observer chez ces animaux des dynamiques de dpla-

cement relativement complexes, alors quindividuellement chaque individu a une intel-

ligence limite, et ne dispose que dune connaissance locale de sa situation dans lessaim.

Linformation locale et la mmoire de chaque individu sont utilises pour dcider de son

dplacement. Des rgles simples, telles que rester proche des autres individus , aller

dans une mme direction ou aller la mme vitesse , suffisent pour maintenir la coh-

sion de lessaim, et permettent la mise en uvre de comportements collectifs complexes et

adaptatifs.

Lessaim de particules correspond une population dagents simples, appels parti-

cules. Chaque particule est considre comme une solution du problme, o elle possde

une position (le vecteur solution) et une vitesse. De plus, chaque particule possde une

mmoire lui permettant de se souvenir de sa meilleure performance (en position et en va-

leur) et de la meilleure performance atteinte par les particules voisines (informatrices) :

chaque particule dispose en effet dun groupe dinformatrices, historiquement appel son

voisinage.

Un essaim de particules, qui sont des solutions potentielles au problme doptimisa-

tion, survole lespace de recherche, la recherche de loptimum global. Le dplacement

dune particule est influenc par les trois composantes suivantes :

1. Une composante dinertie : la particule tend suivre sa direction courante de dpla-

21


cement ;

2. Une composante cognitive : la particule tend se diriger vers le meilleur site par

lequel elle est dj passe ;

3. Une composante sociale : la particule tend se fier lexprience de ses congnres

et, ainsi, se diriger vers le meilleur site dj atteint par ses voisins.

La stratgie de dplacement dune particule est illustre dans la figure 1.5.

Vers sa meilleure

performance

Position

actuelle

p

Nouvelle

position Vers la meilleure

f dactuelle performance des

particules voisines

Vers le point

accessible avec sa

vitesse courante

FIGURE 1.5: Dplacement dune particule.

1.3.2 Formalisation

Dans un espace de recherche de dimension D, la particule i de lessaim est mod-

lise par son vecteur position ~xi = (xi1, xi2, . . . , xiD) et par son vecteur vitesse ~vi =

(vi1, vi2, . . . , viD). La qualit de sa position est dtermine par la valeur de la fonction ob-

jectif en ce point. Cette particule garde en mmoire la meilleure position par laquelle elle

est dj passe, que lon note ~Pbesti = (pbesti1, pbesti2, . . . , pbestiD). La meilleure position

atteinte par les particules de lessaim est note ~Gbest = (gbest1, gbest2, . . . , gbestD). Nous

nous rfrons la version globale de PSO, o toutes les particules de lessaim sont consid-

res comme voisines de la particule i, do la notation ~Gbest (global best).

Remarque : le terme de vitesse est ici abusif, car les vecteurs ~vi ne sont pas homognes une

vitesse. Il serait plus appropri de parler de direction de dplacement . Cependant, pour respecter

lanalogie avec le monde animal, les auteurs ont prfr utiliser le terme de vitesse .

22


Au dpart de lalgorithme, les particules de lessaim sont initialises de manire

alatoire/rgulire dans lespace de recherche du problme. Ensuite, chaque itration,

chaque particule se dplace, en combinant linairement les trois composantes cites ci-

dessus. En effet, litration t+ 1, le vecteur vitesse et le vecteur position sont calculs

partir de lquation (1.3.1) et de lquation (1.3.2), respectivement.

vt+1i,j = wvti,j + c1r

t1i,j [pbest

ti,j xti,j] + c2rt2i,j [gbest

tj xti,j], j {1, 2, ...,D} (1.3.1)

xt+1i,j = xti,j + v

t+1i,j , j {1, 2, ...,D} (1.3.2)

o w est une constante, appele coefficient dinertie ; c1 et c2 sont deux constantes, appeles

coefficients dacclration ; r1 et r2 sont deux nombres alatoires tirs uniformment dans

[0, 1], chaque itration t et pour chaque dimension j.

Les trois composantes mentionnes ci-dessus (i.e. dinertie, cognitive et sociale) sont repr-

sentes dans lquation (1.3.1) par les termes suivants :

1. wvti,j correspond la composante dinertie du dplacement, o le paramtre w

contrle linfluence de la direction de dplacement sur le dplacement futur ;

2. c1rt1i,j [pbestti,j xti,j] correspond la composante cognitive du dplacement, o le

paramtre c1 contrle le comportement cognitif de la particule ;

3. c2rt2i,j [gbesttj xti,j] correspond la composante sociale du dplacement, o le para-

mtre c2 contrle laptitude sociale de la particule.

Une fois le dplacement des particules effectu, les nouvelles positions sont values et les

deux vecteurs ~Pbesti et ~Gbest sont mis jour , litration t+ 1, suivant les deux quations

(1.3.3) (dans le cas dune minimisation) et (1.3.4) (dans une version globale de PSO), res-

pectivement. Cette procdure est prsente dans lAlgorithme 1.6, o N est le nombre de

particules de lessaim.

~Pbesti(t+ 1) =

{

~Pbesti(t), si f (~xi(t+ 1)) ~Pbesti(t)~xi(t+ 1), sinon

(1.3.3)

~Gbest(t+ 1) = arg min~Pbesti

f (~Pbesti(t+ 1)), 1 i N. (1.3.4)

23


OEP

1 Initialiser alatoirement N particules : position et vitesse.

2 Evaluer les positions des particules

3 Pour chaque particule i, ~Pbesti = ~xi

4 Calculer ~Gbest selon (1.3.4)

5 tant que le critre darrt nest pas satisfait faire6 Dplacer les particules selon (1.3.1) et (1.3.2)

7 Evaluer les positions des particules

8 Mettre jour ~Pbesti et ~Gbest selon (1.3.3) et (1.3.4)

9 fin

ALGORITHME 1.6: Algorithme doptimisation par essaim particulaire.

1.3.3 Amliorations de PSO

1.3.3.1 Confinement des particules

Pour viter que le systme n explose en cas damplification trop grande doscilla-

tions (il est possible que le dplacement dune particule soit trop rapide et la conduise

sortir de lespace de recherche), nous pouvons introduire un nouveau paramtre Vmax, qui

permet de limiter la vitesse sur chaque dimension et ainsi de contrler lexplosion du sys-

tme [Eber 96]. Notons que cela ne restreint pas les valeurs de xi lintervalle [Vimin,Vimax],

mais limite seulement la distance maximale quune particule va parcourir au cours dune

itration. Cette mthode permet de contrler la divergence de lalgorithme et de raliser

ainsi un compromis efficace entre intensification et diversification.

De plus, une stratgie de confinement des particules peut tre introduite. Une telle

stratgie permet de ramener une particule sortie de lespace de recherche lintrieur de

celui-ci. Dans ce cadre, plusieurs mthodes peuvent tre employes :

La particule est laisse lextrieur de lespace de recherche, mais on nvalue pas sa

fonction objectif. Ainsi, elle ne pourra pas attirer les autres particules en dehors de

lespace de recherche ;

La particule est arrte la frontire et les composantes associes sa vitesse sont

annules ;

La particule rebondit sur la frontire. La particule est stoppe sur la frontire, mais

24


les composantes correspondantes de la vitesse sont multiplies par un coefficient tir

alatoirement dans lintervalle [-1,0].

1.3.3.2 Coefficient de constriction

Des amliorations ont t apportes lalgorithme de base, notamment du point de

vue du contrle de la divergence : en particulier, lintroduction du paramtre Vmax que

nous avons vu dans le paragraphe prcdent, et qui permet de limiter la divergence des

particules. En outre, beaucoup dautres tudes ont t menes sur la dynamique des parti-

cules et qui sattachent analyser sous quelles conditions une convergence de lessaim est

assure [Kenn 98, Ozca 99, Van 01].

La combinaison des paramtres w, c1 et c2 permet de rgler lquilibre entre les phases

de diversification et dintensification du processus de recherche [Kenn 01]. Dans [Cler 02],

Clerc et Kennedy ont dmontr quune bonne convergence peut tre obtenue en ren-

dant dpendants ces paramtres. Lutilisation dun coefficient de constriction (ou facteur

de constriction) permet de mieux contrler la divergence de lessaim et de saffranchir de la

dfinition de Vmax [Cler 02]. Cette variante de PSO, qui a t largement utilise dans la lit-

trature, est connue sous le nom de canonical PSO. En utilisant le coefficient de constriction,

lquation (1.3.1) devient :

vij(t+ 1) = (

vi,j(t) + 1 r1(

pbesti,j(t) xi,j(t))

+ 2 r2(

gbestj(t) xi,j(t)))

(1.3.5)

avec :

=2

2+

2 4(1.3.6)

o : = 1 + 2, > 4.

Les valeurs optimales de 1 et 2 ont t dtermines dans [Cler 02], en effectuant de

nombreux tests. En gnral, on utilise = 4,1 et 1 = 2, ce qui donne un coefficient

= 0,7298844.

Dans [Eber 00], les auteurs ont indiqu que lutilisation dun coefficient de constric-

tion donne gnralement un meilleur taux de convergence, sans avoir fixer de vitesse

25


maximale Vmax. Cependant, dans certains cas, le coefficient de constriction seul ne per-

met pas la convergence vers la solution optimale pour un nombre ditrations donn.

Pour remdier ce problme, il pourrait tre intressant de fixer Vmax = (xmax xmin)/2en plus du coefficient de constriction, ce qui, selon les tudes de Shi et Eberhart, per-

met damliorer les performances globales de lalgorithme. Ainsi, il est noter que PSO,

utilisant un coefficient de constriction, nest pas la seule version de PSO qui garan-

tisse la convergence vers un tat dquilibre. Dautres exemples peuvent tre trouvs

dans [Van 01, Trel 03, Peer 03, Zhen 03], qui permettent aussi de provoquer la convergence

de lalgorithme.

1.3.3.3 Topologie de voisinage

Comme nous lavons vu dans les deux sous-sections 1.3.1 et 1.3.2, PSO est une m-

thode doptimisation stochastique inspire dun comportement social. Ce comportement

a t modlis par les deux quations (1.3.1) et (1.3.2) pour guider les particules durant le

processus de dplacement. Le choix dune topologie (le rseau de communication entre les

particules) a donc une influence importante sur les performances de PSO.

A lorigine, dans la version de PSO rsume dans lAlgorithme 1.6, les auteurs ont d-

fini une topologie entirement connecte (i.e. chaque particule est relie toutes les autres).

Cette version de PSO est appele version globale (Gbest), car la particule est informe par

la totalit des autres, et linformation effectivement utilise est incarne par le terme ~Gbest

de la troisime composante de lquation (1.3.1). Cette version a linconvnient majeur de

ne pas donner lieu une exploration suffisante, ce qui peut conduire une stagnation

dans un optimum local et donc une convergence prmature. De nombreuses variantes

de la version originale, dites versions locales (Lbest), ont t proposes dans la littrature

de PSO, afin damliorer sa convergence. Parmi ces variantes, nous pouvons citer celle

propose dans [Eberhart et al., 1995] et qui utilise un graphe dinformation statique sous

forme danneau (cette version est connue comme tant la version locale classique). Dans les

versions locales, le terme ~Gbest est remplac par les termes~Lbesti, o, pour chaque parti-

cule i, on dfinit un ensemble de voisinage (i.e. linformation qui doit tre partage est la

meilleure solution trouve dans le voisinage de chaque particule (~Lbesti)). Cette partie sera

traite et dtaille dans le chapitre 3, o nous prsenterons aussi une nouvelle topologie

dynamique, nomme Dcluster.

26


1.3.3.4 Coefficient dinertie

Le coefficient dinertie w, introduit par Shi et Eberhart [Shi 99], contrle linfluence de

la direction de la particule sur le dplacement futur. Le but de lintroduction de ce para-

mtre est de raliser un quilibre entre la recherche locale (exploitation) et la recherche

globale (exploration). Lintensit de lexploration de lespace de recherche dpend de la

valeur du poids dinertie, une grande valeur de w facilitant une exploration globale, alors

quune petite valeur facilite lexploration locale. Du fait de son influence sur les perfor-

mances de lalgorithme PSO, le poids dinertie a suscit un grand intrt de la part de la

communaut des chercheurs. Dans [Shi 99], les auteurs ont propos un coefficient diner-

tie dynamique qui varie au cours du temps. Il commence par une valeur proche de 0,9 et

descend linairement pour arriver 0,4. Cette stratgie a beaucoup amlior les perfor-

mances de PSO pour plusieurs problmes doptimisation. Le coefficient dinertie w varie

linairement avec le temps selon la formule suivante :

w = wmin + (wmax wmin).(iter

maxiter) (1.3.7)

o iter est litration courante et maxiter est le nombre maximal ditrations. wmax et wmindsignent respectivement les valeurs maximum et minimum du coefficient w (gnrale-

ment, wmin,wmax [0, 1]).

Dans [Chat 06], Chatterjee et Siarry ont utilis une autre stratgie non-linaire pour

dfinir un coefficient dinertie dynamique. Dans [Eber 01], Eberhart et Shi ont propos

une autre variante, dans laquelle le coefficient dinertie est choisi au hasard, selon une

distribution uniforme, dans lintervalle [0,5, 1]. Cet intervalle a t inspire du facteur de

constriction propos par Clerc et Kennedy (la valeur attendue du coefficient dinertie, dans

ce cas, est gale 0,75 0,729).

1.3.3.5 Stratgie FIPS

Kennedy et Mendes [Mend 04] ont propos une nouvelle manire dutiliser la topolo-

gie Gbest, appele FIPS (Fully Informed Particle Swarm). FIPS utilise une partie des informa-

tions de chaque voisine, au lieu de se baser seulement sur les informations de la meilleure

voisine et la meilleure exprience propre la particule. Par consquent, lutilisation dune

topologie entirement connecte ne signifie pas que linformation utilise soit seulement

27


la meilleure solution trouve par lessaim. En effet, dans FIPS, elle est toujours utilise,

mais elle nest pas la seule. Pour les algorithmes bass sur le principe de la topologie FIPS,

linformation utilise pour dplacer les particules est issue de toutes les autres particules.

Ainsi, toutes les voisines contribuent lajustement de la vitesse dune particule :

vt+1i =

(

vti +Ni

n=1

U(0,)(ptnbr(n) xti)Ni

)

(1.3.8)

o Ni est le nombre de voisins de la particule i, nbr(n) est la nime particule voisine de la

particule i et est la constante dacclration, qui permet de contrler la convergence des

particules. Cette dernire est fixe 4,1, suite lanalyse de Clerc et al [Cler 02].

1.3.3.6 Algorithme TRIBES

TRIBES est un algorithme doptimisation par essaim particulaire sans paramtres de

contrle, qui a t propos par Clerc [Cler 03]. Cet algorithme prsente la particularit

dtre totalement adaptatif, cest--dire que tous les paramtres de contrle sont calculs

de manire autonome par lalgorithme. En effet, TRIBES est dfini comme une bote noire,

pour laquelle lutilisateur na plus aucun paramtre rgler. Il doit seulement dfinir le

problme rsoudre (i.e. la fonction objectif, lespace de recherche, les contraintes), ainsi

que son critre darrt. Cependant, il est signaler que TRIBES ne peut pas rsoudre tous

les problmes. De plus, ses rsultats sont probabilistes cause de son caractre stochas-

tique. Le but de TRIBES, daprs son auteur, est dtre efficace dans la plupart des cas

et de permettre ses utilisateurs de gagner du temps, en vitant ltape de rglage de la

mtaheuristique.

Dans TRIBES, lessaim particulaire est divis en plusieurs sous-essaims appels tri-

bus . Les tribus sont de tailles diffrentes, qui voluent au cours du temps. Le but est

dexplorer simultanment plusieurs rgions de lespace de recherche, gnralement des

optima locaux, avant de prendre une dcision globale. Dans le but de prendre un telle

dcision, les tribus changent leurs rsultats tout au long du traitement. Deux types de

communications sont donc dfinir : la communication intra-tribu et la communication

inter-tribus. Chaque tribu est compose dun nombre variable de particules. En effet, une

tribu qui peine amliorer ses rsultats gnre des particules plus exploratrices . Les

particules gnres par les diffrentes tribus forment une nouvelle tribu, qui reste en com-

munication avec ses gnitrices. Inversement, une tribu efficace tendra supprimer celles

28


de ses particules qui nont pas contribu sa bonne performance.

TRIBES est un algorithme comptitif, qui permet de trouver rapidement des optima

locaux (trs utile pour loptimisation dynamique). Cependant, les particules ont tendance

rester dans ces optima locaux et ont du mal en sortir.

La thse de Yann Cooren [Coor 08] sattache particulirement lalgorithme TRIBES,

qui est en dtail. Cest ainsi que Cooren a propos deux ides qui permettent damliorer

les performances de cet algorithme :

La premire ide consiste utiliser un nouveau mode dinitialisation (initialisation

rgulire) pour assurer une couverture plus uniforme de lespace de recherche par

les particules. En pratique, les particules sont initialises de manire tre les plus

loignes possible les unes des autres et les plus loignes possible des frontires de

lespace de recherche.

La deuxime ide consiste utiliser une nouvelle stratgie de dplacement, base sur

une hybridation avec un algorithme estimation de distribution, pour maintenir la

diversit au sein de lessaim, tout au long du traitement.

Les rsultats obtenus montrent une relle amlioration apporte lalgorithme initial.

Dans sa thse, Yann Cooren a propos aussi une version performante pour les problmes

multi-objectifs, dnomme MO-TRIBES.

1.3.3.7 PSO et hybridation

Ces dernires annes, lhybridation des algorithmes a attir lattention de nombreux

chercheurs afin damliorer leurs performances. Lobjectif de lhybridation est de combiner

les caractristiques de plusieurs algorithmes pour tirer profit de leurs avantages [Talb 02].

Mais lalgorithme rsultant risque dhriter galement de leurs faiblesses. De plus, un al-

gorithme rsultant de lhybridation de plusieurs algorithmes peut avoir une complexit

importante. Comme pour toutes les mtaheuristiques, lhybridation a aussi touch le do-

maine de PSO dans le but damliorer ses performances. Dans ce qui suit, nous prsentons

quelques exemples dhybridations entre PSO et dautres algorithmes.

Dans [Ange 98], Angeline a propos la premire hybridation dun algorithme PSO. Il

introduit un processus de slection et un processus de mutation inspirs des algorithmes

volutionnaires. Le processus de slection est utilis pour choisir des bonnes parti-

cules qui vont subir une mutation, et des mauvaises particules qui sont limines.

29


Dans [Zhan 09], une approche originale dhybridation, qui est une combinaison de PSO et

DE (DE-PSO), est propose. Cette approche consiste dfinir une stratgie de dplacement

alatoire pour accrotre la capacit dexploration et en mme temps acclrer la conver-

gence de lalgorithme, en utilisant des oprateurs de lalgorithme DE. Dans cette approche,

trois stratgies demise jour de la particule ont t utilises :DEUpdating Strategy (DEUS),

Random Updating Strategy (RUS) et PSO Updating Strategy (PSOUS). Dans [Mira 02], une

hybridation entre PSO et les stratgies volutionnaires est propose. Les paramtres chi,

1 et 2, ainsi que ~g, sont perturbs selon une distribution gaussienne. La variance de cette

distribution est dtermine laide dun processus de slection. Dans [Robi 02], une hy-

bridation entre PSO et les algorithmes gntiques est dveloppe. Il est dmontr dans cet

article que PSO est favorable dans la phase de diversification, alors que les algorithmes g-

ntiques sont plus efficaces dans la phase dintensification. Dans [Shel 07], un algorithme

de PSO est hybrid avec un algorithme de colonies de fourmis. Lide sous-jacente consiste

utiliser PSO comme mthode de recherche globale, alors que lalgorithme de colonies

de fourmis est cens amliorer le processus dintensification, en tant utilis comme une

recherche locale. Dans [Iqba 06], un algorithme de PSO utilisant des principes des algo-

rithmes estimation de distribution est prsent. Les meilleures particules sont ici utili-

ses pour attirer les autres particules de lessaim laide de lestimation dune distribution

de probabilit. Enfin, il existe aussi plusieurs mthodes hybridant PSO avec une recherche

locale. Parmi ces mthodes, nous citons NM-PSO, qui est une combinaison de la technique

de Nelder-Mead (NM) et de PSO. Dans NM-PSO, le processus hybride ralise lexploration

par lalgorithme PSO et lexploitation par lalgorithme NM [Fan 04].

1.3.3.8 PSO cooprative

Les algorithmes de recherche coopratifs, notamment ceux de PSO, ont t large-

ment tudis ces dernires annes, surtout pour rsoudre les problmes doptimisation de

grande tailles. Lapproche de base consiste avoir plus dun module de recherche en cours

dexcution (peut-tre travers des sous-essaims) et un change dinformations entre eux,

afin dexplorer plus efficacement lespace de recherche et datteindre de meilleures solu-

tions.

Dans [Berg 04], les auteurs proposent deux variantes de PSO : Cooperative PSO

(CPSO-Sk) et Hybrid CPSO (CPSO-H). La premire variante CPSO-S divise lespace n-

dimensionnel (vecteur de solutions de dimension n) en sous-espaces (de plus petits vec-

30


teurs), o chaque sous-espace est optimis par un essaim spar. Le vecteur global de so-

lutions est construit partir des solutions trouves par la meilleure particule de chaque

essaim. Dans le cas particulier o n = k, lalgorithme est appel CPSO-S et utilise

n essaims 1-dimensionnel pour effectuer la recherche dans chaque dimension spar-

ment. La deuxime variante CPSO-H consiste en deux phases de recherche squentielle.

Chaque phase sexcute seulement pour une itration et communique la meilleure solu-

tion trouve la phase suivante. La premire phase utilise un CPSO-S (avec des essaims

1-dimensionnel) et la seconde phase utilise lalgorithme de base de PSO.

Dans [Bask 04], lalgorithme Concurrent PSO (CONPSO) considre deux essaims en

concurrence qui sont gnrs laide de deux variantes de PSO : PSO de base et Fitness-

to-Distance Ratio PSO (FDR-PSO) [Pera 03]. Ces deux essaims effectuent la recherche en

mme temps avec un change frquent dinformations. Les informations changes sont

les meilleures solutions globales gbest1 et gbest2 de deux essaims. Aprs chaque point

dchange, les particules des essaims sont obliges de suivre la meilleure solution globale

trouve entre les deux.

Dans [Yen 08], les auteurs prsentent une autre mthode dchange dinformations

entre les essaims, dans laquelle la population des particules est divise en m sous-essaims

qui cooprent entre eux. Au moment de lchange, chaque sous-essaim prpare deux en-

sembles de particules : les particules envoyer un autre sous-essaim et les particules

remplacer par dautres particules venant dautres sous-essaims. Lchange dinformations

se fait entre sous-essaims du mme voisinage, dtermin par une distance qui change au

cours de lexcution de lalgorithme. Ceci fournit une configuration dynamique entre les

sous-essaims, grce au changement de distance, qui permet chacun dentre eux de com-

muniquer avec dautres groupes.

Un autre algorithme de PSO cooprative a t propos dans [Niu 07], bas sur un mo-

dle matre-esclave. Dans cet algorithme, la population se compose dun essaim matre

et plusieurs essaims esclaves . Les essaims esclaves excutent un seul PSO indpen-

damment pour maintenir la diversit des particules, tandis que lessaim matre volue en

fonction de son information propre et de celle des essaims esclaves.

1.3.3.9 Autres variantes de PSO

Dans [Hsie 09], Hsieh et al. proposent un algorithme (EPU-PSO) bas sur une popu-

lation de taille variable qui utilise trois ides principales pour amliorer les performances

31


de PSO. La premire ide introduit un gestionnaire de la population o, selon ltat de

la recherche, lalgorithme ajoute ou supprime des particules. Cette dynamicit affecte

considrablement les performances et augmente la capacit trouver loptimum global.

La deuxime ide est base sur la stratgie dite solution-sharing strategy, qui permet aux

meilleures particules de partager leurs informations et de mettre jour leurs vitesses. La

troisime ide porte sur la technique dite searching range sharing (SRS), qui empche les

particules de tomber dans un optimum local. En outre, SRS tend lexploration de lespace

de recherche des zones inexplores. CLPSO [Lian 06] est une variante de PSO qui utilise

une nouvelle stratgie dapprentissage (learning strategy) pour mettre jour les vitesses des

particules utilisant des informations historiques. UPSO [Pars 04] est un algorithme de PSO

qui regroupe les variantes globale et locale de PSO, en combinant leurs capacits dexplo-

ration et dexploitation.

1.4 Validation des algorithmes

Dans cette section, nous allons prsenter les fonctions et les problmes rels utiliss

pour comparer les rsultats obtenus par les algorithmes que nous proposons dans ce ma-

nuscrit ceux dautres algorithmes existants dans la littrature. Nous nous appuyons, pour

comparer les algorithmes, sur la procdure de test dfinie dans le cadre de la confrence

2005 IEEE Congress on Evolutionary Computation (CEC05) [Suga 05].

Le critre darrt peut tre diffrent suivant le problme pos. Si loptimum global est

connu a priori, on peut dfinir une erreur acceptable comme critre darrt. Sinon, il est

habituel de fixer un nombre maximum dvaluations de la fonction objectif ou un nombre

maximum ditrations comme critre darrt. Cependant, selon le problme pos et les

exigences de lutilisateur, dautres critres darrt peuvent tre utiliss.

1.4.1 Principales fonctions de test

Les principales fonctions de test sont classes en quatre groupes (voir Tableau 1.1) en

fonction de leurs proprits [Suga 05, Tu 04, Yao 99].

Dans lannexe, nous dtaillons ces quatre groupes.

32


Groupe Type de fonction Nom de fonction

A Fonctions unimodalesf1. Sphere functionf2. Quadric function

B Fonctions multimodales

f3. Rosenbrocks functionf4. Ackleys functionf5. Rastrigins functionf6. Weierstrasss functionf7. Generalized penalized functionf8. Griewanks functionf9. Tripods function

C Fonctions pivotes

f10. Rotated Quadric functionf11. Rotated Rosenbrocks functionf12. Rotated Ackleys functionf13. Rotated Rastrigins functionf14. Rotated Weierstrasss functionf15. Rotated Generalized penalized function

D Fonctions dcales

f16. Shifted Rosenbrocks functionf17. Shifted Ackleys functionf18. Shifted Rastrigins functionf19. Shifted Griewanks functionf20. Shifted Sphere function

TABLEAU 1.1: Les principales fonctions de test.

1.4.2 Problmes rels

Quelques problmes rels trs frquents dans le domaine doptimisation et utiliss

pour mesurer les performances des algorithmes, sont prsents dans le tableau 1.2 et d-

taills dans lannexe.

1.5 Conclusion

Dans ce chapitre, nous avons prsent un tat de lart sur les mthodes dopti

Documents

PSOMEM