L’approche algorithmique de l’aléatoire

L’approche algorithmiquede l’aléatoire

Hector Zenil

Institut d’Histoire et de Philosophie desSciences et des Techniques (Paris 1/ENS/CNRS) et

Laboratoire d’Informatique Fondamentale de Lille (CNRS)

1 décembre 2008

Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 1 / 69

1 Introduction des approches algorithmiques

2 Complexité algorithmique

3 Raccourcis du nombre π

4 L’aléatoire déterministe

5 La dépendance du langage

6 La valeur ontologique et épistémologique des définitions

7 Le scepticisme sur la nature (in)déterministe du processus générateur

8 La contingence de l’aléatoire quantique

9 ConclusionsHector Zenil (IHPST) L’approche algorithmique de l’aléatoire 2 / 69

Les notions intuitives de l’aléatoire

Depuis toujours, on associe de manière intuitive l’aléatoireavec les notions de :

se produire sans loi.ne pas être prévisible.toute absence de structure, de régularité.


La correspondance des notions mathématiques

On trouve que les approches mathématiques gardent le même esprit car àchacune des notions intuitives de l’aléatoire correspond une de cesapproches algorithmiques :

La complexité algorithmique (Kolmogorov, Chaitin)Les martingales effectives (Schnorr)Les tests effectifs ou ’typicalité’ (Martin-Löf)

Ces approches consistent à utiliser la théorie algorithmique de l’informationpour définir ce qu’est l’aléatoire. Les auteurs de chaque approche avaienttous dans leur esprit la motivation de capturer ce phénomène.Ultérieurement d’autres applications ont donné une vie propre à la théorie,surtout par rapport à la valeur méta-mathématique que nous exposons plustard.


Comment définir la complexité algorithmique d’un objet ?

Selon la théorie classique des probabilités, sous une distribution uniforme,toute suite à n chiffres (par exemple pour des suites qui encodent lesrésultats d’un jeu de pile ou face avec une pièce non truquée) :

PPPPPPPPPPPPPPPPPPPPPPPPP 1

PFPFPFPFPFPFPFPFPFPFPFPFPFPFFPPFPPPFFFFPPFPPFPFPFFFP

elles ont toutes la même probabilité P(s) = 1/2n comme résultat de lancerla pièce n fois. Alors qu’évidemment si on obtient la première on supposeraque la pièce était truquée, et si on tombe sur la deuxième on lasoupçonnera aussi, tandis que si on tombe sur la troisième, cela sembleraplus normal. On voudrait formaliser l’idée qu’on n’attend pas de régularitésd’un processus dans une suite d’événements résultant du hasard.

1. P=pile, F=faceHector Zenil (IHPST) L’approche algorithmique de l’aléatoire 4 / 69

Définition de la complexité algorithmique(Kolmogorov, Chaitin)

On peut alors définir la complexité d’une suite de la façon suivante :

Definition 1.1La complexité KL(s) d’une suite binaire finie s sous un langage L est :KL(s) = longueur du plus court programme p(s) qui engendre s en L.

On parle aussi de programme minimal de s 2.

Idée : est simple ce qui se décrit brièvement.

2. s’il y a plusieurs programmes de taille minimum, p(s) est le premier dansl’ordre lexicographique.


Application de la complexité algorithmique

Donc, en utilisant la complexité algorithmique, on peut déterminer que lasuite :

00000000000000000000000000000000000000000000000000

a une complexité algorithmique plus faible que celle de la suite :

26535897932384626433832795028841971693993751058209

car la première peut être produite par un programme du type ’imprime 50zéros’ qui est certainement plus court qu’un programme de la deuxièmesuite.


Définition de l’aléatoire par le moyen de la complexitéalgorithmique

Si s est une suite finie :

Definition 1.2s est aléatoire si K (s) > longueur(s) + c .

Idée : Une suite finie est aléatoire, si et seulement si, elle est incompressible.

Si s est une suite (séquence) infinie :

Definition 1.3s est c-aléatoire, si et seulement si, il existe une constante c telle que lacomplexité algorithmique (auto-délimitée) des n premiers chiffres de lasuite est toujours plus grande que longueur(sn)− c .


Définition de l’aléatoire par le moyen de la complexitéalgorithmique

Le terme c est introduit pour s’assurer que même dès début pour lessegments initiaux et pour les courtes suites la définition est satisfaite.Evidemment, si s est infinie, on ne peut jamais tester lacompressibilité de tous les segments initiaux sn pour toute n et on nepeut donc jamais se prononcer de manière définitive sur le caractèrealéatoire de s.

D’autre part, si s est une suite finie, elle peut toujours faire partied’une suite infinie aléatoire s ′ et donc le caractère non-aléatoire d’unetelle suite ne peut jamais être absolu (elle est dans le meilleur des cas"semblant aléatoire" ou "random-looking").


Propriétés de K

K (s) n’est pas calculable. La fonction s → K (s) n’est pas récursive(c’est-à-dire pas calculable par algorithme) aucun algorithme ne peut,pour tout suite s qu’on lui fournit en données, calculer en temps fini,la valeur de K (s).En pratique, pour évaluer K (s), on utilise des compresseurs (sanspertes) : la taille du fichier comprimé de s par un algorithme C decompression est alors une valeur approchée (une borne supérieur) deK (s).La non-calculabilité de K (s) a pour conséquence qu’on ne peut jamaisêtre certain d’être proche de sa valeur (car par exemple une régulariténon vue par le compresseur utilisé peut être présente dans s).


L’approche par les martingales

On peut aussi aborder ce même problème des suites qui ne semblent pasaléatoires en d’autres termes. Pensons qu’on enregistre chaque jour etchaque nuit avec un 0 et un 1. On obtient donc une suite de plusieursmilliards de chiffres, un pour chaque jour ou nuit depuis des milliardsd’années 3 jusqu’à aujourd’hui :

. . . 010101010101010101010101010101010101010

On se demande ensuite quel est le chiffre suivant, c’est-à-dire, si le soleil selèvera demain. Ceux qui croient à la théorie classique des probabilitéspourraient parier pour 0 ou 1 sans aucune distinction mais c’est la théoriealgorithmique de l’information qui explique pourquoi personne ne parierapour 0, car évidemment le fait qui produit le jour et la nuit n’est pas lerésultat du hasard, mais d’un processus.

3. si on croit que cela est arrivé comme cela, sinon on peut commencer depuisla prise de connaissance de chacun.


En favorisant la préservation des structures

En général, lorsqu’on observe une suite de ce type, on tendtoujours à favoriser les chiffres qui maintiennent le motif dela suite. Plus longue est la suite, plus on est certains deparier. Avec moins de régularités, le pari devient plus risqué.On voudrait capturer ce phénomène de manière formelle.


Probabilité algorithmique (Chaitin, Levin, Solomonoff, Gács)

Vous ne parierez pas pour "le soleil ne se lèvera pas demain" parcequ’obtenir un 1 après la suite . . . 01010101010 est algorithmiquement plusprobable.

La semi-mesure m (qualifiée de miraculeuse par Ming Li et WalterKirchherr) indique que plus une suite s est simple, plus sa probabilité m(s)comme résultat d’un calcul, est grand :

m(s) = 1/2K(s)+c

Idée : plus une suite s est aléatoire plus sa probabilité m(s) est petite.


La métaphore du singe dactylographique

[Borel, 1952] Avec assez de temps, un singe qui tape (onassume que chaque événement est indépendant, c’est-à-direque le singe tape vraiment de manière aléatoire)indéfiniment sur une machine à écrire dactylographieran’importe quel texte (e.g. le roman "Les Misérables"). Laprobabilité d’obtenir Les Misérables serait donc 1/50n, avecn la taille de l’oeuvre de Victor Hugo et 50 le nombre detouches dans la machine à écrire.



La probabilité (m(s)) de produire le roman des Misérables en remplaçant lamachine à écrire par un ordinateur [Chaitin 1], est beaucoup plus forte(même si elle reste toujours petite car la longueur du texte est assezgrande), car la complexité K (s) du texte est très faible par rapport à unesuite aléatoire de la même taille.

Autrement dit, le singe a beaucoup plus de chance de produire un roman enle plaçant sur un ordinateur (ou chaque touche représente un programme)que sur une machine à écrire (ou chaque touche est une donnée).



Le singe qui est une métaphore d’une source de données aléatoires devientune analogie d’une source de programmes aléatoires. Cependant, il fautsouligner qu’à l’inverse de la valeur de K (s), si on tire des programmes auhasard on verra que la plupart de ces programmes ne produisent pas deséquences aléatoires.

Plus encore : le singe pourrait suivre une énumération effective des touchesest le résultat de m(s) ne variera pas, tandis que s’il suit une énumérationdans le cas de la machine à écrire évidemment il ne produira le roman quesi l’énumération est exactement celle de l’ordre des lettres dans le romandes Misérables. En d’autre mots, le requis d’une source aléatoire est plusfaible pour la mesure m (on pourrait remplacer sans problème le singe"aléatoire" par une source déterministe).


Jeux de pari

Dans n’importe quel jeu, à chaque fois que l’on mise, il existe uneprobabilité p de gagner et une probabilité q de perdre.

Supposons que, comme à pile ou face, celui qui gagne récupère sa miseplus une somme égale à sa mise.

Lorsqu’un jeu est en votre faveur (p supérieur à 1/2), même si vousaffrontez un joueur infiniment riche avec une somme de départ finie, vousdeviendrez infiniment riche dans une bonne proportion de cas.

Si vous avez une somme de départ infinie, vous deviendrez toujours richeen jouant assez longtemps.

Cependant, si p est inférieur à 1/2 et si vous ne disposez que d’une sommede départ finie, vous perdrez presque toujours.


La stratégie de la martingale

Par contre, si p est inférieur à 1/2 et vous avez une sommeinfinie de départ vous pouvez gagner avec une stratégie dejeu...

Une martingale est une stratégie de jeu et la martingalegéométrique, c’est La martingale et elle consiste à doublerla mise K à chaque fois qu’on perd jusqu’à ce que l’ongagne.

Lorsque cela arrive, on a perdu K + 2K + 4K + . . . + 2nKmais on gagne 2n+1K , donc on a gagné à la fin K .


L’aléatoire selon Schnorr

Dans le raisonnement des martingales, aucune référence n’est faite auxrésultats du jeu à chaque fois. Ce que ces stratégies mettent en évidence,c’est que si le jeu n’a aucun biais, prendre en compte le passé est inutile !

Une séquence s est aléatoire s’il n’existe aucune martingale (effective)gagnante lorsqu’on parie sur le prochain chiffre de s.

Definition 1.4Il n’existe aucune martingale M sur une suite s telle que :lim supn M(sn) =∞

Où M est le gain, sn les segments initiaux de la séquence s.

Idée : personne ne peut gagner en pariant en présence d’une suitealéatoire. 4

4. Déjà en 1928 von Mises parlait du "principe de l’impossibilité de pari" [vonMises]


L’aléatoire de Martin-LöfL’univers de Cantor dénoté par 2ω contient toutes les suites binaires infinies(elles peuvent aussi se mettre en correspondance avec les expansions desnombres réels et donc être considérés comme des nombres réels).

Definition 1.5Une suite s ∈ 2ω est aléatoire, si et seulement si, s réussit "tous les testsstatistiques effectifs".

On trouve qu’il y a un nombre dénombrable de tests statistiques effectifs 5

et seulement un ensemble de mesure de Lebesgue nulle de suites nesatisfaisant pas la condition de Martin-Löf. Donc la plupart des suites sontaléatoires au sens de Martin-Löf.

Idée : une suite est aléatoire au sens de Martin-Löf, si et seulement si, s atoutes les propriétés communes à la plupart des suites dans l’univers deCantor (toutes les suites binaires infinies).

5. On prouve l’existence d’un test universel (auquel on ne peut pas y avoiraccès) tel que si une suite passe ce test elle passera n’importe quel autre teststatistique effective.Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 19 / 69

L’aléatoire de Martin-Löf

Par exemple, parmi les propriétés communes, dans l’univers de Cantor, estl’être transcendant, être normal, suivre la loi des grands nombres, avoir plusde 0 que de 1 dans une sous-suite à n chiffres ou suivre la loi du logarithmeitéré.

Il est important de se rendre compte que la définition de Martin-Löf n’estdéfinie que pour des suites infinies. C’est alors une propriété intrinsèque decette définition ne pas pouvoir exhiber une suite aléatoire individuelle.


Propriétés des suites Martin-Löf aléatoires

Parmi d’autres propriétés :

Une suite aléatoire à la Martin-Löf n’est pas calculable, et unesuite calculable ne peut pas être aléatoire au sens de Martin-Löf.Presque tous les suites sont aléatoires au sens de Martin-Löf,même si ni les suites algébriques ni les suites calculables ne sontaléatoires !

Le consensus autour de la définition de Martin-Löf c’est qu’elle est labonne définition mathématique de l’aléatoire.


Convergence des approchesSchnorr prouve qu’une suite s est Martin-Löf aléatoire est incompressibleau sens de la complexité algorithmique (auto-délimitée). Martin-Löf prouvequ’une suite est aléatoire si elle est aléatoire au sens de la complexitéalgorithmique (auto-delimitée).

On a donc :

complexité algorithmique (auto-delimitée) ⇔ martingale effectives ⇔ testsstatistiques effectifs (typicalité) 6

Autrement dit :

incompressibilité ⇔ imprévisibilité ⇔ absence de régularités !

6. au niveau du premier degré de Turing, car Schnorr lui-même a prouvéqu’il y a des nombres aléatoires au sens de Schnorr qui sont plus difficiles que leproblème de l’arrêt des machines de Turing, tandis que tous les nombres aléatoiresà la Martin-Löf appartiennent au même degré de Turing, le degré équivalent auproblème de l’arrêt.


Convergence des approches

C’est ce qu’on pouvait attendre d’une définition qui capture bien lephénomène de l’aléatoire. Car la convergence des définitions peut signifierqu’on a touché quelque chose de fondamental, puisque plusieursdéveloppements théoriques qui essayent de saisir le même phénomène demanière indépendante deviennent équivalents à la fin.

C’est ce qui est arrivé lorsqu’on a essayé de saisir le concept de calcul et ona trouvé que les théories développées étaient équivalentes (le lambdacalcul, les machines de Turing, les systèmes de Post, les fonctionsrécursives de Kleene, etc.) 7

7. Par contre, ces arguments de convergence ont été critiqués par certainsauteurs, notamment Georg Kreisel [Kreisel]


Conséquence de la convergence des approches

Une fois qu’on obtient que les trois approches algorithmiques de l’aléatoire sontéquivalentes, on peut décider d’en approfondir une seule car on sait que ce qu’ondéduit d’une approche, on le déduit des autres. Il faut cependant revenir auxautres approches car chacune fournit une interprétation différente du phénomène,quelquefois mises en relief plus par une que par l’autre.

Nous allons exposer quelques particularités de l’approche par le moyen de lacomplexité algorithmique, qui pourraient être considérées comme des défauts oudes problèmes que la théorie laisse sans réponse définitive.

Que la théorie ne fournisse pas de réponses absolues aux questions sur l’aléatoirepeut avoir plusieurs interprétations : soit parce que la réponse de la théorie estprécisément qu’il n’y en a pas soit parce que la théorie n’est pas toujourscomplète et qu’elle ne déploie pas encore tout son pouvoir soit une combinaisonde ces deux dernières contraintes, l’une ontologique et l’autre épistémologique.Nous reviendrons sur ces points plus tard...


La nature subjective de l’aléatoire


La nature subjective de l’aléatoire pour des suites finies

On pourrait convenir d’appeler complexes au sens de la théoriealgorithmique, les suites finies telles que : K (s) > longueur(s)/2

Mais le seuil longueur(s)/2 est arbitraire.

Il n’y a pas de convention acceptée (même au sens mathématique)pour une telle définition. Il y a une phase de transition difficile àdécider qui ne dépend que d’un choix arbitraire (la place du seuil). Lecaractère aléatoire se rend seulement moins subjectif au delà duvoisinage du seuil, c’est-à-dire aux extrêmes.



Il faut remarquer que :

(par un raisonnement combinatoire assez simple)Une suite tirée au hasard a toutes les chances d’avoir une fortecomplexité algorithmique. Parmi toutes les suites de 0 et de 1 delongueur n, pour n fixé,

moins d’une suite sur 1024 a une complexité < n − 10,c’est-à-dire peut être comprimée de plus de 10 digits ;moins d’une suite sur un million a une complexité < n − 20,c’est-à-dire peut être comprimée de plus de 20 digits.etc.

Une suite tirée au hasard est très rarement compressible.



Le seuil (dont on a parlé auparavant) est donc très pertinent pourdécider le caractère aléatoire de la plupart des suites, donc celles quisont facilement distinguables (c’est-à-dire qui sont loin de la portéedu voisinage du seuil) ne sont pas très nombreuses.

En d’autres mots, pour la plupart de suites (car il ne sont pas assezfacilement compressibles) le caractère d’être aléatoire est tout à faitsubjectif.


La structure cachée des nombres


La structure cachée du nombre π

En général, étant donné une suite quelconque il n’est pas facile de la distinguercomme aléatoire, même avec un seuil justifié de certaine manière. Par exemple, ladeuxième suite du dernier exemple, semble aléatoire au sens de la complexitéalgorithmique :

26535897932384626433832795028841971693993751058209

mais elle ne l’est pas car il s’agit en fait de la suite des décimales du nombre π àpartir de la sixième chiffre (les cinq premières sont 14159). π n’est doncabsolument pas algorithmiquement aléatoire, puisque le simple fait que l’on puissel’écrire sous formes de séries permet d’écrire un programme de taille bieninférieure à n pour calculer n décimales.


La structure cachée du nombre π

On doit donc considérer les décimales du nombre π comme un exemple decomplexité organisée 8 (ou de complexité aléatoire faible) car π peut êtreproduit par des programmes courts qui engendrent des segments initiaux dechiffres de π.

Idée : L’organisation de π est cachée, mais elle est extrêmement ordonnéeet donc algorithmiquement non-aléatoire .

8. complexe peut aussi signifier : organisé, fortement structuré, riche en infor-mation. Il y a deux types de complexité : la complexité aléatoire et la complexitéorganisée. On parlera ici plutôt de la complexité aléatoire.


La structure cachée des nombres

Cette suite semble à première vue aussi aléatoire :

0110100110010110100101100110100110010110011010010110100110010110

Cependant, il s’agit de la suite de Thue-Morse construite de la façon suivante :(c’est la concaténation des suites précédentes niées)0010110011010010110100110010110. . .tm(n + 1) = tm(n) <> Not[tm(n)]Elle vient donc d’un algorithme assez simple (voir court).

Idée : En général, la complexité aléatoire n’est pas facile à distinguer.


Raccourcis du nombre π

Les décimales de π n’ont rien d’aléatoire selon la théoriealgorithmique de la information, mais la distribution des chiffres oudes groupes consécutifs de n chiffres de ses décimales a cependant lescaractéristiques d’un phénomène aléatoire.

Les formules BBP (Bailey-Borwein-Plouffe) permettent d’évaluer len-ième chiffre de π en base 16 9 sans calculer les précédents, le touten temps n × ln(n).

Il est pertinent de remarquer que la complexité algorithmique neprend pas en compte le temps du calcul (le nombre de pas qu’uncalcul prend).

9. ou en n’importe quelle base multiple de 2n.Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 33 / 69

La question de l’existence des raccourcis

On peut alors formuler la question de savoir si pour tout nombre ilexiste ces types de raccourcis.

D’après Stephen Wolfram [Wolfram], cela n’est pas le cas en général(par exemple la règle 30 des automates cellulaires). D’après lui du faitque tout système de calcul non-trivial atteint un pouvoir de calculégalement sophistiqué. Un système ne peut pas raccourcir le calculd’un autre sans passer par toutes les étapes (ou la plupart des étapes)précédentes du système qu’on essaye de raccourcir 10. Soit parcequ’on ne peut pas trouver le raccourci soit parce qu’il n’existe pas(Wolfram ne prend pas de position philosophique à cet égard).Wolfram appelle ce phénomène principe d’irréductibilité de calcul.

10. [Dubucs]Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 34 / 69

La profondeur logique de Bennett

Une tentative pour expliquer ce phénomène, c’est la "profondeurlogique" de Charles Bennett. La profondeur logique exprime le"contenu en calcul" d’un objet fini [Bennett, 1986].

La profondeur logique d’une suite s est définie par :

Definition 3.1P(s) = temps de calcul du programme minimal de s.

Ce qui tient en compte à la fois la complexité algorithmique (la tailledu programme qui engendre s) et le nombre de pas du calcul que ceprogramme prend pour l’engendre.


L’aléatoire intrinsèque de Wolfram

Une conséquence du principe d’irréductibilité de Wolfram, c’est quedes systèmes simples qui atteignent un pouvoir de calcul minimalpeuvent produire une sortie si complexe qu’aucun autre système nepeut la déchiffrer en avance (le raccourcir) sans le parcourir étape parétape, ce qui donne lieu à la définition d’aléatoire déterministe deWolfram.

Pour illustrer ce phénomène Wolfram utilise des exemplesd’automates cellulaires. En voici :


Un automate qui préserve la nature des entrées

Figure: Automate cellulaire élémentaire à règle 22.


Un automate qui préserve la nature des entrées

À des entrées simples, des sorties simples. À des entrées complexes des sortiescomplexes.

Figure: Automate cellulaire élémentaire à règle 22 : condition initiale périodiquen = 2 (...010101...).


Brisure de symétrie

Figure: Automate cellulaire élémentaire à règle 22 : condition initiale périodiqueasymétrique n = 3 (...01101...).


L’aléatoire extrinsèque venu d’un système déterministe

Le système le laisse passer (l’amplifie peut-être) vers la sortie, mais la source del’aléatoire vient de l’extérieur.

Figure: Automate cellulaire à règle 22 à condition initiale aléatoire.


L’aléatoire intrinsèque

Le système produit de l’aléatoire même à partir de conditions initiales simples(voir même une cellule noire).

Figure: Automate cellulaire à règle 30.



D’après Wolfram, la sortie de l’automate cellulaire à règle 30 produitune sortie assez complexe pour être considérée comme aléatoire. Ilappelle ce type d’aléatoire venu du système même (opposé àl’aléatoire venu de l’extérieur et transporté/transferé vers la sortie) del’aléatoire intrinsèque.

Pour Wolfram, ce type d’aléatoire comme celui de la règle 30 11 estaussi bon en qualité que celui venu des systèmes non-déterministes(s’il y en a, car Wolfram ne se prononce pas à cet égard).

11. Wolfram utilise un automate cellulaire comme générateur de nombres aléa-toires dans son logiciel Mathematica, ce qui rend évident la valeur qu’il donne àses croyances et le défaut de trouver la manière de déchiffrer ce type d’automatescellulaires si simples qu’ils soient, même beaucoup plus simples que les chiffresde π.



Pourtant, l’aléatoire algorithmique s’oppose évidemment à l’aléatoireintrinsèque de Wolfram car ce dernier, comme pour la règle 30, vient d’unerègle très courte qui génère l’évolution complète de l’automate (on n’abesoin que de 8 bits pour l’en décrire).

Cependant, lorsqu’on essaie de comprimer la sortie de l’automate à règle 30aucun compresseur ne semble bien la comprimer, comme cela arrive aussipour les chiffres décimaux du nombre π. Aucun compresseur ni l’analysesoigneuse des chercheurs n’ont réussi à trouver des motifs réguliers dans lapartie droite de la règle (par exemple, une période).


La définition de la complexité algorithmique, est-ellerobuste ?


Théorème d’Invariance

On peut se demander si la définition de la complexité algorithmique, est robuste :Est-ce qu’en changeant de langage (ou de machine universelle de Turing), on nechange pas la complexité mesurée ?

Le théorème d’invariance donne sens à la définition de la complexitéalgorithmique :

Théorème 5.1Si L et M sont deux machines de Turing universelles, et si on note KL(s)(respectivement KM(s)) la complexité algorithmique quand on utiliseL(respectivement M) comme machine de référence, alors il existe une constantecL,M telle que pour toute suite binaire finie s :

|KL(s)− KM(s)| < cL,M

Idée : On utilise la possibilité d’écrire en L un compilateur pour M, etréciproquement.


Le choix de machine universelle est pertinent

Alors que la formalisation de la notion d’algorithme dans la théorie de lacalculabilité a permis de fixer le modèle de calcul sur lequel on peut définir lacomplexité algorithmique d’une suite (avec une machine universelle de Turing)sans la relativiser à aucun autre modèle de calcul (ce qui a permis d’encadrer lanotion de complexité) la dépendance du langage joue un rôle important lorsqu’onveut évaluer la complexité d’une suite fini, comme le théorème d’invariance le meten évidence.

Pour les courtes suites par exemple, parler de K (s) ne semble pas avoir vraimentde sens car la constante additive c est trop forte par rapport à la taille des suitescourtes.

Pourtant, on a envie de dire que :01010101 est plus simple que 1010110

On pourrait essayer de les comprimer pour approcher la valeur de la complexitéalgorithmique...


Le problème de la compression

Cependant, si vous essayez de comprimer une suite aussi courte, vousn’obtiendrez rien. En fait, la suite compressée sera plus longue ! 12

Flatten@(IntegerDigits[#, 2] & /@ToCharacterCode/@StringSplit[Compress["01010101"], ""])=110001111010110010110010101111000101010010101001001101110111110100001000011110110110110101101010101100110001111000001111011110011011000001101001010000101000001100001011010011100010100000111100111000101111101"

KMathematica(”01010101”) ≈ 207

une méthode permet d’évaluer la complexité algorithmique des suites,même si elles sont courtes...

12. Attention : si vous composez un texte avec des 0 et de 1 tirés au hasard,n’importe quel compresseur de texte le réduira d’environ 7/8 (car chaque 0 ou 1est codé sur 8 bits –codage ANSI).


Une définition indépendante du langage

Voici l’idée :

Si on fait fonctionner une machine universelle (àprogrammes auto-délimités) en lui donnant un programmeau hasard, alors elle produit la suite s avec la probabilitém(s) (la mesure de Levin [Levin 1]).

alors calculer m(s) pourrait nous approcher de K (s) par laformule :

m(s) = 1/2K (s)+c


Vers une définition stable

Les expériences suggèrent qu’on peut donner un sens stable à m(s),même pour des s petites en procédant expérimentalement :

en faisant fonctionner des mécanismes de calculs de manièresystématique (machines de Turing, automates cellulaires, etc.)pour produire des suites s au hasard ;

ou en prenant des données du monde réel et en les traduisant ensuites de 0 et de 1 ; puis en observant quelles sont lesdistributions obtenues pour les s.

Ce travail a été fait (et est toujours en train de se développer)[Delahaye, Gauvrit, Zenil].


Convergence en distributionNos distributions expérimentales trouvées (surtout les classements) sontrelativement stables. On croit avoir trouvé une distribution distinguée me qu’onconjecture égale à la distribution générée à partir de la mesure m.

Figure: Comparaison des distributions de fréquences des sorties : TM et CA.


Convergence en distribution

Figure: Graphique de corrélation des distributions des fréquences des sorties : TMet CA.


Convergence en distribution

On propose alors une distribution naturelle, et de définitions de machines deTuring naturelles et c-exactes si elles s’approchent de la distribution naturelle.

Definition 5.2Une machine universelle de Turing est naturelle si elle préserve depuis le début(donc même pour les courtes suites) l’ordre des suites imposé par la distributionnaturelle.

Definition 5.3Une machine universelle de Turing est c-exacte si elle ne s’écarte jamais par plusd’une distance c des valeurs de la distribution naturelle.

Il semble donc possible de définir m (et donc K ) d’une manière indépendante dulangage. Ce qui rend stable la définition de complexité algorithmique.


La valeur ontologique et épistémologique des définitions


Le problème de l’aléatoire local

De la définition de séquence aléatoire, on déduit que toute suite finieest contenue dans n’importe quelle séquence aléatoire infinie. Celaimplique que si s n’est pas une suite finie aléatoire définie commetelle par le moyen de la théorie, elle n’est toujours que partie d’uneséquence infinie aléatoire ! Et à l’inverse : si s est une suite finiealéatoire, elle peut toujours être partie d’une suite plus longue nonaléatoire.

Théorème 6.1Toute suite (même non aléatoire) est partie d’une séquence infiniealéatoire (pire encore : elle est partie de toutes les séquencesaléatoires dans chacune une infinité de fois !).


Le problème de l’aléatoire local

Donc évidement, les définitions ne sont pas tout à fait compatibles,car l’une implique que l’autre ne fait aucune vraie distinction. Elle nepermet pas de discriminer entre les suites finies qui sont aléatoires decelles qui ne le sont pas.

En fait, la définition 13 de suite finie aléatoire n’a pas vraiment de sensen ces termes algorithmiques où on laisse coexister une définitionpour les suites finies et une autre pour les suites infinies (même si lapremière peut être décrite en termes de la seconde comme casparticulier).

13. Une définition est une définition quand elle permet d’opposer ce qui lesatisfait à ce qui ne le satisfait pas.


L’aléatoire fini vs. l’aléatoire infinieD’autre part, dû au fait que la définition de séquence aléatoire infinien’apporte rien au sens épistémologique, quand on n’a pas accès ni àla connaissance des nombres aléatoires ni aux tests pour lesdémontrer ou exhiber, c’est la définition de l’aléatoire pour des suitesfinies qui apporte une valeur épistémologique. Car même si elle n’estpas capable de se positionner sur le caractère absolu d’une suite, elleapporte des outils pour s’approcher et donner un sens (même si c’estun sens subjectif) à la l’aléatoire en termes de complexité.

De plus, la valeur épistémologique pour apporter de la connaissancesur une suite quelconque, soit qu’elle soit aléatoire soit qu’elle ne lesoit pas, n’est qu’approchable, car elle n’est pas calculable ; c’est àdire, même s’il y a une méthode de calcul, le calcul mené ne garantitpas toujours d’obtenir la réponse correcte (l’exemple concret, c’estdemander si le programme qui engendre une suite est vraiment le pluscourt ou non).


La valeur meta-épistémologique de la définition del’aléatoire pour des suites finies

En dépit du manque de valeur épistémologique de la définition del’aléatoire pour de suites infinies, car elle ne fournit aucune méthodepour exhiber les suites qu’elle essaie de caractériser, cette définitionfournit de la valeur ontologique et ce que j’appelle une valeurméta-epistémologique très riche.

D’un coté, parce que la définition de l’aléatoire pour de suites infiniescaractérise de manière absolue le caractère aléatoire d’une suiteinifine. D’autre coté, quelques fondateurs de la théorie (notammentChaitin [Chaitin 2]) soutiennent que la valeur de la théorie n’est queméta-mathématique parce qu’elle ne fournit que de la connaissancesur la limite de la connaissance même. Chaitin démontre qu’on peutobtenir des résultats d’indécidabilité par les biais de la complexitéalgorithmique (ce qu’on appelle le principe heuristique de Chaitin) :


Principe heuristique de Chaitin

Definition 6.2(principe heuristique de Chaitin [Chaitin 2]) Si T est une théorieaxiomatique, on ne peut déduire de T que des théorèmes t tels queses valeurs de complexité algorithmique K (t) ≤ K (T ) + c .

On ne peut pas donc connaître ces suites aléatoires comme on nepeut pas résoudre le problème de l’arrêt [Turing] des machines deTuring, comme on ne peut pas non plus décider [Gödel] si unthéorème appartient, en général, à une théorie quelconque.

S’interroger sur les chiffres d’une suite aléatoire est alors équivalent às’interroger sur l’arrêt d’une machine de Turing (dont le meilleurexemple et celle du nombre de Chaitin Ω).


Le scepticisme sur la nature (in)déterministedu processus générateur


Le scepticisme sur la nature du processus générateur

"Le caractère aléatoire d’un résultat ne garantit pas qu’il ait étégénéré par un processus aléatoire et, à l’inverse, le caractère aléatoired’un processus n’implique pas nécessairement qu’il produise unrésultat aléatoire". [Earman, 1986].

En effet, les définitions de l’aléatoire par la théorie algorithmique del’information ne fournissent aucune information sur les propriétés duprocessus à l’origine, pouvant être intrinsèquement déterministe ouindéterministe.

Le caractère algorithmiquement aléatoire d’une suite finie nedétermine pas le caractère déterministe ou indéterministe duprocessus qui l’engendre.



Nonobstant, la nature de la distribution des sorties, à partir de lafréquence dans laquelle les suites sont produites, fournit informationsur le processus à l’origine. Une distribution qui s’approche à ce qu’onattend par la mesure de Levin suggère que le processus générateurmène des calculs qui ressemblent à ceux qui pourraient être menés pardes programmes sur une machine universelle de Turing (formalismesur lequel la théorie de la complexité est fondée et définie).

C’est la fréquence d’apparition de s, et donc la probabilité m(s), quidétermine si l’origine des suites est générée par un programme decalcul à l’origine de la même façon que trouver une distributiongaussienne suggérait fortement que le processus d’origine a été lerésultat d’un processus aléatoire au sens classique.



Étant donné que la théorie moderne du calcul ne fait aucunedistinction entre le programme et les données d’entrée du programme,on peut penser aux données fixées d’entrée d’un programme commefaisant partie du programme même, dont la mesure de Levin vaprédire la même probabilité algorithmique sans s’occuper des entrées.Leonid Levin [Levin 2] a démontré qu’il suffit de trouver une fonction"one-way" pour construire un générateur de nombres aléatoiresdéterministes aussi bon que n’importe quel autre générateur (voirmême non-déterministe).

Comme on l’a expliqué auparavant (section de la semi-mesure m), laprobabilité algorithmique n’a pas besoin nécessairement d’une sourcealéatoire car la plupart des énumérations effectives (et évidementdéterministes) produira les mêmes résultats.



Dans une étude statistique sur les sorties des générateursdes nombres aléatoires on a trouvé [Calude, Dinneen, Zenil]que les tests statistiques les plus connus (une centaine)appliqués à des suites (pseudo) aléatoires d’origines biendéterministes et (dit) non-déterministes (générateurs baséssur des processus quantiques) aucune différence ne pouvaitêtre repérée. En fait, ce sont 2 suites qui ont le mieuxréussi, une suite produite par le générateur des nombresaléatoires du logiciel Mathematica et la suite des décimalesdu nombre π


La contingence de l’aléatoire quantique



"Quantum mechanics is the origin of randomness"Charles Bennett [Bennett]

Une croyance partagée aussi par Seth Lloyd [Lloyd].

C’est l’inégalité de Bell et la nature non-locale de la mécaniquequantique qui suggèrent que cette dernière est capable de produire del’aléatoire d’une nature non-déterministe (car la violation du théorèmede Bell signifie qu’il est impossible de construire une théorie localedéterministe à variables cachées rendant compte des résultatsexpérimentaux et donc que les mesures au niveau quantique sontréellement probabilistes et les états intrinsèques correctement décritspar la mécanique quantique).



Il faut aborder ces questions car le sujet reste comme unproblème ouvert (la violation du théorème de Bell ad’autres solutions possibles, mais également ou encore plusdifficiles à accepter car elles contredissent par exemple lathéorie de la relativité).

C’est une question ouverte parce qu’il faut supposer que lathéorie quantique est correcte et qu’effectivement cespropriétés étranges sont présentes pour arriver à laconclusion de la nature non-deterministe de l’aléatoirequantique.



D’un autre coté, il reste à savoir si on peut extraire de la valeuradditionnelle de l’accès aux suites aléatoires non-déterministes. Sic’est le cas, car une machine universelle de Turing est incapable deproduire de l’aléatoire non-déterministe, les générateurs des nombresaléatoires quantiques sont les appareils les plus proches de ce qu’onappelle un oracle dans la théorie de la calculabilité [Calude, Casti],mais il se pourrait que même l’accès à un tel pouvoir reste limité parce qu’on peut interpréter ou manipuler (ce qui semble toujours êtred’une nature finie et limitée).

La valeur pour la cryptographie cependant semble évidente, mais il sepourrait, comme plusieurs auteurs le soupçonnent, qu’aucun vraiavantage n’existe en pratique face aux bons générateurs de nombresaléatoires déterministes.


Conclusions 1

La définition de l’aléatoire algorithmique pour des suites finies ne distinguepas les suites aléatoires de celles qui ne le sont pas, mais elle distingue ce quine semble pas aléatoire de ce qui le semble par rapport à la taille de la suiteoriginale.

Pour la définition de l’aléatoire pour des suites finies, la taille de la suite joueun rôle important, tandis que pour la définition infinie la taille est évidementnégligeable.

La définition de l’aléatoire pour des suites infinies est ontologiquementrobuste mais épistemologiquement faible.

La définition de l’aléatoire pour des suites finies est épistemologiquementplus forte, mais relative et subjective.

Bien que la définition de l’aléatoire pour des suites infinies estépistémologiquement faible, elle est méta - épistémologiquement riche.


Conclusions 2

Il semble y avoir une distribution qui donne de la stabilité à la définition de lacomplexité algorithmique et donc la rend indépendante du langage. Il semblepossible alors de se débarrasser du problème du choix du langage et donc deschoix arbitraires pour définir et mesurer la complexité algorithmique.

La théorie de la complexité algorithmique n’adopte aucune présomption àl’égard de la nature déterministe ou indéterminisme du processus générateur.Cependant la distribution obtenue des événements détermine, avecprobabilité m(s), si à l’origine des données se trouve un processus de calcul.

Finalement, les approches algorithmiques capturent bien le phénomène encorrespondance avec les notions intuitives, y compris la nature difficile decalculer et d’exhiber ce qu’est l’aléatoire.

La vraie nature de l’aléatoire quantique et sa caractérisation algorithmiqueest une question qui reste ouverte (même si on fait du progrès [Calude2]).


J.P. Delahaye, H. Zenil, On the Kolmogorov-Chaitin complexity for shortsequences, in C. Calude (ed.) Complexity and Randomness : From Leibniz toChaitin, World Scientific, 2007.

J.P. Delahaye, N. Gauvrit, H. Zenil, Towards a stable definition ofKolmogorov-Chaitin complexity, to be submitted.

H. Zenil, How does Nature compute (Series in Computer Science.) in G.Dodig-Crnkovic and M. Burgin (eds.) Information and Computation, WorldScientific ; to appear, 2010.

H. Zenil (ed.), Computation and Randomness : 5 questions, AutomaticPress, to appear, 2009.

C.H. Bennett, Logical depth and physical complexity, The Universal TuringMachine : A Half-Century Survey, Springer, 2nd. edition, 1995.

E. Borel, Traité du calcul des probabilités et de ses applications,Gauthier-Villars, 1952.

C.S. Calude, Information and Randomness : An Algorithmic Perspective(Texts in Theoretical Computer Science. An EATCS Series), Springer, 2nd.edition, 2002.


C. S. Calude, K. Svozil, Quantum randomness and value indefiniteness,Advanced Science Letters, accepted.

R.G. Downey, D. Hirschfeldt, Algorithmic Randomness and Complexity,Springer Verlag, to appear.

G. J. Chaitin, A theory of program size formally identical to informationtheory, Association for Computing Machinery Journal, vol. 22, pp. 329–340,1975.

G. J. Chaitin, Meta Math ! : The Quest for Omega, Vintage, 2006.

J.P. Dubucs, Unfolding cognitives capacities, in M. Okada and Alli (eds.),Reasoning and Cognition, Keio University Press. 2006, p. 95-101.

J. Earman, A Primer on Determinism, Dordrecht : Reidel, 1986.

M. Li and P. Vitányi, An Introduction to Kolmogorov-Chaitin Complexity andIts Applications, Springer, 1997.

A.N. Kolmogorov, Three approaches to the quantitative definition ofinformation,, Problems in Information Transmission, 1965.


G. Kreisel, Church’s Thesis and the ideal of informal rigour, Notre Dame J.of Formal Logic, 28, 499-519, 1987.

A.K. Zvonkin, L. A. Levin. The Complexity of finite objects and theAlgorithmic Concepts of Information and Randomness, UMN = RussianMath. Surveys, 25(6) :83-124, 1970.

J. Hastad, R. Impagliazzo, L.A. Levin and M.Luby A pseudorandomgenerator from any one-way function, SIAM Journal on Computing, 1999.

S. Lloyd, Programming the Universe : A Quantum Computer Scientist Takeson the Cosmos, Vintage, 2007.

W. Mayerstein, L. Brisson, Puissance et limites de la raison, Belles Lettres ,1995.

W. Mayerstein, L. Brisson, Inventer l’univers. Le Problème de la connaissanceet les modèles cosmologiques, Belles Lettres , 1991.

C-P Schnorr, Process complexity and effective random tests, 1973.

R.J. Solomonoff, emphA Formal Theory of Inductive Inference, I and II,Information and Control, 7 pp 122, 1964.


H, Redfield, The Theory of Group-Reduced Distributions, American Journalof Mathematics, Vol. 49, No. 3 (Jul., 1927), pp. 433-455, 1997.

S. Wolfram, A New Kind of Science, Wolfram Media, Champaign, IL., 2002.

W. H. Zurek, Complexity, entropy, and the physics of information : Amanifesto, Complexity 1, 64 (1995)

W. H. Zurek, Thermodynamic cost of computation, algorithmic complexity,and the information metric, Nature 341, 119-124, 1989.

W. H. Zurek, (ed.), Complexity, Entropy, and Physics of Information,Addison-Wesley, 1990.


Education

L’approche algorithmique de l’aléatoire