Application de la distance d’édition à la correction de dictées musicales

Par: France CHAMPAGNEetGuy TREMBLAY

Description du problème

L’apprentissage du solfège est essentiel dans la formation de tout bon musicienUn outil de correction automatique permettrait à un étudiant d’être autonome et de s’auto-évaluerPremière ébauche d’un tel outil (basé sur l’algorithme de distance d’édition): CADiM = Correcteur Automatique de Dictées Musicales

Plan de la présentation Les particularités d’une dictée musicale Les erreurs typiques des étudiants Une heuristique pour la correction des

dictées La distance d’édition et son application

aux dictées La représentation symbolique des

dictées L’outil CADiM Les résultats obtenus

1. Particularités d’une dictée musicale

Une suite de sons formant une mélodie est jouée par un enseignant à une classe d’étudiantsLa dictée est morcelée en court fragments mémorisablesChaque fragment est joué plusieurs foisL’étudiant doit reconnaître le fragment et le transcrire dans la notation musicale standard

Monodique = un seul son est entendu à la fois => séquence de sons À chaque son est associé une note qui décrit: La hauteur du son La durée du son

Particularités d’une dictée musicale

Une dictée mélodique peut donc être représentée par une chaîne de symboles formée d’une suite de couples (h, d) où: h = la hauteur du son; d = sa durée.

Particularités d’une dictée musicale

L’alphabet H définit les hauteurs de sons (nom des notes) H = {Do, Ré, Mi, Fa, Sol, La, Si, Silence}

L’alphabet D définit les durées possibles d’une note ou d’un silence D = {ronde, blanche, noire, croche,

double-croche}

Particularités d’une dictée musicale

Exemple d’un segment musical

Arpège = {(Do, noire), (Mi, noire), (Sol, noire pointée), (Mi, croche), (Do, croche), (Silence, croche) (Sol, noire), (Do, blanche)}

2. Les erreurs typiques

Les erreurs typiques faites par les étudiants ont été identifiées suite à une rencontre avec une experte du domaine: Mme Luce Beaudet

Mme Beaudet est Professeure agrégée à la Faculté de Musique de l’Université de Montréal et responsable de la formation auditive.

Exemple: Frère Jacques

Quelques erreurs courantes (hauteurs de son)

Mauvaise note

Une note en trop

Manque une note

Quelques erreurs courantes (durée)

Déplacement du rythmeDurées

consolidées

Durée fragmentée

Durée trop courte

3. Heuristique pour la correction de dictées musicales

On attribue un pointage différent aux erreurs de hauteur ou de rythmeLes erreurs de hauteur sont considérées plus graves et ont donc un coût plus élevéPondération typique utilisée par Mme Beaudet: 88% pour les erreurs de hauteur 12% pour les erreurs de rythme

La dictée « Frère Jacques » comprend 32 notes et 32 temps. Le coût d’une erreur sera donc: Coût d’une erreur de hauteur:

88/32 = 2,75 Coût d’une erreur de rythme:

12/32 = 0,38

Exemple

Exemple (suite)

Un étudiant a fait 10 erreurs de hauteur de son et 5 erreurs de rythme.

10 * 2,75 (coût hauteur) = 27,5

5 * 0,38 (coût rythme) = 1,9

Total = 29,4 (70,6%)

Définition des coûts

Chauteur

Pourcentage hauteur / nombre de notes

Crythme (h,d) Soit t = unité de temps

(d / t) * Pourcentage rythme / nombre de notes

4. La distance d’édition

Utilisation classique de la distance d’édition:

La recherche dans des textes La biologie computationnelle Le traitement de signal

Distance entre deux chaînes A et B = nombre minimum d’opérations pour transformer la chaîne A en la chaîne B

Trois opérations élémentaires : Ajouter un caractère Supprimer un caractère Remplacer un caractère

La distance d’édition

Distance d’édition entre PARUTION et PARTISAN

PARUTION

PAR _ TION -- Supprimer U

PARTI S ON -- Insérer S

PARTIS A N -- Remplacer O par A

PARTISAN

Total: 3 opérations.

C(0,0) = 0 cas

C(i,0) = C(i-1,0) + Coût supprimer(A[i]) de

C(0,j) = C(0,j-1) + Coût ajouter(B[j]) base

C(i,j) =

C(i-1,j-1) + Coût échanger(A[i],B[j]) cas

min C(i-1,j) + Coût supprimer(A[i]) récursif

C(i,j-1) + Coût ajouter(B[j])

Soit C(i,j), le coût pour passer de la chaîne A[1..i] à la chaîne B[1..j]

Équations récursives définissant la distance d’édition

5. Distance d’édition appliquée aux dictées musicales

Bases de données (MIR)Requête fredonnée (query by humming)

Similarité par contour, par texture, …Analyse musicologique etc.

Mongeau et Sankoff 1990

Ont cherché à adapter directement l’algorithme de distance d’édition à des segments musicaux.Ont établi une charte de poids pour chaque type d’intervalle selon leur degré de consonance. Ont introduit deux nouvelles opérations pour les variations de rythme: la fragmentation et la consolidation

ConsolidationFragmentation

Opérations de fragmentation et consolidation

Notre algorithme de correction

Basé sur Mongeau et Sankoff Utilise les opérations de consolidation

et de fragmentation Diffère par les fonctions de coûts

Note finale = 100 – la distance obtenue

C(0,0) = 0 cas

C(i,0) = C(i-1,0) + Coût supprimer(A[i]) de

C(0,j) = C(0,j-1) + Coût ajouter(B[j]) base

C(i,j) =

C(i-1,j-1) + Coût échanger(A[i],B[j])

C(i-1,j) + Coût supprimer(A[i]),

C(i,j-1) + Coût ajouter(B[j])

min C(i-1,j-k) + Coût échanger(A[i], B[j-k+1..j])

fragmentation

C(i-k,j-1) + Coût échanger(A[i-k+1..i], B[j])

consolidation

Notre distance d’édition

échanger(A[i], B[j]) (A[i] ≠h B[j]) * Chauteur + (A[i] ≠d B[j]) * Crythme(B[j])

supprimer(A[i]) Chauteur + Crythme(A[i])

ajouter(B[j]) Chauteur + Crythme(B[j])

échanger(A[i], B[j-k+1..j]) HauteursDifférentes(B[j-k+1..j], A[i]) * Chauteur + Crythme(A[i])

échanger(A[i-k+1..i], B[j]) HauteursDifférentes(A[i-k+1..j], B[j]) * Chauteur + Crythme(B[j])

Les fonctions de coût

6. Représentation symbolique d’une dictée musicale

Représentation des dictées doit inclure La hauteur et la durée de chaque note L’ordre de succession des notes

Doit représenter l’ensemble des éléments correspondant au système standard de notation musicale

Formats de représentation musicale existants

MIDISMDLNIFFHumdrum

Formats basés sur XML

Avantages des formats basés sur XML

Lisibles (encodage ASCII)

Peuvent être lus à l’aide d’analyseurs syntaxiques et manipulés à l’aide de DOM ou SAX

Formats basés sur XML4MLMMLMusiXML

MusicXML

Nous avons choisi MusicXML parce que il offre une description détaillée et complète

du système de notation musicale il propose un plugiciel permettant la

conversion automatique d’une dictée en format Finale au format MusicXML

Représentation d’une note en MusicXML

<note><pitch>

<step>C</step><alter>1</alter><octave>4</octave>

</pitch><duration>1</duration><type>whole</type>

</note>

Représentation de cette note sous forme d’arborescence

Note

Duration

Alter

Pitch

OctaveStep

Type

Whole1

41C

Étapes pour la transformation d’une dictée musicale

Entrée à la main dans Finale 2000 Logiciel d’édition de partition

Transformée en fichier MusicXML à l’aide du plugiciel fournit par RecordareLue et transformée en arborescence par notre outil (avec DOM) Transformée en séquence de notes {(Do,noire), (Mi,noire), (Sol, noire),…}

6. L’outil CADiM

Développé en JavaUtilise l’algorithme de distance d’édition décrit précédemmentCompare les dictées de tout un groupe d’étudiants avec la dictée originale et donne une note pour chaque dictée (note sur 100)

Architecture de CADiM

Note = 78,3

Affichagedes erreurs(optionnel)

Dictée duprofesseur(MusicXML)

Solutionsde tous les étudiants(liste des fichiers)

Solution d’unétudiant

(MusicXML)

DTDMusicXML

Analyseurxml2jdom

(Java)

jdom2seq(Java)

Algorithmede distance

d’édition(Java)

Dictée prof.

Solution étudiant

7. Résultats

Deux séries de tests : Dictées fictives avec « Frère Jacques » Dictées réelles d’un cours d’apprentissage

du solfège à l’Université de Montréal

Les dictées ont été soumises à Mme Beaudet afin de comparer les résultats des deux méthodes de correction

Résultats « Frère Jacques »

Copie Correction Mme

Beaudet

CorrectionCADiM

Différence

1 91,00 91,75 0,75

2 11,00 38,25 27,25

3 98,00 95,75 -2,25

4 98,00 93,38 -4,62

5 95,00 94,50 -0,50

6 83,00 82,75 -0,25

7 91,00 89,88 -0,12

Résultats dictée réelleCopie Correction Mme

BeaudetCorrection

CADiMDifférence

1 97,00 97,64 0,64

2 45,00 38,64 -6,31

3 85,00 84,67 -0,33

4 40,00 51,25 11,25

5 67,00 66,97 -0,03

6 52,00 55,58 3,58

7 67,00 69,33 2,33

8 100,00 100,00 0,00

9 87,00 86,25 -0,75

10 60,00 61,06 1,06

11 87,00 87,42 0,42

Fidélité à la correction de Mme Beaudet

En moyenne = Différence de moins de 4%!

Explication des écarts : Note très faible Saut d’octave Facteur humain

8. Travaux futurs

Mettre au point des méthodes permettant de reconnaître les faiblesses d’un étudiantDévelopper un tutoriel pour l’apprentissage du solfège

Questions et commentaires?