Application à la transmission des savoir-faire musicaux

Application à la transmission des savoir-faire musicaux

1

Véronique Sé[email protected]://lim.univ-reunion.fr/staff/vero/

Cette thèse a bénéficié du soutien financier de l’Europe et de la Région Réunion

Direction de la thèse : Noël Conruyt et Henri Ralambondrainy

25/10/2013

http://lim.univ-reunion.fr/staff/vero/



Plan

• Problématique

• Définitions : Signes et interprétations

• Contribution 1 : modélisation et acquisition des Signes

• Contribution 2 : comparaison, validation et réutilisation de Signes

• Prototypes

• Conclusion et perspectives2

Problématique

Bases de Connaissances

- titre

- compositeur

- date de publication

- lien partition

- lien vidéo 1

(interprétation Merlet)

- lien vidéo 2

(interprétation pianiste B)

- lien vidéo 3

(interprétation pianiste A)

- liens similaires

- liens hommages

Forum- A : Je mets ce doigté à la mesure 5 : 34213

(lien vidéo 1)

- B : je préfère ce doigté : 34215. Ce geste est

plus souple pour les petites mains (lien vidéo 2)

- A : à la mesure 35, sur les relevés, je mets la

pédale à la fin de la seconde croche. Voici un

exemple de comment ça sonne : lien vidéo 3

- B : je préfère la mettre sur la 1ère note

- A : je distingue 2 parties dans le morceaux

(mesures 0-10, puis 11-25)

- B : on peut aussi diviser la 1ère partie en 2

sous parties, de 0 à 5, puis de 6 à 10.

structurations

ad

ap

tatio

n

contexte

Interprétations

Mesure 5

Interprétations

Mesure 35

réutilisation

(Œuvre différente,

passage similaire)

Connaissances Savoir-faire

op

po

sitio

nillustration

Pianiste C

3

Problématique Définitions Contribution 1 Contribution 2 Prototypes Conclusion

Problématique• Interprétations de cas → savoir-faire

• Gérer des interprétations de sujets (= individus) :

– Modélisation

– Acquisition

– Partage

– Réutilisation

• Utilité : apprentissage, préservation patrimoine, évolution des pratiques

• Problèmes :

4

Connaissances formelles

Interprétations personnelles Gestion des connaissances

Pédagogie

Musique

Communication

Multimédia?


Le Signe

• Signe = objet mis pour un autre objet, communiquant une idée ou un état.

• Un mot, un geste, un phénomène, un son, un symbole,…

/iPhone/

mot « iPhone »

prononcé

Compréhension : un

téléphone, un

smartphone, un

appareil Apple,…

L’iPhone 4

sur le

bureau

Signe

signifiant

signifiéréférent

5


Le Signe Interprétatif (SI)

• Un objet véhiculant des interprétations de sujets

• Interprétation = point de vue construit par un individu sur un objet, dans le but de lui attribuer un sens.

6

Signe

Connaissance

Objetperception

interprétation

Signe

Connaissance

perception

interprétation

comparaison

sujet 1 sujet 2


Modélisation des SI

7

Musical

Auditeur / compositeur /

interprète / professeur / élève

Extrait musical / geste / paroles

Concert / enregistrement audiovisuel

/ partition / cours de musique

Expression / sentiment,

technique / explication /

question

Données

Informations

Connaissances


Acquisition des SI : l’annotation

8

Jeux d’Eau (Maurice Ravel)


Acquisition des SI : l’Annotation Sémiotique (AS)

9

V. Sébastien, D. Sébastien, N. Conruyt, "Constituting a Musical Sign Base through

Score Analysis and Annotation", International Journal On Advances in Networks

and Services, 2011 no 3&4.


Proposition de formalisation de l’AS

10

Soit a une application de 𝑂𝑏𝑗𝑒𝑡𝑠 × 𝑆𝑢𝑗𝑒𝑡𝑠 × 𝑇𝑒𝑚𝑝𝑠 dans 𝐶𝑜𝑛𝑡𝑒𝑛𝑢𝑠 × 𝑆𝑒𝑛𝑠 ×

𝐹𝑜𝑟𝑚𝑒𝑠 :

𝑎 𝑜, 𝑠, 𝑡 = < 𝑐𝑜𝑛𝑡𝑒𝑛𝑢, 𝑠𝑒𝑛𝑠, 𝑓𝑜𝑟𝑚𝑒 >

Une annotation sémiotique as est un couple (𝒔,𝒂 𝒐, 𝒔, 𝒕 ).

Pour tout 𝑎𝑠 = (𝑠, 𝑎 𝑜, 𝑠, 𝑡 ) et 𝑎𝑠′ = (𝑠′,𝑎 𝑜, 𝑠′, 𝑡 ), si 𝑠 ≠ 𝑠′ alors 𝑎𝑠 ≠ 𝑎𝑠′

Soit d une distance sur l’ensemble des annotations sémiotiques. Si 𝑑 𝑎𝑠, 𝑎𝑠′ ≈ 0 alors

as et as’ sont proches. Objets proches => Interprétations proches ?

Autres relations binaires sur les AS : commentaire de, réponse à, amélioration de,

opposition à, etc.

Crédit d’une AS : 𝑐𝑠′ ∈ [0,1] indique le crédit qu’accorde 𝑠′ à 𝑎𝑠.


Schéma de Classe de l’AS

Savoir-faire

Savoirfrbr:Work

WorkPart

SemioticAnnotation

frbr:part

is_aoac:Annotation

Namespaces :

frbr: Functional Requirements for

Bibliographic Records

(http://vocab.org/frbr/core.html)

oac: Open Annotation Model

(http://www.openannotation.org/spe

c/beta/)

foaf: Friend Of A Friend

(http://xmlns.com/foaf/spec/)

relatedTo

relatedTo

foaf:Personpartitioner

oac:hasTarget

frbr:Manifestation Selection

frbr:realization

onManifestation

frbr:Expression

frbr:embodiment

selection

FormContent

hasSense

Subject

hasContent hasForm createdBy

SenseDomain ontology

is_a


11

Application à la musique

mo:MusicalWork

mo:Score

MusicalWorkExtractSelection

SemioticAnnotation

FormContentSense

frbr:realization

frbr:part

selectiononManifestation

hasSense

Subject

Namespaces :

frbr: Functional Requirements for Bibliographic

Records (http://vocab.org/frbr/core.html)

oac: Open Annotation Model

(http://www.openannotation.org/spec/beta/)

mo: Music Ontology (http://purl.org/ontology/mo)

foaf: Friend Of A Friend

(http://xmlns.com/foaf/spec/)

is_aMusical

Forms and Structures Ontology

relatedTo

MusicalFormmform

Foaf:Person

partitioner

hasContenthasForm

createdBy

mo:PublishedScore

frbr:embodiment

oac:hasTarget

Musical Performance

Ontology

relatedTo

MO concepts

MFSO concepts or groups of concepts

SA concepts

MPO groups of concepts

V. Sébastien, D. Sébastien, N. Conruyt, « Annotating works for music education: propositions for a musical forms and

structures ontology and a musical performance ontology », 14th International Society for Music Information Retrieval

Conference, ISMIR 2013, à paraître.


12

http://purl.org/ontology/mo

http://purl.org/ontology/mo

Méthodologie d’acquisition des AS

• Logiques descriptives : « guide » de saisie des AS selon les logiques du domaine

• Correspond à un modèle descriptif

• Correction du modèle par un processus itératif

13


Méthodologie d’acquisition des AS

14

S1 : Voici ma version

S1 : Voici ma version

S2 : J’utilise le doigté 53241 ici

S2 : J’utilise le doigté 53241 ici


Base de Signes

15

• Base de Signes = ensemble d’objets et d’AS connectés

• Comparaison, classification des AS → identification de notions de savoir-faire,

points de vue émergents

document 1

document 2

document 3

O1

O3

O4

O5

AS1

AS3

AS2

AS8

AS10

AS7

Notion N1

Notion N2

Notion N3AS4

AS6

AS5

Notion N4

AS9

Objets Interprétations Savoir-faire

O2

_______

_______

_______

_______

_______

_______

_______

_______

_______

_______

_______

_______


16

Traitements

SemioticAnnotationSA2

SemioticAnnotationSA1

question

answer

reaction

adaptation

opposition

enhancement

finalVersion

comments

validates

details

similar

similarContext

previousVersion

draft

• Comparaisons d’AS :

Notion N1

tags: t1, t2, t3

• Requêtes : « comment jouer un trille ? », « comment jouer avec un son doux

mais expressif ?»

• Classification d’AS :


Traitements

• Génération automatique d’AS

– À partir de données contextuelles

– À partir de structures et d’éléments caractéristiques

17

Composer =

&

Measure 5 =

=> =


Traitements

– À partir de cas difficiles connus• Technique / expression

– À partir du profil d’un utilisateur (recommandations)• Goûts, expérience, points faibles, points forts, morphologie, âge, etc.

18

Exploitation d’AS de « qualité »


Validation des AS

19


Exp(s) : degré d’expertise du sujet s

𝑐𝑠′ : crédit accordé par s’ à as = (s, a(o,s,t))

Taux de crédibilité de as :

𝑐(𝑎𝑠) = 𝐸𝑥𝑝 𝑠 +

(𝑐𝑠′ × 𝐸𝑥𝑝 𝑠’ )𝑠′

(𝐸𝑥𝑝 𝑠’ )𝑠′

2

Fonction de :

- L’expertise du sujet interprétant

- Sa participation sur la plateforme

- Les évaluations des autres sujets, pondérées par leurs degrés

d’expertise respectifs

Prototypes : @-MUSE- Objectif : Annotation Sémiotique de partitions musicales

V. Sébastien, D. Sébastien, N. Conruyt, "Constituting a Musical Sign Base through

Score Analysis and Annotation", International Journal On Advances in Networks

and Services, 2011 no 3&4. 20

SemioticAnnotation

Form Content Sense

hasSense

hasContent

hasForm

« Chaque doigt de MD

sera également enfoncé,

on détendra bien les

doigts supérieurs en allant

vers le pouce et on

remontera le poignet à la

fin de chaque groupe »

tags: gamme, groupe,

main droite, geste,

poignet

Cadre de sélection :

Tracés :

Menu de l’annotation :

Vidéo :

Audio :

Image :

Description :

Mots-clés :

Similaires :

Titre :« Groupes MD »

AS1 AS2


Prototypes : @-MUSE

• Résultats

– Comparatif

– Appropriation par des musiciens :

• +- apprentissage « académique » (référence = partition)

• + communication (comparaison pédagogie, master class), collaboration, mobilité, annotation (doigtés), multimédia (gestes, sonorités)

• - ergonomie : complexe (étapes, fonctionnalités, enregistrements audiovisuels, précision tactile), difficultés techniques (MusicXML, bande passante, performances)

21


Prototypes : Score AnalyzerObjectif : Evaluer la difficulté

d’une pièce de musique

Multicritère :

- Vélocité de jeu

- Déplacements

- Doigtés

- Polyphonie

- Harmonie

- Rythme

- Durée

Analyse par Composantes Principales

http://e-piano.univ-reunion.fr/tests/ScoreAnalyser/selectScore.php

V. Sébastien, H. Ralambondrainy, O. Sébastien, N. Conruyt,

« Score Analyzer: Automaticaly Determining Scores Difficulty

Level for Instrumental e-Learning », 13th International

Society for Music Information Retrieval Conference, ISMIR

2012, October 8-12, Porto, Portugal, 2012. (Best Student

Paper Award).22


Prototypes : Score Analyzer• Résultats

23


Conclusion et Perspectives• Contributions :

– Des modèles et des outils pour la gestion de savoir-faire via l’étude d’interprétations :

• Un modèle théorique de l’interprétation personnelle : le Signe Interprétatif (SI)

• Un modèle de représentation des SI et une méthodologie pratique pour les collecter :

– L’ Annotation Sémiotique (AS)

– Modèle descriptif, logiques descriptives et ontologies

– Des applications au domaine musical :

• Partage d’interprétations par des AS

• Organisation et structuration des AS : logiques descriptives, modèles descriptifs et ontologies pour la pratique musicale

• Des outils innovants pour une pratique musicale collaborative et la co-construction d’une base de Signes Musicaux : @-MUSE et Score Analyzer

• Perspectives :

– Formalisation : distances entre les interprétations

– Expérimentations à grande échelle et exploitation des résultats : contacts et partenariats : MuseScore.com, PRAISE, Conservatoire, Living Lab.

– Application à d’autres domaines de savoir-faire : apprentissage des langues, danse, cuisine, éco-tourisme, etc. 24


Merci de votre attention

25

[email protected]://lim.univ-reunion.fr/staff/vero/




Principales publications

26

Articles dans des journaux internationaux à comité de lecture :

V. Sébastien, D. Sébastien, N. Conruyt, « Constituting a Musical Sign Base through Score Analysis and Annotation », International Journal On Advances in Networks and Services, No 3&4, pp. 386-398, 2011.

Articles dans des actes de conférences internationales à comité de lecture :

V. Sébastien, D. Sébastien, N. Conruyt, « Annotating works for music education: propositions for a musical forms and structures ontology and a musical performance ontology ». 14th International Society for Music Information Retrieval Conference, ISMIR 2013, à paraître.

V. Sébastien, H. Ralambondrainy, O. Sébastien, N. Conruyt, « Score Analyzer: Automaticaly Determining Scores Difficulty Level for Instrumental e-Learning », 13th International Society for Music Information Retrieval Conference, ISMIR 2012, October 8-12, Porto, Portugal, 2012. (Best Student Paper Award).

V. Sébastien, N. Conruyt, O. Sébastien, « Score Analyzer: Extracting Performance Information for Instrumental e-Learning », 15th International Conference on Interactive Computer Aided Learning, ICL 2012, September 26-28, Villach, Austria, 2012.

V. Sébastien, P. Sébastien, N. Conruyt, « @-MUSE: Sharing Musical Know-how Through Mobile Devices Interfaces », 5th Conference on e-Learning Excellence in the Middle East, Dubaï, 2012.

V. Sébastien, D. Sébastien, N. Conruyt, « Dynamic Music Lessons on a Collaborative Score Annotation Platform », The Sixth International Conference on Internet and Web Applications and Services, St. Maarten, 2011. (Best Paper Award).

V. Sébastien, D. Sébastien, and N. Conruyt, « An Ontology for Musical Performances Analysis. Application to a collaborative platform dedicated to instrumental practice », The Fifth International Conference on Internet and Web Applications and Services, Barcelona, 2010.

V. Sébastien, D. Sébastien, and N. Conruyt, « A collaborative platform model for digital scores annotation », 3rd Annual Forum on e-Learning Excellence in the Middle East, Dubaï, 2010.

Articles dans des actes d’ateliers de conférences internationales à comité de lecture :

N. Conruyt, V. Sébastien, O. Sébastien, D. Grosser, D. Sébastien, « From Knowledge transmission to Sign sharing: Semiotic Web as a new paradigm for Teaching and Learning in the Future Internet », In 20th European Conference on Artificial Intelligence and 1st International Workshop on Artificial Intelligence for Knowledge Management, AI4KM'2012, ECAI’2012, Montpellier, France, 2012.

http://ismir2012.ismir.net/event/papers/571-ismir-2012.pdf

Comparatif @-MUSE et autres applications d’annotation musicale

27

NeumaLiveScore

AnnotatorTonara Vemus INScore iAnalyse @-MUSE

Type d’application Application WebApplication Web

mobileApplication mobile

Application pour

Tablet PC

Application offline

(Multiplateforme)

Application offline

(MAC OS)

Application mobile

(iOS et Android)

Cibles

musicologues,

interprètes de la

musique ancienne

élèves et

professeurs de

musique

élèves et

professeurs de

musique,

interprètes

élèves et

professeurs de

musique

compositeurs et

enseignants

musicologues et

enseignants

élèves et professeurs de

musique, musiciens

amateurs

Objectif principal

centraliser des

partitions de

musique ancienne

support

d'annotation

commun pour

cours de musique

en visioconférence

tourner

automatiquement

les pages d'une

partition pendant

son interprétation

support

d'annotation

augmenté pendant

un cours de

musique en

présentiel

création

d'animations

musicales à visées

pédagogiques ou

artistiques

structuration et

explication d'une

partition animée

collecte, partage et

explication

d'interprétations de pièces

musicales

Saisie des

annotationsClavier+souris Manuscrite

Glissé-déposé /

clavier iPad Manuscrite Clavier+souris Clavier+souris Manuscrite, audiovisuelle

Contenu des

annotationsTexte, tags Tracés manuscrits

Bibliothèque de

symboles

Tracés manuscrits

+ Bibliothèque de

symboles + fichiers

audio

Texte + éléments

graphiques

vectoriels et bitmap

+ fichiers

audio/vidéo

Texte +

Bibliothèque de

symboles

Texte + éléments

graphiques vectoriels et

bitmap + fichiers

audio/vidéo

Indexation sur la

partition A la note près non non A la note près A la note près A la note près A la note près

Référencement des

annotationstags non non non non non tags

Recherche

d’annotationsinconnu non non non non non à implémenter

Mobiliténon (navigateurs

Web mobiles ?) oui oui oui non non oui

Export partition

annotéeinconnu non non inconnu

fichier pdf, image

jpeg, png, etc.

image jpeg, vidéo

H264à implémenter

Travail collaboratif à

distance

Entre utilisateurs

authentifiés ?

Entre 2 utilisateurs

connectés non non non non

Entre utilisateurs

authentifiés

Statut de la

partition annotéepublique privée privée privée privée privée

publique ou privée (choix

de l'utilisateur)

Type de

communicationasynchrone synchrone asynchrone

Modération des

annotationsinconnu non à implémenter

Documents

Application à la transmission des savoir-faire musicaux