Musik Klassiﬁkaon mit Deep Learning Project Team: Andreas Fischer, Bernd Novotny und Tobias Schieferdecker – April 2019 Die Daten: Facts & Figures 328 Werke – 1.4 GB MP3 von 25 Komponisten Input: Output: Komponisten (one-hot encoded) 7 10 Slicing in 30 Sekunden MP3’s 2472 Pictures 280 x 120 x 3 Generang Spectrograms Bach: Prelude and Fugue in C minor BWV 847 Set 2: 10 Komponisten 1879 Pictures: - 1202 training - 301 validaon - 376 test 2806 MP3 – 470 KB pro File Set 1: 7 Komponisten 1090 Pictures: - 697 training - 175 validaon - 218 test Beethoven Brahms Chopin Clemen Grieg Haydn Liszt Mendelssohn Mozart Schubert Beethoven Clemen Grieg Liszt Mendelssohn Mozart Tchaikovsky Problematisch: Grosse Unterschiede bei Anzahl Bilder pro Komponist (80 – 421). Results Set 1 Set 2 via Textanalyse © Edion Peters Midi-Files 1 B-flat in octave 4 Zero Note 1.0 B-flat in octave 4 Zero Note 1.0 Rest C-sharp in octave 5 Zero Note 0.125 F in octave 5 Zero Note 0.0625 B-flat in octave 5 Zero Note 0.25 F in octave 5 Zero Note 0.0625 C-sharp in octave 5 Zero Note 0.125 B-flat in octave 4 Zero Note 0.125 B-flat in octave 4 Zero Note 0.5 F in octave 4 Dotted Eighth Note 0.5 C-sharp in octave 5 Zero Note 0.125 F in octave 5 Zero Note 0.0625 B-flat in octave 5 Zero Note 0.25 F in octave 5 Zero Note 0.0625 C-sharp in octave 5 Zero Note 0.125 B-flat in octave 4 Zero Note 0.125 ... 1) Source: hp://www.piano-midi.de/ Copyright © 1996-2018 by Bernd Krueger Python Library music21 Die Daten: Facts & Figures - 328 Werke - Längstes: 9’917 Noten - Kürzestes: 93 Noten Input: Output: 24 Komponisten (one-hot encoded) Albeniz, Bach, Beethoven, Borodin, Brahms, Burgmueller, Chopin, Clemen, Debussy, Godowsky, Granados, Grieg, Haydn, Liszt, Mendelssohn, Moszkowski, Mozart, Mussorgsky, Rachmaninov, Ravel, Schubert, Schumann, Sinding, Tchaikovsky Slicing in 100 Noten Sequenzen - 11’505 Sequenzen - 48’460 verschiedene Noten/Akkorde/Pausen - 100 Noten 10 – 25 Sekunden Musik Auswertung Test-Accuracy: 0.90699 Embedding mit GlobalAveragePooling und Convoluonal1D mit mehreren Layers am Besten Test-Accuracy: 0.92133 Frage an die Musikexperten: Darf man Beethoven mit Chopin verwechseln? Quiz: Wurde das «Frühlingsrauschen» auch falsch zugeordnet? Musik-Generierung Das geht auch. Ob es gut klingt? Immerhin scheint es abwechslungs- reich und unsere Maschine mag es auf Dauer ruhiger… e-flat in octave 3 eighth triplet (1/3 ql) note 0.25 b-flat in octave 3 eighth note 0.125 f in octave 4 zero note 0.5 f in octave 5 zero note 0.5 d in octave 3 quarter note 1.0 g in octave 2 eighth triplet (1/3 ql) note 0.0625 f in octave 5 zero note 1.0 f-sharp in octave 3 quarter note 1.0 c in octave 5 dotted eighth note 1.0 f in octave 2 16th note 0.5 f-sharp in octave 2 zero note 0.0625 chord {f in octave 4 | a in octave 4} quarter 1.0 g-sharp in octave 3 quarter note 0.25 e in octave 3 dotted quarter note 1.0 ... Erzeugt mit 1D Convoluon with dilaon rate (1/2/4/8) Beethoven und Chopin scheinen ähnlich zu sein. Verbesserungen: Versuche mit kleineren Spektrogrammen (10 Sekunden) → mehr Bilder Versuche mit längeren Spektrogrammen (60 Sekunden) → deutlichere Merkmale ? Weniger Dimensionen: Amplitude direkt und nicht mit RGB. Gleichverteilung Anzahl Bilder pro Komponisten CNN-Parameter und -Layers variieren Parameter Set 1: Set 2: via Spektrogramm Bildanalyse © Edion Peters MP3-Files 1 1) Source: hp://www.piano-midi.de/ Copyright © 1996-2018 by Bernd Krueger Python Library librosa, pydub Short-time Fourier Transform Time – Frequency - Amplitude

Musik Klassifikation mit Deep Learning · f-sharp in octave 3 quarter note 1.0 c in octave 5 dotted eighth note 1.0 f in octave 2 16th note 0.5 f-sharp in octave 2 zero note 0.0625

Download PDF Report

Upload
others
View
0
Download
0

Embed Size (px)

Citation preview

Page 1: Musik Klassifikation mit Deep Learning · f-sharp in octave 3 quarter note 1.0 c in octave 5 dotted eighth note 1.0 f in octave 2 16th note 0.5 f-sharp in octave 2 zero note 0.0625

Musik Klassifikation mit Deep LearningProject Team: Andreas Fischer, Bernd Novotny und Tobias Schieferdecker – April 2019

Die Daten: Facts & Figures

328 Werke – 1.4 GB MP3von 25 Komponisten

Input: Output:Komponisten (one-hot encoded)

7 10

Slicing in 30 Sekunden MP3’s

2472 Pictures 280 x 120 x 3

Generating Spectrograms

Bach: Prelude and Fugue in C minor BWV 847

Set 2: 10 Komponisten1879 Pictures:- 1202 training- 301 validation- 376 test

2806 MP3 – 470 KB pro File

Set 1: 7 Komponisten1090 Pictures:- 697 training- 175 validation- 218 test

Beethoven Brahms Chopin Clementi Grieg Haydn Liszt Mendelssohn Mozart Schubert

Beethoven Clementi Grieg Liszt Mendelssohn Mozart Tchaikovsky

Problematisch:Grosse Unterschiede bei Anzahl Bilder pro Komponist (80 – 421).

ResultsSet 1

Set 2

via Textanalyse

Midi-Files1

B-flat in octave 4 Zero Note 1.0B-flat in octave 4 Zero Note 1.0RestC-sharp in octave 5 Zero Note 0.125F in octave 5 Zero Note 0.0625B-flat in octave 5 Zero Note 0.25F in octave 5 Zero Note 0.0625C-sharp in octave 5 Zero Note 0.125B-flat in octave 4 Zero Note 0.125B-flat in octave 4 Zero Note 0.5F in octave 4 Dotted Eighth Note 0.5C-sharp in octave 5 Zero Note 0.125F in octave 5 Zero Note 0.0625B-flat in octave 5 Zero Note 0.25F in octave 5 Zero Note 0.0625C-sharp in octave 5 Zero Note 0.125B-flat in octave 4 Zero Note 0.125...

Die Daten: Facts & Figures

- 328 Werke- Längstes: 9’917 Noten- Kürzestes: 93 Noten

Input:Output:24 Komponisten (one-hot encoded)

Albeniz, Bach, Beethoven, Borodin, Brahms, Burgmueller, Chopin, Clementi, Debussy, Godowsky, Granados, Grieg, Haydn, Liszt, Mendelssohn, Moszkowski, Mozart, Mussorgsky, Rachmaninov, Ravel, Schubert, Schumann, Sinding, Tchaikovsky

Slicing in 100 Noten Sequenzen

- 11’505 Sequenzen- 48’460 verschiedene Noten/Akkorde/Pausen- 100 Noten 10 – 25 Sekunden Musik

Auswertung

Test-Accuracy: 0.90699

Embedding mit GlobalAveragePooling und Convolutional1D mit mehreren Layers am Besten

Test-Accuracy: 0.92133

Frage an die Musikexperten:Darf man Beethoven mit Chopin verwechseln?

Quiz:Wurde das «Frühlingsrauschen» auch falsch zugeordnet?

Musik-GenerierungDas geht auch. Ob es gut klingt? Immerhin scheint es abwechslungs- reich und unsere Maschine mag es auf Dauer ruhiger…

e-flat in octave 3 eighth triplet (1/3 ql) note 0.25b-flat in octave 3 eighth note 0.125f in octave 4 zero note 0.5f in octave 5 zero note 0.5d in octave 3 quarter note 1.0g in octave 2 eighth triplet (1/3 ql) note 0.0625f in octave 5 zero note 1.0f-sharp in octave 3 quarter note 1.0c in octave 5 dotted eighth note 1.0f in octave 2 16th note 0.5f-sharp in octave 2 zero note 0.0625chord {f in octave 4 | a in octave 4} quarter 1.0g-sharp in octave 3 quarter note 0.25e in octave 3 dotted quarter note 1.0...

Erzeugt mit 1D Convolution with dilation rate (1/2/4/8)

Beethoven und Chopin scheinen ähnlich zu sein.

Verbesserungen: Versuche mit kleineren Spektrogrammen

(10 Sekunden) → mehr Bilder Versuche mit längeren Spektrogrammen

(60 Sekunden) → deutlichere Merkmale ? Weniger Dimensionen:

Amplitude direkt und nicht mit RGB. Gleichverteilung Anzahl Bilder pro Komponisten CNN-Parameter und -Layers variieren

ParameterSet 1:

Set 2:

via Spektrogramm Bildanalyse

MP3-Files1

Short-time Fourier Transform

Time – Frequency - Amplitude