automatic recognition of musical instruments

Juan Castro MayorgasTFC - Enginyeria Tècnica de Telecomunicacions especialitat TelemàticaUniversitat Oberta de CatalunyaSegon semestre 2010-2011

Context Objectius del TFC Propietats del so Característiques acústiques Classificadors Corpus Implementació Resultats experimentals Resum

Extracció de característiques

acústiques

Aprenentatge

Classificació

Senyal d’àudio

Identificació

Selecció de característiques

Selecció de classificadors

ConfiguracióCorpus

Configuració d’escenaris

Sistema de reconeixement automàtic

Anàlisi de resultats

Intensitat i volum Intensitat: quantitat absoluta Volum: valor subjectiu

Altura: freqüència Escala Mel

Duració

Timbre: permet diferenciar el mateix so produït per dos instruments diferents

En el domini freqüencial Centroide Extensió Coeficients MFCC Roll-Off

En el domini temporal Taxa de pas per zero Energia

Informació que s’extreu de cada un dels petits fragments en que es talla el senyal d’àudio

Model de mescles Gaussianes (GMM) Probabilístic i sense supervisió

K-veí més proper (k-NN) Basat en distància Molt senzill d’implementar. Alt cost de computació

Support Vector Machines (SVM) Basat en distància Dissenyat per a discernir entre dues classes. Versions multi-classe.

TunediT 115.000 mostres (no es disposa de l’àudio original) 70 – 30 % (entrenament – test) 18 instruments (2 famílies – 8 subfamílies)

Generació pròpia 18 instruments (2 famílies – 8 subfamílies) Entrenament: Gravació de cada una de les notes de

l’extensió de l’instrument Test: Gravacions amb fraseig per cada instrument.

cAudioList = TFCLoadAudioList (filename)

Cfeatures = TFCExtractFeatures (cAudioList, windowSize)

TFCExportFeatures (audioListFile, featuresFile, windowSize)

Funcions relacionades amb l’extracció de les característiques acústiques

cResults = TFCGMMCheck (cFTraining, vWhat, scale, classType)

CResults = TFCGMMClassify (cFTraining, cFTest, vWhat, scale, classType)

Funcions relacionades amb la classificació

vWhat = [x x x x x x x x x x x x x x x x x x]

MFCC1 … MFCC13Centroide

ExtensióRollOff ZeroCrossEnergia

cResults = TFCKNNClassify (cFTraining, cFTest, vWhat, scale, classType, k, maxDist)

cResults = TFCKNNClassify2 (cFTraining, cFTest, vWhat, scale, classType, k, maxDist)

cResults = TFCKNNClassify3 (cFTraining, cFTest, vWhat, scale, classType, k, maxDist)

cResults = TFCSVMClassify (cFTraining, cFTest, vWhat, classType)

Funcions relacionades amb la classificació

cAnalytics = TFCCreateAnalytics (cFTest, cResults, classType)

cReport = TFCReportAnalytics (cAnalytics)

cReport = TFCReportDecision (cAnalytics)

Funcions relacionades amb l’anàlisi de resultats

Arxiu Instrument frames Classe Percent. Classe Percent. Encertvioloncel.wav violoncel 344 violoncel 64.83% contrabaix 23.26% SIcontrabaix.wav contrabaix 214 contrabaix 98.60% guitarra 1.40% SIviola.wav viola 353 viola 82.44% violi 10.76% SIvioli.wav violi 138 viola 81.16% violi 17.39% NOtubasolo.wav tuba 390 tuba 66.92% fagot 32.05% SIcelosolo.wav violoncel 683 violoncel 63.54% trompa 18.89% SIclarsolo.wav clarinet 320 violoncel 32.81% clarinet 17.81% NOviolsolo.wav violi 633 violoncel 33.81% trompa 15.48% NOvilasolo.wav viola 738 violoncel 37.53% violi 24.66% NOclarinet.wav clarinet 341 clarinet 79.18% trombo 7.92% SIsaxofon.wav saxofon 229 saxofon 81.22% piano 18.78% SIflauta.wav flauta 203 flauta 81.28% trompa 8.87% SIcorn_angles.wav corn_angles 215 corn_angles 36.28% trompeta 27.91% SI

Test gravat amb les mateixes

condicions que aprenentatge

Test procedent la enciclopèdia

musical Microsoft Musical

InstrumentsTest format per notes dobles o

triples del mateix instrumments

Dades originals 1er candidat 2on candidat

Implementació funcions per a: Extreure característiques acústiques Classificar e identificar mostres Analitzar resultats

Experiments que mostren entre altres: El nombre de mostres afecta de diferent manera als

resultats segons el mètode de classificació La rellevància de les característiques acústiques depèn del

mètode de classificació Hi ha instruments més fàcils d’identifcar amb un mètode

que amb un altre El fraseig harmònic redueix el percentatge d’encerts

Gràcies