vectores de cromas - ingeniería...
TRANSCRIPT
Reconocimiento de Patrones de Repetición
Proyecto de fin de carrera:“Detección de Estribillos”
Gabriela Saráchaga Virginia Sartori
Laura Vignoli
Índice
IntroducciónProcedimiento GeneralMatriz de SimilitudMétodo Principal
“Estribillo”Método Alternativo
“Resumen”Herramientas de Cálculo
MFCCVectores de Cromas
Referencias
Introducción
ObjetivoGenerar una síntesis (estribillo) de una canción de forma automática
MotivaciónAumento de las bases de datos musicalesAplicaciones:
Tienda de discosDescarga de música de la webThumbnail (huella)
Base de datos a analizar: música popular
Características generales del estribillo
Parte más memorable de una canciónRepeticiónAumento en la dinámica: cambia melodía, ritmo y armonía Aumento en la sonoridadIntroducción de nuevos instrumentosDuración de entre 10 y 30s aprox.
Procedimiento General
Entrada: Señal de audio muestreada a 32 bit y 16 KHz en formato wav (obtenida desde un archivo mp3)
y t
Matriz de Similitud (S)
Visualización de estructura de piezas musicalesComparación de características extraídasValor de S(i,j) proporcional a la similitud entre instantes i y j Valores representados en una imagen en escala de grises, con blanco correspondiendo a vectores idénticos
Matriz de Similitud
Diagonal principal blanca por comparar instantes con sí mismosCuadros claros representan fragmentos homogéneos de la canciónFragmentos repetidos (estribillos) son visibles como diagonales casi blancas paralelas a la diagonal principal
Métodos de Análisis de la Matriz
2 métodos:Método Principal
Detecta el estribillo, se basa en repeticiones
Método AlternativoEnfoque distinto: Busca el intervalo más parecido a la totalidad de la canción
Método Principal
Se resaltan las diagonales
Método Principal: problemasHueco en líneas = estribillos con distinta entonación en alguna sílaba o palabra o a la adición de instrumentos
Ej: Tracy Chapman – She’s got her ticket
estribillos 1 y 2: detalles 1 y 2:
Método Principal: problemasAparición de triángulos = segmentos de canción compuestos de pequeños fragmentos iguales.
Ej. Police, Can’t stand loosing you
Estos problemas se resuelven considerando cada caso en el tratamiento de las imágenes.
Método AlternativoResumen: el intervalo más similar a la totalidad de la canciónDado un segmento de largo L que comienza en k y termina en k+L, la semejanza Q del segmento con S, se calcula como la suma de sus filasentre k y k+L normalizada:
El máximo Q se corresponde con el k inicio del segmento buscado
QL k = 1
N⋅L⋅∑
i=k
kL
∑j=1
N
S i , j
Herramientas de cálculo
MFCC (Coeficientes Cepstrales de Frecuencia Mel)
Usado para reconocimiento de voz, enfatiza las bajas frecuenciasSe relaciona con la forma en que percibimos los sonidos.
Vectores de CromasBasado en octavas y semitonos
MFCC: Extracción de Características
Variación del Cepstrum C=IFFT(log(Densidad Espectral))MFCC=IFFT(log(Coef.Mel(Dens.Espectral)))
MFCC: Coeficientes Mel
Mel : unidad de medida del pitch percibido
Banco de Filtros triangulares, centrados en la frecuencia Mel.
Medida de distancia para S: distancia coseno
Vectores de Cromas: Extracción
Vectores de Cromas: Cálculo de Similitud
La similitud entre los vectores y se define como:
donde varía de 0 a 1.
S i , j v ti
v tj
S i , j =1−
∣v t
i
maxcv
c t
i−
v tj
maxcv
c t
j∣
12
S i , j
Ejemplo: MFCC vs Cromas
Alanis Morisette – Head over feet MFCC Cromas
Ejemplo: MFCC vs Cromas
Alanis Morisette – Head over feet
MFCC Cromas Realest 1: 34-58 33-57 35-60est 2: 79-100 78-98 77-101est 3: 186-207 181-208 185-208est 4: 210-231 210-231 209-232
Ejemplo: Método Alternativo
Ana Belén – Sólo le pido a Dios
est 1:est 2:resumen (cromas):
ReferenciasMFCC
Auditory Toolbok Michael Slaney“Discovering Structure and Repetition in Musical Audio” D.Van Dteeland, B.De Baets, H.De Meyer, M.Leman, J.P. Martens, L.Clarisse, M.Lesaffre“Visualizing Music and Audio using Self-Similarity” Jonathan Foote
Vectores de Chromas“A chorus-section detecting method for musical audio signal” Masataka Goto
Resumen“Automatic Music Summarization via Similarity Analysis” Matthew Cooper and Jonathan Foote