las aplicaciones de la fonéticaliceu.uab.cat/.../aplicaciones_fonetica_sonora_2010.pdfjoaquim...

Estudio fonetico del hablaTecnologıas del habla

Adquisicion de L2Fonetica judicial

Conclusiones

Las aplicaciones de la fonetica

Joaquim LlisterriUniversitat Autonoma de Barcelona

http://liceu.uab.cat/~joaquim

XI Encuentro Internacional de Linguıstica en el NoroesteUniversidad de Sonora

Hermosillo, 19 de noviembre de 2010

Joaquim Llisterri Aplicaciones de la fonetica

http://liceu.uab.cat/~joaquim



Conclusiones

1 El estudio fonetico del habla

2 Fonetica y tecnologıas del habla

3 Fonetica y adquisicion de segundas lenguas

4 La fonetica judicial

5 Conclusiones




Conclusiones

MetodologıaObjetivosAplicaciones

1 El estudio fonetico del hablaEl metodoLos objetivosLas aplicaciones




5 Conclusiones




Conclusiones


El estudio fonetico del hablaMetodo

Metodo experimental

Datos procedentes de corpus

Analisis instrumental

Tratamiento estadıstico de datos cuantitativos




Conclusiones





Conclusiones


El estudio fonetico del hablaObjetivos

Caracterizar los mecanismos de produccion y de percepciondel habla

Explicar el proceso de codificacion (por parte del emisor) yde descodificacion (por parte del receptor) de lainformacion linguıstica contenida en la onda sonora




Conclusiones





Conclusiones


El estudio fonetico del habla

Ambitos de aplicacion

Adquisicion y ensenanza de L2

Adquisicion y ensenanza de L1

Formacion de profesionales de la voz

Fonetica clınica

Fonetica judicial

Tecnologıas del habla

Documentacion de lenguas




Conclusiones


El estudio fonetico del habla

Ambitos de aplicacion

Grup de FoneticaDepartament de Filologia EspanyolaUniversitat Autonoma de Barcelona

Tecnologıas del habla

Fonetica y adquisicion de segundas lenguas

Fonetica judicial




Conclusiones

Tecnologıas del hablaConversion de texto en habla


2 Fonetica y tecnologıas del hablaLas tecnologıas del hablaLa conversion de texto en habla



5 Conclusiones




Conclusiones


Las tecnologıas del habla

“The domain of speech technology is the development ofautomatic systems to allow human users and computersto interact directly through the medium of speech”Laver, J. (1987). New horizons in European speech technology. Reporton the ESPRIT workshop on speech technology. Aarhus, Denmark,21-22 May 1987. En Proceedings and following workshop on speechtechnology. Status on technology and programmes worldwide. JutlandTelephone, Denmark, May 20, 1987. (p. 1).




Conclusiones


Las tecnologıas del habla




Conclusiones


Los sistemas de dialogoSpoken Language Systems




Conclusiones


Sistema de conversion de texto en hablaTTS, Text-to-Speech

Sistema que transforma untexto de entrada en suequivalente sonoro

Estructura modular

Cada modulo se ocupa de unaetapa de la transformacion




Conclusiones


Conocimiento fonetico

Telefonica I+D, Madrid(1993-1999)

CNET, Lannion (1993-1996)

CSELT, Turın (1998-2000)

Loquendo, Turın (2001-2003)




Conclusiones


Procesamiento previo del textoEntrada: texto - Salida:representacion ortograficanormalizada con todos loselementos deletreados

Tratamiento de los elementosque no estan representadosmediante las letras del alfabetoo que requieren una expansion

Signos de puntuacion sin valorlinguıstico

Expresiones numericas

Siglas

Abreviaturas




Conclusiones


Transcripcion fonetica automatica

Entrada: representacionortografica - Salida:representacion fonetica

Correspondencia entre grafıasy alofonos

Silabacion

Acentuacion

Diccionarios de pronunciacionpara el tratamiento de lasexcepciones




Conclusiones


Unidades de sıntesis

Inventario de fonemas yalofonos de la lengua para laconstitucion del diccionario deunidades de sıntesis

Diseno del corpus de unidadesde sıntesis

Restricciones fonotacticas

Frecuencia de aparicion deunidades y de suscombinaciones




Conclusiones


Modulo prosodico

Entrada: representacionfonetica de las unidades desıntesis - Salida: representacionfonetica enriquecida coninformacion prosodica

Modelos de duracionsegmental que consideren losfactores que influyen en laduracion

Modelos de intensidadsegmental que consideren losfactores que inciden en laintensidad




Conclusiones


Modulo prosodico

Modelos de asignacion depausas que contemplen tantolas marcadas mediante signosde puntuacion como las nomarcadas y que establezcandiferencias de duracion entrelos distintos tipos de pausas

Modelos de entonacion quepermitan generar una curvamelodica natural, teniendo encuenta factores foneticos,sintacticos, semanticos ypragmaticos




Conclusiones


Ejemplos de conversion de texto en habla

Amigo 2.6, Telefonica I+D, c. 1993: Amigo

Telefonica I+D, 2003: Telefonica I+D

Actor, Loquendo, c. 2003: Actor

Loquendo TTS, Loquendo: Loquendo TTS




Conclusiones


La conversion de texto en habla

Llisterri, J., Carbo, C., Machuca, M. J., Mota, C., Riera, M. yRıos, A. (2004). La conversion de texto en habla: Aspectoslinguısticos. En M. A. Martı y J. Llisterri (Eds.), Tecnologıas deltexto y del habla. (pp. 145-86). Barcelona: Edicions de laUniversitat de Barcelona - Fundacion Duques de Soria.

Llisterri, J., Machuca, M. J., Madrigal, N., Mancini, F.,Massimino, P., Mota, C., . . . Rıos, A. (2004). Aspectoslinguısticos en el diseno de un conversor de texto en habla encastellano y en catalan: El sistema Loquendo TTS. En VICongreso de Linguıstica General. (pp. 521-2). Santiago deCompostela: Universidade de Santiago de Compostela.

Rello, L. y Llisterri, J. (2010). Naturalidad y expresividad en laconversion de texto en habla: Las consonantes roticas en codasilabica en espanol. IX Congreso Internacional de LinguısticaGeneral. Universidad de Valladolid, 21 de junio de 2010.




Conclusiones

Interferencia foneticaAcento lexico en ELE



3 Fonetica y adquisicion de segundas lenguasLa interferencia foneticaLa percepcion del acento lexico en ELE por hablantes deitaliano y de frances

ObjetivosMetodologıaAlgunos resultadosConclusiones


5 ConclusionesJoaquim Llisterri Aplicaciones de la fonetica



Conclusiones


La interferencia fonetica

Uderzo, A., & Goscinny, R. (1980). Asterix y Cleopatra. Barcelona:Grijalbo Dargaud




Conclusiones


La formacion de categorıas




Conclusiones


La criba fonologica




Conclusiones


La criba fonologica

El sistema fonologico dela L1 constituye una“criba” a traves de lacual se “filtran” lossonidos de la L2

La “criba” esresponsable de la“sordera fonologica”




Conclusiones


Modelos de interferencia fonetica

La “criba fonologica” y la “sordera fonologica” (Polivanov,Trubetzkoy)

Modelos basados en la formacion de categorıas

SLM, Speech Learning Model (Flege)PAM, Perceptual Assimilation Model (Best)NLM, Native Language Magnet Model (Kuhl)




Conclusiones


Modelos de interferencia fonetica

Modelos deinterferenciafonetica centradosen los aspectossegmentales

Necesidad deconsiderar loselementossuprasegmentales




Conclusiones


La percepcion del acento lexico en ELE porhablantes de italiano y de frances

Sandra SchwabUniversite de Geneve

Iolanda Alfano, Renata SavyUniversita degli Studi di Salerno

Joaquim LlisterriUniversitat Autonoma de Barcelona




Conclusiones


Objetivos

Establecer las diferencias en la percepcion del acento lexicoen una L1 y en una LE.

Determinar los factores que inciden en la percepcion delacento lexico en una LE.

Comparar la percepcion del acento lexico de una LE conacento libre (espanol) por parte de hablantes de una L1 conacento fijo (frances) y de una L1 con acento libre (italiano).




Conclusiones


Pruebas utilizadas

Pruebas de identificacion de la posicion del acento lexico enpalabras aisladas.

Palabras bisılabas y trisılabas que presentan contrastesacentuales entre proparoxıtonos (PP), paroxıtonos (P) yoxıtonos (O).

Estımulos originales y estımulos con manipulacion de laduracion y de la frecuencia fundamental.




Conclusiones


Estımulos con manipulacion

PP>P: los valores de f0 y de duracion de todas las vocalesde las palabras proparoxıtonas se reemplazan por los de suscorrespondientes paroxıtonas.

P>O: Los valores de f0 y de duracion de todas las vocalesde las palabras paroxıtonas se reemplazan por los de suscorrespondientes oxıtonas.

Resıntesis mediante PSOLA en Praat.




Conclusiones


Estımulos con manipulacion

“numero” con los valores de F0 de “numero”: numero“numero” con los valores de F0 de “numero”: numero

“numero” con los valores de duracion de “numero”: numero“numero” con los valores de duracion de “numero”: numero

“numero” con los valores de F0 y duracion de “numero”:numero“numero” con los valores de F0 y duracion de “numero”:numero

“numero” con los valores de F0, duracion y amplitud de“numero”: numero“numero” con los valores de F0, duracion y amplitud de“numero”: numero




Conclusiones


Participantes en los experimentos

Espanol L1: 30 participantes, 18-45 anos, estudiantes deFilologıa de la U. Autonoma de Barcelona.

Frances L1: 20 participantes, 19-36 anos, estudiantes de laU. de Neuchatel; 10 con conocimientos avanzados deespanol (6-11 anos de estudio), 10 sin conocimientos deespanol.

Italiano L1: 30 participantes, 17-54 anos, nacidos yresidentes en Campania; 10 con conocimientos de espanol(6-7 meses de estudio), 10 con familiaridad con el espanol,10 sin familiaridad con el espanol.




Conclusiones


Efecto de la L1

Identificacion de estımulos originales en espanol en funcion de la L1 ydel patron acentual (PP, P y O)




Conclusiones


Efecto de la L1

El porcentaje global de identificacion correcta de loshablantes de italiano (94,6 %) alcanza casi el de loshispanohablantes nativos (97,4 %).

Los hablantes de italiano solo muestran dificultades con elpatron oxıtono (O=84,5 %).

Los francofonos son notablemente menos sensibles al acentoespanol (71,5 %).

Los hablantes de frances presentan mas dificultades enpercibir el acento a medida que este se acerca al final de lapalabra (PP=86,9 %, P=71,5 %, O=56,3 %).




Conclusiones


Realizacion acustica del acento en la L1

Identificacion por italianos de los estımulos manipulados en duracionen funcion de la lengua y del patron acentual (PP>P y P>O)




Conclusiones



Los hablantes de italiano son sensibles a la duracion en suL1: mayor sensibilidad para el cambio PP>P (64,4 %) quepara la manipulacion PP>O (50,1 %).

La duracion en espanol LE no desempena un papel tanimportante, especialmente en la manipulacion P>O(PP>P=22,8 %; P>O=7,2 %).




Conclusiones



Duracion (en %) de las vocales tonicas y atonas en los estımulos enespanol en funcion del patron acentual




Conclusiones



Duracion (en %) de las vocales tonicas y atonas en los estımulos enitaliano en funcion del patron acentual




Conclusiones



Italiano L1: diferencia de duracion entre las vocales tonicasy las atonas en palabras paroxıtonas.

Espanol LE: dificultad para interpretar un incrementomenor de la duracion de la vocal tonica en palabrasparoxıtonas en espanol como un indicio de la posicion delacento.




Conclusiones



Duracion (en %) de las vocales tonicas prepausales y no prepausalesen los estımulos en espanol y en italiano




Conclusiones



Italiano L1: un cambio de paroxıtona a oxıtona (P>O) noimplica un aumento de duracion de las vocales.

Conflicto creado por las caracterısticas acusticas de losestımulos espanoles (aumento de duracion en las vocalestonicas prepausales) y las expectativas propias del italianoL1 (duracion similar entre las vocales tonicas prepausales yno prepausales).




Conclusiones


Interaccion entre factores

Primera lengua de los participantes en los experimentos.

Nivel de conocimiento de la lengua extranjera.

Parametro acustico o combinacion de parametros acusticosmanipulados.

Patron acentual de la palabra presentada como estımulo.

Conflictos creados por la diferencia entre las expectativasen funcion de la primera lengua y los rasgos acusticos delos estımulos presentados en una segunda lengua.




Conclusiones


La percepcion del acento lexico en ELE porhablantes de italiano y de frances

Alfano, I., Schwab, S., Savy, R., & Llisterri, J. (2010).Cross-Language speech perception: Lexical stress in Spanish withitalian and francophone subjects. In S. Schmid, M.Schwarzenbach, & D. Studer (Eds.), AISV 2009. La dimensionetemporale del parlato. (pp. 455-74). Torriana: EDK Editore.

Schwab, S., Alfano, I., Llisterri, J., & Savy, R. (2010). Lapercepcion del acento lexico en una lengua extranjera. InColoquio Europeo Verbo-tonal “Percepcion fonica, habla yhablar”. Mons: CIPA. En prensa.

Alfano, I., Schwab, S., Llisterri, J., & Savy, R. (2010). Lapercepcion del acento lexico en espanol como lengua extranjerapor parte de hablantes nativos de italiano y de frances. Quadernsde Filologia. Estudis Linguıstics, En prensa.




Conclusiones

AmbitoVILE




4 La fonetica judicialEl ambito de la fonetica judicialLos proyectos VILE

ObjetivosCorpusAlgunos resultados

5 Conclusiones




Conclusiones

AmbitoVILE

El ambito de la fonetica judicial

Comparacion de muestras de habla de un locutor conocido(indubitado) y de un locutor desconocido (dubitado)

Diseno y validacion de pruebas de reconocimiento de vocespor parte de testigos (voice line-up)

Determinacion del perfil fonetico de un hablantedesconocido (speaker profiling)

Identificacion (transcripcion) del contenido de una muestrade habla

Autentificacion de grabaciones




Conclusiones

AmbitoVILE

Identificacion del locutor

Voz dubitada (hablante desconocido) obtenida en unaintervencion telefonica real: voz dubitada

Voz indubitada (hablante conocido) obtenida de lagrabacion de un detenido: Voz indubitada




Conclusiones

AmbitoVILE


Rose, P. (2002). Forensic speaker identification. London: Taylor &Francis. (p. 83)




Conclusiones

AmbitoVILE


Comparacion entre la muestra de habla de un locutordesconocido (dubitado) y muestras de hablantes conocidos(indubitados)

Objetivo: determinar si alguna de las muestras dehablantes conocidos corresponde al locutor desconocido




Conclusiones

AmbitoVILE

Verificacion del locutor

Hablante autentico: por razones...

Imitador: las razones




Conclusiones

AmbitoVILE


Rose, P. (2002). Forensic speaker identification. London: Taylor &Francis. (p. 83)




Conclusiones

AmbitoVILE


Comparacion entre la muestra de habla de un locutor quedice ser A y las muestras de habla de un conjunto delocutores entre los cuales se encuentra A

Objetivo: determinar si quien dice ser A es realmente A




Conclusiones

AmbitoVILE

Los proyectos VILE

Marıa Jose Albala, Juana Gil

Consejo Superior de Investigaciones Cientıficas

Victoria Marrero

Universidad Nacional de Educacion a Distancia

Elena Battaner

Universidad Rey Juan Carlos

Joaquim Llisterri, Marıa Machu-

ca, Natalia Madrigal, Montserrat

Marquina, Montserrat Riera, An-

tonio Rıos

Universitat Autonoma de Barcelona




Conclusiones

AmbitoVILE

Los proyectos VILE

VILE I: Estudio acustico de la variacion inter eintralocutor en espanol (2001-2004)

VILE II: Estudio perceptivo de la variacion inter eintralocutor en espanol (2005-2008)

VILE-P: Estudio acustico y perceptivo de la variacionprosodica inter e intralocutor en espanol (2010-2013)

http://liceu.uab.cat/~joaquim/VILE.html


http://liceu.uab.cat/~joaquim/VILE.html



Conclusiones

AmbitoVILE

Objetivos

Caracterizacion acustica de los elementos segmentales ysuprasegmentales que contribuyen a establecer laindividualidad de un hablante

Validacion, mediante pruebas perceptivas, de los rasgosacusticos, segmentales y suprasegmentales, masdeterminantes para establecer la individualidad de unhablante




Conclusiones

AmbitoVILE

Corpus

Ahumada-Gaudı

Seleccion de 30 locutores masculinos

3 sesiones de grabacion por locutor separadas en el tiempo(entre 20 y 40 dıas)

2 estilos de habla: lectura y habla espontanea

Ortega, J., Gonzalez, J., & Marrero, V. (2000). Ahumada: Alarge corpus in Spanish for speaker characterization andidentification. Speech Communication, 31 (2), 255-264.




Conclusiones

AmbitoVILE

Duracion de las pausas sonoras

Diferenciasde duracionen las pau-sas sonorasen funcionde la sesiony del estilode habla




Conclusiones

AmbitoVILE

Duracion de las pausas sonoras

Lectura: ausencia de pausas sonoras

Habla espontanea: reduccion de la duracion desde laprimera a la tercera sesion de grabacion

Habla espontanea: Diferencias significativas entre las tressesiones




Conclusiones

AmbitoVILE

Duracion de las pausas silenciosas

Diferenciasde dura-cion enlas pausassilenciosasen funcionde la sesiony del estilode habla




Conclusiones

AmbitoVILE

Duracion de las pausas silenciosas

Diferencia significativa entre sesiones en lectura

Sin diferencias significativas entre sesiones en hablaespontanea

La duracion de las pausas silenciosas permite caracterizarla variacion interlocutor, tanto en lectura como en hablaespontanea

Lectura: rango entre 7 s (locutor con valor mas bajo) y 20 s(locutor con valor mas alto)Habla espontanea: rango de valores entre 8,7 s (locutor convalor mas bajo) y 23,8 s (locutor con valor mas alto)




Conclusiones

AmbitoVILE

Los proyectos VILE

Albala, M. J., Battaner, E., Carranza, M., Gil, J., Llisterri, J.,

Machuca, M. J., . . . Rıos, A. (2008). VILE: Nuevos datos

acusticos sobre vocales del espanol. Language Design, 1, 1-14.

Albala, M. J., Battaner, E., Carranza, M., de la Mota, C., Gil,

J., Llisterri, J., . . . Rıos, A. (2008). VILE: Analisis estadıstico de

los parametros relacionados con el grupo de entonacion.

Language Design, 2, 15-22.

Albala, M. J., Battaner, E., Gil, J., Llisterri, J., Machuca, M.,

Marrero, V., . . . Rıos, A. (2009). Vowel formant structure and

speaker identification. A perceptual study. CIP 2009. 3

Conferencia Iberica de Percepcao. Guimaraes, Portugal, 8-10

Julho 2009.




Conclusiones





5 Conclusiones




Conclusiones

Conclusiones

El estudio fonetico del habla desde una perspectivaexperimental permite avanzar en

La integracion de conocimiento fonetico en las tecnologıasdel hablaEl conocimiento de los mecanismos de la produccion y lapercepcion en L2La caracterizacion de la variacion inter e intralocutor encontextos judiciales

Un equipo de fonetistas en colaboracion con expertos deotros ambitos puede aportar conocimientos linguısticos quecontribuyen a la solucion de problemas reales




Conclusiones

¡Muchasgracias!




Conclusiones

Las aplicaciones de la foneticaPresentacion en la red:

http://liceu.uab.cat/~joaquim/phonetics/EILN_10/EILN_10.html





las aplicaciones de la fonéticaliceu.uab.cat/.../aplicaciones_fonetica_sonora_2010.pdfjoaquim...

Documents