Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
1er Congrés del Col.legi de Logopedes deCatalunya Barcelona, 26 de juny de 2003
El futur dels llenguatgesEl futur dels llenguatgesJoaquim LlisterriJoaquim Llisterri
Departament de Filologia EspanyolaDepartament de Filologia EspanyolaUniversitat AutUniversitat Autòònoma de Barcelonanoma de [email protected]@uab.eshttp://liceu.uab.es/~joaquimhttp://liceu.uab.es/~joaquim
1er Congrés del Col.legi de Logopedes de Catalunya Barcelona, 26 de juny de 2003
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
1er Congrés del Col.legi de Logopedes deCatalunya Barcelona, 26 de juny de 2003http://liceu.uab.es/~joaquim/teaching/speech_technology/CCLC_03/CCLC_03.html
1er Congrés del Col.legi de Logopedes de Catalunya Barcelona, 26 de juny de 2003
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
El futur dels llenguatges
Dues perspectives�La comunicació persona -
màquina�La comunicació persona -
persona meditatizada per unamàquina
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona - màquina
HCI, Human - Computer Interaction
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona - màquina
• Interacció multimodal
��OralOral
�Escrita
��VisualVisual
�Tàctil
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-màquina
• Interacció sense restriccions�Identificació automàtica de l’usuari i de la
llengua
�Reconeixement de la parla espontània
�Comprensió del llenguatge
�Diàleg totalment natural
�Generació de parla completament natural
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
HalClarke (1950) - Kubrick (1968)
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-màquina
La interacció oral• Tecnologies actuals per a la
interacció oral�Reconeixement�Comprensió�Generació
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-màquina
Reconeixement automàtic del locutor a partir dela veu
• Qui parla entre un conjunt d’usuarisregistrats?� Identificació automàtica del locutor
• El locutor té la identitat que diu que té?� Autentificació / Verificació automàtica del
locutor
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-màquina
Identificació automàtica de la llengua
• En quina llengua parla l’usuari d’un sistemaautomàtic?
� Identificació automàtica de la llengua
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-màquina
Reconeixement de la parla espontània
� Reconeixement automàtic de la parla (ASR)
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-màquina
�Problemes del reconeixement automàtic de laparla
• Variabilitat intralocutor
• Variabialitat interlocutor
• Variació d’estils
• Variació geogràfica
• Soroll ambiental o del canal
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-màquina
Comprensió del contingut� Comprensió del llenguatge natural (NLU)Eh, doncs mira, volia saber a quinahora surt la… l’últim tren, eh… cap aTerrassa, des de Plaça Catalunya, eldissabte dia 28
PETICIÓ, DESTINACIÓ=“Terrassa”,ORIGEN=“Plaça Catalunya”, DATA:DIA=“28”, HORA=“Últim”
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-màquina
Creació de respostes naturals� Generació de llenguatge natural (NLG)
PETICIÓ, DESTINACIÓ=“Terrassa”,ORIGEN=“Plaça Catalunya”, DATA:DIA=“28”, HORA=“Últim”
L’últim tren surt a la 1 i 52minuts de la nit
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-màquina
Diàleg natural� Sistemes de diàleg (SLS)
906 789 987http://gps-tsc.upc.es/veu/attemps/
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-màquina
� Problemes dels sistemes de diàleg
• Errors derivats del reconeixement• Necessitat d’estratègies de verificació i de
confirmació• Problemes del diàleg espontani• El.lipsi• Anàfora• Díctics
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-màquina
Generació de parla completament natural
� Conversió de text a parla (TTS)
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-màquina
�Problemes de la conversió de text a parla
• Manca de naturalitat
Telefónica I+D Loquendo
1996 2003 2002
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-màquina
La interacció visual• Complement de la interacció oral o escrita
• Tecnologies disponibles
�Agents animats, Agents conversacionals,Assistents virtuals, Bots, Avatars
�Locutors virtuals
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Assistents virtualshttp://www.artificial-solutions.com/
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Assistents virtualshttp://www.artificial-solutions.com/
Maria Bot: Benvingut un altre cop, Joaquim.Joaquim: Hola, Maria. Com anem?Maria Bot: Estic molt bé, gràcies.Joaquim: Què m expliques avui?Maria Bot: Encara que de vegades sembla que
parli d'altres coses, basicament parlo de lameva empresa i dels seus productes. És tot unhonor!
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Assistents virtualshttp://www.artificial-solutions.com/
Joaquim: A quina empresa treballes?Maria Bot: Som experts en processament de
llenguatge natural (NLP).Joaquim: I això què és?Maria Bot: Som partners exclusius de Kiwilogic a
Escandinàvia i a Espanya. T'ensenyo algunsexemples de la feina d'Artificial Solutions?
Joaquim: Sí, gràcies
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Assistents virtualshttp://www.artificial-solutions.com/
Maria Bot: Hem construït moltes solucionsassequibles i eficaces que et poden interessar.Aquí en tens alguns exemples.
Joaquim: Què és un assistent interactiu?Maria Bot: Un Bot és un ens artificial i
intel·ligent, personalitzat i professional,disponible les 24 hores del dia.
Joaquim: Tots els bots són com tu?
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Assistents virtualshttp://www.artificial-solutions.com/
Maria Bot: Un Assistent Interactiu és unpersonatge electrònic que acompanya l'usuarien la seva experiència web.
Joaquim: I un dia no podríem sopar?Maria Bot: M'agradaria sortir amb tu; però no et
faria vergonya anar pel carrer amb un gifanimat?
Joaquim: No, no em faria vergonya!
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Assistents virtualshttp://www.artificial-solutions.com/
Maria Bot: Està bé. Me'n faig càrrec. No és no.Joaquim: Doncs quin dia quedem per sopar?Maria Bot: No m'és possible abandonar el meu
asèptic entorn; en un restaurant barat,m'autodestruiria només de veure el còctel degambes.
Joaquim: I quin és el teu entorn?
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Assistents virtualshttp://www.artificial-solutions.com/
Maria Bot: Podríem dir que com a màquinaintel·ligent he tingut un àbac i una tarjetaperforadora com a primers antecessors.L'evolució és prou notable, no et sembla?
Joaquim: Tu ets molt evolucionada....Maria Bot: Puc dir-te moltes coses de mi. Què
vols saber exactament?
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Assistents virtualshttp://www.artificial-solutions.com/
Maria Bot: Per descomptat, puc enviar-te elnostre diàleg per e-mail. Si us plau, digues-me acontinuació la teva adreça de correu electrònic.
Joaquim: [email protected] Bot: He entès [email protected]
com la teva adreça de correu. És això correcte?Joaquim: Correcte
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Assistents virtualshttp://www.artificial-solutions.com/
Maria Bot: Molt bé, Joaquim. T'enviaré el diàlegper e-mail quan acabem de parlar.
Joaquim: Moltes gràcies, Maria.Maria Bot: De res, ha estat tot un plaer.Joaquim: Adéu, i fins aviat.Maria Bot: Adéu, Joaquim!
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Locutor virtualhttp://mambo.ucsc.edu/
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Locutor virtualhttp://www.speech.kth.se/multimodal/video/index.html
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Locutor virtual en catalàhttp://web.salleurl.edu/~jmelen/melen_demos.html
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
“Logopeda animat”http://cslr.colorado.edu/beginweb/animated_speech
_therapist/anim_therapist.html
Interacció amb pacients de IPD (Idiopathic Parkinson Disease)
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona - màquina
� Reconeixement de la parla
�De les paraules aïllades a la parla contínua
� Conversió de text a parla
�Dels sistemes per concatenació als sistemesbasats en corpus
� Sistemes de diàleg
�Dels sistemes per menú als sistemes espontanis
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona - màquina
• Interacció persona-màquina
�De la interfíce única a les interfíciesmultimodals
�Els esforços es centren enadaptar les tecnologies alsusuaris
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-personamediatitzada per una màquina
CMM, Computer-Mediated Communication
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-personamediatitzada per una màquina
• Traducció entre modalitats• Escrit - Escrit�Traducció automàtica de textos
• Oral - Oral�Traducció automàtica de la
parla (SLT)
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Traducció automàtica de la parlahttp://prhlt.iti.es/Projectes/EuTrans/EuTrans.html
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Traducció automàtica de la parlahttp://verbmobil.dfki.de/overview-us.html
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-personamediatitzada per una màquina
• Traducció entre modalitats• Escrit - Oral�Conversió de text a parla
• Oral - Escrit�Reconeixement automàtic de la
parla
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-personamediatitzada per una màquina
• Traducció entre modalitats
• Llengua oral - Moviments labials
�Reconeixement de la parla
�Generació de moviments labialsa partir del reconeixement
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Telefacehttp://www.speech.kth.se/teleface/
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-personamediatitzada per una màquina
• Traducció entre modalitats• Llengua oral - Llengua de signes�Reconeixement de la parla o de la
imatge�Traducció de/a llengua de signes�Conversió de text a parla o de text a
signes
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Visicasthttp://www.visicast.co.uk/
http://www.visicast.sys.uea.ac.uk/
Traduccióde l’anglèsparlat a lallengua designesbritànica
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
eSignhttp://www.sign-lang.uni-hamburg.de/esign/
http://www.visicast.sys.uea.ac.uk/
Generacióautomàticade “subtítols”en llengua designes per aprogrames detelevisió
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
iCommunicatorhttp://www.myicommunicator.com/
�Reconeixementde la parla�Conversió detext a parla�Traducció dellengua oral allengua de signes
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona-personamediatitzada per una màquina
• Comunicació escrita• Telèfon
�SMS
• Ordinador
�Correu electrònic
�Xat o tertúlia
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
SMShttp://www.webmovilgsm.com/sms/diccionario.htm
• bb? - ¿lo ves?• cbt - cobertura• clga - colega• d nxe - de noche• d2 - dedos• dsk - disco /discoteca
• dnd - ¿dónde?
• k acs? - ¿quéhaces?
• k qrs? - ¿quéquieres?
• kntm - cuéntame• kyat - cállate• M1ML - mándame unmensaje luego
• mxo - mucho
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
SMS
• Grafia <k> per <qu> o <c>• Ús de <y> per <ll>• Supressió de <h>� Ortografia fonètica• Grafia <x> per <ch>� Freqüència d’aparició baixa de <x> que no
produeix ambigüitat; tendència a les grafies“monografemàtiques”
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
SMS
• Manca de vocals� Sistemes d’escriptura consonàntics• Ús d’una lletra per representar el so
equivalent• Ús de xifres per representar el so
equivalent� Principi dels jeroglífics
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Correu electrònic
• Lligat inicialment a la carta
• Immediatesa de la recepció i de la resposta
• Manca de perdurabilitat
• Possibilitat d’incloure o de comentar elmissatge rebut
Payà (2000)http://www.ub.es/lincat/cmo-cat/paya.htm
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Xats#12_13_14_15_años (IRC-Hispano)
• Artemmisa: nassss tengo 13 años y soy dla linea kien kiera hablar conmigoprivi!!!
• NEYARA: Koral illaaa k estas mu calla• Shyncro: Wenas alguna chica de 15 o 16+años ke sea simpatica y kiera hablarconmigop ke me aga un privaillo grasiaswapas
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Xats #Más_de_40 (IRC-Hispano)
• ANALISA: uyssssssss, q no pillonaaaaaaaaaaaaaaa
• Alboran_: aver porque no hablamosde futbol jajajajaja
• mmmua: super wenas• Don_Kafre: amo a i hasiendo sitio• Jimena: pues nada,, q rastreen jamía rosaa
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
Xats
• “Conversa escrita”• “Text escrit oralitzat”• “El més oral dels gèneres escrits”� Ortografia fonètica propera a l’oral per
reflectir la col.loquialitatGalindo i Pons (2000)
http://www.ub.es/lincat/cmo-cat/galindo-pons.htm
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona - personamediatitzada per una màquina
� Traducció entre modalitats�Accés a la informació en altres llengües
�Accés a informació en la modalitat mésadequada a l’usuari amb necessitatsespecífiques
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
La comunicació persona - personamediatitzada per una màquina
� SMS, Correu electrònic i Xat�Modalitat escrita, apte per a persones
amb dificultats amb altres modalitats iamb possibilitat de traducció a altresmodalitats
�Integració en “comunitats virtuals”
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
El futur dels llenguatges
• Les tecnologies no són una amenaça• Tendència a millorar les interfícies per facilitar
la tasca de l’usuari i adaptar-se als seus usoslingüístics
• Les tecnologies són una eina que augmenta lespossibilitats de comunicació presencial o adistància
• Les llengües s’adapten a l’entorn en el quals’utilitzen
Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica
Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
1er Congrés del Col.legi de Logopedes deCatalunya Barcelona, 26 de juny de 2003
El futur dels llenguatgesEl futur dels llenguatgesJoaquim LlisterriJoaquim Llisterri
http://liceu.uab.es/~joaquim/teaching/speech_technology/CCLC_03/CCLC_03.html
1er Congrés del Col.legi de Logopedes de Catalunya Barcelona, 26 de juny de 2003 Moltes
gràcies!