introducción al curso audición robótica dr. caleb rascón ... · proyecto final mÍnimo. una...
TRANSCRIPT
![Page 2: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/2.jpg)
2/47
Audición Robótica
● Varias definiciones.● La que más me gusta:
“Rama que tiene como objetivo otorgar a un ente no-humano una capacidad auditiva cercana a la de un humano oyente.”
![Page 3: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/3.jpg)
3/47
Audición Robótica
● Varias definiciones.● La que más me gusta:
“Rama que tiene como objetivo otorgar a un ente no-humano una capacidad auditiva cercana a la de un humano oyente.”
● Usualmente un robot de servicio.
![Page 4: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/4.jpg)
4/47
¿Para qué?
![Page 5: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/5.jpg)
5/47
Motivación
● Audio está en todo nuestro alrededor.● El límite de rango del que se puede recibir
una señal de audio es alto:– 360 grados ambos vertical y horizontalmente.
● Comparado a:– Visión: es ~ 170 grados horizontalmente y ~ 90
grados verticalmente.
– Olfato: rango comparable, pero sin dirección.
– Tacto: requiere movimiento del sensor.
![Page 6: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/6.jpg)
6/47
Motivación
● Hay mucha información que puede ser extraída de una señal de audio:– Dirección y distancia de una fuente de sonido
– Reconocimiento de clase de fuente de sonido
– Reconocimiento del habla
– Tamaño del entorno
– Materiales de paredes
![Page 7: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/7.jpg)
7/47
Motivación → Desafío
● Todo esa información de un arreglo de datos de una dimensión.
● Si tenemos varios micrófonos, podemos tener varios arreglos que analizar.
● ... en línea/tiempo real.
![Page 8: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/8.jpg)
8/47
Motivación → Desarrollo
● Práctica de primera mano en desarrollar software de procesamiento.
● Hoy en dia, si estás procesando señales, lo estás haciendo con una computadora.
● Lenguajes variantes de C son los más prácticos en utilizar, por su robustez, eficiencia de manejo de recursos, así como su precio:– MATLAB es muy caro.
![Page 9: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/9.jpg)
9/47
Motivación → Telecomunicaciones
● Si consideramos al micrófono como un tipo de antena, muchos de los conceptos de telecomunicaciones se pueden aplicar en procesamiento de señales de audio.– Filtrado
– Comparación de señales
– Beamforming
![Page 10: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/10.jpg)
10/47
Motivación → Audición Robótica
Videos
![Page 11: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/11.jpg)
11/47
Grupo Golem
![Page 12: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/12.jpg)
12/47
Grupo Golem@RoboCup 2016
![Page 13: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/13.jpg)
13/47
Y estamos buscando...
![Page 14: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/14.jpg)
14/47
Objetivo del Curso
Exponer al alumno a temas de Audición Robótica, donde se cubrirán desde los
conceptos teóricos hasta los aspectos de implementación.
![Page 15: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/15.jpg)
15/47
Intención del Curso
Al terminar este curso, le sea posible al alumno crear, de una manera eficiente, software que
analice, procese, y regrese resultados de señales de audio en línea.
![Page 16: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/16.jpg)
16/47
Suposición del Curso
Aunque se espera que el alumno tenga bases previas de Señales y Sistemas, así como de
programación, el curso se llevará a cabo de tal manera que dichas bases serán refinadas y
repasadas.
![Page 17: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/17.jpg)
17/47
Intención del Curso
Al terminar este curso, le sea posible al alumno crear, de una manera eficiente, software que
analice, procese, y regrese resultados de señales de audio en línea.
![Page 18: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/18.jpg)
18/47
Desarrollo de Software
● Vamos a programar... mucho.● En el lenguaje C.
– Utilizando struct's y dobles apuntadores.
– Vamos a compilar directamente en línea de comando.
● Sin IDE.
● Por lo tanto, necesitaremos computadoras.
![Page 19: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/19.jpg)
19/47
¿Todos tenemos acceso a alguna computadora?
![Page 20: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/20.jpg)
20/47
¿Todos tenemos acceso a alguna computadora?
Con Linux instalado, nativamente...
Se puede virtualizar, pero se han tenido malas experiencias.
![Page 21: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/21.jpg)
21/47
Intención del Curso
Al terminar este curso, le sea posible al alumno crear, de una manera eficiente, software que
analice, procese, y regrese resultados de señales de audio en línea.
![Page 22: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/22.jpg)
22/47
Señales de Audio
Tiempo
Ene
rgí a
![Page 23: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/23.jpg)
23/47
0.1 0.0 0.2 0.4 0.7 1.1 1.0 0.8 0.6 0.6 0.3 0.2 0.1 0.0 0.0 0.2 0.5 0.4
Señal de Audio
Arreglo de valores, en el que cada celda es un momento en el tiempo, y el valor de la celda es el valor de energía.
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
![Page 24: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/24.jpg)
24/47
Intención del Curso
Al terminar este curso, le sea posible al alumno crear, de una manera eficiente, software que
analice, procese, y regrese resultados de señales de audio en línea.
![Page 25: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/25.jpg)
25/47
“En línea” != “En tiempo real”
![Page 26: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/26.jpg)
26/47
“En línea” ~= “En tiempo real”
![Page 27: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/27.jpg)
27/47
En Línea
● Lo contrario a “fuera de línea”.● El procesamiento se lleva a cabo durante
la captura, no después.
![Page 28: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/28.jpg)
28/47
En Tiempo Real
● Implica “en línea”.● Realmente no hay una definición definitiva.
– Difiere dependiendo del área de aplicación.
● Para propósitos de este curso:– “Tan rápido como un humano habla por un
micrófono y se escucha a si mismo por una bocina”.
![Page 29: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/29.jpg)
29/47
Independientemente...
● Nos haremos muy buenos amigos de una biblioteca de procesamiento de señales de audio llamada:– JACK Audio Connection Kit
● Su documentación presume hacer procesamiento de audio en tiempo real, pero lo que nos interesa es que lo hace en línea.
● Pero, tiene otras facilidades:
![Page 30: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/30.jpg)
30/47
JACK
● Otorga la facilidad de crear agentes de JACK que se pueden conectar al servidor de JACK, el cual, a su vez, está conectado a dispositivos de audio (bocinas para salida, micrófonos para entrada, etc.).
![Page 31: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/31.jpg)
31/47
JACK
![Page 32: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/32.jpg)
32/47
JACK
● Cada agente se comunica con JACK por medio de escribir y/o leer valores de energía en arreglos de datos.
● Dichos arreglos representan ventanas de audio.– También conocidos como “periodos”.
![Page 33: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/33.jpg)
33/47
0.1 0.0 0.2 0.4 0.7 1.1 1.0 0.8 0.6 0.6 0.3 0.2 0.1 0.0 0.0 0.2 0.5 0.4
En Línea → JACK
0 1 2 3 4 5 0 1 2 3 4 5 0 1 2 3 4 5
Ventana 0 Ventana 1 Ventana 2
Ventanas de tamaño: 6
![Page 34: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/34.jpg)
34/47
JACK
● De esta manera, mientras escribamos/leamos adecuadamente dichos arreglos de datos, JACK se encarga de entregar los datos a tiempo ya sea a:– Los dispositivos
– Otros agentes
![Page 35: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/35.jpg)
35/47
JACK
![Page 36: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/36.jpg)
36/47
Audición Robótica
Rama que tiene como objetivo otorgar a un ente no-humano una capacidad auditiva cercana a la de un humano oyente.
![Page 37: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/37.jpg)
37/47
Experimento con Audio
Sólo pónganle atención a la primera voz que escuchen
![Page 38: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/38.jpg)
38/47
Complejidad de Audición Robótica
● “Capacidad de escucha humana”– Saber dónde están las varias fuentes de sonido en su alrededor.
– Separar las fuentes en canales con sólo una fuente.
– Saber qué es cada una de esas fuentes y etiquetarlas.– Filtrar el sonido de las fuentes etiquetadas “ruido”.
– Saber qué es lo que está diciendo cada una de las fuentes del tipo “persona”.
– Decidir cuál es la más importante “ponerle atención”.
– Comprender qué es lo que está diciendo la fuente más importante.– Reaccionar a ruidos no esperados.
– … en tiempo real, en ambientes muy dinámicos.
![Page 39: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/39.jpg)
39/47
Complejidad de Audición Robótica
● “Capacidad de escucha humana”– Saber dónde están las varias fuentes de sonido en su alrededor.
– Separar las fuentes en canales con sólo una fuente.
– Saber qué es cada una de esas fuentes y etiquetarlas.– Filtrar el sonido de las fuentes etiquetadas “ruido”.
– Saber qué es lo que está diciendo cada una de las fuentes del tipo “persona”.
– Decidir cuál es la más importante “ponerle atención”.
– Comprender qué es lo que está diciendo la fuente más importante.– Reaccionar a ruidos no esperados.
– … en tiempo real, en ambientes muy dinámicos.
![Page 40: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/40.jpg)
40/47
● Este curso les dará las bases para poder hacer proyectos de Audición Robótica muchísimo más complejos.
*cough* tesis *cough*
Realmente...
![Page 42: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/42.jpg)
42/47
Curso
● Se mantendrá un balance entre la teoría y la práctica.– Primer mes, repaso de las bases de:
● *Lenguaje C● Captura de Audio● Señales y Sistemas (Transformada de Fourier)
– Resto:● Revisión de algoritmos para:
– Estimación de Dirección de Arribo– Separación de Fuentes en Línea
● Implementación de dichos algoritmos
![Page 43: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/43.jpg)
43/47
Curso
● Tareas prácticas.● Un examen parcial al fin del primer mes.● Un proyecto final.
– Con mucho tiempo al fin del semestre para lo que terminen.
![Page 44: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/44.jpg)
44/47
Proyecto Final
● DESEABLE. Sistema completo de Audición Robótica:– Estime la dirección de las fuentes en el ambiente.
– Las separe en diferentes canales.
– Máxima calificación: 10
… no es para nada trivial.
![Page 45: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/45.jpg)
45/47
Proyecto Final
● MÍNIMO. Una parte del Sistema de Audición Robótica:– Estime la dirección de las fuentes en el ambiente.
– O, asumiendo que ya se conocen las direcciones, las separe en diferentes canales.
– Máxima calificación: 9
![Page 46: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/46.jpg)
46/47
Proyecto Final
● Presentación de 20 minutos, describiendo:– Algoritmo(s) utilizado(s) y por qué.
– Problemas que se encontraron.● Si se pudieron resolver: ¿cómo?● Si no se pudieron resolver: potenciales soluciones.
– Demostración del sistema, en vivo.
![Page 47: Introducción al curso Audición Robótica Dr. Caleb Rascón ... · Proyecto Final MÍNIMO. Una parte del Sistema de Audición Robótica: – Estime la dirección de las fuentes en](https://reader034.vdocumento.com/reader034/viewer/2022042411/5f2948fe4b0a50648d667bad/html5/thumbnails/47.jpg)
47/47
Información de Contacto
● Mi oficina: IIMAS, 4o piso, Oficina 403.
● Mi correo:– [email protected]