seminario de robótica
DESCRIPTION
Seminario de robótica. Segunda Parte: Captura de imágenes. Contenidos. Introducción Sensores inteligentes Tecnologías de los sensores Lectura continua y espaciada CCD CMOS Otros Color Formatos de imagen y transmisión PAL Escaneado progresivo Sensorizado inteligente (Smart Sensors) - PowerPoint PPT PresentationTRANSCRIPT
Seminario de robótica
Segunda Parte:Captura de imágenes
Contenidos Introducción
Sensores inteligentes Tecnologías de los sensores
Lectura continua y espaciada CCD CMOS Otros Color
Formatos de imagen y transmisión PAL Escaneado progresivo
Sensorizado inteligente (Smart Sensors) El ojo humano como sensor inteligente Sensor Log-polar Otros ejemplos de chips de visión
Análisis de movimiento basado en cambios
Introducción Ventajas de la información visual
Se puede extraer mucha información con precisión. Es efectiva en un amplio rango de distancias.
Problemas de la información visual Precisión y un amplio campo de visión implican gran
cantidad de datos. Alto coste computacional combinado con restricciones de
tiempo real. Diversidad de algoritmos de visión artificial Restricciones de consumo, peso y espacio (módulo
portable por un vehículo autónomo).
Introducción: Sensores inteligentes Los sensores de visión inteligentes realizan alguna labor de
procesado adicional aparte de la propia captura de la imagen. Suelen ser dispositivos de aplicación específica pues la tarea
que realizan suele tener un objetivo concreto Chip detector de movimiento Chip detector de bordes, etc.
Ventajas Velocidad: Se puede utilizar el paralelismo, además de reducir la
información a ser tratada. Tamaño: En un único chip se puede integrar la cámara y el
procesado, haciéndolo especialmente interesante para robots. Consumo: Se eliminan etapas innecesarias y el consumo de
tener que enviar mucha información a gran velocidad. Integración y modularidad: Liberan a la CPU de tareas y permite
su integración en sistemas de forma jerárquica.
Introducción: Sensores inteligentes Inconvenientes
Falta de flexibilidad: Normalmente sólo sirven para una función específica por lo que no suele ser óptimo utilizarlos para otra cosa, aunque quizá se podría.
Resolución: Normalmente el procesamiento viene incluido junto a cada píxel, haciéndolos más grandes de lo normal y limitando así la resolución máxima del sensor.
La calidad suele ser baja debido al ruido digital, falta de emparejamiento, estrategia de captura, escasa relación de apertura, etc.
El diseño es también complejo y arriesgado.
Tecnologías de los sensores Las primeras cámaras estaban basadas en un tubo
de rayos catódicos. Hoy en día todos los dispositivos de captura de imágenes están basados en semiconductor.
El objetivo de los sensores es capturar la luz y transformarla en una magnitud medible (normalmente tensión o corriente).
Los dispositivos semiconductores transforman la luz en corriente gracias a la unión P-N:
Sensores: Lectura continua y espaciada Los sensores pueden capturar la luz de dos formas:
De forma continua: en cualquier instante se puede leer la información visual sobre la célula.
De forma espaciada: la célula necesita un tiempo de “carga” durante el cual no se puede leer.
Las más utilizadas son las de lectura espaciada, pues ofrecen mayor precisión y menor ruido.
Las de lectura continua son interesantes pues permiten acceder a cualquier píxel de un sensor de imágenes en cualquier instante, sin embargo, presentan un alto ruido y poseen escasa sensibilidad.
Sensores CCD La tecnología CCD (Charge Coupled Device) es la
que mayor calidad ofrece. Hasta hace muy poco era la tecnología más
utilizada. Con el aumento de la calidad de los CMOS y su
bajo coste, los dispositivos CCD se utilizan cada vez menos pues resultan más caros.
Por otro lado, las características propias de esta tecnología limitan la flexibilidad que se necesita para la realización de sensores inteligentes.
La circuitería externa que necesitan es compleja.
Sensores CCD: Características Los CCD están basados en la captura y transporte
de carga. Son por tanto dispositivos basados en integración y
la lectura no se puede hacer de forma continua. Las células CCD transfieren las cargas en serie por
lo que un acceso aleatorio a los píxeles tampoco es posible en el propio sensor.
Estas características los hacen inadecuados para la realización de sensores inteligentes.
Sin embargo su calidad es muy buena pues no se introduce ruido en el proceso de captura y transporte de la información visual.
Sensores CCD: Funcionamiento Durante un tiempo de exposición a la luz (tiempo de integración)
se va generando una carga en la unión PN proporcional al tiempo y a la intensidad de la luz.
En la figura se muestra un CCD de dos fases. Creando tensiones adecuadas entre las dos fases se puede ir
transportando la carga hacia el exterior del sensor como si fuera un registro de desplazamiento analógico.
Sensores CCD: una cámara típica Un sensor CCD típico está compuesto por las
células CCD formando una matriz. Una vez transcurrido el tiempo de integración todos
los CCD transfieren su carga por columnas a un CCD de manera que se lee una fila cada vez.
Este CCD conteniendo la fila es leído a continuación en serie.
La carga analógica se suele mandar tal cual al exterior del chip, aunque cada vez son más los sensores que incorporan un conversor analógico/digital entregando una salida directamente digital.
Ver dibujo en la pizarra.
Sensores CMOS La tecnología CMOS es la que se utiliza habitualmente para la
realización de circuitos integrados digitales. La principal característica es su bajo coste debido a su gran
popularización. Esta tecnología permite la integración de circuitos de procesado
junto con las células de captura. Son por tanto ideales para la realización de sensores inteligentes.
La transformación de carga a corriente debe realizarse en la propia célula, de manera que puede aparecer ruido asociado a este proceso.
Debido a la flexibilidad de la tecnología se pueden hacer células de integración y también de lectura continua.
Dado que la transformación de las cargas se hace en cada célula, es posible acceder a cada una de forma individual.
Sensores CMOS: Funcionamiento La lectura espaciada, basada en un tiempo de
integración, es la más utilizada pues ofrece mayor calidad.
En la figura se muestra el diagrama de bloques de una célula básica (píxel) de un sensor CMOS basado en integración.
Sensor MuestreoRetención Capacidad Buffer
Salida
Sensores CMOS: Funcionamiento Circuito básico basado en integración. Es la más sencilla y es de acceso aleatorio. Pero tiene muchos transistores y se puede
simplificar un poco.
Sensores CMOS: Funcionamiento Célula de acceso casi aleatorio. El circuito que convierte carga en corriente,
muestrea y retiene es común a todos.
Sensores CMOS: Funcionamiento Células basadas en conducción y de acceso realmente aleatorio. Presentan mayor ruido. El tiempo de acceso es alto. Se pueden tener respuestas logarítmicas con facilidad (como el
ojo humano).
Sensores CMOS: Funcionamiento Célula básica logarítmica
Sensores CMOS: Funcionamiento Respuesta logarítmica y ancho de banda
Color Los dispositivos semiconductores apenas son sensibles al color. Lo ideal es tener 3 sensores con un filtro de color por cada píxel
para obtener una componente RGB realista. Se pueden poner tres matrices completos cada uno con un filtro
de color, rojo, verde y azul. Se pueden usar tres células sensoras por cada píxel.
Poner tres sensores completos es una opción muy utilizada en cámaras de vídeo pues ofrece una gran calidad y no es caro.
Sin embargo no parece la opción adecuada para cámaras compactas y de bajo coste.
La segunda opción viene limitada por la resolución propia del sensor que en general no es muy alta.
Para soluciones de bajo coste se utiliza una máscara de filtros de color.
Color: Filtro Bayer La tecnología más utilizada para obtener imágenes en color
consiste en ponerle a cada píxel un filtro rojo, verde o azul. Como los sensores son matrices cuadradas es complicado elegir
cómo se distribuyen estos tres colores. Una distribución muy utilizada es la Bayer. En esta distribución se han tenido en cuenta el peso de cada
color en el espectro y los solapamientos entre los diferentes colores.
El cálculo de las componentes RGB se realiza promediando los vecinos del píxel.
El promedio es complejo y está basado en tablas que depende del color, de los filtros, etc.
En este promedio no sólo intervienen los vecinos más cercanos, sino el resto de píxels.
Color: Filtro Bayer La resolución de color, utilizando un filtro Bayer, es menor que la
propia del sensor. Sin embargo es difícil precisar de qué resolución se dispone en
color. Normalmente cuando se da la resolución de un sensor en color,
se está dando la del sensor en B/N.
Imagen real Imagen del sensor Imagen reconstruida
Formatos de imagen y transmisión El primer uso que se le dio a las cámaras fue el de ser usadas
para Televisión. La forma en que las imágenes son leídas y enviadas está muy
influenciado por estos orígenes de la captura de imágenes. La resolución de las imágenes, la velocidad de adquisición e
incluso el tipo de muestreo han sido durante años los propios de las imágenes de televisión.
Gracias a la proliferación de los sensores CMOS de bajo coste se han podido realizar cámaras cuyo formato está más orientado a la era digital que la de la televisión.
Así hoy en día es posible encontrar cámaras con multitud de resoluciones, velocidades de adquisición (más allá de los 25 fps) y, sobre todo, el tipo de muestreo que ya no tiene que ser el entrelazado.
Formato PAL El objetivo de la televisión es que las imágenes se vean con el menor
parpadeo posible y la mayor resolución. Los tubos de televisión, debido a su persistencia, realizan un barrido
que debe ser de al menos 50 veces por segundo para no notar demasiado el parpadeo.
Con la tecnología propia de los comienzos de la televisión, no era posible enviar una imagen completa (625 líneas) 50 veces por segundo.
La solución consistía en enviar media imagen cada vez: en una vez se enviaban las líneas pares y en la siguiente las impares.
Las cámaras de video PAL utilizan el mismo sistema: cada 20 ms (1/50 segundos) se captura la mitad de la imagen, bien la par o bien la impar.
Esto tiene el problema de que no podemos tener una imagen completa en un momento dado: en un instante sólo se tiene la imagen par o la impar, y si juntamos ambas, se tiene una imagen completa pero que no corresponde a un mismo instante de tiempo.
La reproducción de estas imágenes en un monitor es perfecto, sin embargo su procesado digital presenta numerosos problemas.
Formato PAL: Detalles El color se envía superpuesto a la señal de gris Las señales de sincronización de línea y cuadro son
pulsos de tensión.
Ejemplo de dos líneas PAL
Formato PAL: Detalles
Formato PAL: Ejemplo entrelazado
Formato PAL: Ejemplo entrelazado
Formato PAL: Resoluciones PAL
25 fps 625 líneas (576 de imagen) VHS: 300x360
NTSC 29.97 fps 525 líneas
Vídeo Digital VideoCD (VCD): 352x288 (320x240 NTSC) (no entrelazado) SuperVCD (SVCD): 480x576 (480x480 NTSC) DV y DVD: 720x576 (720x480)
Procesamiento VGA,XVGA: varias Otras
Adquisición tradicional de imágenes Normalmente se dispone de un ordenador
con una tarjeta capturadora. La tarjeta capturadora acepta una cámara
que envía una señal de video PAL. Las imágenes por tanto tienen las
limitaciones vistas anteriormente impuestas por el sistema PAL.
Escaneado progresivo Los sensores para cámaras de tipo PAL utilizan una
lectura entrelazada de las líneas. Los sensores de algunas cámaras digitales (las que
sirven para procesado de imágenes) utilizan una lectura continua llamada Progressive Scan (Escaneo progresivo).
En este tipo de sensores se capta la imagen completa en un mismo instante de tiempo.
Posteriormente se puede leer de forma continua o entrelazada, pero el instante en que la imagen fue tomada es siempre el mismo.
Adquisición digital de imágenes Desde el punto de vista del procesado digital de imágenes
interesa: Que no exista entrelazado. Que la resolución pueda elegirse libremente. Que la velocidad de adquisición sea también libre.
Hasta hace pocos años todos los sensores y cámaras eran de tipo PAL.
Gracias al interés en el procesado digital de imágenes, la aparición de las cámaras digitales, la mejora en la tecnología de los televisores, los DVD, etc., es ya muy corriente encontrar hoy en día sensores para procesado digital.
Captura de imágenes digitales: FireWire (IEEE 1394) USB 2.0
El ojo humano como sensor inteligente El ojo humano, y el de muchos animales, presenta
características idóneas para el procesado digital de imágenes.
Muchos sensores inteligentes se han basado en algunas de las características de los ojos biológicos, desde los sistemas de visión de los insectos hasta el del ser humano.
Miles de años de evolución han producido sistemas naturales de visión realmente eficientes.
La investigación en visión artificial apenas lleva unos 50 años.
El ojo humano como sensor inteligente Estructura
El ojo humano como sensor inteligente Estructura y distribución de píxeles
Sensor espacio-variante log-polar Se inspira en la distribución no uniforme de
píxeles del ojo humano. Pero también tiene características
matemáticas interesantes. Ver presentación aparte.
Retinas de silicio Las retinas artificiales intentan emular algunas de las funciones que
realiza la retina del ojo humano. Son por tanto sensores que realizan algún procesado simple a nivel de
píxel. Ejemplo: Mahowalds y Med’s silicon retinas:
Retinas de silicio: Mahowald and Delbrück's stereo matching chips
Retinas de silicio: Retina booleana de Bernard y otros
En esta retina la digitalización se realiza en la propia célula.
La digitalización es una binarización simple.
Algunas operaciones incluyen los desplazamientos, las copias, conjunción, inversión, etc.
Se pueden programar diferentes acciones, lo que le confiere cierta flexibilidad.
Retinas de silicio: Andreou and Boahen En las retinas artificiales normalmente se realizan operaciones
analógicas entre píxeles vecinos. La retina de Andreou and Boahen es un ejemplo más.
Retinas de silicio: Filtro Gaussiano de Kobayashi y otros Ejemplo de la implementación de un filtro Gaussiano analógico.
PASIC sensor from Linköping University
MAP2200 Como la anterior pero:
Más resolución (256x256).
ALU mejorada. Posibilidad de
comunicación entre columnas.
Standley's orientation detection chip
Ward & Syrzycki's Receptive Field Sensors
Keast & Sodini's CCD/CMOS Imager and Processor
Venier et al.'s Solar Illumination Monitoring Chip
Sensores espacio-temporales Los sensores vistos hasta ahora realizaban
un procesador “estático” de la señal, es decir, procesaban la información espacial del sensor.
Los sensores espacio-temporales realizan un procesado que depende también del tiempo.
La mayoría de estos sensores sirven para la detección del movimiento.
Lyon’s eye Es uno de los primeros. Se utilizaba para los
ratones ópticos.
Tanner and Mead's correlating motion detection chip La imagen anterior es
binaria y se guarda en latches.
Tanner and Mead's optic flow motion detection chip
Bair and Koch's motion detection chip
Se trata de un circuito que mide el paso por cero.
Delbrück's focusing chip Calcula el enfoque de
la imagen. Resta la imagen
original de la suavizada.
El enfoque se tiene cuando esta diferencia es máxima.
Delbrück's velocity tuned motion sensor
Detecta movimiento basado en correlación.
Detecta movimiento en un sentido y a un velocidad.
La idea es ir sumando los píxeles añadiendo un cierto retraso.
Meitzler et al.'s sampled-data motion chip
Se basa en correlación y en lugar de un retraso, se tiene un circuito de muestreo y retención.
Permite la detección de movimiento en dos sentidos.
Moini et al.'s insect vision-based motion detection chip
Está basado en la visión de los insectos.
El circuito básicamente hace la derivada temporal, dando la tendencia del cambio del píxel.
La información es del tipo (incremento, decremento, no cambio).
Moini et al.'s second insect vision-based motion detection chip Se trata de una
versión mejorada del anterior.
Al igual que el otro se trata de un sensor 1D formado por 64 células.
Dron's multi-scale veto CCD motion sensor Se basa en detectar
bordes. Se aplican filtros
espaciales tal como aparece en la figura.
Gottardi and Yang's CCD/CMOS motion sensor Es un sensor de una
dimensión. Está basado en
correlación. Se comparan las dos
últimas imágenes desplazadas hasta 5 píxeles, en uno y otro sentido.
Indiveri et al.'s time-to-crash sensor Está basado en redes
de neuronas. Calcula el tiempo al
impacto, según esta fórmula:
Indiveri et al.'s direction-of-heading detector Busca el FOE (Focus
Of Expansion). Se basa en el paso por
cero del flujo óptico.
McQuirk's CCD focus of expansion estimation chip
Calcula FOE suponiendo que en esos puntos el cambio temporal es menor. Usa CCD y CMOS.
Sarpeshkar et al.'s pulse mode motion detector
Está basado en correlacionar un píxel anterior con sus vecinos.
Meitzler et al.'s 2D position and motion detection chip
Se utilizaba para detectar la posición del sol en globos estratosféricos.
Aizawa et al.'s Image Sensor with Compression
Se compara cada píxel con su anterior, y si no ha cambiado significativamente, no se lee.
32x32 píxels. Este sensor abre la
posibilidad de procesado basado en cambios.
CNNUC Sensores neuronales Desarrollados en el CNM de
Sevilla. Cada sensor es una
neurona. El último llegaba a 64x64
elementos
Etienne-Cummings et al.'s Motion Detector Chip