procesamiento digital de imágenes m.c. juan carlos olivares rojas jolivares@uvaq.edu.mx mayo, 2009

Procesamiento Digital de Imágenes

M.C. Juan Carlos Olivares Rojasjolivares@uvaq.edu.mx

Mayo, 2009

Agenda• Introducción

• Transformaciones punto a punto.

• Transformaciones de 2 imágenes.

• Operaciones de vecindad.

• Transformaciones lógicas y geométricas.

Agenda• Detección de bordes.*

• Extracción de Regiones.*

• Detección de Movimiento.*

• Detección de objetos 3D.*

Introducción• El Procesamiento Digital de Imágenes es un

área de la graficación por computadora muy importante.

• Los fundamentos del Procesamiento Digital de Imágenes están íntimamente relacionados con el tratamiento de señales, por lo que se les puede aplicar elementos como filtros, transformación, detección, extracción de elementos, entre otras cosas.

Procesamiento Digital de Imágenes• Mejorar la calidad de las imágenes para su

posterior interpretación por una persona.

Objetivo: Remover objetos Remover problemas por movimiento o

desenfoque. Mejorar ciertas propiedades (color, contraste,

brillo, etc.).

Visión Artificial• Extraer características de la imagen para su

descripción e interpretación por una computadora.

Objetivos: Determinar la localización y tipo de objetos en

la imagen. Construir una representación tridimensional de

un objeto. Analizar un objeto para determinar sus

características.

AplicacionesAplicación:

Robótica móvil y vehículos autónomos. Manufactura (localización, identificación y

ensamblado de piezas). Interpretación de imágenes aéreas y de satélite. Análisis e interpretación de imágenes médicas. Interpretación de escritura, dibujos, planos. Análisis de imágenes microscópicas en química,

física, biología. Monitoreo de objetos y personas (control y

seguridad).

Aplicaciones Mediciones. Empaque. Robótica. Verificación de ensambles. Inspección Industrial. Inspección de Papel y Madera. OCR

Empaque

OCR

Inspección de Alimentos

Procesamiento

Calidad de la Imagen

Mala Buena

Iluminación• La iluminación también juega un papel muy

importante en el proceso de adquirir buenas imágenes aptas para procesamiento

Detección de Bordes

Segmentación

Segmentación

Proyectos de Visión Artificial

Proyectos de Visión Artificial

MODULO DE LOCALIZACIÓN MODULO DE SEGUIMIENTO

Experimento No. 8

Proyectos de Visión

Proyectos de Visión

Procesamiento de Visión Artificial

Base de Conocimientos

SegmentaciónRepresentación

ydescripción

Preprocesado

Adquisición de la imagen

Reconocimiento einterpretación

Introducción• La adquisición de la imagen consiste en la

obtención de una señal visual del mundo analógico al digital (cámara fotográfica, video, escáner, etc.).

• La limpieza consiste en eliminar aspectos como el ruido al aplicar filtros o bien mejorar la calidad de la imagen.

Introducción• El proceso de segmentación consiste en

dividir la imagen en sus partes principales.

• Presentación y Descripción: en base a la segmentación se describe cada parte.

• Interpretación y Reconocimiento: dado el descriptor de un objeto se compara con la descripción que se cuenta en la base de conocimientos y se realiza una acción.

Introducción• Base de Conocimientos: es un repositorio

donde se almacén la descripción de diversos objetos que serán útiles en el reconocimiento de patrones (formas visuales).

Normal1 punto en 8 píxel

Introducción

256 Niveles de Gris 4 Niveles de Gris

Introducción

Ojo de Lena Valores del Ojo

Características de las Imágenes• Antes de entrar a los algoritmos y métodos de

procesamiento digital de imágenes es conveniente ver las características de las imágenes.

• Histograma es una gráfica en el cual se cuenta la frecuencia de color, es útil para cambiar la intensidad de luz de una imagen respetado sus atributos característicos.

Histograma

Histograma de Lena Normal

Histograma de Lena Obscuro

Ruido• Se considera ruido a toda aquella variación de

la tonalidad de la imagen no debida a la luz recibida.

• Existen diversos tipos de ruidos: correlados (cuando depende de la posición del pixel), no correlados (cuando depende de la posición del pixel, se basan en distribuciones de probabilidad como la Gaussiana) y los ruidos aleatorios o de “sal y pimienta”.

Ruido

Normal

Ruido Correlado

Ruido Gaussiano

Ruido Aleatorio

Brillo• Se define como brillo al nivel medio de gris de

una imagen.

Brillo 104

Brillo 56

Contraste• Es la variación de gris de un punto respecto al

brillo de la imagen. Se puede definir de forma aproximada con bajo consumo de recursos computacionales como:

• La definición correcta es:

Contraste

C1= 95.81%C2= 26.45%

C1= 94.42%C2= 10.56%

Nitidez• Es la respuesta de la imagen ante cambios

bruscos de iluminación.

Nitidez• La baja nitidez de una imagen puede estar

motivada por: – Objetos fuera del rango de enfoque de la óptica. – Deficiencias en el elemento sensor. – Efectos de algoritmos de tratamiento de imágenes.

Nitidez

Nitidez 18.245% Nitidez 9.777%

Diferencia Cuadrática de Dos Imágenes

• La diferencia es útil cuando se desea calcular el grado de variación de una imagen obtenida con un algoritmo de procesamiento de imagen con respecto a la original.

• En donde Fr es la imagen base y f la imagen que se desea analizar.

Diferencia Cuadrática de Dos Imágenes

ECT=28.957, ECN=26.536%

Transformaciones Punto a Punto• Son las transformaciones más simple sobre

una imagen o señal.

• Las imágenes se pueden representar como matrices de puntos, donde cada punto tiene asociado un modelo de color.

• Un ejemplo básico sería la multiplicación por un escalar.

Transformación Punto a Punto• Algunos ejemplos de transformaciones

puntuales:– Suma. – Resta. – Multiplicación. – División. – Máximo. – Mínimo. – Umbralización. – Inversa.

Transformación Punto a Punto

InversaOriginal

Adquisición de Imágenes• Una imagen no es otra cosa que una señal

(función en el tiempo),la cual representa un conjunto de puntos en un plano cartesiano y en donde cada punto tiene asociado un valor de intensidad (color) de un rango válido.

• Para este curso se utilizará Java en su forma nativa (Clase PixelGrabber) así como algunas otras APIs como J2ME

PixelGrabber//Carga de una imagen

import java.awt.*;

import java.awt.event.*;

import java.awt.image.*;

public class Carga extends Frame{

Image imagen, imagenNueva;

int ancho, alto, insetArriba, insetIzqda;

PixelGrabberPublic Carga(){

imagen = Toolkit.getDefaultToolkit().getImage("imagen_01.jpg");

MediaTracker tracker = new MediaTracker( this );

tracker.addImage( imagen,1 );

try {

if( !tracker.waitForID( 1,10000)) {

PixelGrabber System.out.println( "Error en la carga" );

System.exit( 1 );}

} catch( InterruptedException e ){

System.out.println( e );}

ancho = imagen.getWidth( this );

alto = imagen.getHeight( this );

this.setVisible( true );

insetArriba = this.getInsets().top;

insetIzqda = this.getInsets().left;

PixelGrabberthis.setSize(insetIzqda+ancho,

insetArriba+(2*alto) );

this.setTitle( "Cargar una Imagen" );

this.setBackground( Color.yellow );

int[] pix = new int[ancho * alto];

try {

PixelGrabber pgObj = new PixelGrabber( imagen,0,0,ancho,alto,pix,0,ancho );

if( pgObj.grabPixels() && ( (pgObj.getStatus() & ImageObserver.ALLBITS ) != 0 ) ) {

PixelGrabberFor ( int i=0; i < (ancho*alto); i++ ) {

System.out.println(“val=”+pix[i]);

} } else {

System.out.println( "Problemas al descomponer la imagen" ); } } catch( InterruptedException e ) { System.out.println( e ); }

imagenNueva = this.createImage( new MemoryImageSource(ancho,alto,pix,0,ancho ) );

PixelGrabberthis.addWindowListener(new WindowAdapter()

{public void windowClosing( WindowEvent evt ) {System.exit( 0 );}});}

public void paint( Graphics g ) {

if( imagenNueva != null ) {

g.drawImage( imagen,insetIzqda,insetArriba,this );

g.drawImage( imagenNueva,insetIzqda,insetArriba+alto,this );} }

PixelGrabberpublic static void main (String args[]) {

Cargar obj = new Cargar();

obj.repaint();

}

}

Operador Identidad• Este operador crea una imagen de salida que

es idéntica a la imagen de entrada.

• Función de transformación:

pq

Operador Identidad

Imagen 1 Transformación

Operador Inverso o Negativo• Este operador crea una imagen de salida que

es la inversa de la imagen de entrada.

• Para una imagen con valores de gris en el rango de 0 a 255 la función de transformación es:

pq 255

Operador Inverso o Negativo

Imagen 1 Transformación

Operador Umbral• Se crea una imagen de salida binaria a partir

de una imagen de grises, donde el nivel de transición está dado por el parámetro de entrada p1.

• Función de transformación:

1

1

2550

ppparapppara

q

Operador Umbral

Imagen 1 Transformación

1501 p

Operador Umbral Binario• Esta clase de transformación crea una imagen

de salida binaria a partir de una imagen de grises, donde todos los valores de gris cuyo nivel está en el intervalo definido por p1 y p2 son transformados a 255, y todos los valores fuera de ese intervalo a 0.

• Función de transformación:

21

21

0255

pppparappópppara

q

Operador Umbral Binario

Operador Intervalo Umbral Binario

Imagen 1 Transformación

19040 21 pp

Operador Intervalo Umbral Binario Invertido

• Esta clase de transformación crea una imagen de salida binaria a partir de una imagen de grises, donde todos los valores de gris cuyos niveles están en el intervalo definido por p1 y p2 son transformados a 0, y todos los valores fuera de ese intervalo a 255.

• Función de transformación:

21

21

2550

pppparappópppara

q

Operador Intervalo de Umbral Binario Invertido

Operador Intervalo de Umbral Binario Invertido

Imagen 1 Transformación

19040 21 pp

Operador Umbral Escala de Grises

Se crea una imagen de salida con los únicos valores de nivel de gris comprendidos en el intervalo definido por p1 y p2, y el resto a 255.

Función de transformación:

21

21255pppparap

ppóppparaq

Operador Umbral Escala Grises

Imagen 1 Transformación

19040 21 pp

Operador Umbral Escala Grises Invertido

• Se crea una imagen de salida con los únicos valores de nivel de gris invertidos comprendidos en el intervalo definido por p1 y p2, y el resto a 255.

• Función de transformación:

21

21

255255

pppparapppópppara

q

Operador Umbral Escala de Grises Invertido

Imagen 1 Transformación

19040 21 pp

Operador de Extensión• Proporciona una imagen de salida con la

escala de grises completa correspondiente al intervalo de entrada definido por p1 y p2, y suprime todos los valores fuera de este rango.

• Función de transformación:

21

121

21

255)(

0

pppparapp

pp

ppóppparaq

Operador de Extensión

Imagen 1 Transformación

19040 21 pp

Operador de Reducción del Nivel de Gris

• Proporciona una imagen de salida con un menor número de niveles de gris respecto de la imagen original de entrada, la imagen de entrada es reducida a n+1 niveles de gris.

• Función de transformación:

255

...

2

0

1

322

11

1

ppparaq

pppparaq

pppparaq

pppara

q

nn

Transformaciones de 2 imágenes• La transformación de dos imágenes

generalmente hace referencia a que se utiliza otra matriz para modificar cierto aspecto de los atributos de la señal original. Por ejemplo la intensidad, los tonos de luz, etc.

• Se pueden utilizar algunos operadores como la multiplicación, suma de matrices, entre otras.

Transformación de Dos Imágenes• Algunos ejemplos de operaciones son:– Suma. – Resta. – Multiplicación. – División. – Máximo. – Mínimo. – AND. – OR. – XOR.

Transformación de dos Imágenes

originalImagen con ruido Gausiano

Diferencia entre las imagen

Diferencia multiplicada por 6

Transformaciones de Dos Imágenes

Original Umbralizada 128

Imagen Inversa de la Umbralizada 128

Mínimo de la Inversa Umbralizada 128 y la original

Transformación Punto a Punto• Para esta transformación se utilizan 2

imágenes de entrada A y B, para crear una nueva imagen C.

• La dimensión de las imágenes es la misma.

• La función de la transformación fD puede ser lineal o no.

• Esta función se aplica a todos los pares de pixeles en las imágenes de entrada.

Transformación Punto a Punto• La función característica esta dada por la

siguiente ecuación:

• La función fD puede ser adición, sustracción, multiplicación, división, exponenciación, máximo, o cualquier otra función que se pueda definir.

),( ,,, yxyxDyx bafc

Transformación Punto a Punto• La función deberá tener un factor de escala

apropiado k para mantener los valores de salida dentro de un rango adecuado, así como para evitar desbordamientos y valores negativos.

• La transformación implica dos variables asociadas con los pares de pixeles:

)),(),,((, yxbyxafR Dyx

Transformación Punto a Punto

Suma (Adición)• La adición puede utilizarse para reducir los

efectos del ruido en la imagen.

• El valor de salida es:

• Donde k es 2 para el caso de las 2 imágenes de entrada.

• Los valores de salida finales deben redondearse por defecto o por exceso.

kbac yxyxyx /)( ,,,

Sustracción• La sustracción es técnica útil para detectar el

cambio producido en dos imágenes que han sido captadas en 2 instantes de tiempo diferentes.

• Los datos de ambas imágenes también pueden representar pérdidas de calor o frío, o si la fuente de datos es el espectro infrarrojo.

)( ,,, yxyxyx bakc

Sustracción• Puesto que en el procesamiento de imágenes

se utilizan números positivos, es necesario definir la salida de alguna manera que haga todos los valores positivos, esto implica un reescalado donde el valor mas negativo se corresponde con el 0 y el máximo con el 255 para la escala de grises del 0 al 255.

Adición y Substracción

Imagen 2 Imagen 3

Suma 2+3 Resta 2-3

Operadores de Vecindad• En esta transformación, el nuevo valor del pixel

en la imagen de salida, depende de la combinación de los valores de los pixeles en la vecindad del pixel de la imagen original que esta siendo transformada.

• Lo que resta definir son los valores de la ponderación, lo cual se hace generalmente definiendo una máscara con valores constantes, dicha máscara es un filtro.

Operadores de Vecindad• Para la siguiente máscara:

• El valor del pixel q(x,y) esta dado por la suma ponderada, la cual nos da el efecto de Repujado en Relieve:

121

000

121

)1,1(1)1,(2)1,1(1

),1(0),(0),1(0

)1,1(1)1,(2)1,1(1),(

yxpyxpyxp

yxpyxpyxp

yxpyxyxpyxq

Operadores de Vecindad

Imagen 1 Transformación

Operador Vecindad Mayor Contraste

• Con la máscara siguiente se obtiene mayor contraste:

1667.06667.01667.0

6667.03333.46667.0

1667.06667.01667.0

Imagen 4 Transformación

Transformaciones Globales• La transformación depende de todos los puntos

de la imagen. Pueden utilizarse estadísticos como en la ecualización o máximos y mínimos para el escalado de imágenes.

Transformaciones Globales

Imagen Original Imagen Ecualizada

Operaciones de vecindad• Antes de ver los operadores de vecindad

conviene recalcar las formas en que ésta se da.

Vecindad a 4 Vecindad a 8

Reducción de Ruido• Los operadores de vecindad permiten definir

filtros para la eliminación de ruido en las imágenes.

• El promedio del entorno de vecindad es un filtro lineal en el cual se promedian los valores de intensidad de un punto en base a sus vecinos.

Reducción de Ruido

Entorno de vecindad

Imagen con ruido gausisano s=5

Imagen Filtrada

Reducción de Ruido• Existen otros filtros como los no lineales o

estadísticos. Donde el algoritmo y los entornos de vecindad cambian.

• No todos los filtros aplican de la misma manera a las imágenes por lo que se debe probarlos.

Transformaciones lógicas• Generalmente se utilizan máscaras para poder

encontrar alguna característica útil en las imágenes:

– AND. – OR. – XOR.

Transformaciones Lógicas

Imagen 5 Imagen 6

Binarización de 5 (umbral= 128) Binarización de 6 (umbral= 128)

Transformaciones Lógicas

Negación de la Binarización de 5

Negación de la Binarización de 6

Operación OR entre 5 y 6 Operación AND entre 5 y 6

Transformaciones Lógicas

Transformación 5 <= 6Operación XOR entre 5 y 6

Transformaciones geométricas• La imagen se transforma, realizándose un

cambio de variables pero no de dominio.

• La posición de cada píxel es función de la posición del píxel correspondiente en la imagen original, y viene determinada por una transformación geométrica.

Transformaciones Geométricas• Entre las más empleadas están:

  – Homotecia. – Zoom. – Traslación. – Rotación. Transformación de Hotelling. – Warping. Corrección de distorsiones. – Morphing.

Transformaciones Globales• La imagen se transforma en globalmente, sin

considerar los píxels de forma individual, realizándose un cambio de dominio. Entre las más empleadas están:

• Transformada de Fourier. • Transformada de Hadamard-Walsh. • Transformada de Karhunen-Loève (KLT). • Transformada discreta del coseno (DLT).

Transformaciones Globales• Transformada de Hough.

• Cambio entre modelos del espacio de colores.

• Y sus correspondientes transformadas inversas.

Detección de bordes.• Se denomina borde en una imagen a cualquier

discontinuidad que sufre alguna función de intensidad sobre los puntos de la misma.

• En la proyección bidimensional de una escena tridimensional intervienen distintos tipos de bordes:

Detección de Bordes• Cambio brusco en la distancia cámara-objetos,

con normal continua (dc) o con discontinuidad en la normal (dnc).

• Cambio en la normal del objeto (n). • Cambio en la reflectancia del objeto (r). • Cambio en la proyección de la luz incidente (s).

Detección de Bordes

Detección de Bordes

Imagen OriginalRealce de Bordes Operador Sobel

Aplicación del Umbral

Detección de Bordes

• También se utilizan los gradientes.

• La detección de bordes es la primera parte para la segmentación. Consiste en determinar los cambios de intensidad de los pixeles, es muy sensible al ruido.

• Esta técnica nos permitirá más adelante extraer características de las regiones de la imagen.

Extracción de Regiones• Una vez que se ha podido segmentar una

imagen, es posible extraer toda la información de una imagen, la cual no es otra cosa que otra matriz.

• A esa matriz se le pueden hacer comparaciones como por ejemplo para detectar el reconocimiento de escritura en un PDA o el reconocimiento de una huella digital.

Detección de Movimiento

• La detección de movimientos ocurre cuando se realiza una comparativa entre dos imágenes muy similares.

• Se debe realizar una segmentación de la imagen para poder ubicar un área sobre la cual trabajar y notar las diferencias.

• Las imágenes deben tener las mismas características.

Detección de Movimiento

• Cualquier dispositivo de adquisición de video debe permitir el poder almacenar y manipular imágenes de manera individual.

• Al detectar movimiento surgen algunas preguntas de interés:

• ¿Cómo detectar el movimiento de un ojo?• ¿Cómo detectar el movimiento de una persona?

Detección de Movimiento• ¿Qué ocurre cuando una imagen es totalmente

diferente a otra?

• Para auxiliarse en la detección de movimiento se suele utilizar puntos clave que ayuden a detectar los movimientos. En un cuerpo humano esos puntos clave son generalmente las extremidades: codos, rodillas, tobillo, dedos, etc. y depende de lo que se va a tratar de detectar.

Detección de objetos 3D• Para poder detectar figuras en 3D se ocupan

tener conocimiento de cómo está formado la imagen.

• En imágenes bidimensionales se tienen que detectar bordes que puedan definirnos el volumen de un objeto.

• Tambien se pueden utilizar imágenes del mismo objeto desde diferentes puntos de vista.

Detección de objetos 3D• En algunos casos se analizan las imágenes

desde diferentes ángulos y se trata de reconstruir las imágenes en 3D.

• Por ejemplo se trata de aplicar las tomografías desde diferentes cortes para poder definir un modelo en 3D del cerebro.

Transformaciones Lógicas• Dentro de las operaciones básicas se

encuentra la binarización de una imagen, donde la imagen de salida sólo posee 2 niveles de gris, 0 y 255.

• Si se considera los números anteriores como el 0 lógico y el 1 lógico se obtiene una imagen binaria lógica.

Transformaciones Lógicas• Con una imagen de estas características es

posible realizar operaciones lógicas, entre ellas negación, and, or, xor.

• También, dadas 2 imágenes, es posible realizar sobre ellas otro tipo de operaciones relacionales, tales como <, >, <=, >=, por ejemplo, dadas las imágenes A y B, una nueva imagen C = (A<=B), se obtiene realizando la comparación dada pixel a pixel y obteniendo el valor de 1 para C en aquellos pixeles donde se cumple la relación y 0 donde no se cumple.

Transformadas Geométricas• El objetivo fundamental de una operación

geométrica es la transformación de los valores de una imagen tal y como podría observarse desde otro punto de vista.

• Las operaciones de ampliar o reducir una imagen, no es sino aproximar o alejar el punto de vista, rotarla equivale a girar el punto de observación, trasladarla es hacer lo propio con dicho punto.

Transformaciones Geométricas• En una imagen original, los pixeles se

encuentran dentro de una estructura matricial (retícula) es decir, una rejilla.

• Al transformar esta rejilla según un desplazamiento, un giro o un acercamiento, los nuevos pixeles ya no tienen por qué quedar situados sobre tales intersecciones y caerán, por lo general, sobre puntos intermedios de ellos.

Transformaciones Geométricas

Transformaciones Geométricas• Para encontrar los nuevos puntos se requiere

interpolar.

• La interpolación puede considerarse como el cálculo del valor de intensidad de un pixel, en una posición cualquiera, como una función de los pixeles que le rodean.

• Una forma de hacerlo es suponer que el pixel toma el mismo valor que el mas cercano de entre los cuatro que le rodean.

Transformaciones Geométricas• Para decidir cual es el mas cercano se puede

utilizar la distancia Euclídea.

• Una forma de interpolar con mejores resultados pero con mayor costo computacional es la interpolación bilineal, la cual asigna al pixel en cuestión un valor medio ponderado de las intensidades de los 4 pixeles que le rodean.

• Los factores de ponderación vienen dados por la distancia entre el pixel y los del entorno.

Transformaciones Geométricas

Referencias• Súcar, E, Gómez, G, Procesamiento de

Imágenes y Visión Computacional, Departamento de Computación, Tecnológico de Monterrey Campus Cuernavaca.

• http://isa.umh.es/titere/tutorial/vision/

• Ferreira, R. (2009), Procesamiento Digital de Imágenes con Java, Flisol, Morelia.

Referencias• González, R., et al., (2007) Digital Image

Processing, Addisson-Wesley, Estados Unidos.

Questions?