Procesamiento adaptativo de señales y Procesamiento adaptativo de señales y reconocimiento de patronesreconocimiento de patrones
Presenta:Presenta:Dr. Victor Hugo Diaz RamirezDr. Victor Hugo Diaz Ramirez
Centro de Investigación y Desarrollo de Tecnología DigitalCentro de Investigación y Desarrollo de Tecnología Digital
TituloTitulo
CITEDI-IPNCITEDI-IPN
24/03/09 2
Contenido
Introducción
Procesamiento adaptativo de señales
Reconocimiento adaptativos de objetos
Conclusiones
Referencias
24/03/09 3
Introducción
Sistemas de procesamiento de señales
Que hace diferentes a los sistemas de procesamiento??
Tipos de señales:AnalógicasDigitalesDimensión: 1D, 2D, 3D, etc.
Tipo de Tecnología:AnalógicaDigitalOpto-Digital
Enfoque TeóricoSeñales y sistemasEstadísticaHeurísticas
24/03/09 4
Introducción
Operadores clásicos de transformación de señales
Operador GlobalSu complejidad computacional es veces el tamaño de la entrada.Transformadas Ortogonales.Filtros Lineales
N2
Operador LocalSu complejidad computacional es veces el tamaño de la entrada.Mascaras de convoluciónOperaciones Morfológicas
V×N
Operador PuntualSu complejidad computacional es veces el tamaño de la entrada.Umbralización.Realce de contraste.
N
24/03/09 5
Problemática
Filtrado local clásico
Destruyen los detalles de las señales como bordes y estructuras finas.
Pueden suprimir distorsiones ocasionadas por procesos estocásticos estacionarios.
24/03/09 6
Procesamiento local adaptativoFiltros localmente adaptativosSon espacialmente no-homogéneos.Se adaptan en base a información espacial local: estadística robusta, relación espacial entre elementos de la señal.Pueden implementarse en el dominio temporal/espacial y en el dominio de la frecuencia usando transformadas de tiempo corto.
Filtros de orden prioritario
Muestra local
Vecindarios localmente adaptativos
24/03/09 7
Procesamiento local adaptativo
Dominio de la frecuencia: Transformadas de tiempo corto
24/03/09 8
Procesamiento local adaptativo
Filtros de orden prioritario utilizando vecindades adaptativas (V. Kober, Opt. Eng. 2001)
Filtrado adaptativo local en el dominio de transformadas de tiempo-corto
24/03/09 9
Procesamiento local adaptativoSupresión de ruido utilizando vecindades adaptativas
24/03/09 10
Métodos adaptativos para el reconocimiento de objetos
Cuanto tiempo tarda el sistema en darrespuesta a estas preguntas?
Esta o no, el objeto deseado en la escena?
Cual es la posición del objeto en la escena?
Preguntas:
Escena de entrada
Objeto deseado
Que es el reconocimiento de objetos?
Rama de la óptica cuyo objetivo es el de detectar y localizar objetos de interés a partir de una escena observada.
Que aplicaciones tiene?
Industria, Para inspección automática de control de calidad.Biología, Detección de microorganismos.Medicina, Diagnostico de enfermedades.Seguridad, Para el reconocimiento de huellas digitales y/o rostros.Robótica, Para programar los movimientos de un robot.muchas otras
24/03/09 11
Reconocimiento de patronesAlternativas para desarrollar reconocimiento de patrones
Implementación
Reconocimientode
Patrones
MatemáticaClásica
Correlación ClasificadoresEstadísticos
ProcesadoresOptodigitales
ProcesadoresDigitales
Heurísticas
RedesNeuronales
AlgoritmosEvolutivos
24/03/09 12
Reconocimiento de objetosEstimación estadística en la detección de objetos
Sea un ensamble de k imágenes observado, donde , y son muestras de la señal de entrada y de la función de ruido (Gaussiano), respectivamente.
La probabilidad a-posteriori de detectar , dado , esta dada por
La estimación de máxima probabilidad a-posteriori de , esta dada por
bk x =ak x ; x0 nk x ak nk
x0 bk
P {ak x ; x0∣bk }=P {ak x ; x 0}P {bk∣ak x ; x0}
P {bk }=P {ak x ; x 0}P {nk=bk−ak x ; x 0}
P {bk }
x0=argmaxx0
{P {ak x ; x0}P {bk−ak x ; x 0}}
=argminx0
{∑k=0
N−1
∣bk−ak x ; x 0∣2−22 lnP x0}
=argmaxx0
{∑k=0
N−1
bk ak x ; x022ln P x 0}
xO
El estimador de máxima verosimilitud, es entonces
x0=argmaxx0
{∑k=0
N−1
⟨bk x , ak x ; x 0⟩}
24/03/09 13
Reconocimiento de objetos por correlación
x0={ ⟨b[k ]a k ;20 ⟩ }
La estimación es
Análisis de Correlación
c [k ]=∑n=0
N−1
f [n]h[kn]
x0=argmaxk
{⟨b[n] ,h[n ;k ]⟩}
Cuando k = 20, se obtiene el valor máximo
24/03/09 14
Reconocimiento de objetos por correlación
Diagrama a bloques de un correlador de señales
Captura dela escena
Escena
s x , y
f x ,y =s x , y n x , y
Sistema LIT
h x , y
Salida
c x ,y =f x , y⊗hx , y Pos-procesamiento
(localizar coordenadasde intensidad máxima)
Decisión
Se necesita poner especial atención en el diseño del filtro Se necesita poner especial atención en el diseño del filtro h x , y
⊗LIT: Lineal Invariante en el Tiempo
Convolución
24/03/09 15
Reconocimiento de objetos
Transformadade Fourier
Filtro linealen el dominio
de la frecuencia
Transformadainversa
de Fourier
Imagen de entrada
Imagen de salida
f x , y F ,
H ,
C ,=F ,H , c x , y =f x , y ⊗h x , y
Procesador digital 4f (VanderLugt, IEEE Trans. Inf. Th. 1964)
Imagen de entrada
Corrrelador digital de transformada conjunta (JTC) (Weaver y Goodman, Appl. Opt. 1966)
Imagen de referencia
+Transformada
de Fourier
Sensor deintensidad(cámara)
Transformadainversa
de Fourier
Imagen de salida
f c x , y =f xa , y r x−a, y
Fc ,=F ,exp iaR ,exp −ia
∣Fc ,∣2=∣F ,∣2∣R ,∣2
F ,R∗ ,exp i2aR ,F∗ ,exp −i2a
cx , y =cff x , y crr x , y cfr x2a , y c rf x−2a , y
Arquitecturas Básicas
24/03/09 16
Reconocimiento de objetos
Como implementar un correlador de señales?
Computadora PersonalMediante algoritmos programados en lenguajes de alto nivel.
Sistemas InmersosA través de la programación de circuitos integrados especiales como: procesadores digitales de señales (DSP) o controladores digitales de señales (DSC).
24/03/09 17
Procesamiento de objetos
LáserPrisma
equilátero
Placa retardadora
Diafragma
Filtroespacial
LenteLCD
Polarizador
CCD
Diafragma
Lente
Procesadores opto-digitales (en tiempo-real)
24/03/09 18
Reconocimiento de objetosModelos de Imagen
+ =
+ * =
* =
Modelo aditivo
Modelo disjunto
Modelo multiplicativo
s x , y nax , y f ax , y
s x , y
ndx , y w x ,y f dx , y
nmx , y
s x , y
f mx , y
f ax , y =s x , y nax , y
f dx , y =s x , y ndx , y w x , y
f mx , y=s x ,y nmx , y
24/03/09 19
Reconocimiento de objetos
Escena 1Dist. Geométricas
Escena 2Ruido disjunto
Objeto deseado
Correlación 1
Escena 3Iluminación no-homogénea
La operación de correlación clásica, es muy sensible a:
Distorsionesgeométricas de los objetos.
Ruido no-homogéneo, en la escena.
Iluminación no-homogénea de la escena.Correlación 2 Correlación 3
24/03/09 20
Diseño de filtros lineales
Existen tres formas de diseñar filtros lineales de correlación:
Enfoque clásico Los filtros se diseñan optimizando algún criterio estadístico.
Enfoque compuestoLos filtros se diseñan como una combinación de imágenes de entrenamiento que, deben representar a los objetos y las distorsiones esperadas.
Enfoque adaptativoLos filtros se diseñan con un algoritmo de adaptación que, sintetiza la respuesta al impulso del filtro usando información del entorno.
Reconocimiento de objetos por correlación
24/03/09 21
Métricas de desempeño
POE Relación pico a energía de salida; medida para caracterizar la claridad del pico de correlación
POE=∣E {c 0,0}∣2
∣E {c x , y }∣2
DC Capacidad de discriminación; Habilidad del filtro para reconocer los objetos de la clase verdadera y rechazar los objetos de la clase falsa
DC=1−∣cb0,0∣2
∣ct 0,0 ∣2
LE Eficiencia de luz; Medida de la relación de la intensidad de la luz en el plano de correlación con el total de luz de la entrada.
LE=∫−∞
∞
∫−∞
∞
∣c x , y ∣2dxdy
∫−∞∞
∫−∞∞
∣f x , y ∣2dxdy
SNR Relación señal a ruido; medida para caracterizar el ruido en el pico de correlación
SNR=∣E {c 0,0}∣2
VAR {c 0,0}* c(0,0): Correlación en el origen.
* : valor máximo, área del fondo.* : valor máximo, área del objeto.cb0,0 c t 0,0
(V. B. K. Vijaya-Kumar, 2005)
24/03/09 22
Reconocimiento de objetos por correlación
Filtro de acoplamiento clásico, CMF (Vanderlugt, IEEE Trans. Inf. Th. 1964)
H , =T ∗ ,
Pn , Optimiza la SNR para el modelo aditivo
Filtro óptimo, OF (Javidi, 1997)
Hopt ,=t [T
∗ ,bW , ]
∗
12
Nm ,⊗[∣T ,bW ,∣2 12
Nb0 ,⊗∣W ,∣2 ]Na ,
Optimiza la POE para el modelo mixto (aditivo, disjunto y multiplicativo)
Filtro homomorfico HF (Arsenault, Opt. Lett. 2001)
f x , y =log [f x ,y =u x , y t x ,y ]=log[ux , y]log [t x , y ]
TF H ,= T∗ , TIF
24/03/09 23
Correladores de transformada conjunta (JTC)
JTC no-lineal (Javidi, Appl. Opt. 1989)
Imagen de entrada
Imagen de referencia
+ Transformadade Fourier
Sensor deintensidad(cámara)
Transformadainversa
de Fourier
Imagen de salidaJPS=∣ JPS∣1/k
JTC con ajuste de franjas, FAJTC (Alam, Appl. Opt. 1993)
Imagen de entrada
Imagen de referencia
+ Transformadade Fourier
Sensor deintensidad(cámara)
Transformadainversa
de Fourier
Imagen de salidaFAF
k=1
k=x
k=0
FAF=B ,
A ,∣T ,∣2B ,
A ,
T ,
Función de ganancia
Función para controlar polos
Espectro del objeto de referencia
24/03/09 24
Funciones discriminantes sintéticas (SDF)
Propuestos por Hester & Casasent en 1980
h x , y =a1 s1 x , y a2 s2 x , y ⋯an sn x , y
{s i∣ i=1,2,,n}
Imágenes de entrenamiento.
{a i∣ i=1,2, , n }
Coeficientes de peso
Con la restricción
∬−∞
∞
h∗x , y six , y dxdy=ciSmatriz mxN, donde cada columna contiene una imagen de entrenamiento si
En notación vectorial
h=Sa , c=Sh ,
Sustituyendo ecuaciones, y si esno-singular, se obtiene
Q= SS
h=S SS −1C
avector columna de {ai }
La clase verdadera y la clase falsa, se definen mediante
c=[1,1,,0,0,0]T
24/03/09 25
Métodos adaptativos de reconocimiento de objetos
Pueden garantizar un nivel de calidad para un problema en particular
La función del filtro se sintetiza utilizando información a priori del entorno, por ejemplo:
Estadísticas localesMorfología de los objetosInformación cromáticaCoordenadas a-priori de localización
A través de un algoritmo de adaptación sintetizan la función del filtro de correlación
24/03/09 26
Algoritmo de adaptación
correlación DC>=
deseada?
Encontrar coordenadasde máxima intensidaden área de correlación
Crear imagende entrenamiento
Agregar aclase-falsa
Crear filtroSDF
Agregar aclase-verdadera
Fin
Objeto deseado
Ruido disjunto
Escena de entrada
24/03/09 27
correlación DC>=
deseada?
Encontrar coordenadasde máxima intensidaden área de correlación
Crear imagende entrenamiento
Agregar aclase-falsa
Crear filtroSDF
Agregar aclase-verdadera
Fin
Objeto deseado
Ruido disjunto
Salida de correlaciónfiltro-ruido
(iteración 0)
Algoritmo de adaptación
24/03/09 28
correlación DC>=
deseada?
Encontrar coordenadasde máxima intensidaden área de correlación
Crear imagende entrenamiento
Agregar aclase-falsa
Crear filtroSDF
Agregar aclase-verdadera
Fin
Objeto deseado
Ruido disjunto
Salida de correlaciónfiltro-ruido
(iteración 0)
Algoritmo de adaptación
24/03/09 29
correlación DC>=
deseada?
Encontrar coordenadasde máxima intensidaden área de correlación
Crear imagende entrenamiento
Agregar aclase-falsa
Crear filtroSDF
Agregar aclase-verdadera
Fin
Objeto deseado
Ruido disjunto
Imagen de entrenamiento
Algoritmo de adaptación
24/03/09 30
correlación DC>=
deseada?
Encontrar coordenadasde máxima intensidaden área de correlación
Crear imagende entrenamiento
Agregar aclase-falsa
Crear filtroSDF
Agregar aclase-verdadera
Fin
Objeto deseado
Ruido disjunto
Salida de correlaciónfiltro-ruido
(iteración 1)Filtro SDF
Algoritmo de adaptación
24/03/09 31
correlación DC>=
deseada?
Encontrar coordenadasde máxima intensidaden área de correlación
Crear imagende entrenamiento
Agregar aclase-falsa
Crear filtroSDF
Agregar aclase-verdadera
Fin
Objeto deseado
Ruido disjunto
Salida de correlaciónfiltro-ruido
(iteración 4)Filtro SDF
Algoritmo de adaptación
24/03/09 32
Resultados
Escena
BJTC FAJTC AJTC
Objeto deseado
Respuesta al impulso del filtro adaptativo (8 iteraciones)
Diaz-Ramirez et. al. Appl. Opt 2006
24/03/09 33
Reconocimiento adaptativo de objetosDesempeño del filtro, 29 iteraciones: DC=0.95
24/03/09 34
Reconocimiento adaptativo de objetosSimulación por computadoraSimulación por computadora
24/03/09 35
Reconocimiento adaptativo de múltiples objetos
Escena de entrada Objeto no deseado (fondo)Objetos de interés
Intensidad del plano de correlación de salida, DC = 0.93
Diaz-Ramirez et. al. SPIE 2008
24/03/09 36
Reconocimiento adaptativo de múltiples objetosSeñales multicomponente (Policromaticas)
Escena de entrada
t1
t2
t3
Plano de correlación de salida
Comparación de desempeño de diferentes métodos
17 iteraciones, DC = 0.92
Diaz-Ramirez et. al. CIINDET 2008
24/03/09 37
Reconocimiento adaptativo de objetos en tiempo-real
Procesador optodigital 4f (VanderLugt, IEEE Trans. Inf, Th. 1964)
Correlador optodigital de transformada conjunta (JTC) (Weaver y Goodman, Appl. Opt. 1966)
f f f f
SLM 1 SLM 2L1 L2 CCD
f f
SLM 1 CCD 1L1
f f
SLM 2
CCD 2L2
luz coherente
plano de salida
imagen de entrada filtro lineal
imagen conjunta espectro conjunto plano de salida
24/03/09 38
Implementación opto-digitalMétodo de descomposición bipolar (Diaz-Ramirez et al, Appl. Opt. 2006)
hx , y =h x , y −h− x , y
h x , y ={hx , y ; hx , y 00 ; otra manera} h− x , y ={hx , y ; hx , y 0
0 ; otra manera}donde
Des esta forma, el área de correlación puede obtenerse mediante
c x ,y =∣f x , y⊙[h x , y −h− x ,y ]∣2
=∣f x , y⊙hx , y ∣2∣f x , y ⊙h− x , y∣
2
−2 [f x , y ⊗h x , y ] [f x , y⊗h−x , y ]
=∣f x , y⊙hx , y ∣2∣f x , y ⊙h− x , y∣
2
−2 [f x , y ⊙h x , y ]2 [f x , y⊙h−x , y ]2
24/03/09 39
Resultado Opto-digital
Imágenes conjuntas de entradaSalidas de correlación
Salida después de aplicar el pos-procesamientoRespuesta de intensidad del LCD
24/03/09 40
Resultados
a) Objeto deseado; b) Objeto falso; Fondo real. a) Escena de prueba; b) Intensidad de la imagen de referencia adaptativa solo-fase (3 iteraciones)
a) CJTC; b) BJTC; c) FAJTC; d) PIJTC; e) SDF mapped a) AJTC; b) APIJTC
24/03/09 41
Resultados: Pruebas estadísticas
24/03/09 42
Reconocimiento de objetos invariante a iluminación
Como se representa la iluminación en imágenes?Los modelos de iluminación describen la relación que existe entre la dirección de iluminación y la forma de la superficie.
Que tipos de superficies existen?Lambertiano (Superficies opacas)Especular (Superficies metálicas)Híbrido (Combinación de ambos modelos)
Geometría del modelo de iluminación
La luz reflejada en dirección el eje-z, es
depende de los parámetros de la dirección de la fuente: , , y .I x0, y0
r=∣S0∣
Estos parametros son conocidos o pueden ser estimados(Zheng y Chellapa, IEEE 1991)(Valles, Appl. Opt. 2006).
Diaz-Ramirez y Kober, Appl. Opt. 2009
24/03/09 43
Invariancia a iluminación
Consideremos la siguiente escena de entrada (modelo mixto)
donde y
En el dominio de Fourier, la escena es
En este caso, el filtro de Wiener es óptimo:
La señal restaurada en el dominio espacial es :f x = f x hr x
f x ≈t x ; x0 nx ; x0hr x
hr x =u∗x P t x
P t x ∣ux ∣2P nx
=1ux
∣ux ∣2
∣u x ∣2x
donde y , son estimaciones de la densidad espectral de potencia en el dominio espacial de y , respectivamente, y
P t x P n x T F =P n x / P t x
t x ; x0=t x−x0bW x−x0 n x ; x0=n x−x0w x−x0b0x
F =12
T ⊗U N
f x =[ t x−x0w x−x0b x ]u xn x=t x ; x0u xn x ; x0
24/03/09 44
Invariancia a iluminación
Bajo este nuevo modelo, optimizando la métrica MSE se obtiene el filtro de correlación óptimo
HMSE =[T bW ]
∗
∣T bW ∣2
12
B0 ⊗∣W ∣2
12
N ⊗∣Hr ∣2
El diagrama a bloques del sistema propuesto es como a continuacion:
24/03/09 45
Invariancia a iluminación
(a) Escena sin degradaciones (b) Función de iluminación (c) Señal observada
Resultados
24/03/09 46
Invariancia a Iluminación
Resultados con métodos existentes
Filtro homomorficoArsenault, Opt. Lett. 2001
Correlacion morfológicaGarcia, Appl. Opt. 2002
Filtro homomorfico-MSE Filtro óptimoJavidi, Appl. Opt. 1997
24/03/09 47
Invariancia a iluminación
Señal pre-procesada con el método propuesto
Intensidad del plano de correlación de salida
24/03/09 48
Conclusiones
Se han presentado diversas técnicas de procesamiento de señales. Explotando un enfoque adaptativo, es posible mejorar el desempeño de estos sistemas de procesamiento, en relación a las estrategias clasicas.
A través de las técnicas propuestas, pueden abordarse exitosamente los problemas típicos en el reconocimiento de objetos en imágenes, es decir, se proporciona invariancia a distorsiones geométricas de los objetos, ruido del fondo, ruido del sensor e iluminación no-homogénea
El desempeño de los procesadores propuestos fue comparado con las técnicas similares mas exitosas de la literatura reciente, en términos de su capacidad de discriminación, tolerancia a ruido aditivo, y complejidad computacional. En todos los casos, las técnicas propuestas proporcionan los mejores resultados.
Se realizaron un gran numero de experimentos físicos en los procesadores opto-digitales. En la implementación se contempla la configuración y caracterización de los LCDs como moduladores espaciales de luz. Como resultado, hemos obtenido reconocimiento de objetos en tiempo-real.
24/03/09 49
ReferenciasRevistas con Arbitraje RigurosoV. H. Diaz-Ramirez, V. Kober, Target recognition under nonuniform illumination conditions. Applied Optics 48(7), (2009).V. H. Díaz-Ramírez, V. Kober, Adaptive phase-input joint transform correlator. Applied Optics. 46(26): 6543-6551 p., (2007).V. H. Díaz-Ramírez, V. Kober, and J. Alvarez-Borrego, Pattern recognition with an adaptive joint transform correlator, Applied Optics. 45(23): 5929-5941 p. (2006)
Capítulos de librosV. Kober, V. H. Díaz-Ramírez, J. A. González-Fraga, and J. Alvarez-Borrego, Real-time pattern recognition with adaptive correlation filters. Vison Systems. Segmentation and Pattern Recognition. I-Tech Education and Publishing. 357-379 p. (2007).V. Kober, J. A. Gonzalez-Fraga, V. H. Diaz-Ramirez, y J. Alvarez-Borrego, “Sistemas adaptativos para el reconocimiento de patrones biologicos,” En: J. Alvarez-Borrego y M. C. Chavez-Sanchez, Eds., “Introduccion a la identificacion automatica de organismos y estructuras microscopicas y macroscopicas”. (2008)
Congresos InternacionalesV. H. Díaz-Ramírez, and V. Kober, “Detection of circuit board components with an adaptive multiclass correlation filter,” in optics and photonics for information processing, A. S. Awwal, K. M. Iftekharuddin, and B. Javidi, Eds., Proc. SPIE San Diego CA, (2008).V. H. Diaz-Ramirez, V. Kober, O. Jacuinde, and E. R. Lopez, “Procesador digital multicanal para el reconocimiento de multiples objetos en tiempo-real,” CIINDET (2008), Cuernavaca Moelos.V. H. Díaz-Ramírez, V. Kober. 2007. Illumination invariant adaptive joint transform correlator . Proc SPIE. San Diego, California. Vol. 6695, pp 66951B1-7. V. H. Díaz-Ramírez, V. Kober, J. Alvarez-Borrego. 2006. Pattern recognition with an adaptive phase-input joint transform correlator . En Proc. SPIE, San Diego, California. Vol. 6311, pp 6311131-11.M. I. Pinedo-Garcia, V. H. Díaz-Ramírez, V. Kober. 2007. Recognition of multiple objects with adaptive correlation filters . En 7th Workshop PRIS 2007, pp 199-206. Lisboa Portugal.M. I. Pinedo-Garcia, V. H. Díaz-Ramírez, V. Kober. 2007. Multiclass object recognition and classification with adaptive correlation filters. International Conference on Image Processing, Computer Vision, and Pattern Recognition (IPCV'07). Las Vegas, Nevada.V. H. Díaz-Ramírez, V. Kober, J. Alvarez Borrego. 2005. Real-time pattern recognition with adaptive correlation filters . Proc SPIE, San Diego, California. Vol. 5909, pp 5909211-5909217.J. A. González-Fraga, V. H. Díaz-Ramírez, V. Kober , J. Alvarez Borrego. 2005. Improving the discrimination capability with an adaptive synthetic discriminant function filter. En 2nd Iberian Conference on Pattern Recognition and Image Analysis. Lisboa Portugal. Vol. 3523, pp 83-90.
24/03/09 50
Fin
Gracias a Todos por su Presencia !!!