eliminación de artificios de cuantificación en imágenes usando proyecciones sobre conjuntos...

Eliminación de Artificios de Cuantificación en Imágenes usando Proyecciones sobre Conjuntos Convexos en Espacios Transformados

Luis Mancera Pascual

Luis Mancera Pascual - 01/07/2005 2

INTRODUCCIÓN

Luis Mancera Pascual - 01/07/2005 3

CUANTIFICACIÓN

Artificios de cuantificación: Falsos planos / falsos contornos

Peppers original Peppers cuantif. 3-bits

Luis Mancera Pascual - 01/07/2005 4

DESCUANTIFICACIÓN PARA RESTAURACIÓNemborronada emb. + cuant.

desemborronadas

La cuantificación introduce artificios de alta frecuencia al desconvolucionar

Luis Mancera Pascual - 01/07/2005 5

ESTADÍSTICA IMÁGENES NATURALES

Imagen natural: Imagen aleatoria:

Zonas suaves. Bordes

localizados.

Desestructurada.

Mezcla:

El conocimiento a priori es importante para la estimación.

Luis Mancera Pascual - 01/07/2005 6

OBJETIVO Utilizar la estadística de las imágenes

naturales para estimar la original como la imagen más típica compatible con la cuantificación observada.

)(xy q

observación original

cuantificación

estimación

Condición de compatibilidad:

yx )ˆ(q

Luis Mancera Pascual - 01/07/2005 7

MÉTODO DE PROYECCIONES ALTERNAS SOBRE CONJUNTOS CONVEXOS

Luis Mancera Pascual - 01/07/2005 8

EL MÉTODO DE PROYECCIONES ALTERNAS [Youla78]

)(P 0BAxx p

x0

xp

B

A

[Marks97]

0BA )P(Plim xx n

np

Luis Mancera Pascual - 01/07/2005 9

EL MÉTODO DE PROYECCIONES ALTERNAS (II)

Si no intersecan: Ciclo límite. Solución mínimos cuadrados.

x0

[Marks97]xA

xBA

B

Luis Mancera Pascual - 01/07/2005 10

EJEMPLOS DE CONJUNTOS CONVEXOS

Subespacios vectoriales: Localización espacial /

frecuencial (Fourier) / conjunta (wavelets).

Subespacios afines: Imágenes con un conjunto de

coeficientes fijado

Intervalos de cuantificaciónCoefs. cero.

Coefs. arbitrario.

Luis Mancera Pascual - 01/07/2005 11

EJEMPLOS DE CONJUNTOS CONVEXOS

Subespacios vectoriales: Localización espacial /

frecuencial (Fourier) / conjunta (wavelets).

Subespacios afines: Imágenes con un conjunto de

coeficientes fijado.

Intervalos de cuantificación.Coefs. fijos.

Coefs. arbitrario.

Luis Mancera Pascual - 01/07/2005 12

EJEMPLOS DE CONJUNTOS CONVEXOS

Subespacios vectoriales: Localización espacial /

frecuencial (Fourier) / conjunta (wavelets).

Subespacios afines: Imágenes con un conjunto

de coeficientes fijado.

Intervalos de cuantificación.

δi

δj

δkxi

xj

xk

y

Luis Mancera Pascual - 01/07/2005 13

FORMULACIÓN DEL PROBLEMA Y SOLUCIÓN POCS

Luis Mancera Pascual - 01/07/2005 14

y

Xest,1

Conjuntos de imágenes con un una característica típica a un determinado nivel.

Conjunto de imágenes compatibles con laobservación.

1( )C

( )Q y

Luis Mancera Pascual - 01/07/2005 15

Xest,2

( )Q y

2( )C

y

Luis Mancera Pascual - 01/07/2005 16

ciclo límite

( )Q y

( )iC

y

Luis Mancera Pascual - 01/07/2005 17

*( )C

( )Q y

y

ˆ ( )x y

Luis Mancera Pascual - 01/07/2005 18

PLANTEAMIENTO EN EL DOMINIO DE FOURIER

Luis Mancera Pascual - 01/07/2005 19

MODELADO DE LA IMAGEN

Filtro paso-bajo global Umbralización global Umbralización local

3 modelos:A. Suavidad

B. Frecuencias dominantes

C. Frecuencias locales dominantes

Luis Mancera Pascual - 01/07/2005 20

RESULTADOS PARA EMBORRONAMIENTOS ISÓTROPOS

Aplicación a desemborronado

Filtro gaussiano (σ = √2)

La mejora visual no refleja la mejora en precisión

(Modelo A) ISSIM: [Wang04]

Luis Mancera Pascual - 01/07/2005 21

RESULTADOS EMBORRONAMIENTO ANISÓTROPO

Original emborronada: Simulación movimiento 11 píxeles, 45º direcc.(Modelo C)

Cuantificada vs. Emborronada (3 bits) 28.70 dB PSNR / 79.75 SSIM (100)

Resultado vs. Emborronada 31.37 dB PSNR / 89.52 SSIM (100)

Luis Mancera Pascual - 01/07/2005 22

CONCLUSIONES

Sólo para señales suaves. Artificios oscilatorios en el

resultado (ringing). Aplicación a desconvolución

(caso alto emborronamiento y bajo ruido aleatorio).

Pobre localización conjunta.

WAVELETS

Solución:

Luis Mancera Pascual - 01/07/2005 23

PLANTEAMIENTO EN EL DOMINIO WAVELET

Luis Mancera Pascual - 01/07/2005 24

MODELO DE LA IMAGEN

Peppers original subbanda Peppers pirámide orientable

Raleza o sparseness. [Olshausen96, Mallat89] Redundancia mejora restauración. [Olshausen97] Pirámide orientable (steerable pyramid) [Simoncelli95]

Luis Mancera Pascual - 01/07/2005 25

FORZANDO LA RALEZA Degradación Menos raleza [Rooms04,Wang05]

Aumentamos raleza conservando un conjunto G de coeficientes significativos y minimizando la norma euclídea.

SG es la proyección ortogonal sobre: pseudoinversa

Luis Mancera Pascual - 01/07/2005 26

HALLANDO LA PSEUDOINVERSA

Subespacio afín de vectores que tienen un valor fijo en algunos coeficientes.

z’i

z’j

z’k

a

Luis Mancera Pascual - 01/07/2005 27

HALLANDO LA PSEUDOINVERSA

Conjunto de respuestas posibles.

z’i

z’j

z’k

Luis Mancera Pascual - 01/07/2005 28

HALLANDO LA PSEUDOINVERSA

Partiendo de cero POCS proyecta hacia elelemento de menor energía de la intersección

z’i

z’j

z’k

a

Solución

Luis Mancera Pascual - 01/07/2005 29

SELECCIÓN DE COEFICIENTES SIGNIFICATIVOS

Umbral para cada subbanda k:

x

y

p(x|y)

Coeficiente significativo: Aquel que supera el umbral o es vecino de alguno que lo supere.

Vecindad espacial 5 5.

k k

Luis Mancera Pascual - 01/07/2005 30

*( )C

( )Q y

y

ˆ ( )x y

Luis Mancera Pascual - 01/07/2005 31

UNA SOLUCIÓN CERCANA AL ÓPTIMO

La estimación es cercana al óptimo en mínimos cuadrados.

Curvas del factor promedio que resultade nuestro método (línea negra) y delóptimo en mínimos cuadrados (linea azul).

Luis Mancera Pascual - 01/07/2005 32

UNA SOLUCIÓN APROXIMADA EFICIENTE

Factor bastante constante para mismo proceso cuantificación (independientemente de la imagen) Utilizamos el factor promedio obtenido

para un conjunto de prueba.

Luis Mancera Pascual - 01/07/2005 33

RESULTADOS (I)

Observación cuantificada3 bits:• 28.78 dB PSNR• 80.10 SSIM (100)

Minimización salida filtro paso-alto:• 29.77 dB PSNR• 81.18 SSIM (100)

Nuestro resultado:• 30.80 dB PSNR• 87.59 SSIM (100)

Peppers Original.

Luis Mancera Pascual - 01/07/2005 34

RESULTADOS (II)

Desconvolución:• 21.52 dB PSNR • 48.47 SSIM (100)

Desconvoluciónprocesada:• 23,62 dB PSNR• 71.52 SSIM (100)

Emborronada + ruido + cuantificada 3 bits:•21.92 dB PSNR•55.91 SSIM (100)

Desconvolución: MATLAB, deconvblind(Image, PSF)

Peppers Original.

Kernel gaussiano σb = √2.Ruido blanco σn = 2.

Luis Mancera Pascual - 01/07/2005 35

RESULTADOS (III)El rendimiento es muy satisfactorio descenso brusco ¿?

Luis Mancera Pascual - 01/07/2005 36

RESULTADOS (IV) Detalle del cielo de una imagen fotográfica

cuantificada con 8 bits (contraste 40).

Observación Procesada

Luis Mancera Pascual - 01/07/2005 37

CONCLUSIONES Resultados satisfactorios para escalones

medio-grandes de cuantificación. Resultados satisfactorios en la

desconvolución. Los métodos basados en raleza superan

a los métodos basados en la suavidad. Reducción drástica de artificios en la

descuantificación y desconvolución. La estimación es cercana al óptimo LS.

Luis Mancera Pascual - 01/07/2005 38

TRABAJO FUTURO

Trabajo futuro: Investigar el comportamiento de la

pirámide orientable con cuantificación fina.

Experimentar con otras representaciones sobrecompletas.

Estudiar otros criterios de vecindad más avanzados.

Luis Mancera Pascual - 01/07/2005 39

REFERENCIAS [Marks97]. Robert J. Marks. Chapter 14 - Alternating Projections onto Convex Sets.

Deconvolution and Images Spectra. Ed. Peter A. Jansson. Academic Press. 1997. (http://cialab.ee.washington.edu/REPRINTS/1997-AlternatingProjections.pdf)

[Youla78]. D. C. Youla. Generalized Image Restoration by the Method of Alternating Orthogonal Projections. IEEE Trans. on Circuit and Systems, vol CAS-25, nº 9. September 1978.

[Wang04]. Z. Wang, A.C. Bovik, E.P. Simoncelli. Image Quality Assessment: from Error Visibility to Structural Similarity. IEEE Trans. on Image Proc., vol. 13, nº 4, pp 600-612. April 2004.

[Olshausen96]. B.A. Olshausen, D.J. Field. Natural Image Statistics and Efficient Coding. Network Computation in Neural Systems, vol. 7, pp. 333-339, 1996.

[Mallat89]. S.G. Mallat. A Theory for Multiresolution Signal Decomposition: The Wavelet Representation. PAMI, 11, pp. 674-693, July 1989.

[Olshausen97]. B.A. Olshausen, D.J. Field. Sparse Coding with an Overcomplete Basis Set: A Strategy Employed by V1?. Vision Res., vol. 37, no. 23, pp. 3311-3325, 1997.

[Simoncelli95]. E.P. Simoncelli. The Steerable Pyramid: A Flexible Architecture For Multi-Scale Derivative Computation. 2nd IEEE Int. Conf. Image Proc., Washington D.C., vol. III, pp. 444-447, October 1995.

[Rooms04]. F. Rooms, W. Philips, J. Portilla. Parametric PSF estimation via sparseness maximization in the wavelet domain. SPIE Conference "Wavelet Applications in Industrial Processing II”, Philadelphia. Proc. SPIE 5607, pp. 26—33, October 2004.

[Wang05]. Z. Wang, G. Wu, H.R. Sheikh, E.P. Simoncelli, E.H. Yang, A.C. Bovik. Quality-Aware Images. IEEE Trans. on Image Proc., accepted, 2005.