“COMPARACIÓN DE TÉCNICAS DE DETECCIÓN DE CAMBIOS DE PLANO

SOBRE VÍDEO COMPRIMIDO APLICADAS A ANUNCIOS DE TV”

Autora: Ana Torrent ContrerasDirector: José Ramón Cerquides Bueno

UNIVERSIDAD DE SEVILLA

Escuela Superior de Ingenieros

Departamento de Teoría de la Señal y Comunicaciones

2

1.- INTRODUCCIÓN

2.- COMPRESIÓN DE VÍDEO

3.- TÉCNICAS DE DETECCIÓN

4.- RESULTADOS

5.- CONCLUSIONES

ÍNDICE

3

1.- INTRODUCCIÓN

Contratos publicitarios millonarios

Detección de anuncios en TV

Detección de cambios de plano

4

Técnicas sobre vídeo comprimido

Decodificación mínima

Tratamiento de menor volumen de

datos

+

Rapidez procesamiento

Sin pérdida de eficacia

5

Digitalización de la señal de vídeo

Muestreo temporal

Muestreo espacial

.

2.- COMPRESIÓN DE VÍDEO

6

Representación muestra espacio-temporal:

Píxel BkbGkgRkrY YBCb

YRCr

Espacio de color RGB

Formato de muestreo 4:2:0

Espacio de color YCrCb

Más eficiente: reduce a la mitad la

información a transmitir

YCr

YCr

Y

Y

7

• Es el proceso de compactar o condensar una

secuencia digital de video en un número pequeño

de bits.

• Se consigue eliminando los datos no necesarios

para una reproducción fiel del vídeo.

• Normalmente es con pérdidas: se consiguen

niveles de compresión mayores a costa de cierta

pérdida de calidad del vídeo.

Compresión de vídeo

8

Transformada Cuantización ReordenaciónCodificador de entropía

Señal de vídeo

Compensación de movimiento

Estimación de movimiento

Cuantización inversaTransformada inversa

Reducción redundancia espacial

Buffer

Reducción redundancia temporal

Proceso de compresión

Reducción redundancia estadística

9

Redundancia temporal Clasificación de los cuadros: I (intra) o P (predicted).

Cuadros P: estimación y compensación de movimiento:

• División en macrobloques de 16x16 píxeles

• Búsqueda de cada macrobloque en un área de búsqueda del cuadro de referencia

Vector de movimiento

“best-match”

MB en cuadro anterior Macrobloque

Área de búsqueda

10

Codificación en modo intra (sin compensación de movimiento): no hay región que cumpla el criterio.

Codificación en modo inter (con compensación de movimiento): se encuentra una región que se convierte en la predicción.

Información a transmitir:

• Residuo:

• Vector de movimiento: componentes x e y

Redundancia temporal

-=

Macrobloque Predicción

11

Redundancia espacial

Transformada DCT: NxN muestras NxN coeficientes con menor correlación.

• Coeficiente DC posición (0,0): valor medio

• Coeficientes AC

Cuantización Reordenación en zig-zag: Codificación Run-Level-Last:

Coeficientes: 64, 8, 0, 1, 0, 3(0,64,0), (0,8,0), (1,1,0), (1,3,1)

12

Codificación de entropía

Codificación predictiva: predicción de vector de movimiento y coeficientes DC y AC

• Cálculo diferencia valores y predicciones

• El resultado se codifica y transmite

Codificación con códigos de longitud variable

• Códigos precalculados de longitud variable

• A palabras más frecuentes se les asignan

códigos más cortos Más compresión

13

3.- DETECCIÓN DE CAMBIOS DE PLANO Datos de la secuencia de vídeo: obtención de vectores de movimiento y coeficientes DC

Reconstrucción vectores de movimiento

Reconstrucción coeficientes DC

Construcción imagen DC: luminancia, croma azul y croma roja

Cuadro original Imagen DC luminancia

14

Método 1: Histogramas de color

Se utilizan las diferencias de histograma de color

entre cuadros Histograma de color: representa las frecuencias de

los niveles de energía del cuadro

-10 -5 0 5 100

100

200

300

-10 -5 0 5 100

100

200

300

-10 -5 0 5 100

100

200

300

Cuadro 1 Cuadro 2 Cuadro 3

Cambio de plano

N

i

inhinhnnhist

d

1

][1][)1,(

Diferencia de histogramas

Condición para la detección: diferencia máxima en una ventana de 15 cuadros y superación de umbral

0 100 200 300 400 5000

0.2

0.4

0.6

0.8

1

Numero de cuadro

Dis

tanc

ia h

isto

gram

a de

col

or

Distancia Cambios reales Cambios detectados

15

Método 2: Imágenes DC

Evalúa las diferencias entre las imágenes DC

• Ser el máximo en la ventana.• Superar el doble del valor medio de la

distancia en la ventana.• Superar en un 20% el valor el segundo

máximo de la ventana.

Condiciones para la detección

0 100 200 300 400 5000

0.2

0.4

0.6

0.8

1

Numero de cuadro

Dife

renc

ia im

ágen

es D

C

Distancia Cambios reales Cambios detectados

16

Método 3: TWAM

Utiliza una combinación de las 3 diferencias normalizadas de histogramas: luminancia y cromas azul y roja.

M

t

nn

i

i ththT

nD

1

1 )()(1

)(

CrCbYi

i nDnD

,,

)(3

1)(

La distancia actual se sustituye por la media de la distancia en una ventana:

1

0

)(1

)),((

L

j

jnDL

LnDF

17

Método 3: TWAM

La nueva distancia se multiplica por un factor: el cociente entre las distancias medias de dos ventanas diferentes a cada lado

12

02

112

1

11

0

21

)(1

)(

)(

)),(()),(()(

L

j

L

Lj

L

j

TWAM

jnDL

jnD

jnD

LnDFLnDAnD

De esta manera se amplifican las diferencias 0 50 100 150 200 250 300 350 400 450 500

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Número de cuadro

Dis

tanc

ia s

in p

roce

sar

0 50 100 150 200 250 300 350 400 450 5000

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Numero de cuadro

Dife

renc

ias

met

odo

TW

AM

Distancia Cambios reales Cambios detectados

18

Método 4: Tipos de cuadro

Diferencia por tipos de cuadro:

• Cuadros I: suma de las diferencias de histogramas normalizadas. Diferencia con el cuadro anterior tipo I

Hist

i

YYY ifHifHHist

Sum

0

21 ),(),(1 2

1 )( CrCbYf SumSumSumSum

0 100 200 300 400 5000

0.2

0.4

0.6

0.8

1

Cuadro

Dis

tanc

ia c

uadr

os I

• Cuadros P: cociente entre números de macrobloques de cada tipo

InterMB

IntraMBR p

0 100 200 300 400 500 6000

0.5

1

1.5

2

2.5

3

3.5

Cuadro

RP

19

Método 5: Característica de secuencia

Utiliza dos características de los planos:

12 iiix

K

j

iii jhjhT

x

1

11 )()(2

1

T

iii xxx ],[ 21

21 iii xxd

Se construye un vector con los dos valores:

La distancia utilizada para la detección es la norma del vector

0 100 200 300 400 5000

0.2

0.4

0.6

0.8

1

Numero de cuadro

Dife

renc

ias

de c

arac

terí

stic

a ge

nera

l

Distancia Cambios reales Cambios detectados

20

Método 6: LBDF

21

21

21

))(()(

),(NTNT

bHWbH

HHLBDF b

ybHWbHNT

b

xxx ))(()(

w

wiHiHW )())((

Utiliza una función diferencia basada en la luminancia

donde

Mide el parecido con una correlación normalizada de los histogramas de luminancia.

• H1, H2, histogramas

• b es una frecuencia del histograma

• W: ventana centrada en i

0 100 200 300 400 5000

0.2

0.4

0.6

0.8

1

Numero de cuadro

LBD

F

Distancia Cambios reales Cambios detectados

21

Método 7: Distancia χ2

1

0

2

2

2

22

))()((

))()((

))()((

))()((N

ib

Cr

ia

Cr

i

b

Cr

ia

Cr

i

b

Cb

ia

Cb

i

b

Cb

ia

Cb

i

fHfH

fHfH

fHfH

fHfH

Se utiliza la medida χ2 con los dos histogramas de color:

Condición para la detección:

diferencia entre cuadro actual y anteriores

diferencias entre el resto de cuadros en una ventana

>>0 100 200 300 400 500

0

0.2

0.4

0.6

0.8

1

Numero de cuadro

Dis

tancia

chi cuadra

do

Distancia Cambios reales Cambios detectados

22

4.- RESULTADOS

Los bondad de los resultados se mide con dos parámetros:

FAC

C

NN

Nprecisión

MDC

C

NN

Nrecall

NC: número de cambios correctos; NFA: número de falsas alarmas

NMD: número de cambios no detectados

Número de cambios correctos detectados=

Número total de cambios detectados

Número de cambios correctos detectados=

Número total de cambios reales

23

Método Precisión Recall

Histogramas color 89,32 85,19

Imágenes DC 76,67 63,89

TWAM 85,96 90,74

Tipos VOP 91,18 86,11

Característica 86,09 91,67

LBDF 82,88 85,19

Análisis Χ2 78,50 77,78

Tabla resultados

24

Comparación de resultados

65

70

75

80

85

90

95

Precisión

Precisión

0102030405060708090

100

Histogramas color

Imágenes DC

TWAM

Tipos VOP

Característica

LBDF

Análisis X2

Recall

Recall

0

1020

30

4050

6070

80

90100

Histogramas color

Imágenes DC

TWAM

Tipos VOP

Característica

LBDF

Análisis X2

Precisión

Recall

25

Estabilidad de los algoritmos

Pruebas de robustez:

• Adición de ruido AWGN a las imágenes DC: se

añade ruido de varias potencias a las imágenes

DC y al parámetro RP usados en la detección de

cambios de plano.

• Cambio del parámetro de codificación bitrate o

tasa de bits.

26

Cambios frente al ruidoPrecisión frente al ruido

50

55

60

65

70

75

80

85

90

95

5 10 15 20 25 30 35 40 45 50 55 60

SNR (dB)

Pre

cisi

ón (

%)

Característica Histograma color Imágenes DC LBDF Tipos VOP TWAM Χ2

27

Cambios frente al ruidoRecall frente al ruido

50

55

60

65

70

75

80

85

90

95

5 10 15 20 25 30 35 40 45 50 55 60

SNR (dB)

Re

call

(%)

Característica Histograma color Imágenes DC LBDF Tipos VOP TWAM Χ2

28

Cambios frente a tasa de bitsPrecisión frente a BR

65

70

75

80

85

90

95

100

150 286 420 572 700 900 1000

Bitrate (kbps)

Pre

cisi

ón

(%

)

Característica Histograma color Imágenes DC LBDF Tipos VOP TWAM Χ2

29

Cambios frente a tasa de bitsRecall frente a BR

50

55

60

65

70

75

80

85

90

95

150 286 420 572 700 900 1000

Bitrate (kbps)

Re

call

(%)

Característica Histograma color Imágenes DC LBDF Tipos VOP TWAM Χ2

30

5.- CONCLUSIONES

La detección de cambios de plano sobre vídeo

comprimido funciona muy bien. Técnicas sencillas, rápidas y efectivas. La técnica que utiliza histogramas de color es la mejor

en resultados y estabilidad frente a cambios. Todas las técnicas probadas tienen problemas con las

falsas alarmas (movimientos de cámara, cambios de luz).

Futuras líneas de investigación: creación algoritmos más

sofisticados capaces de identificar estos efectos.