Gru

po d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

Miguel Martínez-RachMiguel Martínez-Rach

Otoniel LópezOtoniel López

Pablo PiñolPablo Piñol

Manuel Perez MalumbresManuel Perez Malumbres

José OliverJosé Oliver

Carlos T. CalafateCarlos T. Calafate

Métricas de calidad objetivas Métricas de calidad objetivas para imagen y vídeopara imagen y vídeo

Universidad Miguel Hernández

Elche (Spain)

Universidad Politécnica de Valencia

Valencia (Spain)

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

El mismo PSNR pero distinta percepciónEl mismo PSNR pero distinta percepción

2

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

RateRate Distortion usando Distortion usando PSNR como métrica de calidad.PSNR como métrica de calidad.

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

4

Quality Assessment MetricsQuality Assessment Metrics

• QAM difieren unas de otras en su propio diseño– Existen diferentes aproximaciones o

frameworks que tratan de emular al Sistema Visual Humano o bien tratan de adaptarse a distorsiones concretas.

• QAM Se clasifican en función de cómo realizan la medición de calidad como:– Full Reference (FR), – No Reference (NR), – Reduced Reference (RR)

• Aplicamos métricas de calidad de imágen a secuencias aplicándolas frame a frame.

NRJPEGQS

NRJPEG2000

PSNR-DMOSp

MSSIM

VIF

RRIQA – f.e.

RRIQA – eval.

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

5

Cómo comparar distintas métricasCómo comparar distintas métricas

• El valor objetivo de calidad proporcionado por cada métrica no puede ser comparado directamente pues está en escalas diferentes.

• El proceso de comparación se basa en el realizado por el VQEG y otros tests de comparación de métricas relevantes.

• Básicamente, se utiliza una ecuación no lineal parametrizada para traducir el valor objetivo dado por la métrica a una escala común para todas ellas, la escala DMOSp.

• Los parámetros de dicha ecuación se obtienen mediante ajuste de curvas contra valores subjetivos reales.

DM

OS

VIF objective scores

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

6

Cómo comparar distintas métricasCómo comparar distintas métricas

• Así para cada métrica tenemos una ecuación de conversión a la escala DMOSp.

• La ecuación tiene distintos parámetros en función de la métrica.

ConversionEquation

NRJPEGQS

NRJPEG2000

PSNR-DMOSp

MSSIM

VIF

RRIQA – f.e.

RRIQA – eval.

0.9377

0.6553

20.3251

8.9222

74.9903

4.4060

…

…

…

…

…

…

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

Parámetros, Rendimiento, SecuenciasParámetros, Rendimiento, Secuencias

7

… …Incremento de la compresión / Decremento del bit-rate

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

CodecsCodecs

• H264 AVC– Video Codec basado en la DCT.

• Motion-JPEG2000– Image Codec basado en la transformada Wavelet.

• Motion-LTW– Image Codec basado en la transformada Wavelet.

Ejecución sólo en modo intra

8

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

ComportamientoComportamiento

9

H264 & Foreman QCIF

-10

0

10

20

30

40

50

60

70

80

90

100

0 150 300 450 600 750 900 1050 1200 1350 1500

Bitrate (Kbps)

DM

OS

p

SSIM

VIF

NRJPEGQS

RRIQA

PSNR

VQM

VQM SSIMVIFRRIQADMOSp-PSNR

NRJPEGQS

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

ComportamientoComportamiento

10

H264 & Foreman QCIF

-10

0

10

20

30

40

50

60

70

80

90

100

0 150 300 450 600 750 900 1050 1200 1350 1500

Bitrate (Kbps)

DM

OS

p

SSIM

VIF

NRJPEGQS

RRIQA

PSNR

VQM

Entonces, ¿Cual es mejor?

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

ComportamientoComportamiento

11

H264 & Foreman QCIF

-10

0

10

20

30

40

50

60

70

80

90

100

0 150 300 450 600 750 900 1050 1200 1350 1500

Bitrate (Kbps)

DM

OS

p

SSIM

VIF

NRJPEGQS

RRIQA

PSNR

VQM

En la comparativa R/D ¿Cuáles son las exigencias a una métrica objetiva?

¿Qué métrica cumple mejor las exigenciasen este ámbito de estudio de la calidad ?

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

ExpectativasExpectativas

• Expectativa A :– Existen umbrales (bitrate) para los cuales la percepción de la

calidad satura. Umbral alto y bajo.– Los valores de las métricas por encima y debajo de los

umbrales debería permanecer prácticamente constante.

• Expectativa B – Dentro de los umbrales la calidad debe decrecer

monotónicamente conforme decrece el bitrate.

• Expectativa C– Para un determinado bitrate, la ordenación objetiva de

diferentes codecs debería coincidir con la ordenación perceptual.

12

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

Simple Subjective TestsSimple Subjective Tests

13

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

SaturaciónSaturación

• Todas las métricas muestran el efecto de saturación La calidad desciende a medida que lo hace el bit-rate.

14

H264 & Foreman QCIF

-10

0

10

20

30

40

50

60

70

80

90

100

0 150 300 450 600 750 900 1050 1200 1350 1500

Bitrate (Kbps)

DM

OS

p

SSIM

VIF

NRJPEGQS

RRIQA

PSNR

VQM

Qu

alit

y

-

+

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

Fallos a Expectativa BFallos a Expectativa B

15

M-JPEG2000 & Foreman QCIF

-10

0

10

20

30

40

50

60

70

80

90

100

0 200 400 600 800 1000 1200 1400 1600Bitrate (Kbps)

DM

OS

p

SSIM

VIF

NRJPEG2000

RRIQA

PSNR

VQM

70.98 Kbps

135.65 Kbps

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

Fallos a Expectativa BFallos a Expectativa B

HRC /Métrica (Kbs) NRJPEGQS NRJPEG2000 RRIQA

Foreman QCIF - M-JPEG2000 71-136 71-136

Container QCIF - M-JPEG2000 83-137 * 83-137

Container QCIF - M-LTW83-137 *

137-232 *

Foreman CIF - M-JPEG2000209-371 *

371-639 *

Container CIF - M-JPEG2000 438-733 * 270-438

Container CIF - M-LTW270-438 *

438-733 *

Mobile ITU - M-JPEG2000 542-1142 *

16

Dentro de los umbrales la calidad debe decrecer monotónicamente conforme decrece el bitrate.

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

Comparativa incorrecta de una métricaComparativa incorrecta de una métrica

17

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

Comparativa de codecsComparativa de codecs

18

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

Comparación – Subjetivos y ResultadosComparación – Subjetivos y Resultados

19

1º 2º 3º

A B C

Se ve mejor

Se ve peor

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

20

Model Description and MANET ScenariosModel Description and MANET Scenarios

• Se ha usado un modelo HMM específicamente parametrizado para reproducir los patrones de perdidas de paquetes en distintos escenarios MANET’s:– Escenarios de Congestión

• Son 6 escenarios (M1-M6) con nodos estáticos. Cada escenario incrementea el número de fuentes de video.

– Escenarios de Movilidad• Son 3 escenarios (S1-S3) con una úncia fuente de video, pero cada escenario

incrementa la mobilidad de sus nodos (1-3 m/s).

• La MANET está modelada como sigue:– 50 nodos moviéndose en una rea de 870m2 – Movilidad basad en el modelo random way-point.– Routing protocol is DSR– Nodos equipados con IEEE 802.11g/e transmitiendo a at 54 Mbit/s hasta

250 m.– Tráfico de fondo – transmitiendo por FTP/TCP. – Tráfico son bitstreams codificados con H.264 a 1Mbit/s.

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

21

Tipos de ráfagas de perdida de paquetesTipos de ráfagas de perdida de paquetesConsecutives Packets Lost (CPL)Consecutives Packets Lost (CPL)

• Analizando la salida del modelo HMM para cada escenario, clasificamos las ráfagas de paquetes perdidos como:– Isolated bursts

• Menos de 7 CPL (1-frame)

– Consecutive Small Bursts • Varias Isolated consecutivas separadas por hasta máximo 14

paquetes enviados.

– Wide bursts • De más de 7 CPL hasta incluso mayores de 1000 CPL

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

22

Componiendo la secuencia recibidaComponiendo la secuencia recibida

La secuencia original : • Foreman repetida N veces hasta un total de 5000 frames • Con el H.264/AVC RTP bitstremas a diferentes bit-rates.• El codificador se configura :

– Codificar un frame I cada 30 frames P – Sin frames de tipo B – 7 slices por frame Forzando a que cada slice en un paquete separado.– Error resilience and concealment options have been enabled – 1/3 de los macrobloclks se codifican intra.

• Con esta configuración el decodificador ha podido reconstruir secuencias con más de 1000 paquetes consecutivos perdidos.

La secuencia recibida:• Si la ráfaga de paquetes perdidos completa un frame:

– En la secuencia de salida del decodificador se inserta un frame en el lugar del perdido, siendo el frame replicado el último recibido.

• De esta forma la secuencia recibida tendrá la misma longitud que la original.

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

23

Análisis del comportamiento de las MétricasAnálisis del comportamiento de las Métricas

• Comparación del PSNR a diferentes niveles de compresión ante una ráfaga larga de paquetes perdidos (Wide burst).

0

5

10

15

20

25

30

35

40

45

2325 2345 2365 2385 2405 2425 2445 2465 2485 2505 2525 2545 2565 2585

Frame Number

PS

NR

-y (

dB

)

Model 2 High Compression

Model 2 Medium Compression

Model 2 Low Compression

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

24

Metric Comparison for a Wide BurstMetric Comparison for a Wide Burst

Comportamiento de las QAM ante la misma ráfaga anterior.

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

25

Metric Comparison for a Wide BurstMetric Comparison for a Wide Burst

First frame after the burst. P frame.

Frozen frame

original sequence distorted sequence

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

26

Metric Comparison for Isolated Short BurstsMetric Comparison for Isolated Short Bursts

• Solo SSIM, VIF y PSNR-DMOSp reaccionan ante la leve perdida de calidad.

15

20

25

30

35

40

45

10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

Frame Number

DM

OS

p

SSIM

VIF

NRJPEGQS

NRJPEG2000

RRIQA

PSNR-DMOSp

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

27

Metric Comparison for Consecutive Short BurstsMetric Comparison for Consecutive Short Bursts

15

20

25

30

35

40

45

50

55

60

65

70

75

80

305 310 315 320 325 330 335 340 345 350 355 360 365 370 375

Frame Number

DM

OS

p

SSIM

VIF

NRJPEGQS

NRJPEG2000

RRIQA

PSNR-DMOSp

• Las últimas dos ráfagas solo son detectadas como ráfagas independientes por VIF y SSIM

• La NRJPEGQS detecta algunas de las ráfagas, cuando el efecto blocking es mayor.

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

28

Metric Comparison for Consecutive Short BurstsMetric Comparison for Consecutive Short Bursts

15

20

25

30

35

40

45

50

55

60

65

70

75

80

305 310 315 320 325 330 335 340 345 350 355 360 365 370 375

Frame Number

DM

OS

p

SSIM

VIF

NRJPEGQS

NRJPEG2000

RRIQA

PSNR-DMOSp

Original Sequence for frames 362 & 363

Frame 362 Frame 363

Un

idad

docen

te d

e

Red

es d

e C

om

pu

tad

ore

sG

rup

o d

e A

rqu

itectu

ra y

Tecn

olo

gía

d

e C

OM

pu

tad

ore

s (

GA

TC

OM

)U

niv

ers

idad

Mig

uel H

ern

án

dez

29

ConclusionesConclusiones

• Escenario de Compresión1. Todas las métricas cumplen la Expectativa A 2. Solo RRIQA y NRJPEG2000 fallan en la Expectativa B.

1. RRIQA solo falla con un HRC QCIF2. NRJPEG2000 falla con más HRCs y de distinto tamaño.

3. En la Expectativa C los mejores resultados son para 1. MMSIM para FR 2. RRIQA cuando no hay Referencia.

• Escenario de Perdida de Paquetes1. Métricas NR no detectan la caída de calidad producida por la perdida

de varios frames consecutivos. 2. La métrica RR tiene un comportamiento no determinista ante la

perdida de paquetes, teniendo dificultad en la identificación de este hecho cuando el video tiene tasas de compresión medias-altas.

3. Las métricas MSSIM, PSNR-DMOSp y VIF muestran un comportamiento equivalente excepto en determinados casos

Accuracy Computational Cost

MSSIMProponemos MSSIM como compromiso entre alta fidelidad a la valoración subjetiva (VIF) y coste computacional (PSNR-DMOSp).