cti: lección 1, primer teorema de shannon...

ÍndiceEnunciado

Resolución: probabilidadesResolución: entropíasEjercicios propuestos

Ejercicios sobre probabilidades y entropíasCTI: Lección 1, Primer teorema de Shannon (SCT)

Ramiro Moreno Chiral

Dpt. Matemàtica (UdL)

10 de febrero de 2010

CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 1 / 20

ÍndiceEnunciado

Índice

1 Enunciado

2 Resolución: probabilidades

3 Resolución: entropías

4 Ejercicios propuestos

ÍndiceEnunciado

Índice

1 Enunciado

ÍndiceEnunciado

Enunciado (I)

Una fuente E emite bits de modo que la probabilidad encualquier momento de emitir un uno sea 0′3.

Esos bits son transmitidos hasta un receptor R a través de uncanal simétrico binario (CSB) con probabilidad de error en unbit igual a 0′2.

P(X=1)=0’3

P(Y=1)P(Y=0)

p=0’2

ÍndiceEnunciado

Enunciado (I)Una fuente E emite bits de modo que la probabilidad encualquier momento de emitir un uno sea 0′3.

P(X=1)=0’3

P(Y=1)P(Y=0)

p=0’2

ÍndiceEnunciado

P(X=1)=0’3

P(Y=1)P(Y=0)

p=0’2

ÍndiceEnunciado

P(X=1)=0’3

P(Y=1)P(Y=0)

p=0’2

ÍndiceEnunciado

Enunciado (II)

Determinar P(Y ), i.e., la distribución marginal de la v.a. Y .Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .Y la de la condidional P(X |Y ).Luego las entropías de todas las distribuciones deprobabilidad y la información mutua.

ÍndiceEnunciado

Enunciado (II)

Determinar P(Y ), i.e., la distribución marginal de la v.a. Y .

Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .Y la de la condidional P(X |Y ).Luego las entropías de todas las distribuciones deprobabilidad y la información mutua.

ÍndiceEnunciado

Enunciado (II)

Determinar P(Y ), i.e., la distribución marginal de la v.a. Y .Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .

Y la de la condidional P(X |Y ).Luego las entropías de todas las distribuciones deprobabilidad y la información mutua.

ÍndiceEnunciado

Enunciado (II)

Determinar P(Y ), i.e., la distribución marginal de la v.a. Y .Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .Y la de la condidional P(X |Y ).

Luego las entropías de todas las distribuciones deprobabilidad y la información mutua.

ÍndiceEnunciado

Enunciado (II)

Determinar P(Y ), i.e., la distribución marginal de la v.a. Y .Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .Y la de la condidional P(X |Y ).Luego las entropías de todas las distribuciones deprobabilidad y la información mutua.

ÍndiceEnunciado

Matriz de transiciónProbabilidad conjuntaProbabilidades condicionadas

Índice

1 Enunciado

2 Resolución: probabilidadesMatriz de transiciónProbabilidad conjuntaProbabilidades condicionadas

ÍndiceEnunciado

Matriz de transición

La matriz de transición de un canal de comunicaciones,T Y |X = (pij), se define

pij = P(Y = j |X = i),

es decir, T Y |X define la probabilidad condicionada “a priori”. Setrata de una matriz estocástica: sus filas son distribuciones deprobabilidad. En nuestro caso,

T Y |X =

(1− p p

p 1− p

(0′8 0′20′2 0′8

ÍndiceEnunciado

pij = P(Y = j |X = i),

T Y |X =

(1− p p

p 1− p

(0′8 0′20′2 0′8

ÍndiceEnunciado

pij = P(Y = j |X = i),

T Y |X =

(1− p p

p 1− p

(0′8 0′20′2 0′8

ÍndiceEnunciado

pij = P(Y = j |X = i),

es decir, T Y |X define la probabilidad condicionada “a priori”.

Setrata de una matriz estocástica: sus filas son distribuciones deprobabilidad. En nuestro caso,

T Y |X =

(1− p p

p 1− p

(0′8 0′20′2 0′8

ÍndiceEnunciado

pij = P(Y = j |X = i),

es decir, T Y |X define la probabilidad condicionada “a priori”. Setrata de una matriz estocástica: sus filas son distribuciones deprobabilidad.

En nuestro caso,

T Y |X =

(1− p p

p 1− p

(0′8 0′20′2 0′8

ÍndiceEnunciado

pij = P(Y = j |X = i),

T Y |X =

(1− p p

p 1− p

(0′8 0′20′2 0′8

ÍndiceEnunciado

Cálculo de P(Y )

Podemos ver P(X ) como un vector

P(X ) = (P(X = 0), P(X = 1)) = (0′7, 0′3).

Y una propiedad de las matrices estocásticas es que almultiplicarlas por una distribución de probabilidad se obtieneotra distribución de probabilidad.

En nuestro caso,

P(X ) · T Y |X = (0′7, 0′3) ·(

0′8 0′20′2 0′8

)= (0′62, 0′38) = P(Y ).

ÍndiceEnunciado

Cálculo de P(Y )

P(X ) = (P(X = 0), P(X = 1)) = (0′7, 0′3).

En nuestro caso,

P(X ) · T Y |X = (0′7, 0′3) ·(

0′8 0′20′2 0′8

)= (0′62, 0′38) = P(Y ).

ÍndiceEnunciado

Cálculo de P(Y )

P(X ) = (P(X = 0), P(X = 1)) = (0′7, 0′3).

En nuestro caso,

P(X ) · T Y |X = (0′7, 0′3) ·(

0′8 0′20′2 0′8

)= (0′62, 0′38) = P(Y ).

ÍndiceEnunciado

Cálculo de P(Y )

P(X ) = (P(X = 0), P(X = 1)) = (0′7, 0′3).

En nuestro caso,

P(X ) · T Y |X = (0′7, 0′3) ·(

0′8 0′20′2 0′8

)= (0′62, 0′38) = P(Y ).

ÍndiceEnunciado

Cálculo de P(Y )

P(X ) = (P(X = 0), P(X = 1)) = (0′7, 0′3).

En nuestro caso,

P(X ) · T Y |X = (0′7, 0′3) ·(

0′8 0′20′2 0′8

)= (0′62, 0′38) = P(Y ).

ÍndiceEnunciado

Efectivamente, hemos calculado P(Y )

Simbólicamente hemos hecho

(P(X = 0), P(X = 1))

(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)

)= (P(Y = 0|X = 0)P(X = 0) + P(Y = 0|X = 1)P(X = 1),P(Y = 1|X = 0)P(X = 0) + P(Y = 1|X = 1)P(X = 1))

= (P(X = 0, Y = 0) + P(X = 1, Y = 0),P(X = 0, Y = 1) + P(X = 1, Y = 1))︸︷︷︸

Regla del producto

= (P(Y = 0), P(Y = 1))︸︷︷︸Regla de la suma

ÍndiceEnunciado

Efectivamente, hemos calculado P(Y )Simbólicamente hemos hecho

(P(X = 0), P(X = 1))

(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)

= (P(X = 0, Y = 0) + P(X = 1, Y = 0),P(X = 0, Y = 1) + P(X = 1, Y = 1))︸︷︷︸

Regla del producto

ÍndiceEnunciado

(P(X = 0), P(X = 1))

(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)

= (P(Y = 0|X = 0)P(X = 0) + P(Y = 0|X = 1)P(X = 1),P(Y = 1|X = 0)P(X = 0) + P(Y = 1|X = 1)P(X = 1))

= (P(X = 0, Y = 0) + P(X = 1, Y = 0),P(X = 0, Y = 1) + P(X = 1, Y = 1))︸︷︷︸

Regla del producto

ÍndiceEnunciado

(P(X = 0), P(X = 1))

(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)

= (P(X = 0, Y = 0) + P(X = 1, Y = 0),P(X = 0, Y = 1) + P(X = 1, Y = 1))︸︷︷︸

Regla del producto

ÍndiceEnunciado

(P(X = 0), P(X = 1))

(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)

= (P(X = 0, Y = 0) + P(X = 1, Y = 0),P(X = 0, Y = 1) + P(X = 1, Y = 1))︸︷︷︸

Regla del producto

ÍndiceEnunciado

(P(X = 0), P(X = 1))

(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)

= (P(X = 0, Y = 0) + P(X = 1, Y = 0),P(X = 0, Y = 1) + P(X = 1, Y = 1))︸︷︷︸

Regla del producto

ÍndiceEnunciado

Cálculo de la probabilidad conjunta, P(X = i , Y = j)

Bastará multiplicar cada fila de la matriz de transición por lacorrespondiente P(X = i),

P(X = 0) −→P(X = 1) −→

(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)

(0′8 · 0′7 0′2 · 0′70′2 · 0′3 0′8 · 0′3

(0′56 0′140′06 0′24

Y, para combrobar, la tabla completa,

PXY Y = 0 Y = 1 Marginal de XX = 0 0’56 0’14 0’7X = 1 0’06 0’24 0’3

Marginal de Y 0’62 0’38 1

ÍndiceEnunciado

Cálculo de la probabilidad conjunta, P(X = i , Y = j)Bastará multiplicar cada fila de la matriz de transición por lacorrespondiente P(X = i),

P(X = 0) −→P(X = 1) −→

(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)

(0′8 · 0′7 0′2 · 0′70′2 · 0′3 0′8 · 0′3

(0′56 0′140′06 0′24

ÍndiceEnunciado

P(X = 0) −→P(X = 1) −→

(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)

(0′8 · 0′7 0′2 · 0′70′2 · 0′3 0′8 · 0′3

(0′56 0′140′06 0′24

ÍndiceEnunciado

P(X = 0) −→P(X = 1) −→

(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)

(0′8 · 0′7 0′2 · 0′70′2 · 0′3 0′8 · 0′3

(0′56 0′140′06 0′24

ÍndiceEnunciado

P(X = 0) −→P(X = 1) −→

(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)

(0′8 · 0′7 0′2 · 0′70′2 · 0′3 0′8 · 0′3

(0′56 0′140′06 0′24

ÍndiceEnunciado

P(X = 0) −→P(X = 1) −→

(P(Y = 0|X = 0) P(Y = 1|X = 0)P(Y = 0|X = 1) P(Y = 1|X = 1)

(0′8 · 0′7 0′2 · 0′70′2 · 0′3 0′8 · 0′3

(0′56 0′140′06 0′24

Marginal de Y 0’62 0’38 1CTI, lección 1 (Problemas) Ejercicios sobre probabilidades y entropías 10 de febrero de 2010 10 / 20

ÍndiceEnunciado

Probabilidades condicionadas

Hemos visto que la matriz de transición T Y |X define lasprobabilidades “a priori”, i.e., P(Y = j |X = i). Lasprobabilidades “a posteriori”, P(X = i |Y = j), muy importantesen la decodificación de canal, las calculamos dividiendo cadacolumna de la matriz de probabilidad conjunta, PXY , por losvalores P(Y = j),

P(Y = 0) P(Y = 1)↓ ↓(

P(X = 0, Y = 0) P(X = 0, Y = 1)P(X = 1, Y = 0) P(X = 1, Y = 1)

PX |Y =

(0′56/0′62 0′14/0′380′06/0′62 0′24/0′38

(0′90 0′370′10 0′63

ÍndiceEnunciado

Probabilidades condicionadasHemos visto que la matriz de transición T Y |X define lasprobabilidades “a priori”, i.e., P(Y = j |X = i).

Lasprobabilidades “a posteriori”, P(X = i |Y = j), muy importantesen la decodificación de canal, las calculamos dividiendo cadacolumna de la matriz de probabilidad conjunta, PXY , por losvalores P(Y = j),

P(Y = 0) P(Y = 1)↓ ↓(

P(X = 0, Y = 0) P(X = 0, Y = 1)P(X = 1, Y = 0) P(X = 1, Y = 1)

PX |Y =

(0′56/0′62 0′14/0′380′06/0′62 0′24/0′38

(0′90 0′370′10 0′63

ÍndiceEnunciado

Probabilidades condicionadasHemos visto que la matriz de transición T Y |X define lasprobabilidades “a priori”, i.e., P(Y = j |X = i). Lasprobabilidades “a posteriori”, P(X = i |Y = j),

muy importantesen la decodificación de canal, las calculamos dividiendo cadacolumna de la matriz de probabilidad conjunta, PXY , por losvalores P(Y = j),

P(Y = 0) P(Y = 1)↓ ↓(

P(X = 0, Y = 0) P(X = 0, Y = 1)P(X = 1, Y = 0) P(X = 1, Y = 1)

PX |Y =

(0′56/0′62 0′14/0′380′06/0′62 0′24/0′38

(0′90 0′370′10 0′63

ÍndiceEnunciado

Probabilidades condicionadasHemos visto que la matriz de transición T Y |X define lasprobabilidades “a priori”, i.e., P(Y = j |X = i). Lasprobabilidades “a posteriori”, P(X = i |Y = j), muy importantesen la decodificación de canal,

las calculamos dividiendo cadacolumna de la matriz de probabilidad conjunta, PXY , por losvalores P(Y = j),

P(Y = 0) P(Y = 1)↓ ↓(

P(X = 0, Y = 0) P(X = 0, Y = 1)P(X = 1, Y = 0) P(X = 1, Y = 1)

PX |Y =

(0′56/0′62 0′14/0′380′06/0′62 0′24/0′38

(0′90 0′370′10 0′63

ÍndiceEnunciado

Probabilidades condicionadasHemos visto que la matriz de transición T Y |X define lasprobabilidades “a priori”, i.e., P(Y = j |X = i). Lasprobabilidades “a posteriori”, P(X = i |Y = j), muy importantesen la decodificación de canal, las calculamos dividiendo cadacolumna de la matriz de probabilidad conjunta, PXY , por losvalores P(Y = j),

P(Y = 0) P(Y = 1)↓ ↓(

P(X = 0, Y = 0) P(X = 0, Y = 1)P(X = 1, Y = 0) P(X = 1, Y = 1)

PX |Y =

(0′56/0′62 0′14/0′380′06/0′62 0′24/0′38

(0′90 0′370′10 0′63

ÍndiceEnunciado

P(Y = 0) P(Y = 1)↓ ↓(

P(X = 0, Y = 0) P(X = 0, Y = 1)P(X = 1, Y = 0) P(X = 1, Y = 1)

PX |Y =

(0′56/0′62 0′14/0′380′06/0′62 0′24/0′38

(0′90 0′370′10 0′63

ÍndiceEnunciado

P(Y = 0) P(Y = 1)↓ ↓(

P(X = 0, Y = 0) P(X = 0, Y = 1)P(X = 1, Y = 0) P(X = 1, Y = 1)

PX |Y =

(0′56/0′62 0′14/0′380′06/0′62 0′24/0′38

(0′90 0′370′10 0′63

ÍndiceEnunciado

Entropías binariasEntropía conjuntaEntropías condicionalesInformación mutua

Índice

1 Enunciado

3 Resolución: entropíasEntropías binariasEntropía conjuntaEntropías condicionalesInformación mutua

ÍndiceEnunciado

Entropías H(X ) y H(Y )

Como X e Y son v.a.’s con espacio de estados binario, {0, 1},podemos aplicar la fórmula de la entropía binaria,

h(p) = −p log p − (1− p) log(1− p).

Y tendremos,

H(X ) = h(0′3) = 0′88 bits,H(Y ) = h(0′38) = 0′95 bits.

0.2 0.4 0.6 0.8 1p

1hHpL Entropía binaria, hHpL

ÍndiceEnunciado

h(p) = −p log p − (1− p) log(1− p).

Y tendremos,

H(X ) = h(0′3) = 0′88 bits,H(Y ) = h(0′38) = 0′95 bits.

0.2 0.4 0.6 0.8 1p

ÍndiceEnunciado

h(p) = −p log p − (1− p) log(1− p).

Y tendremos,

H(X ) = h(0′3) = 0′88 bits,H(Y ) = h(0′38) = 0′95 bits.

0.2 0.4 0.6 0.8 1p

ÍndiceEnunciado

h(p) = −p log p − (1− p) log(1− p).

Y tendremos,

H(X ) = h(0′3) = 0′88 bits,H(Y ) = h(0′38) = 0′95 bits.

0.2 0.4 0.6 0.8 1p

ÍndiceEnunciado

h(p) = −p log p − (1− p) log(1− p).

Y tendremos,

H(X ) = h(0′3) = 0′88 bits,H(Y ) = h(0′38) = 0′95 bits.

0.2 0.4 0.6 0.8 1p

ÍndiceEnunciado

h(p) = −p log p − (1− p) log(1− p).

Y tendremos,

H(X ) = h(0′3) = 0′88 bits,H(Y ) = h(0′38) = 0′95 bits.

0.2 0.4 0.6 0.8 1p

ÍndiceEnunciado

Entropía H(X , Y )

Ahora el espacio de estados de la variable conjunta (X , Y ) es{(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula general,

H(p1, . . . , pn) = −n∑

pk log pk .

Y tendremos,

H(X , Y ) = H(0′56, 0′06, 0′14, 0′24) = 1′60 bits.

ÍndiceEnunciado

Entropía H(X , Y )

Ahora el espacio de estados de la variable conjunta (X , Y ) es{(0, 0), (0, 1), (1, 0), (1, 1)}:

aplicamos la fórmula general,

H(p1, . . . , pn) = −n∑

pk log pk .

Y tendremos,

H(X , Y ) = H(0′56, 0′06, 0′14, 0′24) = 1′60 bits.

ÍndiceEnunciado

Entropía H(X , Y )

H(p1, . . . , pn) = −n∑

pk log pk .

Y tendremos,

H(X , Y ) = H(0′56, 0′06, 0′14, 0′24) = 1′60 bits.

ÍndiceEnunciado

Entropía H(X , Y )

H(p1, . . . , pn) = −n∑

pk log pk .

Y tendremos,

H(X , Y ) = H(0′56, 0′06, 0′14, 0′24) = 1′60 bits.

ÍndiceEnunciado

Entropía H(X , Y )

H(p1, . . . , pn) = −n∑

pk log pk .

Y tendremos,

H(X , Y ) = H(0′56, 0′06, 0′14, 0′24) = 1′60 bits.

ÍndiceEnunciado

Entropía H(X , Y )

H(p1, . . . , pn) = −n∑

pk log pk .

Y tendremos,

H(X , Y ) = H(0′56, 0′06, 0′14, 0′24) = 1′60 bits.

ÍndiceEnunciado

Entropías H(Y |X ) y H(X |Y )

Ahora el espacio de estados de la variable condicionada Y |Xes {(0, 0), (0, 1), (1, 0), (1, 1)}: aplicamos la fórmula de laentropía condicionada,

H(Y |X ) = −n∑

P(X = i , Y = j) log P(Y = j |X = i).

Y tendremos,H(Y |X ) = −(0′56 log 0′8 + 0′14 log 0′2 + 0′06 log 0′2 + 0′24 log 0′8)

= 0′72 bits.

Similarmente,H(X |Y ) = −(0′56 log 0′90 + 0′14 log 0′37 + 0′06 log 0′10 + 0′24 log 0′63)

= 0′65 bits.

ÍndiceEnunciado

Ahora el espacio de estados de la variable condicionada Y |Xes {(0, 0), (0, 1), (1, 0), (1, 1)}:

aplicamos la fórmula de laentropía condicionada,

H(Y |X ) = −n∑

P(X = i , Y = j) log P(Y = j |X = i).

= 0′72 bits.

= 0′65 bits.

ÍndiceEnunciado

H(Y |X ) = −n∑

P(X = i , Y = j) log P(Y = j |X = i).

= 0′72 bits.

= 0′65 bits.

ÍndiceEnunciado

H(Y |X ) = −n∑

P(X = i , Y = j) log P(Y = j |X = i).

= 0′72 bits.

= 0′65 bits.

ÍndiceEnunciado

H(Y |X ) = −n∑

P(X = i , Y = j) log P(Y = j |X = i).

Y tendremos,

H(Y |X ) = −(0′56 log 0′8 + 0′14 log 0′2 + 0′06 log 0′2 + 0′24 log 0′8)= 0′72 bits.

= 0′65 bits.

ÍndiceEnunciado

H(Y |X ) = −n∑

P(X = i , Y = j) log P(Y = j |X = i).

= 0′72 bits.

= 0′65 bits.

ÍndiceEnunciado

H(Y |X ) = −n∑

P(X = i , Y = j) log P(Y = j |X = i).

= 0′72 bits.

= 0′65 bits.

ÍndiceEnunciado

Cálculo directo

Aplicamos la fórmula de la información mutua, como distanciaentre las distribuciones P(X , Y ) y P(X )P(Y ),

I(X ; Y ) =n∑

P(X = i , Y = j) logP(X = i , Y = j)

P(X = i)P(Y = j).

Y tendremos,

I(X ; Y ) = 0′56 log 0′560′7·0′62 + 0′14 log 0′14

0′7·0′38

+0′06 log 0′060′3·0′62 + 0′24 log 0′24

0′3·0′38

= 0′24 bits.

ÍndiceEnunciado

Cálculo directoAplicamos la fórmula de la información mutua, como distanciaentre las distribuciones P(X , Y ) y P(X )P(Y ),

I(X ; Y ) =n∑

P(X = i , Y = j) logP(X = i , Y = j)

P(X = i)P(Y = j).

Y tendremos,

I(X ; Y ) = 0′56 log 0′560′7·0′62 + 0′14 log 0′14

0′7·0′38

+0′06 log 0′060′3·0′62 + 0′24 log 0′24

0′3·0′38

= 0′24 bits.

ÍndiceEnunciado

I(X ; Y ) =n∑

P(X = i , Y = j) logP(X = i , Y = j)

P(X = i)P(Y = j).

Y tendremos,

I(X ; Y ) = 0′56 log 0′560′7·0′62 + 0′14 log 0′14

0′7·0′38

+0′06 log 0′060′3·0′62 + 0′24 log 0′24

0′3·0′38

= 0′24 bits.

ÍndiceEnunciado

I(X ; Y ) =n∑

P(X = i , Y = j) logP(X = i , Y = j)

P(X = i)P(Y = j).

Y tendremos,

I(X ; Y ) = 0′56 log 0′560′7·0′62 + 0′14 log 0′14

0′7·0′38

+0′06 log 0′060′3·0′62 + 0′24 log 0′24

0′3·0′38

= 0′24 bits.

ÍndiceEnunciado

I(X ; Y ) =n∑

P(X = i , Y = j) logP(X = i , Y = j)

P(X = i)P(Y = j).

Y tendremos,

I(X ; Y ) = 0′56 log 0′560′7·0′62 + 0′14 log 0′14

0′7·0′38

+0′06 log 0′060′3·0′62 + 0′24 log 0′24

0′3·0′38

= 0′24 bits.

ÍndiceEnunciado

Relaciones entre entropías e información mutua

El siguiente gráfico(X,Y)=1’60

(X|Y)=0’65 (Y|X)=0’72

(X)=0’88

I (X;Y)==0’23

(Y)=0’95

explica las relaciones fundamentales entre las entropías y lainformación mutua,

I(X ; Y ) = H(X )− H(X |Y ) = H(Y )− H(Y |X ),

H(X , Y ) = H(X |Y ) + I(X ; Y ) + H(Y |X ).

ÍndiceEnunciado

Relaciones entre entropías e información mutuaEl siguiente gráfico

(X,Y)=1’60

(X|Y)=0’65 (Y|X)=0’72

(X)=0’88

I (X;Y)==0’23

(Y)=0’95

I(X ; Y ) = H(X )− H(X |Y ) = H(Y )− H(Y |X ),

H(X , Y ) = H(X |Y ) + I(X ; Y ) + H(Y |X ).

ÍndiceEnunciado

(X,Y)=1’60

(X|Y)=0’65 (Y|X)=0’72

(X)=0’88

I (X;Y)==0’23

(Y)=0’95

I(X ; Y ) = H(X )− H(X |Y ) = H(Y )− H(Y |X ),

H(X , Y ) = H(X |Y ) + I(X ; Y ) + H(Y |X ).

ÍndiceEnunciado

(X,Y)=1’60

(X|Y)=0’65 (Y|X)=0’72

(X)=0’88

I (X;Y)==0’23

(Y)=0’95

I(X ; Y ) = H(X )− H(X |Y ) = H(Y )− H(Y |X ),

H(X , Y ) = H(X |Y ) + I(X ; Y ) + H(Y |X ).

ÍndiceEnunciado

(X,Y)=1’60

(X|Y)=0’65 (Y|X)=0’72

(X)=0’88

I (X;Y)==0’23

(Y)=0’95

I(X ; Y ) = H(X )− H(X |Y ) = H(Y )− H(Y |X ),

H(X , Y ) = H(X |Y ) + I(X ; Y ) + H(Y |X ).

ÍndiceEnunciado

Canal simétrico binario con borrón, BEC

Índice

1 Enunciado

4 Ejercicios propuestosCanal simétrico binario con borrón, BEC

ÍndiceEnunciado

Enunciado BEC (I)

Una fuente E emite bits de modo que la probabilidad encualquier momento de emitir un uno sea 0′3.

Esos bits son transmitidos hasta un receptor R a través de uncanal simétrico binario con borrón o borrado (BEC) conprobabilidad de error en un bit igual a 0′15 y de borrón de 0′05.

P(X=1)=0’3

P(Y=1)P(Y=0)

p=0’15q=0’05

1−p−q

ÍndiceEnunciado

Enunciado BEC (I)Una fuente E emite bits de modo que la probabilidad encualquier momento de emitir un uno sea 0′3.

P(X=1)=0’3

P(Y=1)P(Y=0)

p=0’15q=0’05

1−p−q

ÍndiceEnunciado

P(X=1)=0’3

P(Y=1)P(Y=0)

p=0’15q=0’05

1−p−q

ÍndiceEnunciado

P(X=1)=0’3

P(Y=1)P(Y=0)

p=0’15q=0’05

1−p−q

ÍndiceEnunciado

Enunciado BEC (II)

Determinad P(Y ), i.e., la distribución marginal de la v.a. Y .Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .Y la de la condidional P(X |Y ).Luego las entropías de todas las distribuciones deprobabilidad y la información mutua. Explicad lasrelaciones entre las entropías y la información mutua.

ÍndiceEnunciado

Enunciado BEC (II)

Determinad P(Y ), i.e., la distribución marginal de la v.a. Y .

Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .Y la de la condidional P(X |Y ).Luego las entropías de todas las distribuciones deprobabilidad y la información mutua. Explicad lasrelaciones entre las entropías y la información mutua.

ÍndiceEnunciado

Enunciado BEC (II)

Determinad P(Y ), i.e., la distribución marginal de la v.a. Y .Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .

Y la de la condidional P(X |Y ).Luego las entropías de todas las distribuciones deprobabilidad y la información mutua. Explicad lasrelaciones entre las entropías y la información mutua.

ÍndiceEnunciado

Enunciado BEC (II)

Determinad P(Y ), i.e., la distribución marginal de la v.a. Y .Idem la P(X , Y ), i.e., la distribución conjunta de las v.a.’s Xe Y .Y la de la condidional P(X |Y ).

Luego las entropías de todas las distribuciones deprobabilidad y la información mutua. Explicad lasrelaciones entre las entropías y la información mutua.

ÍndiceEnunciado

Enunciado BEC (II)

ÍndiceEnunciado

Enunciado BEC (II)

cti: lección 1, primer teorema de shannon...

Documents