Principios de las Comunicaciones Digitales

Unidad 4. Principios de las Comunicaciones Dig-itales

4.1 Conceptos Basicos.

4.2 Codificacion de Fuente.

4.3 Comunicaciones Confiables en la Presencia de Ruido.

1

Principios de las Comunicaciones Digitales

� Codificacion de Fuente (Source Coding)

La codificacion de fuente no tiene como objetivo cambiar o alterar la entropıa de una fuente

(promedio de informacion por sımbolo). En este sentido, la entropıa de una fuente es una

propiedad fundamental de la fuente. Sin embargo, la codificacion de fuente si altera la entropıa

de la simbolos codificados con la intencion de reducir el promedio del numero de simbolos

requeridos para transmitir un mensaje.

2

Principios de las Comunicaciones Digitales

Codificadores Canal DecodificadoresSenal~

Senal~

+Ruido

Ruido

Mensaje

Modelo de un Canal de Comunicacion

3

Principios de las Comunicaciones Digitales

Para un codigo aritmetico (basado solamente en las probabilidades de los sımbolos- Shannon-Fano, Huffman), la eficiencia del codigo esta definida como:

Entropıa de la fuentelongitud promedio del codigo

o

�� �� � � ��

donde � es la entropıa de la fuente y � es la longitud promedio del codigo, esto es

� �

� �

��� ��� � digitos binarios/sımbolo �

donde � � � es la probabilidad del sımbolo� y� la longitud del codigo asignado a ese sımbolo

en digitos binarios.

4

Principios de las Comunicaciones Digitales

El principio detras de la codificacion aritmetica es la asignacion de codigos con diferentes lon-gitudes a los sımbolos a transmitir. Con la asignacion de codigos cortos a los sımbolos masprobables se busca reducir la longitud promedio de los codigos ( � ).

Existe una propiedad escencial y una deseable en los codigos de longitud variable. Es escen-

cial que la decodificacion de un codigo de longitud variable sea unica. Esto significa que

un mensaje recibido debe tener solamente un posible significado.

5

Principios de las Comunicaciones Digitales

Ejemplo: Si una fuente tiene un alfabeto de 4 sımbolos los cuales se le asignan los siguientescodigos:

� � �

� � ��

� � � �

� � � �Si se recibe la secuencia � �� � no se puede saber si la transmision fue D,C o A,A,C. Este

esquema de decodificacion no es unico para este tipo de codigo y por lo tanto el esquema

de codificacion no es util.

6

Principios de las Comunicaciones Digitales

Es tambien deseable que un codigo pueda ser decodificado instantaneamente.

Ejemplo: Si una fuente tiene un alfabeto de 4 sımbolos los cuales se le asignan los siguientescodigos:

� � �

� � ��

� � �� �

� � � � �entonces estos codigos tiene una decodificacion unica pero no instantanea. Si la secuencia

� �� � es recibida (representa � � � � � ), entonces no se puede conocer si el primer digito repre-senta el sımbolo � en lugar de � o � hasta que el segundo digito es recibido ( � ). Similarmenteno se puede saber si el segundo digito ( � ) y el tercer digito (� ) representa � en lugar de � hastaque se recibe el cuarto digito ( � ), etc. Este tipo de codificacion se puede utilizar pero sinembargo la decodificacion es algo complicada!!.

7

Principios de las Comunicaciones Digitales

Si ahora se toman los bits del esquema de codificacion anterior al reves tenemos

� � �

� � � �

� � � � �

� � � � �por lo tanto se tiene ahora un esquema de decodificacion unico e instantaneo. El mismo mensaje

que se considero anteriormente ( � � � � � ) serıa �� � � y este mensaje puede ser decodificado

instantaneamente como se muestra en el siguiente diagrama de arbol:

8

Principios de las Comunicaciones Digitales

Reconocersimbolo?

Leer proximodigito

Estado Inicial

0

1 0

1

1

0

A

B

C

D

EmitirMensaje

Estado Inicial

9

Principios de las Comunicaciones Digitales

Ejemplo (Shannon-Fano): Este ejemplo consiste de 8 sımbolos � � � , con probabilidadesque se muestran en la siguiente tabla:

Sımbolo ProbabilidadA 0.1B 0.18C 0.4D 0.05E 0.06F 0.1G 0.07H 0.04

10

Principios de las Comunicaciones Digitales

Para el caso mas simple se asigna un codigo de 3 bits para cada sımbolo.

Sımbolo ProbabilidadA 000B 001C 010D 011E 100F 101G 110H 111

La entropıa de esta fuente esta dada como

� � �� � � bits/sımbolosi la longitud promedio de codigo es � digitos binarios, entonces la eficiencia de codificacionesta dada como

� � �!" � � �� � �� # � � � $

� % � $

11

Principios de las Comunicaciones Digitales

Tecnica de Codificacion Shannon-Fano

1. Arreglar los sımbolos en orden descendiente de acuerdo a sus valores de probabilidad

2. Dividir en 2 grupos donde los elementos de cada grupo tenga valores de probabilidadsimilares. Asignar al primer grupo un � y al segundo un� .

3. Repetir el punto 2 hasta que todos los grupos queden con un solo elemento

C 0.4 0.18

B A 0.10

F0.10

G0.07

E0.06 0.05

D0.04H

0 10 1

10 1 0

0 1

1

0 1

0

12

Principios de las Comunicaciones Digitales

El codigo se forma leyendo de la parte baja del diagrama hacia arriba, por lo tanto:

Sımbolo ProbabilidadA 100B 01C 00D 1110E 1101F 101G 1100H 1111

Que eficiencia tiene este esquema de codificacion?.

13