Seminario de Probabilidades y Estadstica

EntropaYanela Mndez Gonzlez Patricia Gutirrez Zayas-Bazn

Relacin entre Probabilidad, Entropa e InformacinInformacin:1) 2) 3)

Estas propiedades se cumplen si proponemos:

Relacin entre Probabilidad, Entropa e InformacinLa entropa constituye una medida del grado de desorden o de desorganizacin de un sistema. La entropa es la encargada de medir la aleatoriedad en una cadena de caracteres. Su clculo se realiza mediante la siguiente frmula:

Relacin entre Probabilidad, Entropa e InformacinAlgunas propiedades de la Entropa son:1. 2. 3.

, si y solo si

para cada i

, la Entropa es mxima si p es uniforme, , donde es el cardinal del espacio muestral. Por convencin, para , se usa:

4.

5.

Entropa Conjunta. PropiedadesLa entropa conjunta H(X,Y) de un par de variables aleatorias con distribucin p(x,y) es:

Propiedades de la entropa conjunta

Propiedad aditiva: Si X y Y son independientes entonce

Entropa Conjunta. PropiedadesDemostracin de esta propiedad:

Entropa Condicional. PropiedadesSe define la entropa condicional, de X dado Y, como la incertidumbre sobre X una vez que conocemos Y. Esto se expresa matemticamente por:

Se usan tambin estas expresiones:

Entropa Condicional. PropiedadesPropiedades de la entropa condicional

Demostracin de ltima propiedad Como probabilidad conjunta Como entonces, por propiedad de tenemos:

Clculo de la Entropa en un texto codificado como una cadena de caracteres.

Ingls

Espaol