UNIVERSIDAD NACIONAL JOS FAUSTINO SNCHEZ CARRIN

Entropa (desambiguacin)

Entermodinmica, laentropa(simbolizada comoS) es unamagnitud fsicaque, mediante clculo, permite determinar la parte de laenergaque no puede utilizarse para producirtrabajo. Es unafuncin de estadode carcterextensivoy su valor, en unsistema aislado, crece en el transcurso de un proceso que se d de forma natural. La entropa describe loirreversiblede los sistemastermodinmicos. La palabraentropaprocede delgriego() y significa evolucin o transformacin. FueRudolf Clausiusquien le dio nombre y la desarroll durante la dcada de 1850; yLudwig Boltzmann, quien encontr en 1877 la manera de expresar matemticamente este concepto, desde el punto de vista de la probabilidad.

I. EVIDENCIAS

Cuando se plantea la pregunta: Por qu ocurren los sucesos en la Naturaleza de una manera determinada y no de otra manera?, se busca una respuesta que indique cul es el sentido de los sucesos. Por ejemplo, si se ponen en contacto dos trozos de metal con distinta temperatura, se anticipa que finalmente el trozo caliente se enfriar, y el trozo fro se calentar, finalizando enequilibrio trmico. El proceso inverso, el calentamiento del trozo caliente y el enfriamiento del trozo fro es muy improbable que se presente, a pesar de conservar la energa. El universo tiende a distribuir la energa uniformemente; es decir, a maximizar la entropa.La funcin termodinmica entropa es central para lasegunda Ley de la Termodinmica. La entropa puede interpretarse como una medida de la distribucinaleatoria de un sistema. Se dice que un sistema altamente distribuido al azar tiene alta entropa. Un sistema en una condicin improbable tendr una tendencia natural a reorganizarse a una condicin ms probable (similar a una distribucin al azar), reorganizacin que dar como resultado un aumento de la entropa. La entropa alcanzar un mximo cuando el sistema se acerque al equilibrio, y entonces se alcanzar la configuracin de mayor probabilidad.Una magnitud es unafuncin de estadosi, y slo si, su cambio de valor entre dos estados es independiente del proceso seguido para llegar de un estado a otro. Esa caracterizacin de funcin de estado es fundamental a la hora de definir la variacin de entropa.La variacin de entropa nos muestra la variacin del orden molecular ocurrido en unareaccin qumica. Si el incremento de entropa es positivo, losproductos presentan un mayor desorden molecular (mayor entropa) que losreactivos. En cambio, cuando el incremento es negativo, los productos son ms ordenados. Hay una relacin entre la entropa y la espontaneidad de una reaccin qumica, que viene dada por laenerga de Gibbs.

II. ECUACIONES

Esta idea de desorden termodinmico fue plasmada mediante unafuncinideada porRudolf Clausiusa partir de un proceso cclico reversible. En todo proceso reversiblelaintegral curvilneadeslo depende de los estados inicial y final, con independencia del camino seguido (Qes la cantidad de calor absorbida en el proceso en cuestin yTes latemperatura absoluta). Por tanto, ha de existir unafuncindel estado del sistema, S=f(P,V,T), denominadaentropa, cuya variacin en un proceso reversible entre los estados 1 y 2 es: .

Tngase en cuenta que, como elcalorno es una funcin de estado, se usaQ, en lugar dedQ.

La entropa fsica, en su forma clsica, est definida por la ecuacin siguiente:

o, ms simplemente, cuando no se produce variacin detemperatura(proceso isotrmico):DondeSes la entropa,la cantidad decalorintercambiado entre el sistema y el entorno yTla temperatura absoluta enkelvin.Unidades: S=[cal/K]Los nmeros 1 y 2 se refieren a los estados iniciales y finales de un sistema termodinmico.A) SignificadoEl significado de esta ecuacin es el siguiente:

Cuando un sistema termodinmico pasa, en un proceso reversible e isotrmico, del estado 1 al estado 2, el cambio en su entropa es igual a la cantidad decalor intercambiado entre el sistema y el medio dividido por sutemperaturaabsoluta.

De acuerdo con la ecuacin, si el calor se transfiere al sistema, tambin lo har la entropa, en la misma direccin. Cuando la temperatura es ms alta, el flujo de calor que entra produce un aumento de entropa menor. Y viceversa.Las unidades de la entropa, en el Sistema Internacional, son el J/K (o Clausius), definido como la variacin de entropa que experimenta un sistema cuando absorbe el calor de 1Julio (unidad)a la temperatura de 1Kelvin.Cuando el sistema evoluciona irreversiblemente, la ecuacin de Clausius se convierte en una inecuacin:

Siendo el sumatorio de las i fuentes de calor de las que recibe o transfiere calor el sistema y la temperatura de las fuentes. No obstante, sumando un trmino positivo al segundo miembro, podemos transformar de nuevo la expresin en una ecuacin:

Al trmino, siempre positivo, se le denominaproduccin de entropa, y es nulo cuando el proceso es reversible salvo irreversibilidades fruto de transferencias de calor con fuentes externas al sistema. En el caso de darse un proceso reversible yadiabtico, segn la ecuacin, dS=0, es decir, el valor de la entropa es constante y adems constituye unproceso iso-entrpico.

III. CERO ABSOLUTO

Solo se pueden calcular variaciones de entropa. Para calcular la entropa de un sistema, es necesario fijar la entropa del mismo en un estado determinado. Latercera ley de la termodinmicafija un estado estndar:para sistemas qumicamente puros, sin defectos estructurales en la red cristalina, de densidad finita, la entropa es nula en elcero absoluto(0 K) o (-273.16C)Esta magnitud permite definir lasegunda ley de la termodinmica, de la cual se deduce que un proceso tiende a darse de forma espontnea en un cierto sentido solamente. Por ejemplo: un vaso de agua no empieza a hervir por un extremo y a congelarse por el otro de forma espontnea, an cuando siga cumplindose la condicin deconservacin de la energadel sistema (laprimera ley de la termodinmica).

IV. ENTROPA Y REVERSIVILIDAD

La entropa global del sistema es la entropa del sistema considerado ms la entropa de los alrededores. Tambin se puede decir que la variacin de entropa del universo, para un proceso dado, es igual a su variacin en el sistema ms la de los alrededores:

Si se trata de unproceso reversible, S (universo) es cero, pues el calor que el sistema absorbe o desprende es igual altrabajorealizado.

Pero esto es una situacin ideal, ya que para que esto ocurra los procesos han de ser extraordinariamente lentos, y esta circunstancia no se da en la naturaleza. Por ejemplo, en la expansin isotrmica (proceso isotrmico) de un gas, considerando el proceso como reversible, todo el calor absorbido del medio se transforma en trabajo yQ= -W. Pero en la prctica real el trabajo es menor, ya que hay prdidas por rozamientos, por lo tanto, los procesos son irreversibles.Para llevar al sistema nuevamente a su estado original, hay que aplicarle un trabajo mayor que el producido por el gas, lo que da como resultado una transferencia de calor hacia el entorno, con un aumento de la entropa global.Como los procesos reales son siempre irreversibles, siempre aumentar la entropa. As comola energa no puede crearse ni destruirse, la entropa puede crearse pero no destruirse. Es posible afirmar entonces que,como el Universo es un sistema aislado, su entropa crece constantemente con el tiempo. Esto marca un sentido a la evolucin del mundo fsico, que se conoce comoprincipio de evolucin.Cuando la entropa sea mxima en el Universo, esto es, cuando exista un equilibrio entre todas las temperaturas y presiones, llegar lamuerte trmica del Universo(enunciada porClausius).En el caso de sistemas cuyas dimensiones sean comparables a las dimensiones de las molculas, la diferencia entre calor y trabajo desaparece y, por tanto, parmetros termodinmicos como la entropa, la temperatura y otros no tienen significado. Esto conduce a la afirmacin de que elsegundo principio de la termodinmicano es aplicable a estos microsistemas, porque realmente no son sistemas termodinmicos. Se cree que existe tambin un lmite superior de aplicacin del segundo principio, de tal modo que no se puede afirmar su cumplimiento en sistemasinfinitoscomo el Universo, lo que pone en controversia la afirmacin de Clausius sobre la muerte trmica del Universo.

V. HISTORIA DE LA ENTROPA

El concepto de entropa desarrollado en respuesta a la observacin de que una cierta cantidad de energa liberada de funcionalesreacciones de combustinsiempre se pierde debido a la disipacin o la friccin y por lo tanto no se transforma en trabajo til. Los primeros motores de calor comoThomas Savery(1698), elNewcomen motor(1712) y el Cugnot de vapor de tres ruedas (1769) eran ineficientes, la conversin de menos de dos por ciento de la energa de entrada en produccin de trabajo til; una gran cantidad de energa til se disipa o se pierde en lo que pareca un estado de aleatoriedad inconmensurable. Durante los prximos dos siglos los fsicos investigaron este enigma de la energa perdida, el resultado fue el concepto de entropa.En la dcada de 1850,Rudolf Clausiusestableci el concepto desistema termodinmicoy postula la tesis de que en cualquier proceso irreversible una pequea cantidad de energa trmica Q se disipa gradualmente a travs de la frontera del sistema. Clausius sigui desarrollando sus ideas de la energa perdida, y acu el trmino "entropa". Durante el prximo medio siglo se llev a cabo un mayor desarrollo, y ms recientemente el concepto de entropa ha encontrado aplicacin en el campo anlogo de prdida de datos en los sistemas de transmisin de informacin.

VI. INTERPRETACIN ESTADSTICA DE LA ENTROPA

Tumba de Boltzmann en el Cementerio central de Vienacon la frmula de entropa.

En los aos1890-1900el fsico austracoLudwig Boltzmanny otros desarrollaron las ideas de lo que hoy se conoce como mecnica estadstica, teora profundamente influenciada por el concepto de entropa. Una de las teoras termodinmicas estadsticas (lateora de Maxwell-Boltzmann) establece la siguiente relacin entre la entropa y laprobabilidad termodinmica:,

donde S es la entropa, k laconstante de Boltzmanny el nmero demicro estadosposibles para el sistema (lnes la funcin logaritmo neperiano). La ecuacin asume que todos los micro estados tienen la misma probabilidad de aparecer.La ecuacin se encuentra grabada sobre la lpida de la tumba deLudwig Boltzmannen ElZentralfriedhof(el cementerio central) deViena. Boltzmann se suicid en1906, profundamente deprimido, quiz por la poca aceptacin de sus teoras en el mundo acadmico de la poca.4

El significado de la ecuacin es el siguiente:

La cantidad de entropa de un sistema es proporcional al logaritmo natural del nmero demicroestadosposibles.

Uno de los aspectos ms importantes que describe esta ecuacin es la posibilidad de dar una definicin absoluta al concepto de la entropa. En la descripcin clsica de la termodinmica, carece de sentido hablar del valor de la entropa de un sistema, pues slo los cambios en la misma son relevantes. En cambio, la teoraestadsticapermite definir la entropa absoluta de un sistema.La entropa es una magnitud fsica bsica que dio lugar a diversas interpretaciones, al parecer a veces en conflicto. Han sido, sucesivamente, asimilados a diferentes conceptos, como el desorden y la informacin. La entropa mide tanto la falta de informacin como la informacin. Estas dos concepciones son complementarias. La entropa tambin mide la libertad, y esto permite una interpretacin coherente de las frmulas de entropa y de los hechos experimentales. No obstante, asociar la entropa y el desorden implica definir el orden como la ausencia de libertad.5El desorden o la agitacin guardan relacin con latemperatura.

A) Entropa y desorden

Cuando la energa es degradada, dijo Boltzmann, se debe a que los tomos asumen un estado ms desordenado. Y la entropa es un parmetro del desorden: sa es la concepcin profunda que se desprende de la nueva interpretacin de Boltzmann. Por extrao que parezca, se puede crear una medida para el desorden; es la probabilidad de un estado particular, definido aqu como el nmero de formas en que se puede armar a partir de sus tomosJacob Bronowski.El ascenso del hombre(The Ascent of Man).Bogot, Fondo Educativo Interamericano, 1979, p. 347, captulo 10 "Un mundo dentro del mundo".Coloquialmente, suele considerarse que la entropa es el desorden de un sistema, es decir, su grado de homogeneidad. Un ejemplo domstico sera el de lanzar un vaso de cristal al suelo: tender a romperse y a esparcirse, mientras que jams ser posible que, lanzando trozos de cristal, se construya un vaso por s solo. Otro ejemplo domstico: imagnense dos envases de un litro de capacidad que contienen, respectivamente, pintura blanca y pintura negra; con una cucharita, se toma pintura blanca, se vierte en el recipiente de pintura negra y se mezcla; luego se toma pintura negra con la misma cucharita, se vierte en el recipiente de pintura blanca y se mezclan; el proceso se repita hasta que se obtienen dos litros de pintura gris, que no podrn reconvertirse en un litro de pintura blanca y otro de pintura negra; la entropa del conjunto ha ido en aumento hasta llegar a un mximo cuando los colores de ambos recipientes son sensiblemente iguales (sistema homogneo).No obstante, considerar que la entropa es el desorden de un sistema sin tener en cuenta la naturaleza del mismo es unafalacia. Y es que hay sistemas en los que la entropa no es directamente proporcional al desorden, sino al orden.

B) Entropa como creadora de orden

A pesar de la identificacin entre la entropa y el desorden, hay muchas transiciones de fase en la que emerge una fase ordenada y al mismo tiempo, la entropa aumenta. En este artculo se muestra que esta paradoja se resuelve haciendo una interpretacin literal de la famosa ecuacin de Boltzmann S = k log W. Podemos verlo en la segregacin de unamezclatipocoloide, por ejemplo cuando el agua y aceite tienden a separarse. Tambin en la cristalizacin de esferas duras: cuando agitamos naranjas en un cesto, stas se ordenan de forma espontnea. De estos casos se deduce el concepto de fuerza entrpica o interaccin, muy til en la ciencia de polmeros o ciencia coloidal.6

C) Relacin de la entropa con la teora de la informacin

Recientes estudios han podido establecer una relacin entre la entropa fsica y laentropade lateora de la informacingracias a la revisin de la fsica de los agujeros negros. Segn la nueva teora deJacob D. Bekensteinelbitde informacin sera equivalente a una superficie de valor 1/4 del rea de Planck. De hecho, en presencia de agujeros negros lasegunda ley de la termodinmicaslo puede cumplirse si se introduce la entropa generalizada o suma de la entropa convencional (Sconv) ms un factor dependiente del rea total (A) de agujeros negros existente en el universo, del siguiente modo:

Donde,kes laconstante de Boltzmann,ces lavelocidad de la luz,Ges laconstante de la gravitacinyes laconstante de Planckracionalizada.Los agujeros negros almacenaran la entropa de los objetos que engulle en la superficie delhorizonte de sucesos.Stephen Hawkingha tenido que ceder ante las evidencias de la nueva teora y ha propuesto un mecanismo nuevo para la conservacin de la entropa en los agujeros negros.Simplemente, al realizar un trabajo, se ocupa muy poca energa; la entropa se encarga de medir la energa que no es usada y queda reservada en un cuerpo.

En el mbito de lateora de la informacinlaentropa, tambin llamadaentropa de la informacinyentropa de Shannon(en honor aClaude E. Shannon), mide la incertidumbre de unafuente de informacin.La entropa tambin se puede considerar como la cantidad de informacin promedio que contienen los smbolos usados. Los smbolos con menor probabilidad son los que aportan mayor informacin; por ejemplo, si se considera como sistema de smbolos a las palabras en un texto, palabras frecuentes como "que", "el", "a" aportan poca informacin, mientras que palabras menos frecuentes como "corren", "nio", "perro" aportan ms informacin. Si de un texto dado borramos un "que", seguramente no afectar a la comprensin y se sobreentender, no siendo as si borramos la palabra "nio" del mismo texto original. Cuando todos los smbolos son igualmente probables (distribucin de probabilidad plana), todos aportan informacin relevante y la entropa es mxima.El conceptoentropaes usado entermodinmica,mecnica estadsticayteora de la informacin. En todos los casos la entropa se concibe como una "medida del desorden" o la "peculiaridad de ciertas combinaciones". La entropa puede ser considerada como una medida de la incertidumbre y de la informacin necesarias para, en cualquier proceso, poder acotar, reducir o eliminar la incertidumbre. Resulta que el concepto de informacin y el de entropa estn bsicamente relacionados entre s, aunque se necesitaron aos de desarrollo de lamecnica estadsticay de lateora de la informacinantes de que esto fuera percibido.ndice 1Relacin con la entropa termodinmica 2Concepto intuitivo 3Definicin formal 3.1Ejemplos 3.2Informacin mutua 4Propiedades 5Codificador ptimo 5.1Ejemplo 6Entropa condicional 6.1Aplicacin en criptoanlisis 6.2Ejemplo 7Entropa de un proceso estocstico 7.1Ratio de entropa 8Referencias 8.1Bibliografa

Relacin con la entropa termodinmica

La entropa de la teora de la informacin est estrechamente relacionada con laentropa termodinmica. En la termodinmica se estudia un sistema de partculas cuyos estados X (usualmente posicin y velocidad) tienen una ciertadistribucin de probabilidad, pudiendo ocupar varios microestados posibles (equivalentes a los smbolos en la teora de la informacin). La entropa termodinmica es igual a la entropa de la teora de la informacin de esa distribucin (medida usando ellogaritmo neperiano) multiplicada por laconstante de Boltzmannk, la cual permite pasar de nats (unidad semejante al bit) a J/K. Cuando todos los microestados son igualmente probables, la entropa termodinmica toma la forma k log(N). En un sistema aislado, la interaccin entre las partculas tiende a aumentar su dispersin, afectando sus posiciones y sus velocidades, lo que causa que la entropa de la distribucin aumente con el tiempo hasta llegar a un cierto mximo (cuando el mismo sistema es lo ms homogneo y desorganizado posible); lo que es denominadosegunda ley de la termodinmica. La diferencia entre la cantidad de entropa que tiene un sistema y el mximo que puede llegar a tener se denominaneguentropa, y representa la cantidad de organizacin interna que tiene el sistema. A partir de esta ltima se puede definir laenerga libre de Gibbs, que indica la energa que puede liberar el sistema al aumentar la entropa hasta su mximo y puede ser transformada en trabajo (energa mecnica til) usando unamquina ideal de Carnot. Cuando un sistema recibe un flujo de calor, las velocidades de las partculas aumentan, lo que dispersa la distribucin y hace aumentar la entropa. As, el flujo de calor produce un flujo de entropa en la misma direccin.

Concepto intuitivo

Entropa de la informacin en unensayo de BernoulliX(experimento aleatorio en que X puede tomar los valores 0 o 1). La entropa depende de la probabilidad P(X=1) de que X tome el valor 1. Cuando P(X=1)=0.5, todos los resultados posibles son igualmente probables, por lo que el resultado es poco predecible y la entropa es mxima.El concepto bsico de entropa enteora de la informacintiene mucho que ver con laincertidumbreque existe en cualquier experimento o seal aleatoria. Es tambin la cantidad de "ruido" o "desorden" que contiene o libera un sistema. De esta forma, podremos hablar de la cantidad de informacin que lleva una seal.Como ejemplo, consideremos algn texto escrito enespaol, codificado como una cadena de letras, espacios ysignos de puntuacin(nuestra seal ser una cadena de caracteres). Ya que, estadsticamente, algunos caracteres no son muy comunes (por ejemplo, 'w'), mientras otros s lo son (como la 'a'), la cadena de caracteres no ser tan "aleatoria" como podra llegar a ser. Obviamente, no podemos predecir con exactitud cul ser el siguiente carcter en la cadena, y eso la hara aparentemente aleatoria. Pero es la entropa la encargada de medir precisamente esa aleatoriedad, y fue presentada por Shannon en su artculo de1948,A Mathematical Theory of Communication("Una teora matemtica de la comunicacin", en ingls).Shannon ofrece una definicin de entropa que satisface las siguientes afirmaciones: La medida de informacin debe serproporcional(linealcontinua). Es decir, el cambio pequeo en una de las probabilidades de aparicin de uno de los elementos de la seal debe cambiar poco la entropa. Si todos los elementos de la seal son equiprobables a la hora de aparecer, entonces la entropa ser mxima.Ejemplos de mxima entropa: Suponiendo que estamos a la espera de un texto, por ejemplo un cable con un mensaje. En dicho cable slo se reciben las letras en minscula de la a hasta la z, entonces si el mensaje que nos llega es "qalmnbphijcdgketrsfuvxyzwo" el cual posee una longitud de 27 caracteres, se puede decir que este mensaje llega a nosotros con la mxima entropa (o desorden posible); ya que es poco probable que se pueda pronosticar la entrada de caracteres, pues estos no se repiten ni estn ordenados en una forma predecible.

Definicin formal

Supongamos que un evento (variable aleatoria) tiene un grado de indeterminacin inicial igual a(i.e. existenestados posibles) y supongamos todos los estados equiprobables. Entonces la probabilidad de que se d una de esas combinaciones ser. Luego podemos representar la expresincomo:

Si ahora cada uno de losestados tiene una probabilidad, entonces la entropa vendr dada por la suma ponderada de la cantidad de informacin:1

Por lo tanto, la entropa de un mensaje, denotado por, es el valor medio ponderado de la cantidad de informacin de los diversos estados del mensaje:

que representa una medida de la incertidumbre media acerca de una variable aleatoria y por tanto de la cantidad de informacin. Nota: Obsrvese que se usa el logaritmo en base 2 porque se considera que la informacin se va a representar mediante cdigo binario (se quiere representar conbits). Si para representar la informacin se usaran valores en una baseentonces sera conveniente utilizar el logaritmo en base.Nota 2: Observese que es una cantidad adimensional, es decir no lleva unidad.

a) Ejemplos La entropa de un mensaje M de longitud 1 carcter que utiliza el conjunto de caracteres ASCII, suponiendo una equiprobabilidad en los 256 caracteres ASCII, ser:

Supongamos que el nmero de estados de un mensaje es igual a 3, M1, M2y M3donde la probabilidad de M1es 50%, la de M225% y la de M325%. Por tanto la entropa de la informacin es:

b) Informacin mutua

La entropa puede verse como caso especial de lainformacin mutua. Lainformacin mutuade dosvariables aleatorias, denotado por I(X;Y), es unacantidadque mide la dependencia mutua de las dosvariables; es decir, mide la reduccin de la incertidumbre (entropa) de una variable aleatoria, X, debido al conocimiento del valor de otra variable aleatoria, Y.2De la definicin podemos concluir que si X e Y son iguales, entonces I(X;X)=H(X).PropiedadesLa entropa tiene las siguiente propiedades:1. La entropa es no negativa. Esto es evidente ya que al seruna probabilidad entonces. Por tanto podemos decir quey por tanto2. Es decir, la entropa H est acotada superiormente (cuando es mxima) y no supone prdida de informacin.3. Dado un proceso con posibles resultados {A1,..,An} con probabilidades relativas p1,...,pn, la funcines mxima en el caso de que. El resultado es intuitivo ya que tenemos la mayor incertidumbre del mensaje, cuando los valores posibles de la variable son equiprobables4. Dado un proceso con posibles resultados {A1,..,An} con probabilidades relativas p1,...,pn, la funcines nula en el caso de quepara todo i, excepto para una clase, tal que:. De forma intuitiva podemos pensar que cuando uno o ms estados tienen una probabilidad alta, disminuye significativamente la entropa porque, como es lgico, existe una menor incertidumbre respecto al mensaje que se recibir.

Codificador ptimo

Uncodificador ptimoes aquel que utiliza el mnimo nmero de bits para codificar un mensaje. Un codificador ptimo usar cdigos cortos para codificar mensajes frecuentes y dejar los cdigos de mayor longitud para aquellos mensajes que sean menos frecuentes. De esta forma se optimiza el rendimiento del canal o zona de almacenamiento y el sistema es eficiente en trminos del nmero de bits para representar el mensaje.Por ejemplo, elcdigo Morsese aprovecha de este principio para optimizar el nmero de caracteres a transmitir a partir del estudio de las letras ms frecuentes del alfabeto ingls. El cdigo Morse no es un codificador ptimo pero s asigna a las letras ms frecuente cdigo ms cortos. Otro ejemplo sera elalgoritmo de Huffmande codificacin que sirve para compactar informacin.3Este mtodo se basa en elcodificador ptimo. Para ello lo primero que hace es recorrer toda la informacin para encontrar la frecuencia de los caracteres y luego a partir de esta informacin busca el codificador ptimo por medio de rboles binarios. Algunas tcnicas de compresin comoLZWodeflacinno usan probabilidades de los smbolos aislados, sino que usan las probabilidades conjuntas de pequeas secuencias de smbolos para codificar el mensaje, por lo que pueden lograr un nivel de compresin mayor.Podemos construir un codificador ptimo basndonos en la entropa de una variable aleatoria de informacin X. En efecto, la entropa nos da elnmero mediode bits (si usamos logaritmos de base 2) necesarios para codificar el mensaje a travs de uncodificador ptimoy por tanto nos determina el lmite mximo al que se puede comprimir un mensaje usando un enfoque smbolo a smbolo sin ninguna prdida de informacin (demostrado analticamente por Shannon), el lmite de compresin (en bits) es igual a la entropa multiplicada por el largo del mensaje. Reescribiendo la ecuacin de clculo de la entropa llegamos a que:

Por lo tanto, la informacin (que se encuentra definida en bits, dado que la base del logaritmo es 2) que aporta un determinado valor o smbolode una variable aleatoria discretase define como:

Esta expresin representa el nmero necesario de bits para codificar el mensaje x en elcodificador ptimoy por tanto la entropa tambin se puede considerar como una medida de la informacin promedio contenida en cada smbolo del mensaje.

a) EjemploSupongamos que el nmero de estados de un mensaje es igual a 3 M1, M2y M3donde la probabilidad de M1es 50%, la de M225% y la de M325%.Para M1tenemos quePara M2tenemos quePara M3tenemos quePor tanto en el codificador ptimo para transmitir M1har falta un bit y para M2y M3ser necesario contar con dos bits. Por ejemplo podramos codificar M1con "0", M2con "10" y M2con "11". Usando este convenio para codificar el mensaje M1M2M1M1M3M1M2M3usaramos "010001101011" y por tanto 12 bits. El valor de la entropa sera:

Por tanto elcodificador ptimonecesita de media 1,5 bits para codificar cualquier valor de X.

Entropa condicional

Supongamos que en vez de tener una nica variable aleatoria X, existe otra variable Y dependientes entre s, es decir el conocimiento de una (por ejemplo Y) entrega informacin sobre la otra (por ejemplo X). Desde el punto de vista de la entropa de la informacin podemos decir que la informacin de Y disminuir la incertidumbre de X. Por tanto podemos decir que la entropa de X ser condicional a Y. y por tanto:

Como por elteorema de Bayestenemos que p(x,y)=p(y)p(x|y) donde p(x|y) es la probabilidad de que se d un estado de X conocida Y, podemos decir:

Aplicacin en criptoanlisis

El concepto de entropa condicional es muy interesante en el campo delcriptoanlisis. Proporciona una herramienta para evaluar el grado de seguridad de los sistemas. Por ejemplo para un sistema decifradohay dos entropas condicionales interesantes:4Supongamos Un mensaje M1es sometido a un proceso de cifrado usando la clave K1obteniendo E(K1,M1)=C1. representan la probabilidad condicional de la clave K dado el criptograma recibido C. A veces tambin se denota por representan la probabilidad condicional del mensaje M dado el criptograma recibido C. A veces tambin se denota por

Entonces: Podemos calcular la entropa del conocimiento de la clave una vez conocido el texto cifrado, y por tanto medir laequivocacin del mensaje(en inglsmessage equivocation),, tambin denotada por, mediante la frmula:

La primera igualdad es por la definicin de la entropa condicional y la segunda por aplicacin delteorema de Bayes.Observar que sisignifica que se podr romper el cifrado pues ya no hay incertidumbre. Esta anulacin nos introduce en el concepto dedistancia de unicidad. Podemos calcular la entropa del conocimiento del mensaje una vez conocido el texto cifrado, y por tanto medir laequivocacin de la clave(en inglskey equivocation),, tambin denotada por, mediante la frmula:

La primera igualdad es por la definicin de la entropa condicional y la segunda por aplicacin delteorema de Bayes.

a) EjemploSupongamos una variable X con cuatro estados:todos equiprobables y por tanto. Existe adems otra variable Y con tres estados;con probabilidadesy. Se conocen adems las siguientes dependecias:Sientonces los posibles valores de x sonSientonces los posibles valores de x sonSientonces los posibles valores de x sonAplicando las frmulas tenemos:

En este caso el conocimiento de la dependencia de X respecto Y reduce la entropa de X de 2 a 1,5.

Entropa de un proceso estocsticoUnproceso estocsticoes una secuencia indexada de variables aleatorias. En general, puede haber dependencias entre las variables aleatorias. Para estudiar la probabilidad de cierto conjunto de valores se suele adoptar el siguiente convenio:

Seaun proceso estocstico de n variables aleatorias, y seael conjunto de la posibles combinaciones de valores de. Se define laentropa del proceso estocstico, tambin llamadaentropa del n-gramay denotado por, como:

Ratio de entropa Laratio de entropade una secuencia de n variables aleatorias (proceso estocstico) caracteriza la tasa de crecimiento de la entropa de la secuencia con el crecimiento de n.Laratio de entropade un proceso estocsticoviene definida por la ecuacin:

Siempre que dicho lmite exista.

1. Concepto de Entropia2. Caracteristicas3. Transferencia de Entropia4. Irreversibilidad y Entropia5. Principio de aumento de entropia6. Calculo de variaciones de EntropiaConcepto de Entropia .1.- Desigualdad de Clausius:La desigualdad de Clausiu es una relacion entre las temperasturas de un numero arbitrario de fuentes termicas y las cantidades de calor entregadas o absorbidas por ellas, cuando a una sustancia se le hace recorrer un proceso ciclico arbitrario durante el cual intercambie calor con las fuentes. Esta desigualdad viene dada por:dQ / T