UNIDAD 1CADENA DE MARKOV

1.3. PROBABILIDAD DE TRANSICION DE ESTADOS ESTABLES

TEOREMASea P la matriz de transicin de una cadena de M estados. Existe entonces un vector tal que se establece que para cualquier estado inicial i.El vector a menudo se llama distribucin de estado estable o tambin distribucin de equilibrio para la cadena de Markov. Para encontrar la distribucin de probabilidades de estacionario para una cadena dada cuya matriz de transicin es P. segn el teorema, para n grande y para toda i

Como: Pij(n+1)= (rengln i de Pn)(columna j de P), podemos describir

Ejemplo:Suponga que toda la industria de refrescos produce dos colas. Cuando una persona ha comprado la cola 1, hay una probabilidad de 90% de que su siguiente compra sea de cola 1. Si una persona compro cola 2, hay un 80% de probabilidad que su prxima compra sea de cola 2.

Entonces:Al remplazar la segunda ecuacin por la condicin, obtenemos el sistema. Al despejar el resulta que por lo tanto, despus de largo tiempo, hay probabilidad 2/3 de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona compre cola 2.

Tiempos de primer pas.Con frecuencia es conveniente poder hacer afirmaciones en trminos de probabilidad sobre el nmero de transicin que hace el proceso al ir de un estado i a un estado j por primera vez, este lapso se llama tiempos de primer paso al ir del estado al estado j. cuando j=i, este tiempo de primer paso es justo el nmero de transiciones hasta que el proceso regresa al estado al estado inicial i. En este caso, el tiempo de primer paso se llama tiempo de recurrencia para el estado i. para ilustrar estas definiciones, reconsidrese el ejemplo siguiente:

Una tienda de cmaras tiene el almacn un modelo especial de cmara que se puede ordenar cada semana. Sea D1, D2 las demandas de esta cmara durante la primera, segunda...semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idnticamente distribuidas que tiene una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se tiene en el momento de iniciar el proceso, x1 el nmero de cmaras que se tiene al final de la semana uno, x2 el nmero de cmaras al final de la semana dos, etc. Suponga que x0=3. El sbado en la noche la tienda hace un pedido que le entregan el lunes en el omento de abrir la tienda. La tienda usa la siguiente poltica (s,S)1 paran ordenar: si el nmero de cmaras en inventario al final de la semana es menor que s=1 (no hay cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario.Entonces, {X1} para t = 0,1 es un proceso estocstico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras en inventario al final de la semana. Donde Xt es el nmero de cmaras en inventario al final de la semana t y se comienza con: suponga que ocurri lo siguiente:

Es este caso el tiempo de primer paso para ir al estado 3, al estado 1 es de 2 semanas, el tiempo de primer paso para ir del estado 3 al estado 0 es de 3 semanas y el tiempo de recurrencia del estado 3 es de 4 semanas. En general. Los tiempos de primer paso son variables aleatorias y por lo tanto, tiene una distribucin de probabilidad asociada a ellos. Estas distribuciones de probabilidad dependen de las probabilidades de transicin del proceso. En particular denota las probabilidades satisfacen las siguientes relaciones recursivas: Para i y j fijos, son nmeros no negativos tales que esta suma puede ser menor que 1, lo que significan que un proceso que el iniciar se encuentran en el estado i puede no llegar nunca al estado jCuando la suma es iguala 1, las pueden considerar como una distribucin de probabilidad para la variable aleatoria, el tiempo de primer pas.

Para obtener el tiempo esperado de primer paso del estado i al estado j. sea que se define como:

Entonces satisface de manera nica la ecuacin:Cuando i=j se llama tiempo esperado de recurrencia.

Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para calcular el tiempo esperado hasta que ya no se tengan cmaras en el almacn, suponiendo que el proceso inicia cuando se tiene tres cmaras: es decir, se puede obtener el tiempo esperado de primer paso. Como todos los estados son recurrentes, el sistema de ecuaciones conduce a las expresiones.La solucin simultanea de este sistema es de manera que el tiempo esperado hasta que la tienda se queda sin cmaras es de 3.50 semanas. Caso de aplicacin.

1.4. PROBABILIDAD DE TRANSICION DE ESTADOS ABSORVENTES

Es un estado a partir de la cual existe cero probabilidad de hacer una transicin fuera de ese estado que contiene al menos un estado que es posible llegar a un numero de etapas comenzando en cualquier estado no absorbente. En una cadena de Markov, un conjunto C de estados se denomina absorbentes si el sistema pertenece indefinidamente. Un ejemplo especial de un conjunto cerrado es un estado particular que tenga una probabilidad de transicin. En este caso se denomina estado absorbente. Todas las probabilidades que con el correr del tiempo llegaran a ser cero, todo esto debido a que hay estados de una cadena irreducible deben formar un conjunto cerrado y ningn otro subconjunto puede ser cerrado.Los estados absorbentes tendrs sumas de que tiene probabilidad 1 y por los dems estados tendrn a llegar a esta clase de estados.Unsistema de Markov(oproceso de Markovocadena de Markov) es un sistema que puede ser en uno de algunos estados(enumerados), y que puede pasar de un estado a otro durante cadainstantede acuerdo a probabilidades determinadas.Si un sistema de Markov est en estadoi, Hay una determinada probabilidad,pij, de ir a estadojel prximo paso, ypijes llamado laprobabilidad de transicin.Un sistema de Markov puede ser ilustrado por significados de undiagrama de transicin de estados, que muestra todos los estados y las probabilidades de transicin. (Ver el ejemplo opuesto.)La matrizPcuyaijoentrada pijse llama lamatriz de transicinasociada con el sistema. Las entradas en cada rengln suman en total 1. Por lo tanto, para este caso, una a2 matrices de transicinPpodra ser representado en la siguiente figura.

Sistemas absorbentes de MarkovUn estado absorbenteen un sistema de Markov es un estado a partir de la cual existe cero probabilidades de salir. Un sistema absorbente de Markoves un sistema de Markov que contiene al menos un estado absorbente, tal que es posible llegar a un estado absorbente despus de algn nmero de etapas comenzando en cualquier estado no absorbente.En el anlisis de los sistemas absorbentes, enumeramos los estados en tal manera que los estados absorbentes son los ltimos. La matriz de transicinP de un sistema absorbente entonces se ve como sigue:P=S

T

0

I

AquIest la matriz unidadmm(m= nmero de estados absorbentes),Ses una matriz cuadrada (n-m)(n-m) (n = nmero total de estados, de modo n-m = el nmero de estados absorbentes),0es un matriz cero yTes un matriz (n-m)m.La matrizSes la matriz de transicin para la circulacin entre los estados de absorcin. Lamatriz fundamentalpara el sistema absorbente esQ= (I-S)-1.