CADENAS DE MARKOVDefinicin: una cadena de Markov es un caso especial de los procesos de markov. Se usa para estudiar los comportamientos de ciertos sistemas estocsticos a corto y largo plazoPropiedad de Markov: Conocido el estado del proceso en un momento dado, su comportamiento futuro no depende del pasado. Dicho de otro modo, dado el presente, el futuro es independiente del pasado Ejercicio 1 cadenas de MarkovSea Xi una variable aleatoria que caracteriza el estado del sistema en puntos discretos en el tiempo t = 1, 2 . La familia de variables aleatorias {Xi} forma un proceso estocstico con una cantidad finita o infinita de estados.Proceso de Markov. Un proceso estocstico es un proceso de Markov si un estado futuro depende slo del estado inmediatamente anterior. Esto significa que dados los tiempos cronolgicos t0,t1,,tn,la familia de variables aleatorias {Xtn} = {x1, x2, , xn} es un proceso de Markov si

En un proceso Markoviano con n estados exhaustivos y mutuamente excluyentes, las probabilidades en un punto especfico del tiempo t = 0,1,2, se definen como

Esto se conoce como probabilidad de transicin en un paso al ir del estado i en el instante t 2 1 al estado j en el instante t. Por definicin, tenemos

La notacin utilizada en la matriz es una forma conveniente de resumir las probabilidades de transicin en un paso:

La matriz P define una cadena de Markov. Tiene la propiedad de que todas sus probabilidades de transicin pij son estacionarias e independientes a lo largo del tiempo. Aunque una cadena de Markov puede incluir un nmero infinito de estados, la presentacin en este captulo se limita a slo cadenas finitas, ya que es el nico que se necesita en el texto.EJEMPLO 1 cadenas de MarkovEl clima en el pueblo de Centerville puede cambiar con rapidez de un da a otro. Sin embargo, las posibilidades de tener clima seco (sin lluvia) maana es de alguna forma mayor si hoy est seco, es decir, si no llueve. En particular, la probabilidad de que maana est seco es de 0.8 si hoy est seco, pero es de slo 0.6 si hoy llueve. Estas probabilidades no cambian si se considera la informacin acerca del clima en los das anteriores a hoy.La evolucin del clima da tras da en Centerville es un proceso estocsticoSi se comienza en algn da inicial (etiquetado como da 0), el clima se observa cada da t, para t 5 0, 1, 2, . . . El estado del sistema en el da t puede ser:Estado 0 = El da t es secoo bienEstado 1 = El da t es lluviosoAs, para t = 0, 1, 2, . . ., la variable aleatoria Xt toma los valores,

El proceso estocstico {Xt} = {X0, X1, X2, . . .} proporciona una representacin matemtica de la forma en que evoluciona el clima en Centerville a travs del tiempo.

Estas ecuaciones tambin deben cumplirse si se reemplaza con (La razn es que los estados 0 y 1 son mutuamente excluyentes y son los nicos estados posibles; por ende, las probabilidades de los dos estados deben sumar 1. Por lo tanto, el proceso estocstico tiene la propiedad markoviana, lo que lo convierte en una cadena de Markov.Utilizando la notacin:

Encontrando las probabilidades inversas

Por lo tanto, la matriz de transicin es: = Donde estas probabilidades de transicin se refieren a la transicin del estado del rengln al estado de la columna. Tenga en mente que el estado 0 hace referencia a un da seco, mientras que el estado 1 significa que el da es lluvioso, as que estas probabilidades de transicin proporcionan la probabilidad del estado del clima el da de maana, dado el estado del clima del da de hoy. Diagrama de transicin de estadosEJEMPLO 2 cadenas de MarkovCada ao, durante la temporada de siembra de marzo a septiembre, un jardinero realiza una prueba qumica para verificar la condicin de la tierra. Segn el resultado de la prueba, la productividad en la nueva temporada puede ser uno de tres estados: (1) buena, (2) regular y (3) mala. A lo largo de los aos, el jardinero ha observado que la condicin de la tierra del ao anterior afecta la productividad del ao actual y que la situacin se describe mediante la siguiente cadena de Markov: Estado del sistema este ao

Las probabilidades de transicin muestran que la condicin de la tierra puede o deteriorarse o permanecer como est pero nunca mejorar. Por ejemplo, si la condicin de la tierra es buena en este ao (estado 1) hay 20% de que no cambie el ao siguiente, 50% de probabilidad de que sea regular (estado 2), y 30% de probabilidad de que se deteriorar a una condicin mala (estado 3). El jardinero modifica las probabilidades de transicin P utilizando un fertilizante orgnico. En este caso, la matriz de transicin se vuelve:

El uso de fertilizante puede conducir a mejorar las condiciones del suelo.

EJEMPLO 3 cadenas de MarkovSuponga ahora que el modelo del mercado de acciones seCambia de manera que el hecho de que una accin suba maana depende de que haya subido hoy y ayer. En particular, si la accin subi los dos das, ayer y hoy, la probabilidad de que suba maana es de 0.9. Si la accin subi hoy pero ayer baj, la probabilidad de que maana suba es de 0.6. Si la accin baj hoy pero ayer subi, la probabilidad de que maana suba es de 0.5. Por ltimo, si baj durante estos dos das, la probabilidad de que maana suba es de 0.3. Si se define el estado como la representacin del hecho de que la accin baje o suba hoy, el sistema ya no es una cadena de Markov. Sin embargo, se puede transformar en una de ellas si se definen los estados como sigue:Estado 0: la accin aument hoy y ayer.Estado 1: la accin aument hoy y ayer baj.Estado 2: la accin baj hoy y ayer aument.Estado 3: la accin baj hoy y ayer.

Estos datos conducen a una cadena de Markov de cuatro estados con la siguiente matriz de transicin:

La figura muestra el diagrama de transicin de estado de este ejemplo. Una caracterstica interesante del ejemplo que revela este diagrama y todos los valores de 0 de la matriz de transicin es que gran parte de las transiciones del estado i al j son imposibles en un solo paso. En otras palabras, pij = 0 para 8 de las 16 entradas de la matriz de transicin. Sin embargo, observe cmo siempre es posible ir de cualquier estado i a cualquier estado j (incluyendo j = i) en dos pasos. Lo mismo es vlido en el caso de tres pasos, cuatro pasos, etc. Por lo tanto, pij (n) > 0 para n = 2,3,.. para toda i y j.

PROBABILIDADES DE TRANSICIN ABSOLUTAS Y DE n PASOSLas ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular estas probabilidades de transicin de n pasos:

Estas ecuaciones simplemente sealan que al ir del estado i al estado j en n pasos, el proceso estar en algn estado k despus de exactamente m (menor que n) pasos. As, es slo la probabilidad condicional de que, si comienza en el estado i, el proceso vaya al estado k despus de m pasos y despus al estado j en n m pasos. Por lo tanto, al resumir estas probabilidades condicionales sobre todos los estados posibles k se debe obtener Los casos especiales de m=1 y m=n-1 conducen a las expresiones.

Y

Para todos los estados i y j. Estas expresiones permiten que las probabilidades de transicin de n pasos se puedan obtener a partir de las probabilidades de transicin de un paso de manera recursiva. Esta relacin recursiva se explica mejor con la notacin matricial para n=2, estas expresiones se convierten en

Donde las son los elementos de la matriz . Tambin note que estos elementos se obtienen al multiplicar la matriz de transicin de un paso por s misma; esto es,

De la misma manera, las expresiones anteriores de cuando m=1 y m=n-1 indican que la matriz de probabilidades de transicin de n pasos es

Ejemplo de Matrices de transicin de n pasosEl clima en el pueblo de Centerville puede cambiar con rapidez de un da a otro. Sin embargo, las posibilidades de tener clima seco (sin lluvia) maana es de alguna forma mayor si hoy est seco, es decir, si no llueve. En particular, la probabilidad de que maana est seco es de 0.8 si hoy est seco, pero es de slo 0.6 si hoy llueve. Estas probabilidades no cambian si se considera la informacin acerca del clima en los das anteriores a hoy.Estado 0 = El da t es secoo bienEstado 1 = El da t es lluvioso

Encontrando las probabilidades inversas

Por lo tanto, la matriz de transicin es: = Determine cul sera el clima dos, tres y cuatro das despus?Para dos das:

As, si el clima est en el estado 0 (seco) en un da particular, la probabilidad de estar en el estado 0 dos das despus es 0.76, por lo que la probabilidad de estar en el estado 1 (lluvia) es 0.24. En forma similar, si el clima est en el estado 1 ahora, la probabilidad de estar en el estado 0 dos das despus es 0.72 mientras que la probabilidad de estar en el estado 1 es 0.28.Para tres das:

Para cuatro das:

CLASIFICACIN DE ESTADOS EN UNA CADENA DE MARKOV Los estados de una cadena de Markov se clasifican con base en la probabilidad de transicin Pij de P.1. Un estado j es absorbente si est seguro de regresar a s mismo en una transicin; es decir, pij =1.2. Un estado j es transitorio si puede llegar a otro estado pero no puede regresar desde otro estado. Matemticamente, esto suceder si , para toda la i3. Un estado j es recurrente si la probabilidad de ser revisitado desde otros estados es 1. Esto puede suceder si, y slo si, el estado no es transitorio.4. Un estado j es peridico con periodo de t>1 1 si es posible un retorno slo en t, 2t, 3t, pasos. Esto significa que cuando n no es divisible entre tEjemplo 1:

El diagrama de transicin de estado que se muestra en la fi gura indica que ambos estados 1 y 2 son transitorios ya que el proceso los abandonar tarde o temprano para entrar al estado 0 o al 3 y, despus, permanecer en dicho estado de manera indefinida.Los estados 0 y 3 son recurrentes debido a que el proceso se mantendr regresando de manera inmediata a uno de estos estados en forma indefinida, una vez que el proceso haya entrado a ese estado. El estado 0 como el 3 del ejemplo ambos son estados absorbentes ya que despus de haber entrado ah, el proceso nunca saldr de l. Por consiguiente, el estado i es un estado absorbente si y slo si piii=1.

Ejemplo 2:Suponga que un proceso de Markov tiene la siguiente matriz de transicin:

Observe que el estado 2 es absorbente (y, por lo tanto, recurrente), porque si el proceso entra en l (tercer rengln de la matriz), nunca sale. El estado 3 es transitorio porque una vez que el proceso se encuentra en l, existe una probabilidad positiva de nunca regresar. La probabilidad de que el proceso vaya del estado 3 al estado 2 en el primer paso es 1/3 . Si el proceso est en el estado 2, permanece en ese estado. Cuando el proceso deja el estado 4, nunca vuelve. Los estados 0 y 1 son recurrentes.

TIEMPO DEL PRIMER PASOAc nos interesa el tiempo medio del primer paso ij, definido como el nmero esperado de transiciones para llegar por primera vez al estado j desde el estado i. Los clculos tienen su origen en la determinacin de la probabilidad de al menos un paso del estado i al estado j, definido como donde es la probabilidad del primer paso del estado i al estado j enn transiciones. Se puede determinar una expresin para recursivamente a partir de

Se supone que la matriz de transiciones tiene m mtodos.Si , no es seguro que el sistema pase alguna vez del estado i al estado j y ij= Si , la cadena de Markov es ergdica, y el tiempo medio del primer paso del estado i al estado j se calcula como:

Una forma ms simple de determinar el tiempo medio del primer paso de todos los estados en una matriz de n transiciones, P, es utilizar la siguiente frmula basada en una matriz:

Donde:I= matriz de identidad (m - 1)Nj= Matriz de transiciones P sin su fila j-sima y columna j-sima del estado destino j1 = vector columna (m - 1) con todos los elementos iguales a 1La operacin matricial suma en esencia las columnas de .Ejemplo 1Determinar el tiempo medio de primera transicin del estado 1 al 3 para una cadena de markov con la siguiente matriz de probabilidades de transicin

Necesitamos otra ecuacin

De donde:

Ejemplo 2

Determine

ANLISIS DE LOS ESTADOS ABSORBENTESEl anlisis de las cadenas de Markov con estados absorbentes puede realizarse de forma conveniente con matrices. En primer lugar, la cadena de Markov se particiona como sigue:P= La disposicin requiere que todos los estados absorbentes ocupen la esquina sureste de la nueva matriz. Por ejemplo, considere la siguiente matriz de transicin:

La matriz P puede reacomodarse y particionarse como:

En este caso, tenemosDada la definicin de A y N y el vector columna unitario 1 (de todos los elementos1), se puede demostrar que:Tiempo esperado en el estado j iniciado en el estado i=elemento (i,j) de Tiempo esperado para la absorcin = Probabilidad de la absorcin = Ejemplo:La empresa jurdica Angie Montero, emplea 3 tipos de abogados: subalternos, superiores y socios. Durante cierto ao el 10% de los subalternos ascienden a superiores y a un 10% se les pide que abandonen la empresa. Durante un ao cualquiera un 5% de los superiores ascienden a socios y a un 13% se les pide la renuncia. Los abogados subalternos deben ascender a superiores antes de llegar a socios. Los abogados que no se desempean adecuadamente, jams descienden de categora.a) Forme la matriz de transicin Tb) Determine si T es regular, absorbente o ninguna de las 2.c) Calcule la probabilidad de que un abogado subalterno llegue a sociod) Cunto tiempo deber permanecer en su categora un abogado subalterno recin contratado?e) Cunto tiempo deber permanecer en la empresa un abogado subalterno recin contratado?f) Calcule la probabilidad de que un abogado superior llegue a socio.

b) Ntese que la parte azul cielo tiene probabilidades iguales a 1, por lo tanto esta es la parte absorbente de la matriz. Por esta razn es una matriz absorbente.c) Ahora se procede a restar la matriz normal de la identidad y se halla la inversa para ver los tiempos entre estados, para posteriormente esta ltima ser multiplicada por la matriz absorbente y saber las probabilidades de cambios de estado

c) Al multiplicar la matriz inversa por la Absorbente se puede hallar dicha probabilidad, esta es 0.14d) Al simplemente hallar la matriz inversa se es posible hallar el tiempo en aos que debera permanecer normalmente un abogado subalterno en su compaa, seran 5 aos.e) Cuando piden el tiempo que debera permanecer un abogado subalterno pero durante la empresa sera sumar el tiempo en que se queda como subalterno con el tiempo en que permanece como superior: esto es, 5+2.77= 7.77 aos.f) Por ltimo la probabilidad de que pase de subalterno a socio es mostrado en la ltima matriz, sera 0,28.

Simulacin Montecarlo, ejemplo:Realice la simulacin de una ruleta brindando el nmero obtenido por cada giro, realizando un total de 10 giros.

Se generara la tabla con la informacin necesaria para realizar el procedimientoxp(x)F(x)Intervalos

00.1250.12500.125

10.1250.250.1250.25

20.1250.3750.250.375

30.1250.50.3750.5

40.1250.6250.50.625

50.1250.750.6250.75

60.1250.8750.750.875

70.12510.8751

P(x)=En la cual tenemos la probabilidad (1/8) de que con cada giro se genere un numero de los 8 probables.F(x)= es la probabilidad acumulada para cada uno de los valoresIntervalos= probabilidad en la cual se encontrara el numero obtenido luego del giro de la ruletaSe realiza la cantidad de giros que se nos indica generando as un nmero aleatorio el cual comparando los diferentes intervalos nos mostrara el resultado posibleNumero deGeneracin de nmerosResultado

VueltasaleatoriosPosible

10.961603587

20.7740841856

30.6716944735

40.2574821082

50.5931739134

60.7404998345

70.5954572324

80.6171670674

90.1032664430

100.005221690