proceso esto cast i cos

8/13/2019 Proceso Esto Cast i Cos

1/116


2/116


3/116

Introduccin.

La palabra estocstico es sinnimo de aleatorio, los procesos estocsticos sonmodelos matemticos que estudian los fenmenos aleatorios que evolucionan en eltiempo, se puede describir estos fenmenos por medio de una coleccin de variablesaleatorias, los procesos estocsticos estudian esta coleccin, de variables desde el puntode vista de su interdependencia y su comportamiento lmite. La aplicacin de losprocesos estocsticos abunda en la naturaleza, se presentan en; la Medicina, Biologa,Economa, Comunicacin, por citar slo algunas reas, es una herramienta muy tilpara modelar aquellos problemas en los que se involucre la aleatoriedad, a travs deltiempo.

La inquietud por desarrollar este trabajo radica en que a pesar de que en laactualidad se pueden encontrar libros muy completos respecto al tema,desgraciadamente en el pas no contamos con este tipo de libros, que hablenespecficamente del tema y que sean adecuados a los estudios que se desarrollan en lacarrera, esta situacin hace que el estudio de una materia, que si de por s, por ellamisma guarda un grado de dificultad alto, al no contar con material bibliogrficoaccesible, la hace an ms difcil, problema que personalmente me toco experimentar, yahora, que he tenido la oportunidad de dar el curso, lo encontr tambin en misalumnos.

Dado el gran desarrollo que ha tenido la teora de los procesos estocsticos, esprcticamente imposible incluir toda la teora en un solo trabajo, por lo que el objetivocentral del presente trabajo es que sea un material de apoyo, que cubra lo que se ve enun curso de procesos estocsticos en la carrera de Actuara, procurando mantener unnivel terico que est de acorde con el nivel matemtico de licenciaturas con perfilmatemtico y sirva de introduccin a este campo tan extenso de los procesosestocsticos.

Los conocimientos que se requieren para poder comprender el trabajo son;conocer los fundamentos de la teora de la probabilidad, del clculo y lgebra matricial.

Se recomienda hacer hincapi en los conceptos de probabilidad condicional.

En el primer captulo, se ven las definiciones bsicas de los procesosestocsticos, en este captulo tambin se ve la teora fundamental relacionada con dostipos de procesos muy importantes, el proceso Poisson y Bernoulli, el primero tieneespacio de tiempo continuo y el otro su espacio de tiempo es discreto, considero queempezar con estos dos tipos de procesos ayudan a entender mejor el concepto de loque es un proceso estocstico, la teora que lo rodea y lo ms importante, como

III


4/116

IV

modelar problemas que involucren procesos estocsticos, ambos son procesos sencillosde comprender y muy tiles.

Los procesos estocsticos que cumple la propiedad de Markov, son procesosmuy importante en el estudio de los procesos estocsticos, las cadenas de Markov son

de este tipo de procesos y es el tema que se analiza en el captulo 2, ah se desarrolla lateora referente a las cadenas de Markov, se define la propiedad de Makov, se analizanlos conceptos de distribucin inicial, estado absorbente, estado transitorio y estadorecurrente, se exponen los elementos tericos para el manejo de distribucionesestacionarias en las cadenas de Markov.

En el captulo tres se presenta la teora general de los procesos de Markov, queson procesos que cumplen con la propiedad de Markov, la diferencia con las cadenas deMarkov es, que en los primeros se considera el espacio del tiempo discreto y en estos seconsidera el espacio del tiempo continuo. Adems se expone la relacin que hay entrelas cadenas de Markov y los procesos de Markov, as como una serie de aplicaciones delos procesos de Markov a los sistemas de colas por medio de los procesos denacimiento y muerte.

En cada uno de los captulos se incluyen una serie de ejemplos para comprendermejor cada uno de los conceptos que se manejan.


5/116


6/116

2 Nociones de los Procesos Estocsticos Captulo 1________________________________________________________________________________

siempre representa unidades de tiempo lo es el ejemplo 1.2. As como el espacioparametral puede ser discreto o continuo, el espacio de estados tambin lo es.

Ejemplo 1.4. Sea X( t ) = ( X1( t ), X2( t )) , donde X( t ) representa la temperaturamxima y mnima de algn lugar en el intervalo de tiempo de ( 0, t).

De este ejemplo podemos ver que el proceso Xtpuede ser el resultado de unexperimento un vector, es decir, el proceso puede ser multidimensional. Tambinpodramos tener un espacio parametral multidimensional, veamos el siguiente ejemplo.

Ejemplo 1.5.Para un proceso estocstico que es la profundidad del mar en la posicin x

en el instante ,Xtes tal que, t= (, x) con Ry xX, donde Xrepresenta elconjunto de las referencias geogrficas para todo el mar. Aqu t no es solamente eltiempo, sino una combinacin de las coordenadas de tiempo y espacio, aqu el espacio

de estados es S= [ 0, ), donde la profundidad es 0 cuando quede expuesto el lecho

del ocano y no existe lmite para la altura que puedan alcanzar las olas, por supuesto,no se formarn olas de altura infinita.

Aqu nicamente analizaremos procesos de tipo unidimensional, en los cualespodemos tener cuatro tipos de procesos:

a) Tiempo discreto y espacio de estado discreto.b) Tiempo discreto y espacio de estados continuo.c) Tiempo continuo y espacio de estados discreto.d) Tiempo continuo y espacio de estados continuo.

1.2. Procesos Bernoulli.

Definicin 1.2.El proceso estocstico {Xn ; nN} es unproceso Bernoulli si satisface

a) X1, X2, son independientes y

b) P{Xn= 1 } =p, P{Xn= 0 } = 1 p= q para todo n.

Al eventoXn= 1, lo llamaremos xito y al eventoXn= 0, fracaso.

UNAM-Acatln-Mahil Herrera Maldonado


7/116

Captulo 1 1.2. Procesos Bernoulli 3________________________________________________________________________________

Definicin 1.3.Sea {Xn ; nN} un proceso Bernoulli, con probabilidad de xitop, elnmero de xitos en el n-simo ensayose define como

Nn=

1 2

0 si

si 1, 2,n

n

X X X n

=

+ + + =

0

EntoncesNnes el nmero de xitos en los primeros nensayos, yNn+mNnes el

nmero de xitos en los ensayos n +1, n +2, , n + m. Como podemos ver {Nn; n=0, 1, 2, }define un proceso estocstico, con espacio de estados y tiempo discreto {0,1, 2, }.

De la definicin de proceso Bernoulli, tenemos que las Xnse distribuyen comouna Bernoulli con parmetrop(Bernoulli(p)) y lasXnson independientes y la suma devariables aleatorias independientes Bernoulli se distribuye como una binomial con

parmetro n y p (b(n, p)), entonces Nn es una suma de variables aleatoriasindependientes Bernoulli, con lo que podemos enunciar el siguiente resultado.

Teorema 1.1. Para n= 0, 1, 2,

a) P{Nn= k} =n

k

}

pkqnk, k= 0, 1, ,n

b) E[Nn] = np

c) V[Nn] = npq.

El uso de probabilidad condicional en la prueba del siguiente resultado ilustra unade las principales tcnicas usadas en el estudio de los procesos estocsticos.

Teorema 1.2.Para n, k{0, 1, 2, }

P{Nn+1= k} =pP{Nn= k 1} + qP{Nn= k}

Demostracin.

Usando el teorema de la probabilidad total.

P{Nn+1= k} = 1{ | } {n n nj

P N k N j P N j + = = =Dado que {X1, ,Xn} es independiente de Xn+1, tenemos que Nnes independientedeXn+1 y comoNn+1=Nn+Xn+1 , es decir,


8/116


P{Nn+1= k,Nn=j}= P{Nn+Xn+1= k,Nn=j}

= P{Xn+1= kj,Nn=j}

= P{Xn+1= kj}P{Nn=j}con lo que

P{Nn+1= k|Nn=j} = P{Xn+1= kj} =

si 1

si

0 cualquier otro caso

p j k

q j k

=

=

de aqu, tenemos

P{Nn+1= k} =pP{Nn= k 1}+ qP{Nn= k}.

Teorema 1.3.Para algn m, n{ 0, 1 2, }

P{Nm+nNm= k|N0, ,Nm} = P{Nm+nNm= k} =n

k

pkqn k, k= 0, 1, ,n

Demostracin.

Las variables aleatoriasN0,N1, ,Nm estn completamente determinadas porlas variables X1, X2, , Xm , por definicin de Nn e inversamente las variablesaleatorias X1, X2, , Xm estn completamente determinadas por N0, , Nm, porejemploXm=NmNm1. Luego entonces

P{Nm+nNm= k|N0, ,Nm} = P{Nm+nNm= k|X1, ,Xm}

tenemos que Nm+n Nm= Xm+1 +Xm+2 + +X m+n y {Xm+1, Xm+2, , Xm+n} esindependiente de {X1, , Xm}, lo que significa que Nm+n Nmes independiente de{X1, ,Xm} as llegamos al resultado.

P{Nm+nNm= k|N0, ,Nm} = P{Nm+nNm= k|X1, ,Xm}= P{Nm+nNm= k}

ahora bienNm+nNm=Xm+1+Xm+2+ +Xm+nes la suma de nvariables aleatoriasBernoulli(p) independientes e idnticamente distribuidas, lo que significa que es unavariable aleatoria binomial con parmetro nyp, es decir,



9/116


P{Nm+nNm= k} =n

k

k

1n j

0

pkqn-k, k= 0, 1, ,n

De este teorema podemos ver que la variable aleatoria paracualquier k{1, 2, ... ,j } tal que n

1kn nN N N kcumpla con n0= 0 < n1< n2< < nj ,

es independiente de { , , }, a continuacin enunciamos este resultado.1k kn nN

0nN

2knN

Corolario 1.3.1 Sea n0 = 0 < n1 < n2 < < nj son enteros, entonces las variables

aleatorias , , , son independientes.1 0n nN N 2nN N 1nN jnN

En el teorema 1.3 se prob queNm+nNmes independiente deN0, , Nm, enla demostracin no se hizo ninguna referencia a la distribucin de lasXnnicamente se

considero su independencia. De esta forma podemos decir que el corolario 1.3.1 secumple para algn proceso estocstico {Mn ; n= 0, 1, } definido por

Mn=1 2

0 si

si 1, 2,n

n

Y Y Y n

= + + + =

con Y1, Y2, ,Yn , variables aleatorias independientes

Un proceso estocstico que cumple con

P{Nm+nNm= k|N0, ,Nm} = P{Nm+nNm= k}

o con el corolario 1.3.1, es unproceso estocstico con incrementos independientes.

Si para el proceso {Mn ; n = 0, 1, } definido anteriormente, las variablesaleatorias Y1, Y2, ,Yn a parte de la independencia entre ellas son idnticamentedistribuidas, entonces la distribucin de los incrementosMn+sMsno depende de s, sedice entonces, {Mn} es estacionario con incrementos independientes.

Regresando al proceso Bernoulli, tenemos el siguiente resultado.

Teorema 1.4. Sea Z una variable aleatoria que depende de un nmero finito de

variables aleatoriasNm,Nm+1,; es decir,

Z=g(Nm,Nm+1, ,Nm+n)

para alguna ny alguna funcing. Entonces


10/116


E[Z|N0,N1,,Nm] =E[Z|Nm]

Demostracin.

Dado queNm+1= Nm+ Xm+1 , , Nm+n= Nm+ Xm+1+ + Xm+n, hay unafuncin htal que

Z=g(Nm,Nm+1, ,Nm+n) = h(Nm,Xm+1,,Xm+n)

As

E[Z|N0,N1, ,Nm] = ( ) {1 1 1, , , , , , | , ,n m m m n n k

h k i i P N k X i X i N N + += = =i

}0 m

m

)n

la segunda suma es sobre toda las n-uples i= ( i1, , in) de ceros y unos. Dado que{Xm+1, , Xm+n} es independiente de {X1, , Xm}, tambin {Xm+1, , Xm+n} esindependiente deN0,N1, ,Nmque son determinadas por {X1, ,Xm}. Entonces

P{Nm= k,Xm+1= i1, ,Xm+n= in|N0, ,Nm }

= P{Xm+1= i1, ,Xm+n= in}P{Nm= k|N0, ,Nm}

= (i1) (in)P{Nm= k|N0, ,Nm},

donde (i) = P{Xn= i} =po q si i= 1 o i= 0 respectivamente. Por otro lado

P{Nm= k|N0, ,Nm} =E[ I{k}(Nm)|N0, ,Nm]

= I{k}(Nm) = .1 si


mk N=

Tenemos que

E[Z|N0,N1, ,Nm] = ( ) { }( )1 1, , , ( ) ( )n n kk

h k i i i i I N i

E[ Z|N0,N1, ,Nm] = =f (N( )1 1, , , ( ) ( m nh N i i i i i

m)

independiente deN0, ,Nm1 , esto significa

E[ Z|N0,N1, ,Nm] = f (Nm) = E[ Z|Nm]



11/116


El teorema anterior lo satisfacen varios procesos con una estructura menoscompleja, tales procesos son llamados cadenas de Markov, del estudio de estosprocesos nos ocuparemos en el siguiente captulo.

Definicin 1.4. Sea {Xn; n= 1, 2, } un proceso Bernoulli con probabilidad de xitop, consideremos una realizacin del proceso X1, X2, , Xn , esta es una secuencia deunos y ceros, denotemos por T1, T2, , los ndices correspondientes a los sucesivosxitos, a los Tkse les llama los tiempos de xitos.

Ejemplo 1.6.Si

X1 = 1,X2= 0,X3 = 0,X4= 1,X5= 1,

Es una realizacin del proceso, entonces T1 = 1, T2= 4, T3= 5, ,es decir, Tk es elnmero del evento en el que ocurri el k-simo xito.

Supongamos que para una realizacin del proceso el k-simo xito ha ocurrido

antes de n-simo evento, esto es Tkn, entonces el nmero de xitos en los primeros neventos debera ser al menos k, esto significa que Nnk, e inversamente si Nnkentonces Tk n.

Otra relacin entre los tiempos de xitos y el nmero de xitos es; si Tk = nsignifica que en esta realizacin hay exactamente k 1 xitos en los primeros n 1eventos y un xito ocurre exactamente en el n-simo evento, es decir, Nn-1= k 1 yXn= 1 e inversamente si Nn-1 = k 1 y Xn = 1 entonces Tk = n. A continuacin

enunciamos estas dos relaciones.

Lema 1.1. Sea X1, X2, , Xn una realizacin del proceso k = 1, 2, y n k,tenemos que

a) Tkn si, y slo siNnk

b) Tk= n si, y slo siNn1 = k 1 yXn= 1.

Teorema 1.5.Para alguna k N

a) P{Tkn} = n= k, k+1, .,n

j n j

j k

np q

j

=

b) P{Tk= n}= p1

1

n

k

kqn k, n= k, k+1, .


12/116


Demostracin.

a) Para k Ny nk, por el lema 1.1 el evento { Tkn } es igual al evento {Nn k },entonces

P{Tkn} = P{Nnk} = { }n

nj k

P N j=

=

por el teorema 1.1

P{Nn= k} = n

k pkqn k, k= 0, 1, ,n

es decir,

P{Tkn}= , , 1, .n

j n j

j k

np q n k kj

=

= +

b) Por el lema 1.1 el evento {Tk= n} es igual al evento {Nn 1= k 1 ,Xn= 1}, pordefinicin, el procesoNn-1 es independiente deXn= 1. Entonces

P{Tk= n} = P{Nn-1= k 1,Xn= 1}

= P{Nn 1= k 1} P{Xn= 1}

=1

1

n

k

.

p k 1 qn k p = p1

1

n

k

kqn k

El teorema anterior nos da informacin muy importante sobre la estructura del

proceso {Tk, k= 1, 2, } pero veamos otros resultados concernientes a la estructurade este proceso.

Teorema 1 6. Sea T0= 0 y T1, T2, los tiempos del primer xito, segundo xito, de un proceso Bernoulli {Xn; nN} con probabilidad de xitop, para alguna k{0,1, },

P{Tk+1= n| T0, , Tk} = P{Tk+1= n| Tk}.

Demostracin.

Para algn k,n y enteros 0 = a0< a1< < ak= a, sea



13/116


f(a0, a1, , ak) = P{Tk+1= n| T0= a0, T1= a1, , Tk= ak}

si n ak = a, entonces la probabilidad condicional es cero, si n> ak= a , Tk= a yTk+1=n , lo que significa queXa+1= 0, ,Xn 1= 0,Xn= 1. Entonces

f(a0, a1, , ak) = P{Xa+1= 0, ,Xn 1 = 0,Xn= 1} =pqn-1-a

hemos llegado a que

P{Tk+1= n| T0= a0, T1= a1, , Tk= ak}= (1.1)10 si {

si { },kk

n Tk

T n

pq T n


14/116


b) V[ Tk+1 Tk] = 2q

p.

1.3 Procesos Poisson.

Definicin 1.5. Un proceso estocstico {Nt ; t 0}, de tiempo continuo y valoresenteros, es un proceso de conteo si Nt representa el nmero total de eventos que hanocurrido hasta el tiempo t.

A partir de la definicin anterior podemos ver que un proceso de conteo debe

de cumplir con:

a) Nt0b) Nt es un valor entero

c) sis t, entoncesNsNtd) para s < t, Nt Ns es igual al nmero de eventos que han ocurrido en el

intervalo ( s, t].

Un proceso de conteo se dice que tiene incrementos independientes, si el nmero deeventos que ocurren en intervalos disjuntos son independientes. Por ejemplo esto

significa que Nt + h Nt con h> 0 es independiente de {Nu; ut} para toda t.

Un proceso de conteo se dice que tiene incrementos estacionariossi el nmero deeventos en el intervalo ( t+h, s+ h ] tiene la misma distribucin que el nmero deeventos en el intervalo ( t, s ] para todo t< s, y h> 0, o bien, se puede decir que unproceso de conteo cuya distribucin del nmero de eventos que ocurren en unintervalo, depende nicamente de la longitud del intervalo, se le dice que poseeincrementos estacionarios.

A continuacin vamos a definir al proceso Poisson, hay varias definiciones pero

todas son equivalentes, daremos una que nos da una buen informacin sobre laestructura probabilstica del proceso.

Definicin 1.6. Sea {Nt ; t 0} un proceso de conteo, dondeN( t, t + h) ( oNt + h Nt ) es el nmero de eventos o llegadas que ocurren en el intervalo (t, t + h ] y

Nt:=N[0, t]. Entonces {Nt ; t 0} es unproceso Poissoncon parmetro si

1) P{N( t, t + h) = 0} = 1 h+ o( h)



15/116

Captulo 1 1.3. Procesos Poisson 11________________________________________________________________________________

2) P{N( t, t +h) = 1} = h + o( h)

3) P{N( t, t + h) 2 } = o( h)

4) Para toda t y h>0,N( t, t + h) es independiente de {Nu; ut}

5) Tiene incrementos estacionarios

Aqu o( h) es una funcin tal que

( )o h

h0 cuando h0.

En la definicin anterior tambin hay que considerar queN0= 0.

Sea t0 R+0 y Z el tiempo de espera hasta la prxima llegada despus deltiempo t0,

P{x} = P{Z> x},

entonces

P{x+ h} = P{ Z> x+ h} = P{ Z> x,N( t0+x, t0+ x+ h) = 0}

de la definicin de probabilidad condicional

= P{N(t0+x, t0+ x+ h) = 0 | Z> x}P{ Z> x} (1.2)

Ahora bien Z> x si, y slo si, N(t0 , t0+ x ) = 0, pero N(t0+ x , t0+ x+ h ) esindependiente de N(t0 , t0 + x ) por la propiedad 4 de la definicin 1.6, entonces laecuacin 1.2 es equivalente a

P{x+ h} = P{N( t0+x, t0+ x+ h) = 0 }P{x}

= (1 h + o( h))P{x}

entonces

P{x+ h} P{x} = ( h)P{x}+ o( h)P{x}

lo dividimos entre hy tomamos h0, obtenemos


16/116


P{x} =0

{ } {limh

P x h P x

h

+ }= P{x}

Esta ecuacin diferencial tiene la solucin

P{x} = P{0} ex .

Pero P{0} = P{Z> 0} = 1 ya que la probabilidad de dos llegadas al mismo tiempo es

P{N( t, t + h) 2 } = o( h)

y dado que h0,

P{N( t, t + h) 2 } = 0

es decir,

P{ Z= 0 } = 0

y si obtenemos su complemento P{Z> 0} = 1 P{ Z= 0 }. Entonces

P{x} = ex

con esto hemos demostrado el siguiente resultado.

Teorema 1.7. Z se distribuye como una exp() (exponencial con parmetro ),independiente de t0.

As como para un proceso Bernoulli, tenemos los tiempos de xito, para un

proceso Poisson, tenemos el siguiente concepto totalmente equivalente, si {Nt ; t0}es un proceso Poisson con parmetro denotaremos por T1, T2, , los tiempos dellegada, correspondientes a los sucesivos arribos.

Como vimos anteriormente para t0R+0 y Z el tiempo de espera hasta laprxima llegada despus del tiempo t0,

P{x} = P{Z > x} = ex ,

la probabilidad de que el tiempo de llegada del primer suceso sea mayor a x sera;

P{T1> x} = ex



17/116


18/116


P0{t} = P{Nt= 0 } = P {Z> t } = P{t}

y por eso

P0{t} = et

Ahora bien por los incisos 4 y 5 de la definicin 1.6

Pm{t +h} = Pm{t}P0{h} + Pm1{t}P1{h} + 2

{ } { }m

m i ii

P t P h =

a partir de i= 2, tenemos

Pm2{ t }P2{ h } = P{Nt= m 2 }P{Nh= 2 }

por la propiedad 3 de la definicin 1.6

= P{Nt= m 2 }o( h) ,

es decir, podemos hacer

2

{ } { }m

m i i

i

P t P h= = o(h)

quedndonos

Pm{t+h} = Pm{t}P0{h} + Pm1{t}P1{h} + o(h)

Usando la propiedad uno y dos de la definicin 1.6

Pm{t+h} = Pm{t}(1 h+ o(h) ) + Pm1{t}( h+ o(h) ) + o(h)

Pm{t+h} Pm{t} = hPm{t} + hPm1{t} + o(h)

Entonces si dividimos todo entre hy tomamos el lmite cuando h0

'mP {t} = Pm{t} + Pm1{t}

tambin sabemos que

Pm{0} = P{N0= m} = 0 para m= 1, 2, . ( 1.4 )

Ahora definamos



19/116


Qm{t} = Pm{t}et. (1.5)

Entonces la ecuacin

'mP {t} = Pm{t} + Pm1{t}

usando la ecuacin 1.5 nos queda como

-etQm{t} + et'mQ {t} = -e

tQm{t} + Qm1{t}et

dividiendo todo entre et nos queda

-Qm{t} + {t} = -Q'mQ m{t} + Qm1{t}

llegamos a

'mQ {t} = Qm1{t}.

Resolviendo recursivamente:

Q0{t} = P0{t}et= etet= 1

'1Q {t} = Q0{t} = de aqu Q1{t} = t+ c.

haciendo t= 0, en la ecuacin 1.5

Q1{0} = P1{0}e0= c

por la ecuacin 1.4 P1{0} = 0, tenemos queQ1{0} = 0 lo que significa que c = 0 asque

Q1{t} = t

ahora'2Q {t } = Q1{ t } = t

2

Q2{t} =2 2

2

t+ c

Por otro lado tenemos que Q2{0} = P2{0}e0= 0 , luego entonces c = 0 y nos quedaque


20/116


Q2{t} =2 2

2

t

y as podemos seguir sucesivamente hasta llegar a

Qm{t} =

!

m mt

m.

De la ecuacin 1.5

Pm{t} =

!

m mtt

em

.

Es decir, queNtse distribuye como una Poisson con parmetro t (Po( t)).

Teorema 1.10.Ntse distribuye como una Po( t).

Corolario 1 10.1.

a) E[Nt] = t

b) V[Nt] = t

Definicin 1.7. tN

tes el tiempo de intensidad.

Del corolario 1.10.1 tenemos que el valor esperado del tiempo de intensidad es

tNEt

t

= ,

se le llama intensidad.

Por otro lado tenemos por definicin que los incrementos de las llegadas sonindependientes, es decir, para 0 = t0< t1< < ti< < tk = t , es

independiente de N

k kt s tN N+

k kt s tN N+ u; u tk , para s, u 0 esto significa que es

independiente de . Ya queNiu

N N t se distribuye como una Po( t) tenemos que



21/116


kt s tN N+ k

.

se distribuye Po( s ) esto significa que a cualquier tiempo empieza otro

proceso Poisson.

Corolario 1 10.2.Sea {Nt; t0 } un proceso Poisson con intensidad . Entonces paraalguna s, t0,

P{Nt+sNt = k|Nu; ut} = P{Nt+sNt = k }

=( )

!

k ss e

k

, k= 0, 1, .

Teorema 1.11. Sea Ltun proceso Poisson con intensidad yMtes un proceso Poisson

con intensidad , ambos procesos son independientes. Si definimos a Nt= Lt + Mt,entoncesNt es un proceso Poisson con intensidad + .

Demostracin.

Tenemos que probar que Nt cumple con la definicin de un proceso Poisson,probaremos nicamente la propiedad dos y la propiedad cuatro, la uno y la tres soninmediatas a partir de probar la propiedad dos y la cinco es semejante a la cuatro.

P{N( t, t+ h) = 1 } = P{ L( t, t+ h) +M( t, t+ h) = 1}

= P{{L( t, t+ h) = 1 y M( t, t+ h) = 0 } {L( t, t+ h) = 0 y M( t, t+ h) = 1}}

como ambos eventos son excluyentes y adems, Lt yMt,son independientes, tenemosque

P{N(t, t + h)= 1}

= P{L(t, t + h)= 1}P{M(t, t + h)= 0}+ P{L(t, t + h)= 0}P{M(t, t + h)= 1}

= ( h+ o( h) ) ( 1 h+ o( h) ) + ( 1 h+ o( h) ) ( h+ o( h) )

= h- h2+ ho(h) + o( h) - o( h) h+ o( h)o( h) +

h- h2+ ho(h) + o( h) - o( h) h+ o( h)o( h)

como podemos ver todo depende de o( h) excepto h y h, es claro ver que para h2si tomamos a o( h) = h2tenemos una funcin del tipo de o( h) luego entonces


22/116


P{N( t, t+ h) = 1 } = ( + ) h+ o( h)

con esto hemos probado queNtcumple la propiedad cuatro de un proceso Poisson.

Ahora hay que probar queN( t, t + h) es independiente de {Nu; ut}.Como Lt yMt, ambos son proceso Poisson cumplen que

L( t, t + h) es independiente de {Lu; ut} yM( t, t + h) es independiente de {Mu; ut}

Por definicin Lt yMtson independientes, lo que significa que

M( t, t + h) es independiente de {Lu; ut} yL( t, t + h) es independiente de {Mu; ut}

y por consiguiente

L( t, t + h) +M( t, t + h) es independiente de {Lu; ut} y {Mu; ut}

y por tanto L( t, t + h) +M( t, t + h) es independiente de {Lu+Mu; ut}, como sequera probar.

1.4 Ejercicios.

Ejemplo1.7. Un cierto componente en un sistema, tiene un tiempo de vida cuya

distribucin puede considerarse como ( m) =pqm 1, m1 . Cuando el componentefalla es remplazado por uno idntico. Sea T1, T2, denota el tiempo de falla;

Uk= Tk Tk1

es el tiempo de vida del k-simo componente remplazado. Dado que los componentesson idnticos,

P{ Uk= m} =pqm 1, m1

y los componentes tienen tiempos de vida independientes, as tenemos que { Tk} lopodemos considerar los tiempos de xito de un proceso Bernoulli. Si sabemos que los



23/116

Captulo 1 1.4. Ejercicios 19________________________________________________________________________________

tiempos de las tres primeras fallas ocurren en los tiempos 3, 12 y 14, Cul es el tiempoesperado de la quinta falla?.

Por el teorema 1.6,

E [ T5 | T1, T2, T3] = E [ T5| T3].

Si hacemos T5= T3+ ( T5 T3), nos queda

E [ T5| T3] = E [ T3| T3] + E [T5 T3| T3]

= E [ T3| T3] + E [T5 T3]

Por el corolario 1.6.3, y haciendo T5 T3= T4 T3+ T5 T4

E [ T5| T3] = T3+2

p .

Lo que se quera calcular es:

E [ T5 | T1, = 3,T2= 12, T3= 14] = 14 +2

p.

Ejemplo 1.8.Considrese el proceso estocstico como la trayectoria de una partcula, la

cual se mueve a lo largo de un eje con pasos de una unidad a intervalos de tiempotambin de una unidad. Supngase que la probabilidad de cualquier paso que se tome ala derecha es py el que se tome a la izquierda es q= 1 p. Suponemos tambin quecualquier paso se da de manera independiente a cualquier otro. Este tipo de proceso esuna caminata aleatoria. Si la partcula esta en la posicin cero en el instante cero,determnese la probabilidad de que se encuentre en la posicin kdespus de npasos.

Definimos {Xn ; n N } como las variable aleatorias independientes, dondeXn= 1 si la partcula da el paso a la derecha yXn= 1 si el paso fue a la izquierda, cadauna con probabilidad

P{Xn= 1} =p y P{Xn= 1} = q .

Sea {Zn} un proceso estocstico, donde Zn es la posicin de la partcula en el tiempo

n, este proceso estocstico tiene un espacio de estados discreto con valores en { - , , -1, 0, 1, 2, , }, el tiempo n {0, 1, 2, }. Para n = 0 tenemos queinicialmente Z0= 0 . Despus de npasos


24/116


Zn=X1 +X2 + +Xn

se desea determinar el valor de

P{Zn= k| Z0 = 0 }

sea la variable aleatoria

Yi= i= 1, 2, , n.1 si 1

0 si

i

i

X

X

= = 1

0

Es decir, la Yi= (Xi+ 1 ), al ser las Xi independientes tenemos que tambin los son

las Yi, es decir, {Yn; nN} define un proceso Bernoulli (ver la definicin 1.2 ) , siNnes el nmero de xitos tenemos de la definicin 1.3, que

Nn=1 2

0 si

si 1, 2,n

n

Y Y Y n

=

+ + + =

en trminos de lasXi tenemos que

Nn= (X1+ 1 )+ (X2+ 1 )+ + (Xn+ 1 ) = (Zn + n)

Luego entonces

P{Zn= k| Z0 = 0 } = P{Zn = 2Nnn= k| Z0 =N0 = 0 }= P{Nn = ( k+ n) |N0 = 0 }

por el teorema 1.3

P{Zn= k| Z0 = 0 } = P{Nn = ( k+ n) }

=

( )1

2

n

k n

+

p (k+n) q (n k) , siempre que ( k+ n) = {0, 1, ,n }.

Tambin podemos calcular

E [Zn] = E [ 2Nnn]

= 2 E [Nn] n

= 2np n



25/116


= 2np n(p+q)

= n(p q) // p+q = 1 //

anlogamente

V[Zn] = V[ 2Nnn] = 4npq

Ejemplo 1.9. Hay un restaurante por el cual, los vehculos solo pueden llegar a el pormedio de la carretera, supngase que la llegada de vehculos al restaurante por el ladoderecho sigue una proceso Poisson con parmetro y las llegadas por el lado izquierdo

siguen un proceso Poisson con parmetro , luego del teorema 1.11 sabemos que elnmero de llegada al restaurante en vehculo sigue un proceso Poisson con parmetro

+.

Ejemplo 1.10. Un componente de un sistema, su tiempo de vida sigue una distribucinexp(). Cuando ste falla es inmediatamente reemplazado por uno idntico; y cuandoste falla es reemplazado inmediatamente por otro idntico, etc. Esto significa que los

tiempos de vida X1, X2, de los sucesivos componentes son independientes eidnticamente distribuidos con distribucin

P{Xnt} = 1 , t0.te

Supongamos que el costo de reemplazamiento del componente que falla es de

pesos y supongamos una tasa de inters de > 0, as que un peso gastado en untiempo ttrado a valor presente es . Si Tte 1 , T2 , , son los tiempos de las sucesivasfallas, entonces T1 =X1, T2=X1+ X2 , ; el tiempo de la n-sima falla es Tn, y elvalor presente del costo del reemplazamiento es . Sumando sobre todas las n,obtenemos el valor presente del costo de todos los futuros reemplazamientos; esto es

- nTe

C = -1

nT

n

e

=

A nosotros nos interesa calcular el valor esperado de C, que es,

E[ C ] = -

1

nT

n

E e

=

calculemos la esperanza, por el teorema 1.8. sabemos que los tiempos entre llegadas,son independientes e idnticamente distribuidas.


26/116


- nTE e =( ) ( )2 1 11 -E n nT T T T Te e e

= ( ) ( )2 1 11 -E E E n n

T T T T Te e e

= 1-EnT

e

=

0

n

t te e dt

=( )

0

n

te dt

+

haciendo un cambio de variable

=0

+

n

ue du

=

+

n

luego entonces

E [ C ] = 1

+

n

n

=

= 0

+ +

n

n

=

= 1

+ 1+

= 1

++



27/116


= +

+

=


28/116

Captulo 2.

2.- Cadenas de Markov.

2.1. Introduccin.

Hay procesos estocsticos, tales que, la informacin de algn estado futuro

Xn+1, dado que se sabe la informacin de los estados pasadosX0 ,X1, , Xn 1 y delestado presenteXn, es independiente de los estados pasados y nicamente depende delestado presenteXn, por su forma de comportarse, estos procesos se aplican en diversasreas, aqu analizaremos aquellos que tienen un espacio parametral de tiempo discreto Ty un espacio de estadosE, finito o contable infinito.

Definicin 2.1. Un proceso estocstico {Xn , n T }, con espacio parametral detiempo discreto T y un espacio de estadosEfinito o contable infinito es una cadena deMarkovsi

P{Xn+1=j|X0= i0,X1= i1, ,Xn= i} = P{Xn+1=j|Xn= i } =pij.

pij es la probabilidad de transicin o de paso, del estado ien el tiempo n, al estadojenel tiempo n +1, es decir, pijes la probabilidad de transicin o de paso del estado ialestadojen un paso.

Sin prdida de generalidad tomaremos a T y E como subconjunto de losnmeros enteros.

Definicin 2.2. Si las pij no dependen de n, se dice que la cadena de Markov eshomognea.

La definicin 2.2 nos dice que

P{Xn+1=j|Xn= i } = P{Xm+1=j|Xm= i } =pij con mn.

supondremos siempre quepij no dependen de n. A pij=P{X1=j|X0= i } tambinlo podemos poner como


29/116

Captulo 2 2.1. Introduccin 25________________________________________________________________________________

P{X1=j|X0= i } = Pi{X1=j}

Las probabilidades de transicinpij satisfacen

pij0, i,j0 y .1ijj E

p

=

Podemos escribir todas las probabilidades de transicin del estado ien el tiempon, al estadojen el tiempo n +1, de la siguiente forma matricial

estados deXn+1

estados deXn = P

00 01 02

10 11 12

20 21 22

0 1 2

0

1

2

p p p

p p p

p p p

Pes la matriz de probabilidades de transicin.

Definicin 2.3. Una matriz Pse llama estocsticasi cada uno de sus elementos, pij0,i,j0 y , es decir cada uno de los elementos de la matriz es mayor o igual

que cero y en cada rengln su suma es uno.

1ijj E

p

=

Definicin 2.4. Una matriz Pse llama doblemente estocsticasi cada uno de sus elementos

pij0 , i,j0 , y1ijj E

p

= 1iji E

p

=

La definicin 2.4 nos dice que una matriz es doblemente estocstica si tanto suscolumnas como sus renglones suman uno.

Ejemplo 2.1.Supngase que la posibilidad de que el da de maana llueva slo dependede la situacin climatolgica de hoy y no de das previos, adems supongamos que si

llueve hoy, la probabilidad de que maana llueva es y si hoy no llueve, laprobabilidad de que llueva maana es , esto quiere decir que si hoy llueve, entoncesmaana no llover con probabilidad 1 y si hoy no llueve, la probabilidad de quemaana tampoco sera 1 , si consideramos que el estado 0 es que llueva y al estado 1



30/116

26 Cadenas de Markov Captulo 2________________________________________________________________________________

0

0

1

0

que no llueva, claramente bajo los supuestos que hemos hecho ste ejemplo es unacadena de Markov con la siguiente matriz de transicin,

P= 1

1

Ejemplo 2.2. Un apostador tiene $N , en cada juego que apuesta tiene la probabilidad pde ganar $1 o perder $1 con probabilidad 1 p, el jugador se retirar cuando se quedesin dinero o bien cuando haya duplicado su dinero original $N.

Si consideramos Xn como el dinero que tienen el apostador despus de la n-simavez que apuesta, Xn claramente es una cadena de Markov, ya que lo que va apostarnicamente depender del dinero que tenga actualmente y no de lo que haya jugado

antes, Xn tienen espacio de estados E= {0, 1 , 2, , 2N}, sus probabilidades detransicin son

pij = p con j= i+1 , i= 1, 2, , 2N 1

pij = 1 p con j= i 1, i= 1, 2, , 2N 1 y

p00 = p2N,2N= 1

los estados 0 y 2N son estados absorbentes, este concepto lo definiremos ms adelante,

de aqu obtenemos la siguiente matriz de transicin

P=

1 0 0 0 0 0

1 0 0 0 0

0 1 0 0 0 0

0 0 0 0 1 0

0 0 0 0 0 0

p p

p p

p p

Ejemplo 2.3. Sea {Xn ; n= 0, 1, } definido por

Xn=1 2

0 si

si 1, 2,n

n

Y Y Y n

= + + + =


31/116


con Y1, Y2, , Yn , variables aleatorias discretas, independientes e idnticamentedistribuidas, con distribucin de probabilidad { pk ; k = 0, 1, 2, }. Dado queXn+1=Xn+ Yn+1 , tenemos que,

P{Xn+1 =j|X0,X1, ,Xn } = P{Yn+1 =jXn|X0,X1, ,Xn } =n

j Xp

Claramente nicamente depende de Xn . As tenemos que el proceso {Xn , n T }define una cadena de Markov con probabilidades de transicin

pij= P{Xn+1 =j|Xn =i} =pji

y matriz de transicin

P=

0 1 2 3

0 1 2

0 1

0

00 0

0 0 0

p p p p

p p pp p

p

Teorema 2.1. Sea {Xn; nT, n0} una cadena de Markov, para todo m, nT, conm, n0 y i0, i1, , im E

P{Xn+1= i1, ,Xn+m=im|Xn= i0 } = 0 1 1 2 1m mi i i i i i p p p Demostracin.

P{Xn+1= i1, ,Xn+m=im|Xn= i0 }

= P{Xn+2= i2, ,Xn+m=im|Xn= i0,Xn+1= i1}P{Xn+1= i1|Xn= i0 }

por ser {Xn; nT, n0} una cadena de Markov y por definicin de probabilidad de

transicin

= P{Xn+2= i2, ,Xn+m=im|Xn+1= i1}0 1i i

p

repitiendo el primer paso

= P{Xn+3 = i3, ,Xn+m= im|Xn+1 = i1,Xn+2= i2} P{X0 1i i

p n+2 = i2|Xn+1= i1}

=P{Xn+3 = i3, ,Xn+m= im|Xn+2= i2}0 1i i

p1 2i i

p



32/116


.

}=

y as sucesivamente hasta llegar a

P{Xn+1= i1, ,Xn+m=im|Xn= i0 } =0 1 1 2 1m mi i i i i i

p p p

Sea ( i) = P{X0= i} la distribucin inicial deXn .

Corolario 2 1.1. Sea {Xn; nT, n0} una cadena de Markov, la ley de distribucinde probabilidades del vector aleatorio ( X0 = i0, X1= i1, ,Xn=in) depende de lasprobabilidades de transicinpij y de la distribucin inicial, es decir,

P{X0 = i0, X1= i1, ,Xn=in} = (i0)0 1 1 2 1n ni i i i i i

p p p

Demostracin.

P{X0 = i0, X1= i1, ,Xn=in} = P{X1= i1, ,Xn=in|X0= i0 } P{X0= i0}

Del teorema 2.1 y de la definicin de distribucin inicial

P{X0 = i0, X1= i1, ,Xn=in}= (i0)0 1 1 2 1n ni i i i i i

p p p

Los para n, i,j0, son los elementos de la matriz .nijpnP

Teorema 2.2. Sea {Xn; nT, n0} una cadena de Markov, paramT, con m 0

P{Xn+m=j|Xn= i} =mijp

para todo i,jE .

Demostracin.

Demostremos por induccin.

Para m = 1, por definicin, esto es claro.Por hiptesis de induccin se cumple para m = l, ahora verifiquemos si se

cumple para m = l + 1.

P{Xn+l +1=j|Xn= i } = 1{ , |n l n l n k E

P X j X k X i + + +

= =


33/116


= 1{ | , } { |n l n l n n l n k E

P X j X k X i P X k X i + + + +

= = = = }=

}=

}

}=

= 1{ | } { |n l n l n l n k E

P X j X k P X k X i + + + +

= = =

por hiptesis de induccin

= =lkj ikk E

p p lik kj

k E

p p

= 1lijp +

As que para una cadena de Markov, la probabilidad de transicin en mpasos sedefine como

P{Xn+m=j|Xn= i} = .mijp

Teorema 2.3. Sea {Xn; nT, n0} una cadena de Markov

P{Xn=j} = 0{ }nij

i E

P X i p

=para todojE .

Demostracin.

P{Xn=j }= 0{ ,n

i EP X j X i = =

= 0 0{ } { |ni E

P X i P X j X i

= =

por el teorema anterior

= 0{ }nij

i E

P X i p

=

Teorema 2.4. ( Ecuacin de Chapman Kolmogorov ) Sea {Xn; nT, n0} unacadena de Markov, para todo m, nT, con m, n0 e i,j E

n mijp + = n mik kj

k E

p p



34/116


}

}

}=

Demostracin.

= P{Xn mijp +

n+m=j|X0= i}

= 0{ , |n m mk E

P X j X k X i +

= = =

= 0 0{ | , } { |n m m m k E

P X j X k X i P X k X i +

= = = = =

= P X 0{ | } { |n m m m k E

j X k P X k X i+

= = =

=

m nik kj

k E

p p

Ejemplo 2.4.Del ejemplo 2.1, consideremos que = 0.7 (la probabilidad de que maanallueva dado que hoy llueve) y = 0.4 (la probabilidad de que maana llueva dado quehoy no llueva), entonces la matriz de transicin es:

P= 0.7 0.3

0.4 0.6

Cul es la probabilidad de que llueva en 4 das dado que hoy est lloviendo?

Tenemos que calcular , para obtenerlo calculemos la matriz de transicin ,luego entonces

400p

4

P

2P = P P = y0.61 0.39

0.52 0.48

= =4P 2P 2P0.5749 0.4251

0.5668 0.4332

por tanto la probabilidad de que llueva dentro de 4 das dado que est lloviendo hoy es0.5749.


35/116

Captulo 2 2.2. Clasificacin de estados. 31________________________________________________________________________________

2.2. Clasificacin de estados.

Definicin 2.5. Si la probabilidad es no cero para alguna n1 se dice que el estadoi lleva al estadojo tambin quejes alcanzadoo accesible desde el estado ise denota por

ij.

nijp

Definicin 2.6. Se dice que los estadosi, jse comunicansi ij y ji , se denotapor i j.

Definicin 2.7. Una cadena de Markov es irreduciblesi todos los estados se comunican.

La definicin anterior nos dice que una cadena de Markov es irreducible si cadaestado es alcanzado desde cualquier otro, en algn nmero de pasos.

Teorema 2.5. La comunicacin es simtrica y transitiva es decir para estados i,j y k,

1) i j j i2) si i j y j k i k

Demostracin.

1) se cumplen inmediatamente a partir de la definicin, probemos 2).

Si i j entonces existe n1> 0, > 0 y1nijp

j k entonces existe n2> 0 , > 02njkp

usando Chapman Kolmogorov

1 2n nikp + = >0,1 2n nir rk

r E

p p 1nijp 2njkp

lo que significa que si existe un n3tal que

3nikp > 0 .



36/116


Definicin 2.8.Un estadojque se comunica nuevamente con l, jj , se dice que esun estado de retorno, es decir, jes un estado de retornosi >0, para alguna n1.njjp

Definicin 2.9. Dado un estado j una clase de comunicacinEj es definida como el

conjunto de todos los estados klos cuales se comunican con j; es decir

kEj si, y slo si kj.

Podra pasar que Ej sea un conjunto vaco, es decir, que puede existir un estado jque no se comunica ni con el mismo,jes un estado de no retorno.

Teorema 2.6. Si E1 y E2 son dos clases de comunicacin, entonces E1 y E2 sondisjuntos.

Demostracin.

Si para un estado que est tanto en E1 como en E2, significa que E1 = E2,habremos probado que son disjuntos.

Supongamos queE1yE2 tienen un estado ien comn. Sean jy kdos estadostales que E1=EjyE2=Ek, probemos queEj=Ek.

Verifiquemos primero que Ej Ek sea hEj, dado que hj y j i ,entonces h i, como ik entonces hk, se cumple que Ej Ek,, anlogamentepodemos probar queEkEj, lo que significa queE1=E2 cuando tienen un estado encomn.

Con la definicin de clase de comunicacin, tenemos que una cadena de Markoves irreducible si la cadena consiste de una sola clase de comunicacin.

Podemos entonces decir que todo estado j en una cadena de Markov o bienpertenece a una clase de comunicacin o es un estado de no retorno. Podemosenunciar el siguiente resultado.

Teorema 2.7. El conjunto de estados E de una cadena de Markov puede escribirse

como la unin de un finito o contable infinito, de conjuntos disjuntosEr,

E=E1 E2 Er y EiEj= para i j,

Donde cada conjunto Er es una clase de comunicacin o contiene exactamente unestado de no retorno.


37/116


Cuando un proceso entra a un conjunto Cde estados y ya no puede salir nuncade l, se dice que el conjunto C de estados es cerrado, un conjunto cerrado puedecontener uno o ms estados, definamos formalmente a un conjunto cerrado.

Definicin 2.10. Un conjunto Cde estados se dice que es cerradosi = 0, para alguna

n1 y para todo iCy jC.

nijp

Definicin 2.11. jes un estado absorbentesi, = 1 y = 0 para toda n1 y para

todojk.

njjp

njkp

La definicin anterior nos dice que, si un conjunto cerrado Ccontiene solamente

un estado, entonces se le llama absorbente.

A partir de las definiciones es claro que si un proceso no contiene conjuntos

cerrados ser irreducible.

Definicin 2.12.Elperiodod( i) de retorno al estado ies definido como

d( i) := m.c.d. {m : > 0 }.miip

Definicin 2.13. El estado ies aperidicosi d( i) = 1 yperidicosi d( i) >1.

Definicin 2.14. El tiempo de llegadaa un estadojE, se define como

Tj= inf{n 1 |Xn=j }.

La probabilidad de empezar en el estado i y llegar al estado j en m pasos es,

=Pmijf i{Tj= m}.

Definamos a

fij = Pi{ Tj< } = =1

{ }i jm

P T m

=

=1

mij

m

f

=

como la probabilidad de que el proceso est en i y alcance alguna vezj.

fij la podemos calcular teniendo en cuenta las siguientes opciones:

1) que de ipase ajen el primer paso con probabilidadpijo

2) que la primera transicin sea a k{Ej} y despus eventualmente pasar aj.



38/116


, 2,

De esto, podemos enunciar el siguiente resultado.

Teorema 2.8. Para cada i, j E,

fij =pij + .{ }

ik kj k E j

p f

Del teorema anterior podemos tambin deducir

mijf =

{ }

1

1

2

ij

mik kj

k E j

p m

p f m

=

Definicin 2.15.Sea {Xn; nT, n0} una cadena de Markov, definimos a

Nj= { }0

kk

I X j

=

=

como el nmero de llegadasal estadoj

De la definicin anterior Pi{Nj= m} es la probabilidad, de estando en el estadoivisitemos mveces el estadoj.

Teorema 2.9. Sea {Xn; nT, n0} una cadena de Markov entonces

1) Pj{Nj= m} = ( ) ( 1 f1m

jjf

jj) , m= 1, 2,

2)Pi{Nj= m}= para ij.

( ) ( )1

1 0

1 1

ij

m

ij jj jj

f m

f f f m

=

=

Hacemos notar que significa que f( )1m

jjf

jj est elevado a la potencia m 1 , que es

muy diferente a como definimos .m

jjfDemostracin.

Demostremos 1), el que suceda el evento Nj= mes equivalente a que ocurra

< , < , , T < , T = , donde j1j

T2j

Tmj 1mj +

m representa la m-sima llegada al

estadoj.


39/116


El tiempo entre las llegadas es independiente es decir,

{T < }, { T < },{T < }, , { T T = }1j 2j

T1j 3j 2j

T1mj + mj

son independientes, esto se debe a que Markov implica independencia de llegadas dejaj, sus respectivas probabilidades asociadas son:

1, fjj,fjj, , 1 fjj

la primera es uno porque ya estamos enj, luego entonces tenemos que

Pj{Nj= m } =fjjfjj ( 1 fjj) = ( ) ( 1 f1m

jjf

jj).

Ahora demostremos 2), para m= 0, significa quejnunca ser alcanzado desde i,es decir

Pi{Nj= 0 }= Pi{Tj= } = 1 Pi{Tj < } = 1fij .

Para m0, la diferencia con el inciso anterior es que ya estamos en el estado j ( conprobabilidad uno ) luego entonces slo hace falta considerar la probabilidad de pasarde i aj por primera vez, esto suceder con probabilidad

Pi{Tj < } = fij

tenemos entonces que

Pi{Nj= m}=fij( )1m

jjf

( 1 fjj)

Definicin 2.16.

1) j es recurrente si Pj{ Tj < } = 1 , significa que si estamos en el estado j, laprobabilidad de que el proceso regrese alguna vez al estado j es uno.

2) Si no es recurrente se dice que es transitorio. Es decir Pj{ Tj = } > 0.

3) Sijes recurrente y Ej( Tj) = se dice quejes cero recurrenteo recurrente nulo.4) Sijes recurrente yEj( Tj) < se dice que es recurrente positivo.

Si fjj= 1 entonces jes recurrente, que fjj= 1 significa que tendremos un nmero

infinito de llegadas a j, P{Nj= } = 1 y que para todo m, P{ Nj= m }= 0, tambinpodemos ver queEj(Nj) = .



40/116


Si fjj


41/116


rij =1

{ }i jm

mP N m

=

=

= ( )1

1

(1 )m

ij jj jj

m

mf f f

=

=fij ( )1

1

(1 )m

jj jjm

m f f

=

= fijEj(Nj)

=fijrjj

Podemos decir quejes recurrente si, y slo siEj(Nj) = yjes transitorio si, yslo siEj(Nj) 0

y tambin

=flim nijn

p

ij(j)

para todo iE.

Demostracin.

Aqu probaremos el caso cuando j es transitorio, para una demostracin de jrecurrente nulo y el inciso 2 puede encontrarse en inlar [ 1975, p. 301].

Sijes transitorio entonces rjj=Ej(Nj) < , entonces

rij=fijrjj < rjj <



42/116


rij = < 0

nij

n

p

=

luego entonces rijes finito solamente si = 0.limnij

np

Teorema 2.13.Sijes recurrente y j kentonces k j y fkj = Pk{Tj< } = 1 .

Demostracin.

j k significa que se puede pasar de ja ksin visitar a j, a la probabilidad deeste evento le asignamos > 0. Sean:

A = nunca visitar ajdesdej yB = Caminar deja ky nunca regresar ajdesde k

por ser B un caso especial de A tenemos que P{ A } P { B }, ahora bien

P{A} = 1 fjj y P {B} = ( 1 fkj )

Por serjrecurrentefjj= 1, entonces

0 = 1 fjj=P{A} P{B} = ( 1 fkj ) 0

entonces, ( 1 fkj ) = 0como > 0, entonces 1 fkj = 0 , es decir,fkj = 1.

Significa tambin que k j.

Teorema 2.14.Sijes recurrente y j kentonces kes recurrente.

Demostracin.

Si j k significa que existe un s > 0 tal que > 0 , del teorema anterior

comojes recurrente yj k entonces k j, es decir, existe un m> 0 tal que >0 ,

es decir que > 0.

sjkp

mkjp

sjkp

mkjp

Usando Chapman Kolmogorov


43/116


m n lkkp + + = Pk{Xm+n+l = k} =

m n lki ik

i E

p p +

considerando un caso particular de n likp +

m n lki ik

i E

p p +

m n lki ii ik

i E

p p p

ya quejE, tomamos el elementojde la suma, nos queda que

m n lki ii ik

i E

p p p m n lkj jj jkp p p

es decir, que

m n lkkp + + (1)m n lkj jj jkp p p

por otro lado

rkk=Ek(Nk) = { }0

k nn

P X k

=

=

= 0

nkk

n

p

=

nkkn m l

p

= +

= 0

n m lkk

n

p

+ +

=

por (1)

0

n m lkk

n

p

+ +

= 0

m n lkj jj jk

n

p p p

=

=0

m l nkj jk jj n

p p p

= = Em lkj jkp p j(Nj)

como jes recurrente Ej(Nj) = , luego entoncesEk( Nk) = , luego entonces kesrecurrente.



44/116


Teorema 2.15.Sijes recurrente, entonces existe un conjunto Cjcerrado e irreducibleque contiene aj.

Demostracin.

Sea Cj:= {jE, ji} , comojes recurrente entonces siji entonces porel teorema 2.13 i j entonces Cj := { iE, ji}.

Con la demostracin de este teorema y el teorema 2.6. podemos enunciar el siguienteresultado.

Teorema 2.16.Los estados recurrentes se dividen en una manera nica en conjuntos

cerrados e irreducibles.

Teorema 2.17. Si {Xn; nT , n0} es una cadena de Markov, con E irreducibleentonces.

1) Todos los estados son recurrentes.2) Todos los estados son transitorios.

Demostracin.

1) Por el teorema anterior y el teorema 2.14 sijes recurrente y E es irreducible,

entonces todo elemento deEdebe ser recurrente.

2) Por el teorema 2.14, sabemos que paraj, kE, si j es recurrente yj kentonces kes recurrente, negando ambas proposiciones, tenemos que, si kes transitorio entoncesj

es transitorio, kj.

Teorema 2.18. Si {Xn; nT , n0} es una cadena de Markov, con E irreducibleentonces. Todos los estados tienen la misma periodicidad.

Demostracin.

Sea kun estado con periodicidad d( k), como Ees irreducible kj, entoncesexiste s>0 y r > 0, tal que > 0 y > 0 , ahora bien,rjkp

skjp

s rkkp + > 0skjp

rjkp


45/116


para el estadoj, sea d(j) su periodicidad, sea nun mltiplo de d(j), supongamos que nno es mltiplo de d( k), luego entonces para

s r nkkp + + skjp

njjp

rjkp

como n no es mltiplo de d( k ), entonces = 0, lo que significa que

=0, pero como > 0 entonces =0, es una contradiccin ya que n

es un mltiplo de d(j), entonces, por tanto d( k) = d(j).

s r nkkp + +

njjp

skjp

njjp

rjkp

skjp

rjkp

Teorema 2.19. Si {Xn; n T , n 0} es una cadena de Markov, y sea C < unsubcojunto de estados irreducible, entonces no tiene estados transitorios, ni recurrentesnulos.

Demostracin.

Demostremos que C no puede tener estados transitorios, el caso de recurrentenulo es totalmente anlogo.Seajun estado transitorio por el teorema anterior significa que todos los estados en C

son transitorios, ahora del teorema 2.12, sijes transitorio, entonces para algn iC

lim nijn

p

= 0

para cada iCtenemos que = 1, entoncesn

ijj Cp

1= = =0limn

nij

j C

p lim nij

nj C

p

es una contradiccin por lo quejno puede ser transitorio.

Ejemplo 2.5.Sea Pla siguiente matriz de transicin.

P=

0.8 0 0.2 0

0 0 1 0

1 0 0 0

0.3 0.4 0 0.3



46/116


Dado quep13 >0 yp31 >0 y p12=p14=p32=p34= 0, los estados {1, 3} son cerrados eirreducibles, son recurrentes positivos por que son finitos, esto es por el teorema 2.19,los estados 2 y 4 son transitorios.

24

310.8

0.3 0.4

1

1

0.2

0.3

Obtengamos los elementos de la matriz R, sea {Xn } una cadena de Markov ,con espacio de estadosEy matriz de transicin P.

Sijes un estado recurrente significa que:

fjj= 1 rjj= ,

ahora bien, si ies cualquier estado, entonces

ij fij> 0 rij=fij rjj=

y si

i j fij= 0 rij= 0.

Sijes transitorio e ies recurrente, tenemos que i j por que si ij e iesrecurrente entonces jes recurrente, caeramos en una contradiccin, as que

rij= 0 porque fij= 0.

Por ltimo analicemos el caso en el que i,json transitorios, sea Del conjuntode estados transitorios, sean Q y S las matrices que se obtienen a partir de P y Rrespectivamente, al eliminar todos los renglones y columnas correspondientes a losestados recurrentes, es decir, Q y Stienen elementos

qij=pij y sij= rij, con i,jD.

la matriz de probabilidades de transicin la podemos particionar de la siguiente manera.


47/116


P=

K 0

L Q

de manera similar tendramos, para m 0 en los enteros

mP = ,

m

mm

K 0

L Q

aqu es la potencia mde Ksimilar para Qpero LmK mes nicamente una matriz. Pordefinicin

R= = =

m

0m

=P

m

0

mm

0 0

m

m m

=

= =

K 0

L Q

'

'

K 0

L S

con S= = I+ Q+ + m

0m

=Q 2Q

tenemos que,

SQ = Q+ + + = QS2Q 3Q

SQ = QS = S I

( I Q)S= I y S(I Q) = I

SiDes finita entoncesS es la inversa deI Q . Si no es finita podemos tener muchassoluciones.

Teorema 2.20. Ses la solucin minimal de ( I Q)Y= I,Y0.

Demostracin.

Hay que demostrar que si hay otra solucinYde ( I Q)Y= I entoncesYS,seaYuna solucin,Y0

( I Q)Y= I Y =I +QY



48/116


.

=I +Q( I +QY)

=I +Q +Q Y2

y sustituyendoY sucesivamente

Y =I +Q +Q + + Q +Q Y,2 n n+1

tenemos que

Y I +Q + Q + + Q 2 n

S= Y.m

0m

=Q

SiYes una solucin y Ses otra solucin, entonces , H= Y S0, y

H= Y S = I +QYI QS

= Q (YS)

=QH

cada columna h deH satisface

h = Qh 0

por otro lado, de S

sij = fijrjj rjj <

porque i, j son estados transitorios, la nica solucin de ( I Q)Y = I es S, si, y slosi, la solucin de h = Qh es h= 0.

Corolario 2 20.1. Ses la nica solucin a ( I Q)Y =I, Y 0 si, y slo sih = Qh,0 h 1 implica queh = 0 .

Ejemplo 2.6.Xes una cadena de Markov con espacio de estadosE= { 1, 2 , 3, 4, 5, 6,7, 8} y matriz de transicin


49/116


P=

0.4 0.3 0.3 0 0 0 0 0

0 0.6 0.4 0 0 0 0 0

0.5 0.5 0 0 0 0 0 0

0 0 0 0 1 0 0 0

0 0 0 0.8 0.2 0 0 0

0 0 0 0 0 0.4 0.6 0

0.4 0.4 0 0 0 0 0 0.2

0.1 0 0.3 0 0 0.6 0 0

o bien,

P =

0.4 0.3 0.3

0 0.6 0.4 0 0

0.5 0.5 0

0 10 0

0.8 0.2

0 0 0 0.4 0.6 0

0.4 0.4 0 0 0 0 0.2

0.1 0 0.3 0.6 0 0

Como podemos ver los estados 1, 2, 3 forman un conjunto irreducible, deestados recurrentes positivos, los estados 4 y 5 forman otra clase de conjuntoirreducible de estados recurrentes positivos y los estados 6, 7, y 8 son estadostransitorios, los cuales nicamente pueden ir a los estados 1, 2 y 3, no tienencomunicacin con los estados 4 y 5.

Calculemos R, para j recurrente e i cualquier estado tenemos que rij = , encaso de que i j , tenemos que rij = 0, nicamente nos hace falta calcular el caso enel que tanto i como j son estados transitorios (nos hace falta calcular la submatrizinferior del lado derecho), obtengamos Q que se obtienen a partir de P, al eliminartodos los renglones y columnas correspondientes a los estados recurrentes

Q=

0.4 0.6 0

0 0 0.2

0.6 0 0



50/116


tenemos estados transitorios finitos, luego entonces S (S que se obtienen a partir de R,al eliminar todos los renglones y columnas correspondientes a los estados recurrentes)es la inversa deI Q

S = (I Q) 1= =

10.6 0.6 0

0 1 0.2

0.6 0 1

125 75 151 15 75 15

6675 45 75

,

as tenemos que la matriz Rpara esta cadena de Markov es

R=

125 75 1566 66 66

15 75 1566 66 66

75 45 7566 66 66

0 0

0 0

0

Ahora calculemos los valores para la matriz F. Si i, j son recurrentes y

pertenecen al mismo conjunto cerrado e irreducible entoncesfij= 1.

Si ies recurrente yjes transitorio entoncesfij= 0.

Si i,json recurrentes, iE1 y jE2, E1E2= entoncesfij= 0.

Si i,json transitorios, entonces rij< , del teorema 2.11.1

rjj=1

1jj

f rjj ( 1 fjj) = 1

rjj 1 = rjjfjj

fjj= 1 1

jjr

y del teorema 2.11.2


51/116


rij =fijrjj fij =ij

jj

r

r

Teorema 2.21.Si ies transitorio y Ces un conjunto cerrado e irreducible de estadosrecurrentes

fij =fih para todoj, hC.

Demostracin.

Para j, hC , fjh=fhj= 1 , as si la cadena llega a un estado de C, ste tambinvisita todos los otros estados, entoncesfij =fih.

Sea C1 , C2 , una clase de conjuntos cerrados e irreducibles y D es unconjunto de estados transitorios, donde P1, P2, son las matrices de transicincorrespondientes a los conjuntos C1 , C2 , y Q es la que est formada por losestados transitorios y Q1, Q2, son las matrices de transicin de los estadostransitorios a los estados de la clase de conjuntos cerrados e irreducibles C1 , C2, respectivamente, la matriz Pnos queda de la siguiente forma

P= .

1

2

3

1 2 3

P 0 0 0

0 P 0 0

0 0 P 0

Q Q Q Q

Como estamos interesados nicamente en saber cuando el conjunto Cjser alcanzado,sin prdida de generalidad podemos considerarlos como estados absorbentes es decir

cambiemos a P1, P2, por 1, 1, , as nuestra matriz de transicin P la podemosrescribir de la siguiente forma

P =

1 2 3

1

1

1

0 0 0

0 0

0 0 0

b b b Q

0



52/116


donde el i-simo elemento de bj ( bj es un vector columna ) es, la probabilidad deestando en el estado transitorio i, llegue al conjunto Cj,

bj( i) = , con iDj

ikk C

p

o ms simple

P =

I 0

B Q

con B= ( b1, b2, , bm), los elementos de Bson bij = , de aqu se sigue quej

ikk C

p

n

P

=

nn

I 0

B Q

donde Bn =(I +Q +2Q + + )B, los elementos de la matriz B n-1Q nijb n, nos

indican la probabilidad de que en npasos vayamos desde el estado ia Cjo bien es laprobabilidad que desde el estado iel proceso entre al Cjen un tiempo no antes es decir( lo podemos ver comoX0= i queremos llegar a Xn = Cj )

nijb = Pi{ Tj < n +1}

entonces la probabilidad de que alcancemos a Cj a partir del estado transitorio i enalgn momento sera

Pi{ Tj < } = Plimn

i{ Tj n +1 }

= limn

1n ijb +

Blimn

n+1 = limn

k 0

n

=

kQ B

= k 0

=

kQ B

=SB

luego entonces si ies transitorio, fik=(sb)ij, para todo kCj, por el teorema anteriorpodemos definir


53/116


gij=fik=(sb)ij

como la probabilidad de alcanzar el conjunto Cjdesde el estado transitorio i.

De todo lo anterior podemos concluir que para cada estado transitorio i y una claserecurrente Cj, la probabilidad de alcanzar el conjunto Cjdesde el estado transitorio i, es

gij=fik=(sb)ij para todok enCj .

Lema 2.1. Sea iun estado transitorio desde el cul nicamente un nmero finito deestados transitorios puede ser alcanzado. Adems, supngase que hay nicamente unaclase Cde estados recurrentes, que puede ser alcanzado desde i. Entonces fij= 1 para

todojC.

Demostracin.

Al existir nicamente un conjunto de estados recurrentes que son alcanzados apartir del conjunto de estados transitorios D, tenemos que la matriz Bse convierte en

un vector columna, por definicin , es decir, si 1 es el vector columna

formado por puros unos, por la definicin

1ijj E

p

=

P1 = 1

tenemos que, B+ Q1= 1 ,o bienB= 1 Q1, entonces,

Bn =(I +Q +2Q + + )Bn-1Q

=(I +Q +Q2 + + Q )( 1 Q1)n-1

=I 1+Q1+ 1+ + Q 1 Q1 1 Q 12Q n-1 2Q n

=1 1nQ

As si tomamos el lmite

limn

Bn = ( 1 Q 1)limn

n

dado que < , entonces =0, entonces el lmite anterior nos queda

como B

nQ limn

nQ

limn

n = 1, obtenemos



54/116


gij=fik =1, para todo kC.

Ejemplo 2.7. Ahora calculemos la matriz F de la cadena del ejemplo 2.6, si i, j son

recurrentes y pertenecen a la misma clase entonces fij = 1, cuando pertenecen adiferentes clasesfij= 0, si ies recurrente yjes transitorio fij= 0. Si i,json transitoriosusamos los resultados de Rpara calcular

fjj= 1 1

jjr, fij =

ij

jj

r

r

por ejemplo seai = 6, j = 7, del ejemplo 2.6 r67=75

66 y r77=

75

66 luego entonces

f67= 1.Y usando el lema 2.1 para el caso en que ies transitorio y jes recurrentefij = 1, as

F=

0.472 1 0.20

0.12 0.12 0.20

0.60 0.60 0.12

1 1 1

1 1 1 0 0

1 1 1

1 10 0

1 1

1 1 1

1 1 1 0

1 1 1

2.3 Distribucin estacionaria.

Definicin 2.18. Sea {Xn; n T , n 0} una cadena de Markov, con matriz detransicin P, es una distribucin estacionariacon respecto a Po {Xn; nT, n0} si, yslo si

1) es una distribucin.


55/116

Captulo 2 2.3. Distribucin estacionaria 51________________________________________________________________________________

2) =P, es decir, (j) = para todajE.( ) iji E

i p

Teorema 2.22. Si {Xn; nT, n0} es una cadena de Markov irreducible, aperidicaentonces todos los estados son recurrentes positivos si, y slo si el sistema de

ecuaciones lineales(j) = , para todajE( ) ij

i E

i p

( )j E

j = 1

tiene una solucin . Si existe una solucin esta es positiva, (j ) > 0 para todaj, es nica y

(j) = para todo i,jE.lim nijn p

Demostracin.

Sijes recurrente positivo y aperidico por el teorema 2.12

lim nijn

p

= (j) >0

ya que para todo i,j E,fij= 1, y

( )j E

j = = = 1lim nij

nj E

p

lim nij

nj E

p

es una distribucin.

Sea =1nijp + n

ik kj k E

p p

(j) = 1lim nijn

p +

= lim nik kj n

k E

p p

= lim nik kj n

k E

p p

= ( ) kjk E

k p



56/116


p

= P

Todava nos hace falta revisar su unicidad, sea otra solucin

=P= PP

=PPP

= nP

(j) = para todojE( ) niji E

i p

= lim ( ) nijn

i E

i p

= ( ) lim nijn

i E

i p

= ( ) ( )i E

i j

=(j) ( )i E

i

= (j)

Ahora demostremos la otra parte del teorema, es decir, hay que probar que la

existencia de una solucin al sistema de arriba implica que todos los estados sonrecurrentes positivos.

Sea una distribucin estacionaria

= P = Pn

(j) = para todojE.( ) niji E

i p

Supongamos que la cadena no es recurrente positiva por el teorema 2.12,

lim nijn

p

= 0

entonces

(j) = = = 0lim ( ) nijn

i E

i p

( ) lim nij

ni E

i


57/116


esto significa que = 0, esto es una contradiccin, por tanto los estados son

recurrentes positivos.

( )j E

j

Ejemplo 2.8.SeaXuna cadena de Markov, con matriz de transicin

P=

0.2 0.8 0 0 0 0 0

0.7 0.3 0 0 0 0 0

0 0 0.3 0.5 0.2 0 0

0 0 0.6 0 0.4 0 0

0 0 0 0.4 0.6 0 0

0 0.1 0.1 0.2 0.2 0.3 0.1

0.1 0.1 0.1 0 0.1 0.2 0.4

podemos ver que los estados {0, 1} forman una clase de conjunto de recurrencia C1, losestados {2,3,4} forman otra clase de conjunto de recurrencia C2, ambos conjuntos estformado por estados aperidicos y los estados {5, 6} son transitorios. Calculemos la

matriz , para calcularla usamos el teorema 2.12.2 =flim nn

P lim nijn

p

ij(j) y el resultado

del teorema 2.22.

Del primer conjunto calculemos su probabilidad cuando n

, calculemos, donde1limn

nP

P1 =

0.2 0.8

0.7 0.3

para calcularla tenemos que resolver el siguiente sistema de ecuaciones

(0) = 0.2(0)+0.7(1)

(1) = 0.8(0)+0.3(1)

(0) + (1) = 1

de la primera ecuacin (0) =0.7

0.8(1), sustituyendo en la ltima ecuacin

0.7

0.8(1)+(1) = 1



58/116


de aqu

(1)=7

15y (0) =

8

15

para el otro conjunto de estados recurrentes tenemos la siguiente matriz de transicin

P2 =

0.3 0.5 0.2

0.6 0 0.4

0 0.4 0.6

tenemos que resolver el siguiente sistema de ecuaciones

(2) = 0.3(2) + 0.6(3)

(3) = 0.5(2) +0.4(4)

(4) = 0.2(2) + 0.4(3)+0.6(4)

y adems

(2) + (3) + (4) = 1

de la ecuacin uno y dos

(3) =7

6(2) y (4) =

5

2(3)

5

4(2)

ya que los estados son recurrentes y aperidicos, sabemos que el sistema tiene solucin

nica, hacemos (2)=1, obtenemos que (3)=7

6 y (4)=

10

6, sumamos las tres

cantidades (2) + (3) + (4) =23

6y luego las dividimos entre la suma para hacer que

se cumpla la ltima condicin, obtenemos que (2)=6

23, (3) =

7

23y (4)=

10

23, para

calcular por completo la matriz , nos hace falta calcular la matriz F, para esto

calculemos primeroR,.

lim nn

P

Q= 0.3 0.1

0.2 0.4


59/116


tenemos estados transitorios finitos, luego entonces S (S que se obtienen a partir de R,al eliminar todos los renglones y columnas correspondientes a los estados recurrentes)es la inversa deI Q

S = (I Q)-1= = ,

10.7 0.1

0.2 0.6

1.5 0.25

0.5 1.75

as tenemos que la matriz Rpara esta cadena de Markov es

R=

0 0

0 0

1.5 0.25

0.5 1.75

Ahora calculemos la matriz F,

G= SB = = 1.5 0.25

0.5 1.75

0.1 0.5

0.2 0.2

0.2 0.8

0.4 0.6

entonces,

F=

1 13 7

313 7

1 10 0

1 1

1 1 1

0 1 1 1

1 1 1

0.2 0.2 0.8 0.8 0.80.4 0.4 0.6 0.6 0.6

0

ahora si, ya podemos obtener P,



60/116


limn

n P =

7 815 15

7 815 15

6 7 1023 23 23

6 7 1023 23 23

6 7 1023 23 23

1.4 1.6 4.8 5.6 815 15 23 23 23

2.8 3.2 3.6 4.2 615 15 23 23 23

0 0

0 0

0 0

0 0

Veamos ahora que ocurre en caso de que los estados sean peridicos.

Teorema 2.23. Sea X una cadena de Markov, irreducible con estados peridicos y

recurrentes con periodo , entonces los estados pueden ser divididos en conjuntosdisjuntos B1, B2, ,B tal quepij=0 a no ser que iB1 y jB2o iB2 y jB3oo iB y jB1.

Demostracin

Sin prdida de generalidad tomemos los estados 0 y j, dado que la cadena es

irreducible 0j y j0, es decir, existen enteros r, stal que

0rjp >0 y = >00

sjp

00m sp + = = 0

mjp 0

sjp 0

mjp

como el estado 0 tiene periodo , >0 si m+ s= k, si >0 entonces m =ks

se cumple que >0, si m= , +, + 2,.

00m sp + 0

mjp

0mjp

Definimos para todo j B ,como el conjunto de todos los estados que sepueden alcanzar desde 0 slo en los pasos , +, + 2, y a B+1 el conjuntode todos los estados que se pueden alcanzados desde 0 en los pasos +1, ++1,+2+1, . Entonces pij= 0 excepto si, iB y jB+1 para = 1, 2, , .

Teorema 2.24. Sea Pla matriz de transicin de una cadena de Markov irreducible con

estados peridicos, con periodo y B1, B2, , B definidos como el teorema anterior.


61/116


Entonces en la cadena de Markov con matriz de transicin P = P, las clases B1, B2,

, B son conjuntos cerrados e irreducibles de estados aperidicos.

Demostracin.

En pasos la cadena se mueve de B1a B1, de B2a B2, , de Ba B, veamos estopaso por paso, en un paso slo podemos llegar al conjunto inmediato a l, esto es, pij

=0 a no ser que iB1 y jB2o iB2 y jB3o o iB y jB1, en dos pasoocurrira lo siguiente, =0 a no ser que iB2ijp 1 y jB3o iB2 y jB4o o iB

y jB2, en 1 pasos, ocurrira lo siguiente, =0 a no ser que iB1ijp

1 y jBo

iB2 y jB1o o iB y jB1, entonces como podemos ver en pasos, =0

a no ser que iBijp

1 y jB1o iB2 y jB2o o iB y jB, como se aseveroal inicio, la matriz de transicin en pasos la podemos poner de la siguiente forma,

P = P =

1

2

P 0

P

0 P

analicemos que ocurre con los estados de esta matriz de transicin, podemos ver quecada una de las clases de conjuntos forman un conjunto cerrado e irreducible, adems

son aperidicos, > 0 para i,jBijp , recordemos que ya no trabajamos con la matrizP, ahora estamos trabajando sobre la matriz P .

A partir de la matriz P

j E

podemos calcular n , usando el teorema 2.22,podemos ver tambin que = . Hay que ver que no tiene lmite cuando

n , excepto, cuando para todos los estados p

( )j nP

ij = 0 , sin embargo los lmites de

existen cuando n, pero dependen del estado inicial i. Con el siguienteteorema terminaremos con el estudio de los estados peridicos, slo se demuestra laprimera parte del teorema, la otra parte de la demostracin se puede consultar en inlar[ 1975, p. 163].

n +mP

Teorema 2.25. Sea Py B, definidos como en el teorema anterior y supngase que la

cadena es positiva. Entonces para m{0, 1, , 1} ,



62/116


lim n mijn

p +

=( ) si B , B , (mod )


j i j m = +

(j),jE, son la nica solucin de

(j) = , = , jE.( ) iji E

i p ( )

j E

j

Demostracin.

Del teorema 2.24 la cadena correspondiente a =P P , tiene clases deconjuntos, de estados recurrentes positivos y aperidicos. Sea 1, 2, ,, ladistribucin lmite correspondiente de B1, B2, B y (j) = (j) sijB.

Sea m{ 0, 1, , 1} un valor fijo, supngase que iB, y sea =+m(mod).Tenemos,

n mijp + = m npik kj

k

p p

= Bsi B

0 cualquier otro c

m nik kj

k

p p j

aso

dado que =0 excepto si kBm

ikp , y para kB , = 0 a no ser que jBn

kjp

tambin. Para k, jB , = ( j ), independiente de k, tomando el lmite en

ambos lados hemos demostrado que

lim nkjn

p

lim n mijn

p +

=( ) si B , B , (mod )


j i j m = +

Con este ltimo teorema y junto con el teorema 2.22 podemos enunciar elsiguiente resultado.

Corolario 2.25.1. Sea X una cadena de Markov, y consideremos el sistema de

ecuaciones lineales


63/116


(j) = ,jE( ) iji E

i p

Entonces todos los estados son recurrentes no nulos o positivos, si, y slo si, existe una

solucin con

( )j E

j = 1y (j) >0, para cadajE, y no hay otra solucin.

Hace falta completar nuestro estudio acerca de la relacin de los tipos de estados

y el lmite de Pncuando n. Si la cadena de Markov es finita, y sta contiene estadostransitorios, hay un momento en el que la cadena de Markov sale de los estadostransitorios, pero si no es finita puede ocurrir que nunca salga de ellos.

Sea Xuna cadena de Markov, con matriz de transicin P,Aes el conjunto deestados transitorios de la cadena, tal que AE, y sea Q la matriz que se obtienen apartir de P, al eliminar todos los renglones y columnas correspondientes a los estadosrecurrentes, es decir, Q tienen elementos

qij=pij con i,jA.

Q2 la obtenemos de la siguiente forma,

2ijq = 1

1

ii ij i A

q q

y en general Q sera,n

nijq = 1 1 2

1 2

n

n

ii i i i j i A i A i A

q q q

= Pi{X1A,X2A, ,Xn1A,Xn=j}

= P

n

ijj A q

i

{X1

A,X2

A,

,Xn1

A,X

n

A}

Si ncrece, decrece porquenijj A

q

{X1A,X2A, ,Xn1A }{X1A,X2A, ,Xn1A,XnA}



64/116


Sea

f( i) = = Plim nijn

j A

q

lim

ni{X1A,X2A, ,Xn1A,XnA}

la probabilidad de que la cadena de Markov nunca salga deA, dado que empez en i.

Teorema 2.26.fes la solucin mxima de

h= Qh 0h1,

adems f= 0 o f( i)=1.supi A

Demostracin.

Sea fn(i) = = Pnij

j A

q i{X1A,X2A, ,Xn1A,XnA}

f1 f2 f3

y

f = flimn

n

tenemos que

fn+1(i) = f ( )ik nk A

q k

tomando el lmite

f( i) = f( )ikk A

q k

luego entonces f es una solucin a h = Qh, ahora probemos que es una solucinmxima. Sea hotra solucin, h1

h= Qh entonces h= Q h Q 1 = f n n n

haciendo n, hf,por tantof es una solucin mxima.


65/116


Slo hace falta probar la ltima parte, para f = 0es trivial, sea c= s f( i)upi A

f = Q f c Q 1cfn n n para toda n,

tomando lmite por ambos lados fcf entonces 1 c, por lo tanto su f( i) = 1.pi A

Teorema 2.27. SeaXuna cadena de Markov irreducible con matriz de transicin P, y

Q es la matriz que obtenemos a partir de P al eliminar la fila y columna k, k E.Todos los estados son recurrentes, si, y slo si, la nica solucin de h= Qhes h= 0.

Demostracin.

SeaA=E{k}, como la cadena es irreducible de kpodemos ir aA, y sea

f( i) = Plimn

i{X1A,X2A, ,Xn1A,XnA}

Si h= 0es la nica solucin a h= Qh,f( i) = 0 para todo i, esto significa que salimosdel conjunto A y regresamos a k, entonces k es recurrente y como la cadena esirreducible todos los estados son recurrentes.

Ahora, si los estados son recurrentes significa que la probabilidad de quedarnosenAes cero ya que tenemos que regresar a k, por lo tanto f( i) = 0 para todo i, lo quees lo mismo h = 0.

A continuacin veremos como clasificar los estados en base a calcular .limn

nP

Ejemplo 2.9. Sea X una cadena de Markov con espacio de estados E = {0, 1, } ymatriz de transicin

P=

0 1 0 0 0

0 0 0

0 0 0

0 0 . . .

0 0 0 . . .

0 0 0 0 . .

q p

q p

donde 0 < p< 1, q= 1 p. Est cadena es llamada caminata aleatoria, si est en laposicin i en el n-simo paso, el siguiente paso es a la posicin i1 o a i+1, con



66/116


probabilidad q y p respectivamente, excepto cuando est en i=0 es seguro que va a 1.Todos los estado pueden ser alcanzados uno del otro, lo que significa que la cadena esirreducible, si empezamos en el estado cero podemos regresar a l, en al menos 2

pasos, es decir el estado 0 es peridico con periodo = 2, lo que significa que la cadenaes peridica con periodo = 2, lo que no podemos ver es si los estados son recurrentespositivo o bien transitorios. Para saber como son los estados vamos a emplear la teora

vista en esta seccin.

Resolvamos primero el sistema de ecuaciones que se obtienen a partir de = P, elsistema es el siguiente:

(0) = q(1)

(1) = (0) + q(2)

(2) = p(1) + q(3)

(3) =p(2) + q(4)

y as sucesivamente, poniendo a (1) en trminos de (0) y luego a (2) en trminos de(0) y as sucesivamente tenemos que

(1) =1

q(0)

(2) =1

q

1(0) (0)

q

=

2

p

q(0)

(3) =1

q 2(0) (0)

p p

qq

=

2

3

p

q(0)

en general tendramos que

(j) =1

q

1jp

q

(0) =1j

j

p

q

(0) para j= 1, 2, 3,

Si p< q, entoncesp

q< 1 y


67/116


0

( )j

j

= =

1

0

11 (

j

j

p

q q

=

+

0) =

1 11

1 p qq

+

(0) =2q

q p(0)

haciendo =1, tenemos que0

( )j

j

=(0) =

2

q p

q

=

11

2

p

q

(2.1)

Luego entonces parap< q,

(j) =1

11 s

2

1 1 s2

j

pj

q

p p jq q q

=

i 0

i 1

(2.2)

por el teorema 2.22. podemos decir que parap< qlos estados son recurrentes no nuloso positivos.

Si pq la serie converge nicamente si (0) = 0, sabemos que para pq losestados no son recurrentes positivos, entonces los estados deben ser, recurrentes nuloso transitorios, para distinguir entre estos dos casos usaremos el teorema 2.27,excluyendo de Pla fila y la columna del estado cero, obtenemos la siguiente matriz

Q =

0 0 0 0

0 0 0

0 0 0

0 0 . . .

0 0 0 . . .

0 0 0 0 . .

p

q p

q p

el sistema de ecuaciones que se obtiene de h= hQes:

h(1) =ph(2)

h(2) = qh(1) +ph(3)

h(3) = qh(2) +ph(4)



68/116


en general tenemos h( i) = qh( i 1) +ph( i+ 1), de h( i) = qh( i) +ph( i), sustituimosen la anterior ecuacin

p(h( i+1) h( i))= q(h( i ) h( i 1)), i= 2, 3,

y de la primera ecuacin

p(h(2)h(1))= qh(1)

sustituimos para obtener i= 2,

h(3) h(2) =q

p(h(2) h(1)) =

2q

p

h(1)

ahora lo hacemos para i= 3

h(4) h(3) =

2q

p

(h(2) h(1)) =

3q

p

h(1)

y as sucesivamente iteramos sobre i, obtenemos que

h( i+1) h( i) =

1iq

p

(h(2) h(1)) =

iq

p

h(1) , i= 2, 3,

luego entonces,

h( i +1)= (h( i+1) h( i))+(h( i) h( i 1)) + +(h(2) h(1))+h(1)

=

1

1

i iq q q

p p p

+ + +

+ h(1)

la solucin a h=hQ es de la siguiente forma

h( i) =

1

1

iq q

p p

+ + +

c , i= 1, 2, 3,

donde ces una constante.


69/116


Si p= q, entonces tenemos que h( i) = ic, para toda i 1 , la nica forma deque para toda i se cumpla, 0 h( i ) 1 es que c=0. Por tanto si p = q, la nicasolucin de h = hQ es h = 0, por el teorema 2.27 significa que los estados sonrecurrentes y como vimos ya anteriormente no son recurrentes no nulos, lo quesignifica los estados son recurrentes nulos cuandop= q.

Si p> q, entonces 0

Es claro queXn+1nicamente depende deXn y Dnes independiente de los niveles de labodega.

La probabilidad de pasar de tener Xn = i artculos en la semana nen la bodega

a tenerXn+1 =j artculos la calculamos de la siguiente manera:

Para iS:Si sm+ 1 j i entonces tenemos que Dn=XnXn+1 = ij, por tanto pij

=pij y paraXn+1 =j= Stenemos que,Xn Dn sm o bien Xn smDn, estaocurra con la siguiente probabilidad

P{ i smDn} =m

kk i s

p

Para i= S :Si sm+ 1 jS 1 entonces tenemos que Dn= Xn Xn+1 = S j,por tanto

pij =pSj y paraXn+1 =j= Spueden pasar dos cosas si hay demanda, tenemos que,Xn Dnsm o bien Xn smDn, esto ocurre con la siguiente probabilidad

P{ S smDn} =m

kk S s

p

proceso esto cast i cos

Documents