Cadenas de Markov

Historia

Andréi Andréyevich Márkov  (14 de junio de 1856 - 20 de julio de 1922) fue un matemático ruso conocido por sus trabajos en la teoría de los números y la teoría de probabilidades.

Márkov nació en Riazán, Rusia. Antes de los 10 años su padre, un funcionario estatal, fue trasladado a San Petersburgo donde Andréi entró a estudiar en un instituto de la ciudad. Desde el principio mostró cierto talento para las matemáticas y cuando se graduó en 1874 ya conocía a varios matemáticos de la Universidad de San Petersburgo, donde ingresó tras su graduación. En la Universidad fue discípulo de Chebyshov y tras realizar sus tesis de maestría y doctorado, en 1886 accedió como adjunto a la Academia de Ciencias de San Petersburgo a propuesta del propio Chebyshov. Diez años después Márkov había ganado el puesto de académico regular. Desde 1880, tras defender su tesis de maestría, Márkov impartió clases en la Universidad y, cuando el propio Chebyshov dejó la Universidad tres años después, fue Márkov quien le sustituyó en los cursos de teoría de la probabilidad. En 1905, tras 25 años de actividad académica, Márkov se retiró definitivamente de la Universidad, aunque siguió impartiendo algunos cursos sobre teoría de la probabilidad.

A parte de su perfil académico, Andréi Márkov fue un convencido activista político. Se opuso a los privilegios de la nobleza zarista y llegó a rechazar las condecoraciones del propio zar en protesta por algunas decisiones políticas relacionadas con la Academia de Ciencias. Hasta tal punto llegó su implicación en la política que llegó a ser conocido con el sobrenombre de "el académico militante".

Márkov arrastró durante toda su vida problemas relacionados con una malformación congénita en la rodilla que le llevaría varias veces al quirófano y que, con el tiempo, fue la causa de su muerte cuando el 20 de julio del año 1922 una de las muchas operaciones a las que se sometió le produjo una infección generalizada de la que no pudo recuperarse.

Aunque Márkov influyó sobre diversos campos de las matemáticas, por ejemplo en sus trabajos sobre fracciones continuas, la historia le recordará principalmente por sus resultados relacionados con la teoría de la probabilidad. En 1887 completó la prueba que permitía generalizar el teorema central del límite y que ya había avanzado Chebyshov. Pero su aportación más conocida es otra.

Su trabajo teórico en el campo de los procesos en los que están involucrados componentes aleatorios (procesos estocásticos) darían fruto en un instrumento matemático que actualmente se conoce como cadena de Márkov: secuencias de valores de una variable aleatoria en las que el valor de la variable en el futuro depende del valor de la variable en el presente, pero es independiente de la historia de dicha variable. Las cadenas de Márkov, hoy día, se consideran una herramienta esencial en disciplinas como la economía, la ingeniería, la investigación de operaciones y muchas otras.

Concepto

Las cadenas de Markov son herramienta para analizar el comportamiento y el gobierno de determinados tipos de procesos estocásticos (procesos no determinísticos) a lo largo del tiempo en torno a un conjunto de estados.

Representa un sistema que varía su estado a lo largo del tiempo,  siendo cada cambio una transición del sistema. Estos cambios no están predeterminados, aunque sí lo está la probabilidad del próximo 

estado en función de los anteriores, siendo esta constante a lo largo del tiempo. 

¿Qué se necesita para definir una cadena de Markov?

Conjunto de estados: Un estado es una caracterización de una situación en que se halla el sistema en un instante dado.  Puede ser cualitativo o cuantitativo.

Matriz de transición (T): Matriz cuadrada con tantas filas y columnas como estados tiene el sistema. Sus elementos representan las probabilidades de que un estado (fila) permanezca en el mismo o cambie a los siguientes estados (columnas). La suma de las probabilidades por fila ha de ser igual a 1.

Composición actual (Po): En ocasiones se dispondrá con la composición actual de los estados, para hallar la composición de dichos estados proyectada en un periodo n.

Ejemplo

 

A continuación, la distribución de la población segmentada según su operador celular, al año 0 es:

Movistar: 30%

Tigo: 30%

Comcel: 40%

Se dice que:

a) Los individuos que están en Movistar tienen una probabilidad de 30% de quedarse en la misma operadora, una de 50% de cambiar a Tigo, y una de 20% para pasarse a Comcel.

b) Los individuos que están en Tigo tienen una probabilidad de 70% de quedarse en la misma operadora, una de 10% de cambiar a Movistar, y una de 20% para pasarse a Comcel.

c) Los individuos que están en Comcel  tienen una probabilidad de 50% de quedarse en la misma 

operadora, una de 30% de cambiar a Tigo, y una de 20% para pasarse a Movistar.

Estados absorbentes

Un estado absorbente se puede definir como aquel estado que no permita transición entre los otros estados restantes. Es decir, que la probabilidad, en la matriz T, de permanecer en el mismo estado a lo largo del tiempo, sea 1 (100%). Una vez que el sistema caiga en ese estado, jamás saldrá de allí.

Ejemplo estados absorbentes

Una empresa de abogados emplea 3 categorías de empleados: principiantes, con experiencia y socios como se muestra en la matriz de transición.

En este caso, por definición anterior, los estados absorbentes son, o ser socio, o abandonar, ya que, si eres socio, ni abandonas, ni eres principiante, ni experto. Y cuando abandonas, no hay modo de regresar atrás.

Para resolver el inciso a), es necesario identificar que parte de la matriz T es la absorbente, y cuál es la no absorbente, siendo la sección absorbente la que interactúa con los estados absorbentes del 

sistema.