,

Заметим, что A и B независимы, если P (A|B) = P (A).

Простейший тип случайного процесса можно представить себе как случайное движение по N точкам (состояниям). Пусть p_jk – условная вероятность того, что частица будет находиться в момент времени t + 1 в состоянии k при условии, что в момент времени t она находится в состоянии j. Числа p_jk, не зависящие от t, называются вероятностями переходов (или переходными вероятностями). Такой случайный процесс (или случайное движение) называется «цепью Маркова», если дополнительно предполагается, что состояние в момент времени t + 1 не зависит от состояний в моменты времени 0, 1, 2, ј, t – 1, при условии, что состояние в момент времени t известно.

Вероятности одношаговых переходов удобно интерпретировать как элементы матрицы r = (p_jk) размером NґN, j, k = 1, 2, ј, N. Здесь r называется матрицей переходов, а сумма элементов в каждой строке равна 1. Используя обычное умножение матриц, матричные элементы r-й степени матрицы r можно определить как

Вычисления на основе определения условных вероятностей показывают, что числа представляют вероятности r-шагового перехода в цепи Маркова. Их можно представить следующим образом:

С практической точки зрения важно знать, что происходит с такой системой по истечении длительного промежутка времени. И снова, хотя отдельные переходы носят случайный характер, долговременное поведение цепи Маркова предсказуемо. Чтобы устранить возможность того, что некоторые состояния никогда не будут достигнуты, мы примем дополнительное ограничительное предположение, согласно которому все p_jk положительны. Для такой цепи Маркова (называемой «эргодической» или «возвратной») справедлива следующая теорема, называемая «эргодической теоремой»:

При r ® Ґ вероятность перехода стремится к некоторому числу p_k, не зависящему от j и такому, что 0 < p_k < 1 при каждом k; и p_j являются решением системы уравнений

Распределение p_k называется стационарным распределением цепи Маркова. Величина p_k является также пределом математического ожидания доли времени, которое частица проводит в состоянии k, а p_k^–1 – математическое ожидание промежутков времени между повторными возвращениями частицы в состояние k.

Поясним примером смысл приведенной выше теоремы. Пусть в каждой из двух урн U₁ и U₂ находится по N шаров. Половина шаров белые, другая половина – черные. Определим состояние системы в момент времени r как число белых шаров в урне U₁ в момент времени r. Переход совершается путем выбора наугад по одному шару из каждой урны и переносу его в другую урну. Матрица переходов легко вычисляется. Хотя некоторые ее элементы равны нулю, можно показать, что условия приведенной выше теоремы выполняются. Стационарное распределение p_k оказывается таким, какое мы получили бы, если бы N шаров были извлечены наугад из урны U₂ и помещены в урну U₁, причем с вероятностью p_k в U₁ находились бы k белых шаров.

Цепи Маркова служат хорошим введением в теорию случайных процессов, т.е. теорию простых последовательностей семейств случайных величин, обычно зависящих от параметра, который в большинстве приложений играет роль времени. Она предназначена, главным образом, для полного описания как долговременного, так и локального поведения процесса. Ниже приведены три наиболее изученных вопроса.

назад   дальше