Реферат на тему: Основные понятия теории марковских цепей. Теорема о предельных вероятностях

Введение

Пусть { , , ..., } - множество возможных состояний некоторой физической системы. В любой момент времени система может находиться только в одном состоянии. С течением времени система переходит последовательно из одного состояния в другое. Каждый такой переход называется шагом процесса.

Для описания эволюции этой системы введем последовательность дискретных случайных величин , ,..., ,... Индекс n играет роль времени. Если в момент времени n система находилась в состоянии , то мы будем считать, что = j. Таким образом, случайные величины являются номерами состояний системы.

Последовательность , ,..., ,... образует цепь Маркова, если для любого n и любых , , ..., ,...

Р(=j / = , ..., =i)=Р(=j / =i).

Для цепей Маркова вероятность в момент времени n попасть в состояние , если известна вся предыдущая история изучаемого процесса, зависит только от того, в каком состоянии находился процесс в момент n-1. То есть при фиксированном "настоящем" "будущее" не зависит от "прошлого". Свойство независимости "будущего" от "прошлого" при фиксированном "настоящем" называется марковским свойством.

Вероятности ( =j / =i), i, j=1,2,..., r называются вероятностями перехода из состояния в состояние за один шаг.

Цепь Маркова называется однородной, если вероятности перехода не зависят от n, т.е. если вероятности перехода не зависят от номера шага, а зависят только от того, из какого состояния и в какое осуществляется переход. Для однородных цепей Маркова вместо будем писать .

Вероятности перехода удобно располагать в виде квадратной матрицы

Матрица Р называется матрицей вероятностей перехода однородной цепи Маркова за один шаг. Она обладает следующими свойствами:

б) для всех i:

Квадратные матрицы, для которых выполняются условия а) и б), называются стохастическими.

Вектор , где =Р(), i=1,2...,r называется вектором начальных вероятностей.

Свойства однородных цепей Маркова полностью определяются вектором начальных вероятностей и матрицей вероятностей перехода.

Приведем пример: Завод выпускает телевизоры определенного типа. В зависимости от того, находит ли данный тип телевизора спрос у населения, завод в конце каждого года может находиться в одном из состояний: состояние 1 - спрос есть, состояние 2 - спроса нет. Пусть вероятность сохранить состояние 1 в в следующем году с учетом возможного изменения спроса равна , а вероятность изменить состояние 2 с учетом мероприятий по улучшению выпускаемой модели равна . Тогда процесс производства на данном заводе можно описать цепью Маркова с матрицей переходов:

В конкретных случаях для описания эволюции цепи Маркова вместо явного выписывания матрицы Р используют граф, вершинами которого являются состояния цепи, а стрелка, идущая из состояния в состояние с числом над ней показывает, что из состояния в состояние возможен переход с вероятностью . В том случае, когда , соответствующая стрелка не проводится.

Можно показать, что матрица вероятностей перехода цепи Маркова за n шагов равняется n-ой степени матрицы Р вероятностей перехода за один шаг. Для однородной цепи Маркова при любом m выполняется равенство

Р()=Р().

Но последняя вероятность есть вероятность перехода из состояния в состояние за n шагов.

Оглавление

- Основные понятия теории марковских цепей

- Теорема о предельных вероятностях

- Области применения цепей Маркова

- Управляемые цепи Маркова. Выбор стратегии

- Список использованной литературы

Список литературы

1. "Теория выбора и принятия решений": учебное пособие. И.М. Макаров, Т.М.

Виноградская, А.А. Рубчинский, В.Б. Соколов. Москва, изд. "Наука", 1982.

2. "Теория вероятностей" Е.С. Вентцель. Москва, изд. "Наука", 1969.