Предположим имеется конечная
случайная последовательность (СП) в 
отсчетов, представленная
в виде вектора
,
где 
- случайные величины
(СВ), описывающие поведение сигнала в отдельные (дискретные) моменты времени; 
- знак транспонирования. Ее полное
статистическое описание определяется -мерной плотностью
распределения вероятностей (ПРВ):
.
Так как данная характеристика содержит в себе всю
возможную информацию о поведении сигнала, то ее знание позволяет синтезировать
(строить) оптимальные алгоритмы обработки. Вместе с тем, общее выражение для -мерной ПРВ имеет вид:
(1)
и показывает как увеличивается сложность
аналитического выражения с ростом числа отсчетов . Кроме
того, увеличение аналитической сложности выражения, как правило, приводит и к
увеличению объема вычислений и росту сложности алгоритма обработки. Поэтому
было бы желательно представить выражение (1) в более простом аналитическом
виде. И самое простое что можно сделать – это переписать (1) в виде
(2)
Что из себя представляет сигнал, описывающийся
моделью (2)? Так как многомерная ПРВ распадается на произведение одномерных, то
такая СП 
будет состоять из независимых СВ и представлять собой модель описания шума.
Такое представление иногда полезно, но не подходит для сигналов, несущих
полезную информацию, т.к. они обычно состоят из коррелированных между собой
отсчетов. Самая простая модель для описания коррелированных сигналов имеет вид:
(3)
и называется марковской моделью по имени русского математика А.А. Маркова, разработавшего основы теории таких СП.
Характерная особенность
марковской модели заключается в том, что статистическое описание «будущего»
поведения сигнала 
может быть определено на основе
знания состояния процесса «в настоящий» момент времени 
.
Эта особенность определяется условными ПРВ 
, которые
называются ПРВ переходами. При этом марковская последовательность называется
однородной, если ПРВ перехода имеют одни и те же характеристики для всех 
и стационарной, если последовательность
однородна и все ПРВ 
, т.е. не меняются при изменении .
Простым примером марковской последовательности является изменение координаты частицы при броуновском (хаотическом) движении. Данная модель может быть записана в виде
, (4)
и пусть 
- гауссовские СВ с
нулевым математическим ожиданием и дисперсией 
. Можно
также положить, что в начальный момент времени 
координата
частицы равна нулю 
. Таким образом получается, что
координата частицы в произвольный момент времени 
равна
,
т.е. определяется суммой 
СВ . В этом случае математическое ожидание СВ в -й момент времени равно
, (5)
дисперсия
(6)
а условные ПРВ
которые показывают, что координата в момент времени 
меняется
относительно координаты в предыдущий момент
времени 
с дисперсией случайной добавки по нормальному закону распределения, т.к.
случайные величины гауссовские.
Выражения (5) и (6) показывают,
что модель (4) расходится в бесконечность, при 
, но при
этом имеет нулевое среднее значение. Вместе с тем, большинство реальных
коррелированных сигналов имеют конечную дисперсию и не расходятся со временем.
Преобразуем модель броуновского движения (4) так, чтобы получить СП с
постоянной дисперсией 
и нулевым математическим
ожиданием. Первый отсчет такой СП будем моделировать как гауссовскую СВ с
нулевым математическим ожиданием и дисперсией :
, (7)
где 
- функция моделирования
гауссовских СВ.
Второй отсчет 
будем моделировать на основе первого 
, умножив его предварительно на коэффициент 
, который по модулю не будет превосходить 1:
и добавим к полученному произведению гауссовскую СВ
:
. (8)
Что дает умножение значение на
коэффициент ? В данном случае это позволяет уменьшить
дисперсию первого отсчета в 
раз, т.е.
.
Учитывая, что по условию нам необходимо, чтобы
дисперсия второго отсчета была равна , то теперь появилась возможность добавить к
уменьшенной дисперсии 
дисперсию случайной
добавки так, чтобы сумма была равна :
,
откуда получаем
. (9)
Модель (8) обобщается на произвольное число отсчетов:
(10)
и называется моделью авторегрессии 1-го порядка.
Она позволяет моделировать марковские СП с заданными значениями дисперсии и
математическим ожиданием, а коэффициенты 
задают
значения коэффициентов корреляции между и отсчетами. При этом корреляционная функция
таких СП запишется как:
а при постоянных коэффициентах 
,
т.е. имеет экспоненциальный вид. Знак модуля в
степени означает, что корреляционная функция симметрична относительно нуля, а в
нуле имеет значение 1. Единица означает, что отсчет всегда
линейно связан с самим собой, а при увеличении расстояния между отсчетами (т.е.
при увеличении интервала времени), значение корреляции падает, т.е. уменьшается
линейная взаимосвязь между отсчетами СП.
Если требуется составить модель СП с другим видом корреляционной функции (не экспоненциальной), то необходимо расширить выражение (10), например, таким образом:
, (11)
которое называется авторегрессионным уравнением
2-го порядка. В общем случае можно записать авторегрессионное уравнение 
-го порядка
(12)
для описания СП с произвольными корреляционными функциями:
(13)
При этом коэффициенты 
здесь уже
не являются коэффициентами корреляции, но связаны с корреляционной функцией
выражением (13).
Обычно при построении модели СП
требуется обеспечить заданный вид корреляционной функции, т.е. она считается
известной. Тогда, используя выражение (13), можно получить систему линейных
уравнений для вычисления соответствующих коэффициентов авторегрессии:
которая называется уравнением Юла-Уокера и
позволяет вычислять коэффициенты , на основе выбранных значений корреляционной функции. При
составлении системы линейных уравнений учитывалось, что корреляционная функция
симметрична и значение 
.