Сумма квадратов ошибок мнк

На этом занятии
мы с вами рассмотрим алгоритм, который носит название метод наименьших
квадратов. Для начала немного теории. Чтобы ее хорошо понимать нужны
базовые знания по теории вероятностей, в частности понимание ПРВ, а также
знать, что такое производная и как она вычисляется. Остальное я сейчас
расскажу.

На практике
встречаются задачи, когда производились измерения некоторой функциональной
зависимости, но из-за погрешностей приборов, или неточных сведений или еще по
какой-либо причине, измерения немного отстоят от истинных значений функции и
образуют некий разброс:

Наша задача:
зная характер функциональной зависимости, подобрать ее параметры так, чтобы она
наилучшим образом описывала экспериментальные данные  Например, на
рисунке явно прослеживается линейная зависимость. Мы это можем определить либо
чисто визуально, либо заранее знать о характере функции. Но, в любом случае
предполагается, что ее общий вид нам известен. Так вот, для линейной функции
достаточно определить два параметра k и b:

чтобы построить
аппроксимацию (приближение) линейного графика к экспериментальным зависимостям.
Конечно, вид функциональной зависимости может быть и другим, например,
квадратической (парабола), синусоидальной, или даже определяться суммой
известных функций, но для простоты понимания, мы для начала рассмотрим именно
линейный график с двумя неизвестными коэффициентами.

Итак, будем
считать, что на первый вопрос о характере функциональной зависимости
экспериментальных данных ответ дан. Следующий вопрос: как измерить качество
аппроксимации измерений  функцией
? Вообще, таких
критериев можно придумать множество, например:

— сумма квадратов
ошибок отклонений:

— сумма модулей
ошибок отклонений:

— минимум
максимальной по модулю ошибки:

и так далее. Каждый
из критериев может приводить к своему алгоритму обработки экспериментальных
значений. Так вот, в методе наименьших квадратов используется минимум суммы
квадратов ошибок. И этому есть математическое обоснование. Часто результаты
реальных измерений имеют стандартное (гауссовское) отклонение относительно
измеряемого параметра:

Здесь σ –
стандартное отклонение (СКО) наблюдаемых значений  от функции . Отсюда хорошо
видно, что чем ближе измерение к истинному значению параметра, тем больше
значение функции плотности распределения условной вероятности. И, так для всех
точек измерения. Учитывая, что они выполняются независимо друг от друга, то
можно записать следующее функциональное выражение:

Получается, что лучшее
описание экспериментальных данных с помощью функции  должно проходить по
точкам, в которых достигается максимум этого выражения. Очевидно, что при
поиске максимума можно не учитывать множитель , а экспонента будет
принимать максимальное значение при минимуме ее отрицательной степени:

Здесь также
множитель можно не учитывать, получаем критерий качества минимум суммы квадрата
ошибок:

Как мы помним,
наша цель – подобрать параметры  функции

которые как раз
и обеспечивают минимум этого критерия, то есть, величина E зависит от этих
подбираемых величин:

И ее можно
рассматривать как квадратическую функцию от аргументов  Из школьного курса
математики мы знаем как находится точка экстремума функции – это точка, в
которой производная равна нулю:

Здесь все также,
нужно взять частные производные по каждому параметру и приравнять результат
нулю, получим систему линейных уравнений:

Чтобы наполнить
конкретикой эту систему, нам нужно вернуться к исходному примеру с линейной
функцией:

Эта функция
зависит от двух параметров: k и b с частными
производными:

Подставляем все
в систему, имеем:

или, в виде:

Разделим все на N:

Смотрите, что в
итоге получилось. Формулы с суммами представляют собой первые и вторые
начальные моменты, а также один смешанный момент:

Здесь * означает
экспериментальные моменты. В этих обозначениях, получаем:

Отсюда находим,
что

Все, мы получили
оценки параметров k и b для линейной
аппроксимации экспериментальных данных по методу наименьших квадратов. По
аналогии можно вычислять параметры для других функциональных зависимостей,
например, квадратической:

Здесь будет уже
три свободных параметра и три уравнения, решая которые будем получать лучшую
аппроксимацию по критерию минимума суммарной квадратической ошибки отклонений.

Реализация на Python

В заключение
этого занятия реализуем метод наименьших квадратов на Python. Для этого нам
понадобятся две довольно популярные библиотеки numpy и matplotlib. Если они у вас
не установлены, то делается это просто – через команды:

pip install numpy

pip install matplotlib

После этого, мы
можем их импортировать и использовать в программе:

import numpy as np
import matplotlib.pyplot as plt

Первая довольно
эффективная для выполнения различных математических операций, включая векторные
и матричные. Вторая служит для построения графиков.

Итак, вначале
определим необходимые начальные величины:

N = 100     # число экспериментов
sigma = 3   # стандартное отклонение наблюдаемых значений
k = 0.5     # теоретическое значение параметра k
b = 2       # теоретическое значение параметра b

Формируем
вспомогательный вектор

с помощью метода
array, который
возвращает объект-вектор на основе итерируемой функции range:

Затем, вычисляем
значения теоретической функции:

f = np.array([k*z+b for z in range(N)])

и добавляем к
ней случайные отклонения для моделирования результатов наблюдений:

y = f + np.random.normal(0, sigma, N)

Если сейчас
отобразить наборы точек y, то они будут выглядеть следующим
образом:

plt.scatter(x, y, s=2, c='red')
plt.grid(True)
plt.show()

Теперь у нас все
есть для вычисления коэффициентов k и b по экспериментальным
данным:

# вычисляем коэффициенты
mx = x.sum()/N
my = y.sum()/N
a2 = np.dot(x.T, x)/N
a11 = np.dot(x.T, y)/N
 
kk = (a11 - mx*my)/(a2 - mx**2)
bb = my - kk*mx

Здесь выражение x.T*x – это
произведение:

Далее, построим
точки полученной аппроксимации:

ff = np.array([kk*z+bb for z in range(N)])

и отобразим оба
линейных графика:

plt.plot(f)
plt.plot(ff, c='red')

Как видите
результат аппроксимации довольно близок начальному, теоретическому графику. Вот
так работает метод наименьших квадратов.

Реализация алгоритма на Python (файл mnsq.py)

Метод наименьших квадратов регрессия

Метод наименьших квадратов (МНК) заключается в том, что сумма квадратов отклонений значений y от полученного уравнения регрессии — минимальное. Уравнение линейной регрессии имеет вид

y=ax+b

a, b – коэффициенты линейного уравнения регрессии;

x – независимая переменная;

y – зависимая переменная.

Нахождения коэффициентов уравнения линейной регрессии через метод наименьших квадратов:

частные производные функции приравниваем к нулю

отсюда получаем систему линейных уравнений

Формулы определения коэффициентов уравнения линейной регрессии:

Также запишем уравнение регрессии для квадратной нелинейной функции:

Система линейных уравнений регрессии полинома n-ого порядка:

Формула коэффициента детерминации R 2 :

Формула средней ошибки аппроксимации для уравнения линейной регрессии (оценка качества модели):

Чем меньше ε, тем лучше. Рекомендованный показатель ε
Формула среднеквадратической погрешности:

Материал из MachineLearning.

(Перенаправлено с МНК)

Перейти к: навигация, поиск

Метод наименьших квадратов — метод нахождения оптимальных параметров линейной регрессии, таких, что сумма квадратов ошибок (регрессионных остатков) минимальна. Метод заключается в минимизации евклидова расстояния между двумя векторами — вектором восстановленных значений зависимой переменной и вектором фактических значений зависимой переменной.

Постановка задачи

Задача метода наименьших квадратов состоит в выборе вектора , минимизирующего ошибку .
Эта ошибка есть расстояние от вектора  до вектора .
Вектор  лежит в простанстве столбцов матрицы ,
так как  есть линейная комбинация столбцов этой матрицы с коэффициентами .
Отыскание решения  по методу наименьших квадратов эквивалентно задаче отыскания такой точки ,
которая лежит ближе всего к  и находится при этом в пространстве столбцов матрицы .
Таким образом, вектор  должен быть проекцией  на пространство столбцов и вектор невязки 
должен быть ортогонален этому пространству. Ортогональность состоит в том, что каждый вектор в пространстве столбцов
есть линейная комбинация столбцов с некоторыми коэффициентами , то есть это вектор .
Для всех  в пространстве , эти векторы должны быть перпендикулярны невязке :

Так как это равенство должно быть справедливо для произвольного вектора , то

Решение по методу наименьших квадратов несовместной системы ,
состоящей из  уравнений с неизвестными, есть уравнение

которое называется нормальным уравнением.
Если столбцы матрицы  линейно независимы, то матрица  обратима
и единственное решение

Проекция вектора  на пространство столбцов матрицы имеет вид

Матрица  называется матрицей проектирования вектора  на пространство столбцов матрицы .
Эта матрица имеет два основных свойства: она идемпотентна, , и симметрична, .
Обратное также верно: матрица, обладающая этими двумя свойствами есть матрица проектирования на свое пространство столбцов.

Пример построения линейной регрессии

Задана выборка — таблица

Задана регрессионная модель — квадратичный полином

Назначенная модель является линейной. Для нахождения оптимального
значения вектора параметров  выполняется следующая подстановка:

Тогда матрица  значений подстановок свободной переменной 
будет иметь вид

Задан критерий качества модели: функция ошибки

Здесь вектор . Требуется найти такие параметры , которые бы доставляли
минимум этому функционалу,

Требуется найти такие параметры , которые доставляют минимум  — норме вектора
невязок .

Для того, чтобы найти минимум функции невязки, требуется
приравнять ее производные к нулю. Производные данной функции
по  составляют

Это выражение совпадает с нормальным уравнением. Решение
этой задачи должно удовлетворять системе линейных уравнений

то есть,

После получения весов можно построить график найденной функции.

При обращении матрицы  предполагается, что эта
матрица невырождена и не плохо обусловлена. О том, как работать с плохо обусловленными матрицами см. в статье Сингулярное разложение.

Смотри также

• Линейная регрессия (пример)
• Нелинейная регрессия и метод наименьших квадратов
• Регрессионный анализ
• Анализ регрессионных остатков
• Сингулярное разложение

Литература

• Стренг Г. Линейная алгебра и ее применения. М.: Мир. 1980.
• Каханер Д., Моулер К., Нэш С. Численные методы и программное обеспечение. М.: Мир. 1998.
• Стрижов В. В. Методы индуктивного порождения регрессионных моделей. М.: ВЦ РАН. 2008. 55 с. Брошюра, PDF.

Внешние ссылки

Wikipedia.org, Least squares

В статистике , обычный метод наименьших квадратов ( МНК ) представляет собой тип линейной наименьших квадратов метода оценки неизвестных параметров в линейной регрессии модели. OLS выбирает параметры линейной функции набора объясняющих переменных по принципу наименьших квадратов : минимизируя сумму квадратов различий между наблюдаемой зависимой переменной (значения наблюдаемой переменной) в данном наборе данных и предсказанными линейной функцией независимой переменной .

Геометрически это рассматривается как сумма квадратов расстояний, параллельных оси зависимой переменной, между каждой точкой данных в наборе и соответствующей точкой на поверхности регрессии — чем меньше различия, тем лучше модель соответствует данным. . Результирующая оценка может быть выражена простой формулой, особенно в случае простой линейной регрессии , в которой в правой части уравнения регрессии есть единственный регрессор .

МНК — оценка является последовательным , когда регрессоры экзогенные , и по- Гаусс-Марков теоремы — оптимальным в классе линейных несмещенных оценок , когда ошибки являются гомоскедастичными и последовательно коррелированны . В этих условиях метод OLS обеспечивает несмещенную оценку с минимальной дисперсией, когда ошибки имеют конечную дисперсию . При дополнительном предположении, что ошибки имеют нормальное распределение , OLS является оценкой максимального правдоподобия .

Линейная модель

Предположим, что данные состоят из наблюдений . Каждое наблюдение включает в себя скалярный ответ и вектор — столбец из параметров (регрессор), то есть . В модели линейной регрессии переменная отклика является линейной функцией регрессоров:

или в векторной форме,

где , как было введено ранее, — вектор-столбец -го наблюдения всех независимых переменных; — вектор неизвестных параметров; а скаляр представляет ненаблюдаемые случайные величины ( ошибки ) -го наблюдения. учитывает влияние на ответы источников, отличных от поясняющих . Эта модель также может быть записана в матричных обозначениях как

где и — векторы переменных отклика и ошибок наблюдений, а — матрица регрессоров, также иногда называемая матрицей плана , строка которой является и содержит -е наблюдение по всем независимым переменным.

Как правило, постоянный член всегда входит в набор регрессоров , например, принимая для всех . Коэффициент , соответствующий этому регрессора называется перехватывают .

Регрессоры не обязательно должны быть независимыми: между регрессорами может быть любое желаемое отношение (при условии, что оно не является линейным). Например, мы можем подозревать, что ответ линейно зависит как от значения, так и от его квадрата; в этом случае мы должны включить один регрессор, значение которого является просто квадратом другого регрессора. В этом случае модель будет квадратичной во втором регрессоре, но, тем не менее, по-прежнему считается линейной моделью, потому что модель по- прежнему линейна по параметрам ( ).

Матричная / векторная формулировка

Рассмотрим переопределенную систему

из линейных уравнений в неизвестных коэффициентов , с . (Примечание: для линейной модели, как указано выше, не все элементы содержат информацию о точках данных. Первый столбец заполнен единицами . Только другие столбцы содержат фактические данные. Таким образом, здесь количество регрессоров равно количеству регрессоров плюс один. ) Это можно записать в матричной форме как

куда

Такая система , как правило , не имеет точного решения, поэтому цель вместо того, чтобы найти коэффициенты , которые соответствуют уравнениям «лучшие», в смысле решения квадратичной минимизации проблемы

где целевая функция определяется выражением

Обоснование выбора этого критерия приведено в разделе «Свойства» ниже. Эта задача минимизации имеет единственное решение, при условии , что столбцы матрицы являются линейно независимыми , данным решением нормальных уравнений

Матрица известна как матрица Грама, а матрица известна как матрица регрессии моментов и регрессоров. Наконец, — вектор коэффициентов гиперплоскости наименьших квадратов , выраженный как

или

Предварительный расчет

Предположим, что b — значение «кандидата» для вектора параметров β . Величина y _i — x _i ^T b , называемая остатком для i -го наблюдения, измеряет расстояние по вертикали между точкой данных ( x _i , y _i ) и гиперплоскостью y = x ^T b , и, таким образом, оценивает степень отклонения. соответствие между фактическими данными и моделью. Сумма квадратов остатков ( SSR ) (также называется сумма ошибки квадратов ( ESS ) или остаточной суммы квадратов ( RSS )) является мерой общей модели , пригодной:

где Т обозначает матрицу транспонирование , а строки X , обозначая значения всех независимых переменных , связанных с конкретным значением зависимой переменной, являются Х _я = х _я ^Т . Значение b, которое минимизирует эту сумму, называется оценкой МНК для β . Функция S ( b ) квадратична по b с положительно определенным гессианом , и поэтому эта функция обладает единственным глобальным минимумом в точке , который может быть задан явной формулой: ^{[доказательство]}

Продукт Н = Х ^Т Х является матрицей Грама и обратное, Q = N ^-1 , является кофактором матрицы из р , тесно связано с его ковариационной матрицей , C _р . Матрица ( X ^T X ) ^–1 X ^T = Q X ^T называется псевдообратной матрицей Мура – ​​Пенроуза для X. Эта формулировка подчеркивает, что оценка может быть проведена тогда и только тогда, когда нет идеальной мультиколлинеарности между независимые переменные (которые заставили бы матрицу грамма не иметь инверсии).

После того, как мы оценили β , подогнанные значения (или предсказанные значения ) из регрессии будут

где Р = Х ( Х ^Т Х ) ^-1 Х ^Т является матрица проекции на пространство V , натянутого на столбцы X . Эту матрицу P также иногда называют матрицей шляпы, потому что она «накладывает шляпу» на переменную y . Другая матрица, тесно связанная с P, — это аннигиляторная матрица M = I _n — P ; это матрица проекции на пространство , ортогональное V . Обе матрицы P и M являются симметричными и идемпотентная ( что означает , что Р ² = Р и М ² = М ), и относятся к данным матрицы X с помощью тождеств PX = Х и МХ = 0 . Матрица M создает остатки из регрессии:

Используя эти остатки, мы можем оценить значение σ ^2, используя приведенную статистику хи-квадрат :

Знаменатель n — p — это статистические степени свободы . Первая величина s ² является оценкой OLS для σ ² , а вторая — оценкой MLE для σ ² . Эти две оценки очень похожи в больших выборках; первый оценщик всегда несмещен , а второй оценщик смещен, но имеет меньшую среднеквадратичную ошибку . На практике s ² используется чаще, так как это более удобно для проверки гипотез. Квадратный корень из s ² называется стандартной ошибкой регрессии , стандартной ошибкой регрессии или стандартной ошибкой уравнения .

Обычно для оценки благость-о-приступе регрессии методом наименьших квадратов, сравнивая , сколько начальное изменение в образце может быть уменьшено регресс на X . Коэффициент детерминации R ² определена как отношение «объяснено» дисперсии к «общему» дисперсии зависимой переменной у , в тех случаях , когда сумма квадратов регрессии равна сумме квадратов остатков:

где ТСС является общая сумма квадратов для зависимой переменной, и является п × п матрица из них. ( представляет собой центрирующую матрицу, которая эквивалентна регрессии по константе; она просто вычитает среднее значение из переменной.) Для того, чтобы R ² был значимым, матрица X данных в регрессорах должна содержать вектор-столбец из единиц для представления константа, коэффициент которой является отрезком регрессии. В этом случае R ² всегда будет числом от 0 до 1, а значения, близкие к 1, указывают на хорошую степень соответствия.

Дисперсия предсказания независимой переменной как функции зависимой переменной приведена в статье Полиномиальные наименьшие квадраты .

Модель простой линейной регрессии

Если матрица данных X содержит только две переменные, константу и скалярный регрессор x _i , то это называется «моделью простой регрессии». Этот случай часто рассматривается в классах статистики для начинающих, поскольку он предоставляет гораздо более простые формулы, подходящие даже для ручного расчета. Параметры обычно обозначаются как ( α , β ) :

Оценки наименьших квадратов в этом случае даются простыми формулами

Альтернативные производные

В предыдущем разделе оценка методом наименьших квадратов была получена как значение, которое минимизирует сумму квадратов остатков модели. Однако можно получить такую ​​же оценку и из других подходов. Во всех случаях формула для оценки OLS остается той же: ^{^} β = ( X ^T X ) ⁻¹ X ^T y ; единственная разница в том, как мы интерпретируем этот результат.

Проекция

Для математиков OLS — это приближенное решение переопределенной системы линейных уравнений Xβ ≈ y , где β — неизвестное. Предполагая, что система не может быть решена точно (количество уравнений n намного больше, чем количество неизвестных p ), мы ищем решение, которое могло бы обеспечить наименьшее расхождение между правой и левой частями. Другими словами, мы ищем решение, удовлетворяющее

где || · || является стандартом L ²  норма в п — мерном евклидовом пространстве R ^п . Прогнозируемая величина Xβ — это просто некоторая линейная комбинация векторов регрессоров. Таким образом, остаточный вектор у — хр будет иметь наименьшую длину , когда у является прогнозируемое ортогонально на линейное подпространство , натянутое на столбцы X . МНК — оценка в этом случае можно интерпретировать как коэффициенты вектора разложения по ^{^} у = Py вдоль основе X .

Другими словами, уравнения градиента в минимуме можно записать как:

Геометрическая интерпретация этих уравнений является то , что вектор невязок, ортогональна к колонке пространства в X , так как скалярное произведение равно нулю для любого конформного вектора, об . Это означает, что это самый короткий из всех возможных векторов , то есть дисперсия остатков минимально возможна. Это показано справа.

Вводя матрицу K в предположении, что матрица невырожденная и K ^T X = 0 (см. Ортогональные проекции ), остаточный вектор должен удовлетворять следующему уравнению:

Таким образом, уравнение и решение линейных наименьших квадратов описываются следующим образом:

Другой способ взглянуть на это — рассматривать линию регрессии как средневзвешенное значение линий, проходящих через комбинацию любых двух точек в наборе данных. Хотя этот способ вычисления более затратен с точки зрения вычислений, он обеспечивает лучшую интуицию на OLS.

Максимальная вероятность

Оценщик OLS идентичен оценщику максимального правдоподобия (MLE) в предположении нормальности для членов ошибки. ^{[доказательство]} Это предположение о нормальности имеет историческое значение, поскольку оно легло в основу ранних работ Юла и Пирсона по линейному регрессионному анализу . Из свойств MLE мы можем сделать вывод, что оценка OLS асимптотически эффективна (в смысле достижения границы Крамера – Рао для дисперсии), если выполняется предположение нормальности.

Обобщенный метод моментов

В iid случае оценщик МНК можно также рассматривать как ОММ оценщик, возникающий из моментных условий

Эти моментные условия утверждают, что регрессоры не должны коррелировать с ошибками. Поскольку x _i является p -вектором, количество моментов равно размерности вектора параметров β , и, таким образом, система точно идентифицируется. Это так называемый классический случай GMM, когда оценка не зависит от выбора весовой матрицы.

Отметим, что исходное предположение строгой экзогенности E [ ε _i  | x _i ] = 0 подразумевает гораздо более богатый набор моментных условий, чем указано выше. В частности, из этого предположения следует, что для любой вектор-функции ƒ будет выполнено моментное условие E [ ƒ ( x _i ) · ε _i ] = 0 . Однако с помощью теоремы Гаусса – Маркова можно показать, что оптимальный выбор функции ƒ состоит в том, чтобы взять ƒ ( x ) = x , что приводит к уравнению моментов, опубликованному выше.

Характеристики

Предположения

Существует несколько различных структур, в которых можно применить модель линейной регрессии , чтобы применить метод OLS. Каждый из этих параметров дает одинаковые формулы и одинаковые результаты. Единственная разница заключается в интерпретации и допущениях, которые должны быть наложены, чтобы метод давал значимые результаты. Выбор применяемой структуры зависит главным образом от природы имеющихся данных и от задачи вывода, которую необходимо выполнить.

Одна из линий разницы в интерпретации заключается в том, следует ли рассматривать регрессоры как случайные величины или как предопределенные константы. В первом случае ( случайный план ) регрессоры x _i являются случайными и отбираются вместе с y _i из некоторой совокупности , как в наблюдательном исследовании . Такой подход позволяет более естественно изучить асимптотические свойства оценок. В другой интерпретации ( фиксированный план ) регрессоры X рассматриваются как известные константы, установленные планом , а y выбирается условно на основе значений X, как в эксперименте . Для практических целей это различие часто несущественно, так как оценка и вывод осуществляется в то время кондиционирования на X . Все результаты, изложенные в этой статье, находятся в рамках случайного проектирования.

Классическая модель линейной регрессии

Классическая модель фокусируется на оценке и выводе «конечной выборки», что означает, что количество наблюдений n фиксировано. Это контрастирует с другими подходами, которые изучают асимптотическое поведение OLS и в которых количество наблюдений может расти до бесконечности.

• Правильная спецификация . Линейная функциональная форма должна совпадать с формой фактического процесса генерации данных.
• Строгая экзогенность . Ошибки в регрессии должны иметь условное среднее значение ноль:

  

Непосредственным следствием предположения об экзогенности является то, что ошибки имеют нулевое среднее значение: E [ ε ] = 0 , и что регрессоры не коррелируют с ошибками: E [ X ^T ε ] = 0 .

Предположение экзогенности имеет решающее значение для теории OLS. Если это так, то переменные регрессора называются экзогенными . В противном случае те регрессоры, которые коррелируют с ошибкой, называются эндогенными , и тогда оценки OLS становятся недействительными. В таком случае для вывода можно использовать метод инструментальных переменных .

• Нет линейной зависимости . Все регрессоры в X должны быть линейно независимыми . Математически это означает, что матрица X почти наверняка должна иметь полный ранг столбца :

  

Обычно также предполагается, что регрессоры имеют конечные моменты, по крайней мере, до второго момента. Тогда матрица Q _xx = E [ X ^T X  /  n ] конечна и положительно полуопределена.

Когда это предположение нарушается, регрессоры называют линейно зависимыми или полностью мультиколлинеарными . В таком случае значение коэффициента регрессии β невозможно узнать, хотя предсказание значений y все еще возможно для новых значений регрессоров, которые лежат в том же линейно зависимом подпространстве.

• Сферические ошибки :

  

где I _n — единичная матрица в размерности n , а σ ² — параметр, определяющий дисперсию каждого наблюдения. Этот параметр σ ² считается мешающим параметром в модели, хотя обычно он также оценивается. Если это предположение нарушается, то оценки OLS по-прежнему действительны, но уже неэффективны.

Это предположение принято разделять на две части:

• Гомоскедастичность : E [  ε _i ²  | X  ] = σ ² , что означает, что член ошибки имеет одинаковую дисперсию σ ² в каждом наблюдении. Когда это требование нарушается, это называется гетероскедастичностью , в этом случае более эффективной оценкой будет взвешенный метод наименьших квадратов . Если ошибки имеют бесконечную дисперсию, тогда оценки OLS также будут иметь бесконечную дисперсию (хотя по закону больших чисел они, тем не менее, будут стремиться к истинным значениям, пока ошибки имеют нулевое среднее). В этом случаерекомендуются надежные методы оценки .
• Нет автокорреляции : ошибки между наблюдениями не коррелированы : E [  ε _i ε _j  | X  ] = 0 для i ≠ j . Это предположение может быть нарушено в контексте данных временных рядов , панельных данных , кластерных выборок, иерархических данных, данных повторных измерений, продольных данных и других данных с зависимостями. В таких случаях обобщенный метод наименьших квадратов является лучшей альтернативой, чем МНК. Еще одно выражение автокорреляции — это серийная корреляция .

• Нормальность . Иногда дополнительно предполагается, что ошибки имеют нормальное распределение, обусловленное регрессорами:

  

Это предположение не требуется для достоверности метода OLS, хотя некоторые дополнительные свойства конечной выборки могут быть установлены в том случае, если это произойдет (особенно в области проверки гипотез). Также, когда ошибки являются нормальными, оценщик OLS эквивалентен оценщику максимального правдоподобия (MLE), и, следовательно, он асимптотически эффективен в классе всех обычных оценщиков . Важно отметить, что предположение о нормальности применимо только к ошибочным членам; Вопреки распространенному заблуждению, не требуется, чтобы переменная ответа (зависимая) имела нормальное распределение.

Независимые и идентично распределенные (iid)

В некоторых приложениях, особенно с данными поперечного сечения , накладывается дополнительное предположение — что все наблюдения независимы и одинаково распределены. Это означает, что все наблюдения берутся из случайной выборки, что упрощает все перечисленные ранее допущения и упрощает их интерпретацию. Также эта структура позволяет сформулировать асимптотические результаты (размер выборки n  → ∞ ), которые понимаются как теоретическая возможность получения новых независимых наблюдений из процесса генерации данных . Список предположений в этом случае:

• iid наблюдений : ( x _i , y _i ) не зависит от, и имеет то же распределение, что и, ( x _j , y _j ) для всех i ≠ j ;
• нет идеальной мультиколлинеарности : Q _xx = E [  x _i  x _i ^T  ] — положительно определенная матрица ;
• экзогенность : E [  ε _i  | x _i  ] = 0;
• гомоскедастичность : Var [  ε _i  | х _i  ] = σ ² .

Модель временного ряда

• Случайный процесс { х _я , у _я } является стационарным и эргодическая ; если { x _i , y _i } нестационарен, результаты OLS часто бывают ложными, если только { x _i , y _i } не совмещает .
• Регрессоры предопределены : E [ x _i ε _i ] = 0 для всех i = 1, …, n ;
• Р × р матрица Q _хх = Е [  х _я  х _я ^Т  ] имеет полный ранг, и , следовательно , положительно определена ;
• { x _i ε _i } — разностная последовательность мартингалов с конечной матрицей вторых моментов Q _{xxε ²} = E [  ε _i ² x _i  x _i ^T  ] .

Свойства конечного образца

Прежде всего, под строгой Экзогенностью предположению МНКА оценки и S ² являются беспристрастными , а это означает , что их ожидаемые значения совпадают с истинными значениями параметров: ^{[доказательством]}

Если строгая экзогенность не соблюдается (как в случае со многими моделями временных рядов , где экзогенность предполагается только в отношении прошлых шоков, но не будущих), то эти оценки будут смещены в конечных выборках.

Матрица ковариационной (или просто ковариационная матрица ) из равна

В частности, стандартная ошибка каждого коэффициента равна квадратному корню из j-го диагонального элемента этой матрицы. Оценка этой стандартной ошибки получается заменой неизвестной величины σ ² ее оценкой s ² . Таким образом,

Также легко показать, что оценка не коррелирует с остатками модели:

Теорема Гаусса – Маркова утверждает, что в предположении сферических ошибок (то есть ошибки должны быть некоррелированными и гомоскедастическими ) оценка эффективна в классе линейных несмещенных оценок. Это называется лучшей линейной несмещенной оценкой (СИНИЙ). Эффективность следует понимать так, как если бы мы должны были найти какую-то другую оценку, которая была бы линейной по y и несмещенной, тогда

в том смысле, что это неотрицательно определенная матрица . Эта теорема устанавливает оптимальность только в классе линейных несмещенных оценок, что весьма ограничительно. В зависимости от распределения членов ошибки ε другие, нелинейные оценки могут дать лучшие результаты, чем OLS.

Предполагая нормальность

Все перечисленные до сих пор свойства действительны независимо от основного распределения условий ошибки. Однако, если вы готовы предположить, что выполняется предположение нормальности (то есть, что ε ~ N (0, σ ² I _n ) ), тогда можно указать дополнительные свойства оценок МНК.

Оценщик имеет нормальное распределение со средним значением и дисперсией, как указано выше:

где Q — матрица сомножителей . Эта оценка достигает границы Крамера – Рао для модели и, таким образом, является оптимальной в классе всех несмещенных оценок. Обратите внимание, что в отличие от теоремы Гаусса – Маркова , этот результат устанавливает оптимальность как линейных, так и нелинейных оценок, но только в случае нормально распределенных членов ошибки.

Оценщик s ² будет пропорционален распределению хи-квадрат :

Дисперсия этой оценки равна 2 σ ⁴ / ( п  -  р ) , который не достигает Крамера-Рао из 2 сг ⁴ / п . Однако было показано, что не существует несмещенных оценок σ ² с дисперсией меньше, чем у оценки s ² . Если мы готовы допустить предвзятые оценки и рассмотреть класс оценок, которые пропорциональны сумме квадратов остатков (SSR) модели, то лучшей (в смысле среднеквадратичной ошибки ) оценкой в ​​этом классе будет ^~ σ ² = SSR  /  ( n  -  p  + 2) , что даже превосходит границу Крамера – Рао в случае, когда имеется только один регрессор ( p = 1 ).

Кроме того, оценщики и s ² являются независимыми , факт , который приходит в полезно при построении t- и F-тесты для регрессии.

Влиятельные наблюдения

Как упоминалось ранее, оценка линейна по y , что означает, что она представляет собой линейную комбинацию зависимых переменных y _i . Веса в этой линейной комбинации являются функциями регрессоров X и обычно не равны. Наблюдения с большим весом называются влиятельными, потому что они оказывают более выраженное влияние на значение оценки.

Чтобы проанализировать, какие наблюдения имеют влияние, мы удаляем конкретное j-е наблюдение и рассматриваем, насколько предполагаемые количества изменятся (аналогично методу складного ножа ). Можно показать, что изменение МНК-оценки для β будет равно

где h _j = x _j ^T  ( X ^T X ) ⁻¹ x _j — j-й диагональный элемент матрицы P , а x _j — вектор регрессоров, соответствующих j- му наблюдению. Точно так же изменение прогнозируемого значения для j -го наблюдения в результате исключения этого наблюдения из набора данных будет равно

Из свойств матрицы шляпы 0 ≤ h _j ≤ 1 , и они в сумме дают p , так что в среднем h _j ≈ p / n . Эти величины h _j называются рычагами , а наблюдения с высокими h _j называются точками рычагов . Обычно наблюдения с большим кредитным плечом должны быть изучены более тщательно, на случай, если они ошибочны, выбросы или иным образом нетипичны для остальной части набора данных.

Разделенная регрессия

Иногда переменные и соответствующие параметры в регрессии можно логически разделить на две группы, так что регрессия принимает вид

где X ₁ и X ₂ имеют размерности n × p ₁ , n × p ₂ и β ₁ , β ₂ — векторы p ₁ × 1 и p ₂ × 1, причем p ₁ + p ₂ = p .

Теорема Фриша – Во – Ловелла утверждает, что в этой регрессии остатки и оценка МНК будут численно идентичны остаткам и оценке МНК для β ₂ в следующей регрессии:

где M ₁ — матрица аннигилятора для регрессоров X ₁ .

Теорема может быть использована для получения ряда теоретических результатов. Например, наличие регрессии с константой и другим регрессором эквивалентно вычитанию средних значений из зависимой переменной и регрессора и последующему запуску регрессии для переменных, не имеющих значения, но без постоянного члена.

Ограниченная оценка

Предположим, известно, что коэффициенты регрессии удовлетворяют системе линейных уравнений

где Q — это матрица полного ранга размера p × q , а c — вектор известных констант размером q × 1, где q <p . В этом случае оценка по методу наименьших квадратов эквивалентно минимизации суммы квадратов остатков модели при условии ограничения А . Оценка методом наименьших квадратов с ограничениями (CLS) может быть задана явной формулой:

Это выражение для оценки с ограничениями действительно до тех пор, пока матрица X ^T X обратима. С самого начала этой статьи предполагалось, что эта матрица имеет полный ранг, и было отмечено, что, когда условие ранга не выполняется, β не будет идентифицироваться. Однако может случиться так, что добавление ограничения A сделает β идентифицируемым, и в этом случае нужно будет найти формулу для оценки. Оценщик равен

где R — матрица размера p × ( p  —  q ) такая, что матрица [ QR ] неособая, и R ^T Q = 0 . Такую матрицу всегда можно найти, хотя в целом она не уникальна. Вторая формула совпадает с первой в случае обратимости
X ^T X.

Свойства большого образца

Оценщики наименьших квадратов представляют собой точечные оценки параметров модели линейной регрессии β . Однако обычно мы также хотим знать, насколько близки эти оценки к истинным значениям параметров. Другими словами, мы хотим построить интервальные оценки .

Поскольку мы не делали никаких предположений о распределении члена ошибки ε _i , невозможно вывести распределение оценок и . Тем не менее, мы можем применить центральную предельную теорему для вывода их асимптотических свойств, когда размер выборки n стремится к бесконечности. Хотя размер выборки обязательно конечен, принято считать, что n «достаточно велико», так что истинное распределение оценки OLS близко к его асимптотическому пределу.

Можно показать , что в модельных предположениях, оценка наименьших квадратов для р является последовательным (т.е. сходится по вероятности к р ) и асимптотически нормальна: ^{[доказательство]}

куда

Интервалы

Используя это асимптотическое распределение, приближенные двусторонние доверительные интервалы для j -го компонента вектора могут быть построены как

  на уровне достоверности 1 —  α ,

где q обозначает функцию квантиля стандартного нормального распределения, а [·] _jj — j-й диагональный элемент матрицы.

Точно так же оценка наименьших квадратов для σ ² также согласована и асимптотически нормальна (при условии, что существует четвертый момент ε _i ) с предельным распределением

Эти асимптотические распределения можно использовать для прогнозирования, проверки гипотез, построения других оценок и т. Д. В качестве примера рассмотрим проблему прогнозирования. Предположим, есть некоторая точка в области распределения регрессоров, и кто-то хочет знать, какой была бы переменная ответа в этой точке. Средний ответ является количество , в то время как предсказывал реакция является . Очевидно, что прогнозируемый ответ является случайной величиной, его распределение может быть получено из следующего :

что позволяет построить доверительные интервалы для построения среднего отклика :

  на уровне достоверности 1 —  α .

Проверка гипотезы

Особенно широко используются две проверки гипотез. Во-первых, кто-то хочет знать, лучше ли оценочное уравнение регрессии, чем простое предсказание, что все значения переменной ответа равны ее выборочному среднему (в противном случае, говорят, что оно не имеет объяснительной силы). Нулевая гипотеза не имеет объяснительного значения расчетной регрессии тестировалась с помощью F-тест . Если вычисленное F-значение оказывается достаточно большим, чтобы превышать его критическое значение для предварительно выбранного уровня значимости, нулевая гипотеза отклоняется и принимается альтернативная гипотеза о том , что регрессия обладает объяснительной силой. В противном случае принимается нулевая гипотеза об отсутствии объяснительной силы.

Во-вторых, для каждой представляющей интерес объясняющей переменной нужно знать, существенно ли отличается ее оценочный коэффициент от нуля, то есть действительно ли эта конкретная независимая переменная имеет объяснительную силу при прогнозировании переменной отклика. Здесь нулевая гипотеза состоит в том, что истинный коэффициент равен нулю. Эта гипотеза проверяется путем вычисления t-статистики коэффициента как отношения оценки коэффициента к его стандартной ошибке . Если t-статистика больше заданного значения, нулевая гипотеза отклоняется, и выясняется, что переменная имеет объяснительную силу, а ее коэффициент значительно отличается от нуля. В противном случае принимается нулевая гипотеза о нулевом значении истинного коэффициента.

Кроме того, тест Чоу используется для проверки того, имеют ли две подвыборки одинаковые основные истинные значения коэффициентов. Сумма квадратов остатков регрессий для каждого из подмножеств и для комбинированного набора данных сравнивается путем вычисления F-статистики; если это превышает критическое значение, нулевая гипотеза об отсутствии разницы между двумя подмножествами отклоняется; в противном случае принимается.

Пример с реальными данными

Следующий набор данных дает средние показатели роста и веса для американских женщин в возрасте 30–39 лет (источник: The World Almanac and Book of Facts, 1975 ).

Высота (м)	1,47	1,50	1,52	1,55	1,57	1,60	1,63	1,65	1,68	1,70	1,73	1,75	1,78	1,80	1,83
Вес (кг)	52,21	53,12	54,48	55,84	57,20	58,57	59,93	61,29	63,11	64,47	66,28	68,10	69,92	72,19	74,46

Когда моделируется только одна зависимая переменная, диаграмма рассеяния предложит форму и силу связи между зависимой переменной и регрессорами. Он также может выявить выбросы, гетероскедастичность и другие аспекты данных, которые могут усложнить интерпретацию подобранной регрессионной модели. Диаграмма рассеяния предполагает, что связь сильная и может быть аппроксимирована квадратичной функцией. OLS может обрабатывать нелинейные отношения, вводя регрессор HEIGHT ² . Затем регрессионная модель становится множественной линейной моделью:

Результаты наиболее популярных статистических пакетов будут выглядеть примерно так:

Метод	Наименьших квадратов
Зависимая переменная	МАССА
Наблюдения	15
Параметр	Ценить	Стандартная ошибка	t-статистика	p-значение
	128,8128	16.3083	7,8986	0,0000
	–143,1620	19,8332	–7,2183	0,0000
	61,9603	6,0084	10,3122	0,0000
R 2	0,9989	SE регрессии	0,2516
Скорректированный R 2	0,9987	Сумма кв.	692,61
Логарифмическая вероятность	1.0890	Остаточная кв.	0,7595
Стат. Дурбина – Ватсона.	2,1013	Общая сумма кв.	693,37
Критерий Акаике	0,2548	F-статистика	5471,2
Критерий Шварца	0,3964	p-значение (F-stat)	0,0000

В этой таблице:

• В столбце « Значение» приведены оценки параметров β _{j по} методу наименьших квадратов.
  
• Std ошибка колонка показывает стандартные ошибки каждого коэффициента оценки:
• В т-статистические и р-значение колонки тестируют ли какой — либо из коэффициентов может быть равна нулю. Т -статистики рассчитывается просто как . Если ошибки ε подчиняются нормальному распределению, t следует распределению Стьюдента-t. В более слабых условиях t асимптотически нормально. Большие значения t указывают на то, что нулевая гипотеза может быть отклонена и соответствующий коэффициент не равен нулю. Второй столбец, p -значение , выражает результаты проверки гипотезы в виде уровня значимости . Обычно p-значения меньше 0,05 принимаются как свидетельство того, что коэффициент совокупности отличен от нуля.
• R-квадрат — это коэффициент детерминации, указывающий на соответствие регрессии. Эта статистика будет равна единице, если соответствие идеально, и нулю, если регрессоры X вообще не обладают объяснительной силой. Это смещенная оценка R-квадрата популяции , и она никогда не уменьшится при добавлении дополнительных регрессоров, даже если они не имеют отношения к делу.
• Скорректированный R-квадрат — это слегка измененная версия , предназначенная для наказания за избыточное количество регрессоров, которые не увеличивают объяснительную силу регрессии. Эта статистика всегда меньше , может уменьшаться при добавлении новых регрессоров и даже быть отрицательной для плохо подходящих моделей:

• Логарифмическое правдоподобие рассчитывается в предположении, что ошибки подчиняются нормальному распределению. Несмотря на то, что это предположение не очень разумно, эта статистика все же может найти свое применение при проведении тестов LR.
• Статистика Дарбина-Ватсона проверяет, есть ли какие-либо доказательства серийной корреляции между остатками. Как показывает опыт, значение меньше 2 свидетельствует о положительной корреляции.
• Для выбора модели используются информационный критерий Акаике и критерий Шварца . Обычно при сравнении двух альтернативных моделей меньшие значения одного из этих критериев указывают на лучшую модель.
• Стандартная ошибка регрессии — это оценка σ , стандартная ошибка члена ошибки.
• Общая сумма квадратов , модельная сумма квадратов и остаточная сумма квадратов говорят нам, какая часть начальных вариаций в выборке была объяснена регрессией.
• F-статистика пытается проверить гипотезу о том, что все коэффициенты (кроме точки пересечения) равны нулю. Эта статистика имеет распределение F ( p – 1 , n – p ) при нулевой гипотезе и предположении нормальности, а ее значение p указывает вероятность того, что гипотеза действительно верна. Обратите внимание, что если ошибки не являются нормальными, эта статистика становится недействительной, и следует использовать другие тесты, такие как тест Вальда или тест LR .

Обычный анализ методом наименьших квадратов часто включает использование диагностических графиков, предназначенных для обнаружения отклонений данных от предполагаемой формы модели. Вот некоторые из распространенных диагностических графиков:

• Остатки против независимых переменных в модели. Нелинейная связь между этими переменными предполагает, что линейность функции условного среднего может не соблюдаться. Различные уровни изменчивости остатков для разных уровней объясняющих переменных предполагают возможную гетероскедастичность.
• Остатки против объясняющих переменных, которых нет в модели. Любая связь остатков с этими переменными предполагает рассмотрение этих переменных для включения в модель.
• Остаточные против подобранных значений, .
• Остатки против предыдущего остатка. Этот график может выявить серийные корреляции в остатках.

Важным моментом при выполнении статистического вывода с использованием регрессионных моделей является выборка данных. В этом примере это средние данные, а не измерения по отдельным женщинам. Подгонка модели очень хорошая, но это не означает, что вес отдельной женщины можно предсказать с высокой точностью только на основе ее роста.

Чувствительность к округлению

Этот пример также демонстрирует, что коэффициенты, определяемые этими вычислениями, чувствительны к тому, как подготовлены данные. Первоначально высота была округлена до ближайшего дюйма, а затем была преобразована и округлена до ближайшего сантиметра. Поскольку коэффициент преобразования составляет от одного дюйма до 2,54 см, это не точное преобразование. Исходные дюймы можно восстановить с помощью функции Round (x / 0,0254), а затем преобразовать в метрическую систему без округления. Если это будет сделано, результаты станут:

Использование любого из этих уравнений для прогнозирования веса женщины ростом 5 футов 6 дюймов (1,6764 м) дает аналогичные значения: 62,94 кг с округлением по сравнению с 62,98 кг без округления. Таким образом, кажущиеся незначительными отклонения в данных реально влияют на коэффициенты. но небольшое влияние на результаты уравнения.

Хотя это может выглядеть безобидным в середине диапазона данных, оно может стать значимым в крайних случаях или в случае, когда подобранная модель используется для проецирования за пределы диапазона данных ( экстраполяция ).

Это подчеркивает общую ошибку: этот пример представляет собой злоупотребление OLS, которое по своей сути требует, чтобы ошибки в независимой переменной (в данном случае высоте) были равны нулю или, по крайней мере, незначительны. Первоначальное округление до ближайшего дюйма плюс любые фактические ошибки измерения составляют конечную погрешность, которой нельзя пренебречь. В результате подобранные параметры не являются лучшими оценками, как предполагалось. Хотя это и не является полностью ложным, ошибка в оценке будет зависеть от относительного размера ошибок x и y .

Другой пример с менее реальными данными

Постановка задачи

Мы можем использовать механизм наименьших квадратов, чтобы выяснить уравнение орбиты двух тел в полярных координатах. Обычно используется уравнение: где — радиус расстояния от объекта до одного из тел. В уравнении параметры и используются для определения траектории орбиты. Мы измерили следующие данные.

(в градусах)	43 год	45	52	93	108	116
	4,7126	4,5542	4,0419	2,2187	1,8910	1,7599

Нам нужно найти приближение по методу наименьших квадратов и для приведенных данных.

Решение

Сначала нам нужно представить e и p в линейной форме. Итак, мы собираемся переписать уравнение как . Теперь мы можем использовать эту форму для представления наших данных наблюдений как:

где есть и есть и состоит из первого столбца, являющегося коэффициентом, а второй столбец является коэффициентом и является значениями для соответствующих so и

При решении получаем

так и

Смотрите также

• Байесовский метод наименьших квадратов
• Регрессия Фамы – Макбета
• Нелинейный метод наименьших квадратов
• Численные методы линейных наименьших квадратов
• Идентификация нелинейной системы

использованная литература

дальнейшее чтение

• Догерти, Кристофер (2002). Введение в эконометрику (2-е изд.). Нью-Йорк: Издательство Оксфордского университета. С. 48–113. ISBN 0-19-877643-8.
• Гуджарати, Дамодар Н .; Портер, Дон С. (2009). Основы эконометики (Пятое изд.). Бостон: Макгроу-Хилл Ирвин. С. 55–96. ISBN 978-0-07-337577-9.
• Хейдж, христианский; Бур, Пол; Franses, Philip H .; Клок, Теун; ван Дейк, Герман К. (2004). Эконометрические методы с приложениями в бизнесе и экономике (1-е изд.). Оксфорд: Издательство Оксфордского университета. С. 76–115. ISBN 978-0-19-926801-6.
• Хилл, Р. Картер; Гриффитс, Уильям Э .; Лим, Гуай С. (2008). Принципы эконометрики (3-е изд.). Хобокен, Нью-Джерси: Джон Уайли и сыновья. С. 8–47. ISBN 978-0-471-72360-8.
• Вулдридж, Джеффри (2008). «Модель простой регрессии» . Вводная эконометрика: современный подход (4-е изд.). Мейсон, Огайо: Обучение Cengage. С. 22–67. ISBN 978-0-324-58162-1.