Случайные ошибки параметров линейной регрессии и коэффициента корреляции

Примеры решения задач по эконометрике

Здравствуйте на этой странице я собрала теорию и практику с примерами решения задач по предмету эконометрика с решением по каждой теме, чтобы вы смогли освежить знания!

Если что-то непонятно — вы всегда можете написать мне в WhatsApp и я вам помогу!

Эконометрика

Эконометрика — это наука, изучающая конкретные количественные и качественные взаимосвязи экономических объектов и процессов с помощью математических и статистических методов и моделей.

Эконометрика — эффективный инструмент научного анализа и моделирования в профессиональной деятельности экономиста, менеджера и инженера

Парная регрессия и корреляция

Парная регрессия — уравнение связи двух переменных Примеры решения задач по эконометрике и Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

где Примеры решения задач по эконометрике — зависимая переменная (результативный признак);

Примеры решения задач по эконометрике — независимая, объясняющая переменная (признак-фактор).

Различают линейные и нелинейные регрессии.

Линейная регрессия : Примеры решения задач по эконометрике

Нелинейные регрессии делятся на два класса: регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам, и регрессии, нелинейные по оцениваемым параметрам.

Возможно эта страница вам будет полезна:

Регрессии, нелинейные по объясняющим переменным:

• полиномы разных степеней Примеры решения задач по эконометрике

• равносторонняя гипербола Примеры решения задач по эконометрике

Регрессии, нелинейные по оцениваемым параметрам’.

• степенная Примеры решения задач по эконометрике

• показательная Примеры решения задач по эконометрике

• экспоненциальная Примеры решения задач по эконометрике

Построение уравнения регрессии сводится к оценке ее параметров. Для оценки параметров регрессий, линейных по параметрам, используют метод наименьших квадратов (МНК). МНК позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака Примеры решения задач по эконометрике от теоретических Примеры решения задач по эконометрике минимальна, т.е.

Примеры решения задач по эконометрике

Для линейных и нелинейных уравнений, приводимых к линейным, решается следующая система относительно Примеры решения задач по эконометрике и Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

Можно воспользоваться готовыми формулами, которые вытекают из этой системы:

Примеры решения задач по эконометрике

Тесноту связи изучаемых явлений оценивает линейный коэффициент парной корреляции Примеры решения задач по эконометрике для линейной регрессии Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

и индекс корреляции Примеры решения задач по эконометрике — для нелинейной регрессии Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

Оценку качества построенной модели даст коэффициент (индекс) детерминации, а также средняя ошибка аппроксимации.

Средняя ошибка аппроксимации — среднее отклонение расчетных значений от фактических:

Примеры решения задач по эконометрике

Допустимый предел значений Примеры решения задач по эконометрике — не более 8 — 10%.

Средний коэффициент эластичности Примеры решения задач по эконометрике показывает, на сколько процентов в среднем по совокупности изменится результат у от своей средней величины при изменении фактора Примеры решения задач по эконометрике на 1% от своего среднего значения:

Примеры решения задач по эконометрике

Задача дисперсионного анализа состоит в анализе дисперсии зависимой переменной:

Примеры решения задач по эконометрике

где Примеры решения задач по эконометрике — общая сумма квадратов отклонений;

Примеры решения задач по эконометрике — сумма квадратов отклонений, обусловленная регрессией («объясненная» или «факторная»);

Примеры решения задач по эконометрике — остаточная сумма квадратов отклонений.

Долю дисперсии, объясняемую регрессией, в общей дисперсии результативного признака у характеризует коэффициент (индекс) детерминации Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

Коэффициент детерминации — квадрат коэффициента или индекса корреляции.

Примеры решения задач по эконометрике-тест — оценивание качества уравнения регрессии — состоит в проверке гипотезы Примеры решения задач по эконометрике о статистической незначимости уравнения регрессии и показателя тесноты связи. Дня этого выполняется сравнение фактического Примеры решения задач по эконометрике и критического (табличного) Примеры решения задач по эконометрике значений Примеры решения задач по эконометрике-критерия Фишера. Примеры решения задач по эконометрике определяется из соотношения значений факторной и остаточной дисперсий, рассчитанных на одну степень свободы:

Примеры решения задач по эконометрике

где Примеры решения задач по эконометрике — число единиц совокупности;

Примеры решения задач по эконометрике — число параметров при переменных Примеры решения задач по эконометрике.

Примеры решения задач по эконометрике — это максимально возможное значение критерия под влиянием случайных факторов при данных степенях свободы и уровне значимости Примеры решения задач по эконометрике. Уровень значимости Примеры решения задач по эконометрике — вероятность отвергнуть правильную гипотезу при условии, что она верна. Обычно Примеры решения задач по эконометрике принимается равной 0,05 или 0,01.

Если Примеры решения задач по эконометрике, то Примеры решения задач по эконометрике — гипотеза о случайной природе оцениваемых характеристик отклоняется и признается их статистическая значимость и надежность. Если Примеры решения задач по эконометрике, то гипотеза Примеры решения задач по эконометрике не отклоняется и признается статистическая незначимость, ненадежность уравнения регрессии.

Для оценки статистической значимости коэффициентов регрессии и корреляции рассчитываются Примеры решения задач по эконометрике-критерий Стьюдента и доверительные интервалы каждого из показателей. Выдвигается гипотеза Примеры решения задач по эконометрике о случайной природе показателей, т.е. о незначимом их отличии от нуля. Оценка значимости коэффициентов регрессии и корреляции с помощью Примеры решения задач по эконометрике-критерия Стьюдента проводится путем сопоставления их значений с величиной случайной ошибки:

Примеры решения задач по эконометрике

Случайные ошибки параметров линейной регрессии и коэффициента корреляции определяются по формулам:

Примеры решения задач по эконометрике

Сравнивая фактическое и критическое (табличное) значения Примеры решения задач по эконометрике-статистики — Примеры решения задач по эконометрике и Примеры решения задач по эконометрике — принимаем или отвергаем гипотезу Примеры решения задач по эконометрике.

Связь между Примеры решения задач по эконометрике-критерием Фишера и Примеры решения задач по эконометрике-статистикой Стьюдента выражается равенством

Примеры решения задач по эконометрике

Если Примеры решения задач по эконометрике то Примеры решения задач по эконометрике отклоняется, т.е. Примеры решения задач по эконометрике и Примеры решения задач по эконометрике не случайно отличаются от нуля и сформировались под влиянием систематически действующего фактора Примеры решения задач по эконометрике. Если Примеры решения задач по эконометрике, то гипотеза Примеры решения задач по эконометрике не отклоняется и признается случайная природа формирования Примеры решения задач по эконометрике или Примеры решения задач по эконометрике.

Для расчета доверительного интервала определяем предельную ошибку Примеры решения задач по эконометрике для каждого показателя:

Примеры решения задач по эконометрике

Формулы для расчета доверительных интервалов имеют следующий вид:

Примеры решения задач по эконометрике

Если в границы доверительного интервала попадает ноль, т.е. нижняя граница отрицательна, а верхняя положительна, то оцениваемый параметр принимается нулевым, так как он не может одновременно принимать и положительное, и отрицательное значения.

Прогнозное значение Примеры решения задач по эконометрике определяется путем подстановки в уравнение регрессии Примеры решения задач по эконометрике соответствующего (прогнозного) значения Примеры решения задач по эконометрике. Вычисляется средняя стандартная ошибка прогноза и строится доверительный интервал прогноза Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

где

Примеры решения задач по эконометрике
Примеры решения задач по эконометрике

Пример задачи №1

По семи территориям Уральского района за 199Х г. известны значения двух признаков (табл. 1.1).

Примеры решения задач по эконометрике

Требуется:

а)линейной;

б) степенной;

в) показательной;

г) равносторонней гиперболы.

Оценить каждую модель через среднюю ошибку аппроксимации Примеры решения задач по эконометрике и Примеры решения задач по эконометрике-критерий Фишера.

Решение:

1а. Для расчета параметров Примеры решения задач по эконометрике и Примеры решения задач по эконометрике линейной регрессии

Примеры решения задач по эконометрике

решаем систему нормальных уравнений относительно Примеры решения задач по эконометрике и Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

По исходным данным рассчитываем

Примеры решения задач по эконометрике

Примеры решения задач по эконометрике

Уравнение регрессии:

Примеры решения задач по эконометрике

С увеличением среднедневной заработной платы на 1 руб. доля расходов на покупку продовольственных товаров снижается в среднем на 0,35 %-ных пункта. Рассчитаем линейный коэффициент парной корреляции:

Примеры решения задач по эконометрике

Связь умеренная, обратная.

Определим коэффициент детерминации:

Примеры решения задач по эконометрике

Вариация результата на 12,7% объясняется вариацией фактора Примеры решения задач по эконометрике. Подставляя в уравнение регрессии фактические значения Примеры решения задач по эконометрике, определим теоретические (расчетные) значения Примеры решения задач по эконометрике. Найдем величину средней ошибки аппроксимации Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

В среднем расчетные значения отклоняются от фактических на 8,1%.

Рассчитаем Примеры решения задач по эконометрике-критерий:

Примеры решения задач по эконометрике

поскольку Примеры решения задач по эконометрике, следует рассмотреть Примеры решения задач по эконометрике

Полученное значение указывает на необходимость принять гипотезу Примеры решения задач по эконометрике о случайной природе выявленной зависимости и статистической незначимости параметров уравнения и показателя тесноты связи.

  • Построению степенной модели Примеры решения задач по эконометрике предшествует процедура линеаризации переменных. В примере линеаризация производится путем логарифмирования обеих частей уравнения:
Примеры решения задач по эконометрике
Примеры решения задач по эконометрике

Для расчетов используем данные табл. 1.3.

Примеры решения задач по эконометрике

Рассчитаем Примеры решения задач по эконометрике и Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

Получим линейное уравнение:

Примеры решения задач по эконометрике

Выполнив его потенцирование, получим:

Примеры решения задач по эконометрике

Подставляя в данное уравнение фактические значения Примеры решения задач по эконометрике, получаем теоретические значения результата Примеры решения задач по эконометрике. По ним рассчитаем показатели: тесноты связи — индекс корреляции Примеры решения задач по эконометрике и среднюю ошибку аппроксимации Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

Характеристики степенной модели указывают, что она несколько лучше линейной функции описывает взаимосвязь.

1в. Построению уравнения показательной кривой Примеры решения задач по эконометрике предшествует процедура линеаризации переменных при логарифмировании обеих частей уравнения:

Примеры решения задач по эконометрике

где

Примеры решения задач по эконометрике

Для расчетов используем данные табл. 1.4.

Примеры решения задач по эконометрике

Значения параметров регрессии Примеры решения задач по эконометрике и Примеры решения задач по эконометрике составили:

Примеры решения задач по эконометрике

Получено линейное уравнение:

Примеры решения задач по эконометрике

Произведем потенцирование полученного уравнения и запишем его в обычной форме:

Примеры решения задач по эконометрике

Тесноту связи оценим через индекс корреляции Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

Связь умеренная.

Примеры решения задач по эконометрике, что говорит о повышенной ошибке аппроксимации, но в допустимых пределах. Показательная функция чуть хуже, чем степенная, она описывает изучаемую зависимость.

1г. Уравнение равносторонней гиперболы Примеры решения задач по эконометрике линеаризуется при замене:Примеры решения задач по эконометрике. Тогда Примеры решения задач по эконометрике.

Для расчетов используем данные табл. 1.5.

Примеры решения задач по эконометрике

Значения параметров регрессии Примеры решения задач по эконометрике и Примеры решения задач по эконометрике составили:

Примеры решения задач по эконометрике

Получено уравнение:

Примеры решения задач по эконометрике

Индекс корреляции:

Примеры решения задач по эконометрике

Примеры решения задач по эконометрике. По уравнению равносторонней гиперболы полумена наибольшая оценка тесноты связи: Примеры решения задач по эконометрике =0,3944 (по сравнению с линейной, степенной и показательной регрессиями). Примеры решения задач по эконометрике остается на допустимом уровне:

Примеры решения задач по эконометрике

где

Примеры решения задач по эконометрике

Следовательно, принимается гипотеза Примеры решения задач по эконометрике о статистически незначимых параметрах этого уравнения. Этот результат можно объяснить сравнительно невысокой теснотой выявленной зависимости и небольшим числом наблюдений.

Пример задачи №2

По территориям региона приводятся данные за 199Х г. (табл. 1.6).

Примеры решения задач по эконометрике

Требуется:

  1. Построить линейное уравнение парной регрессии у от х.
  2. Рассчитать линейный коэффициент парной корреляции и среднюю ошибку аппроксимации.
  3. Оценить статистическую значимость параметров регрессии и корреляции.
  4. Выполнить прогноз заработной платы у при прогнозном значении среднедушевого прожиточного минимумах, составляющем 107% от среднего уровня.
  5. Оценить точность прогноза, рассчитав ошибку прогноза и его доверительный интервал.

Решение:

  • Для расчета параметров уравнения линейной регрессии строим расчетную таблицу (табл. 1.7).
Примеры решения задач по эконометрике

Получено уравнение регрессии:

Примеры решения задач по эконометрике

С увеличением среднедушевого прожиточного минимума на 1 руб. среднедневная заработная плата возрастает в среднем на 0,92 руб.

  • Тесноту линейной связи оценит коэффициент корреляции:
Примеры решения задач по эконометрике

Это означает, что 52% вариации заработной платы (Примеры решения задач по эконометрике) объясняется вариацией фактора Примеры решения задач по эконометрике — среднедушевого прожиточного минимума. Качество модели определяет средняя ошибка аппроксимации:

Примеры решения задач по эконометрике

Качество построенной модели оценивается как хорошее, так как Примеры решения задач по эконометрике не превышает 8 — 10%.

  • Оценку статистической значимости параметров регрессии проведем с помощью Примеры решения задач по эконометрике-статистики Стьюдента и путем расчета доверительного интервала каждого из показателей.

Выдвигаем гипотезу Примеры решения задач по эконометрике о статистически незначимом отличии показателей от нуля:

Примеры решения задач по эконометрике

Примеры решения задач по эконометрике для числа степеней свободы

Примеры решения задач по эконометрике

составит 2,23.

Определим случайные ошибки Примеры решения задач по эконометрике :
Тогда

Примеры решения задач по эконометрике

Фактические значения Примеры решения задач по эконометрике-статистики превосходят табличные значения:

Примеры решения задач по эконометрике

поэтому гипотеза Примеры решения задач по эконометрике отклоняется, т.е. Примеры решения задач по эконометрике и Примеры решения задач по эконометрике не случайно отличаются от нуля, а статистически значимы.

Рассчитаем доверительный интервал для Примеры решения задач по эконометрике и Примеры решения задач по эконометрике. Для этого определим предельную ошибку для каждого показателя:

Примеры решения задач по эконометрике

Доверительные интервалы:

Примеры решения задач по эконометрике

Анализ верхней и нижней границ доверительных интервалов приводит к выводу о том, что с вероятностью

Примеры решения задач по эконометрике

параметры Примеры решения задач по эконометрике и Примеры решения задач по эконометрике, находясь в указанных границах, не принимают нулевых значений, т.е. не являются статистически незначимыми и существенно отличны от нуля.

Полученные оценки уравнения регрессии позволяют использовать его для прогноза. Если прогнозное значение прожиточного минимума составит:

Примеры решения задач по эконометрике

тогда прогнозное значение прожиточного минимума составит:

Примеры решения задач по эконометрике

5. Ошибка прогноза составит:

Примеры решения задач по эконометрике

Предельная ошибка прогноза, которая в 95% случаев не будет превышена, составит:

Примеры решения задач по эконометрике

Доверительный интервал прогноза:

Примеры решения задач по эконометрике

Выполненный прогноз среднемесячной заработной платы оказался надежным

Примеры решения задач по эконометрике

но неточным, так как диапазон верхней и нижней границ доверительного интервала Примеры решения задач по эконометрике составляет 1,95 раза:

Примеры решения задач по эконометрике

Пример задачи №3

По группе предприятий, производящих однородную продукцию, известно, как зависит себестоимость единицы продукции у от факторов, приведенных в табл. 1.8.

Примеры решения задач по эконометрике

Требуется:

  1. Определить с помощью коэффициентов эластичности силу влияния каждого фактора на результат.
  2. Ранжировать факторы по силе влияния.

Решение:

  • Для уравнения равносторонней гиперболы
Примеры решения задач по эконометрике
Примеры решения задач по эконометрике

Для уравнения прямой

Примеры решения задач по эконометрике
Примеры решения задач по эконометрике

Для уравнения степенной зависимости

Примеры решения задач по эконометрике
Примеры решения задач по эконометрике

Для уравнения показательной зависимости

Примеры решения задач по эконометрике

Сравнивая значения Примеры решения задач по эконометрике, ранжируем Примеры решения задач по эконометрике по силе их влияния на себестоимость единицы продукции:

Примеры решения задач по эконометрике

Для формирования уровня себестоимости продукции фуппы предприятий первоочередное значение имеют цены на энергоносители; в гораздо меньшей степени влияют трудоемкость продукции и отчисляемая часть прибыли. Фактором снижения себестоимости выступает размер производства: с ростом его на 1% себестоимость единицы продукции снижается на -0,97%.

Пример задачи №4

Зависимость потребления продукта А от среднедушевого дохода по данным 20 семей характеризуется следующим образом:

уравнение регрессии

Примеры решения задач по эконометрике

индекс корреляции

Примеры решения задач по эконометрике

остаточная дисперсия

Примеры решения задач по эконометрике

Требуется:

Провести дисперсионный анализ полученных результатов.

Решение:

Результаты дисперсионного анализа приведены в табл. 1.9.

Примеры решения задач по эконометрике

В силу того что

Примеры решения задач по эконометрике

гипотеза о случайности различий факторной и остаточной дисперсий отклоняется. Эти различия существенны, статистически значимы, уравнение надежно, значимо, показатель тесноты связи надежен и отражает устойчивую зависимость потребления продукта Примеры решения задач по эконометрике от среднедушевого дохода.

Реализация типовых задач в Excel

Решение с помощью ППП Excel

  1. Встроенная статистическая функция ЛИНЕЙН определяет параметры линейной регрессии Примеры решения задач по эконометрике. Порядок вычисления следующий:

1) введите исходные данные или откройте существующий файл, содержащий анализируемые данные;

2) выделите область пустых ячеек 5×2 (5 строк, 2 столбца) для вывода результатов регрессионной статистики или область 1×2 — для получения только оценок коэффициентов регрессии;

3) активизируйте Мастер функций любым нз способов:

а) в главном меню выберите Вставка/Функция;

б) на панели инструментов Стандартная щелкните по кнопке Вставка функции;

4) в окне Категория (рис. 1.1) выберите Статистические, в окне Функция — ЛИНЕЙН. Щелкните по кнопке ОК;

Примеры решения задач по эконометрике

5) заполните аргументы функции (рис. 1.2):

Известные значенияу — диапазон, содержащий данные результативного признака;

Известные значения_х — диапазон, содержащий данные факторов независимого признака;

Константа — логическое значение, которое указывает на наличие или на отсутствие свободного члена в уравнении; если Константа = 1, то свободный член рассчитывается обычным образом, если Константа = 0, то свободный член равен 0; Статистика — логическое значение, которое указывает, выводить дополнительную информацию по регрессионному анализу или нет. Если Статистика = 1, то дополнительная информация выводится, если Статистика — 0, то выводятся только оценки параметров уравнения. Щелкните по кнопке ОК;

Примеры решения задач по эконометрике

6) в левой верхней ячейке выделенной области появится первый элемент итоговой таблицы. Чтобы раскрыть всю таблицу, нажмите на клавишу Примеры решения задач по эконометрике, а затем — на комбинацию клавиш

Примеры решения задач по эконометрике

Дополнительная регрессионная статистика будет выводиться в порядке, указанном в следующей схеме:

Примеры решения задач по эконометрике

Для вычисления параметров экспоненциальной кривой Примеры решения задач по эконометрике в MS Excel применяется встроенная статистическая функция ЛГРФПРИБЛ. Порядок вычисления аналогичен применению функции ЛИНЕЙН.

Для данных из примера 2 результат вычисления функции ЛИНЕЙН представлен на рис. 1.3, функции ЛГРФПРИБЛ — на рис. 1.4.

Примеры решения задач по эконометрике
  1. С помощью инструмента анализа данных Регрессия, помимо результатов регрессионной статистики, дисперсионного анализа и доверительных интервалов, можно получить остатки и графики подбора линии регрессии, остатков и нормальной вероятности. Порядок действий следующий:

1) проверьте доступ к пакету анализа. В главном меню последовательно выберите Сервис /Надстройки. Установите флажок Пакет анализа (рис. 1.5);

Примеры решения задач по эконометрике

2) в главном меню выберите Сервис/Анализ данных/Регрессия. Щелкните по кнопке ОК;

3) заполните диалоговое окно ввода данных и параметров вывода (рис. 1.6):

Входной интервал Примеры решения задач по эконометрике — диапазон, содержащий данные результативного признака;

Входной интервал Примеры решения задач по эконометрике — диапазон, содержащий данные факторов независимого признака;

Метки — флажок, который указывает, содержит ли первая строка названия столбцов или нет;

Константа — ноль — флажок, указывающий на наличие или отсутствие свободного члена в уравнении;

Выходной интервал — достаточно указать левую верхнюю ячейку будущего диапазона;

Новый рабочий лист — можно задать произвольное имя нового листа.

Если необходимо получить информацию и графики остатков, установите соответствующие флажки в диалоговом окне. Щелкните по кнопке ОК.

Примеры решения задач по эконометрике

Результаты регрессионного анализа для данных из примера 2 представлены на рис. 1.7.

Примеры решения задач по эконометрике

Решение с помощью ППП Statgraphics

Порядок вычислений при использовании функции Simple Regression следующий:

1) введите исходные данные (рис. 1.8) или откройте существующий файл, содержащий исходные данные;

2) в главном меню последовательно выберите Relate/Simple Regression;

3) заполните диалоговое окно ввода данных. В поле «Примеры решения задач по эконометрике» введите название столбца, содержащего зависимую переменную, в поле «Примеры решения задач по эконометрике» -название столбца, содержащего значения факторного признака. Щелкните по кнопке ОК;

Примеры решения задач по эконометрике

4) в окне табличных настроек поставьте флажок напротив Analysis Summary.

Результаты вычислений появятся в отдельном окне. Для данных из примера 2 результат применения функции Simple Regression представлен на рис. 1.9.

Примеры решения задач по эконометрике

Как видим, результаты вычислений вручную и с помощью компьютера совпадают.

Возможно эта страница вам будет полезна:

Множественная регрессия и корреляция

Множественная регрессия — уравнение связи с несколькими независимыми переменными:

Примеры решения задач по эконометрике

где Примеры решения задач по эконометрике — зависимая переменная (результативный признак);

Примеры решения задач по эконометрике — независимые переменные (факторы).

Для построения уравнения множественной регрессии чаще используются следующие функции:

• линейная —

Примеры решения задач по эконометрике

• степенная —

Примеры решения задач по эконометрике

• экспонента —

Примеры решения задач по эконометрике

• гипербола —

Примеры решения задач по эконометрике

Можно использовать и другие функции, приводимые к линейному виду.

Для оценки параметров уравнения множественной регрессии применяют метод наименьших квадратов (МНК). Для линейных уравнений и нелинейных уравнений, приводимых к линейным, строится следующая система нормальных уравнений, решение которой позволяет получить оценки параметров регрессии:

Примеры решения задач по эконометрике

Для ее решения может быть применен метод определителей:

Примеры решения задач по эконометрике

где

Примеры решения задач по эконометрике

определитель системы.

Примеры решения задач по эконометрике — частные определители; которые получаются путем замены соответствующего столбца матрицы определителя системы данными левой части системы.

Другой вид Уравнения множественной регрессии — уравнение регрессии в стандартизованном масштабе:

Примеры решения задач по эконометрике

у-у

где Примеры решения задач по эконометрике — стандартизованные переменные;

Примеры решения задач по эконометрике — стандартизованные коэффициенты регрессии.

К уравнению множественной регрессии в стандартизованном масштабе применим МНК. Стандартизованные коэффициенты регрессии (Примеры решения задач по эконометрике-коэффициенты) определяются из следующей системы уравнений:

Примеры решения задач по эконометрике

Связь коэффициентов множественной регрессии Примеры решения задач по эконометрике со стандартизованными коэффициентами Примеры решения задач по эконометрике описывается соотношением

Примеры решения задач по эконометрике

Параметр Примеры решения задач по эконометрике определяется как

Примеры решения задач по эконометрике

Средние коэффициенты эластичности для линейной регрессии рассчитываются по формуле

Примеры решения задач по эконометрике

Для расчета частных коэффициентов эластичности применяется следующая формула:

Примеры решения задач по эконометрике

Тесноту совместного влияния факторов на результат оценивает индекс множественной корреляции:

Примеры решения задач по эконометрике

Значение индекса множественной корреляции лежит в пределах от 0 до 1 и должно быть больше или ранно максимальному парному индексу корреляции:

Примеры решения задач по эконометрике

Индекс множественной корреляции для уравнения в стандартизованном масштабе можно записать и виде

Примеры решения задач по эконометрике

При линейной зависимости коэффициент множественной корреляции можно определить через матрицу парных коэффициентов корреляции:

Примеры решения задач по эконометрике

где

Примеры решения задач по эконометрике

определитель матрицы парных коэффициентов корреляии;

Примеры решения задач по эконометрике

определитель матрицы межфакторной корреляции.

Частные коэффициенты (или индексы) корреляции, измеряющие влияние на у фактора Примеры решения задач по эконометрике при неизменном уровне других факторов, можно определить по формуле

Примеры решения задач по эконометрике

или по рекуррентной формуле:

Примеры решения задач по эконометрике

Частные коэффициенты корреляции изменяются в пределах от —1 до 1.

Качество построенной модели в целом оценивает коэффициент (индекс) детерминации. Коэффициент множественной детерминации рассчитывается как квадрат индекса множественной корреляции:

Примеры решения задач по эконометрике

Скорректированный индекс множественной детерминации содержит поправку на число степеней свободы и рассчитывается по формуле

Примеры решения задач по эконометрике

где Примеры решения задач по эконометрике — число наблюдений; Примеры решения задач по эконометрике— число факторов.

Значимость уравнения множественной регрессии в целом оценивается с помощью Примеры решения задач по эконометрике-критерия Фишера:

Примеры решения задач по эконометрике

Частный Примеры решения задач по эконометрике-критерий оценивает статистическую значимость присутствия каждого из факторов в уравнении. В общем виде для фактора Примеры решения задач по эконометрике частный Примеры решения задач по эконометрике-критерий определится как

Примеры решения задач по эконометрике

Оценка значимости коэффициентов чистой регрессии с помощью Примеры решения задач по эконометрике-критерия Стьюдента сводится к вычислению значения

Примеры решения задач по эконометрике

где Примеры решения задач по эконометрике — средняя квадратичсская ошибка коэффициента регрессии Примеры решения задач по эконометрике она может быть определена по следующей формуле:

Примеры решения задач по эконометрике

При построении уравнения множественной регрессии может возникнуть проблема мупьтиколлинеарности факторов, их тесной линейной связанности.

Считается, что две переменные явно коллинеарны, т.е. находятся между собой в линейной зависимости, если Примеры решения задач по эконометрике.

По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в использовании аппарата множественной регрессии возникают при наличии мультиколлинеарности факторов. Чем сильнее мультикол-линеарность факторов, тем менее надежна оценка распределения суммы объясненной вариации по отдельным факторам с помощью метода наименьших квадратов.

Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами.

Если бы факторы не коррелировали между собой, то матрица парных коэффициентов корреляции между факторами была бы единичной матрицей, поскольку все недиагональные элементы Примеры решения задач по эконометрикеПримеры решения задач по эконометрике были бы равны нулю. Так, для включающего три объясняющих переменных уравнения

Примеры решения задач по эконометрике

матрица коэффициентов корреляции между факторами имела бы определитель, равный 1:

Примеры решения задач по эконометрике

так как

Примеры решения задач по эконометрике

Если же наоборот, между факторами существует полная линейная зависимость и все коэффициенты корреляции равны 1, то определитель такой матрицы равен 0:

Примеры решения задач по эконометрике

Чем ближе к 0 определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И наоборот, чем ближе к 1 определитель матрицы межфакторной корреляции, тем меньше мультиколлинеарность факторов.

Проверка мультиколлинеарности факторов может быть проведена методом испытания гипотезы о независимости переменных

Примеры решения задач по эконометрике

Доказано, что величина

Примеры решения задач по эконометрике

имеет приближенное распределение

Примеры решения задач по эконометрике

степенями свободы. Если фактическое значение Примеры решения задач по эконометрике превосходит табличное (критическое) Примеры решения задач по эконометрике то гипотеза Примеры решения задач по эконометрике отклоняется. Это означает, что Примеры решения задач по эконометрике, недиагональные ненулевые коэффициенты корреляции указывают на коллинеарность факторов. Мультиколлинеарность считается доказанной.

Для применения МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для каждого значения фактора Примеры решения задач по эконометрике остатки Примеры решения задач по эконометрике имеют одинаковую дисперсию. Если это условие не соблюдается, то имеет место гетероскедастичность.

При нарушении гомоскедастичности мы имеем неравенства

Примеры решения задач по эконометрике

При малом объеме выборки для оценки гетероскедастичности может использоваться метод Гольдфельда Кнандта. Основная идея теста Гольдфельда — Квандта состоит в следующем:

1) упорядочение и наблюдений по мере возрастания переменной Примеры решения задач по эконометрике;

2) исключение из рассмотрения Примеры решения задач по эконометрике центральных наблюдений; при этом Примеры решения задач по эконометрике, где Примеры решения задач по эконометрике — число оцениваемых параметров;

3) разделение совокупности из Примеры решения задач по эконометрике наблюдений на две группы (соответственно с малыми и с большими значениями фактора Примеры решения задач по эконометрике) и определение по каждой из групп ураннсний регрессии;

4) определение остаточной суммы киндратов для первой Примеры решения задач по эконометрике и второй Примеры решения задач по эконометрике групп и нахождение их отношения:

Примеры решения задач по эконометрике

При выполнении нулевой гипотезы о гомоскедастичности отношение Примеры решения задач по эконометрике будет удовлетворять Примеры решения задач по эконометрике-критерию со степенями свободы Примеры решения задач по эконометрике для каждой остаточной суммы квадратов. Чем больше величина Примеры решения задач по эконометрике превышает табличное значение Примеры решения задач по эконометрике-критерия, тем более нарушена предпосылка о равенстве дисперсий остаточных величин.

Уравнения множественной регрессии могут включать в качестве независимых переменных качественные признаки (например, профессия, пол, образование, климатические условия, отдельные регионы и т.д.). Чтобы ввести такие переменные в регрессионную модель, их необходимо упорядочить и присвоить им те или иные значения, т.е. качественные переменные преобразовать в количественные.

Такого вида сконструированные переменные принято в эконометрике называть фиктивными переменными. Например, включать в модель фактор «пол» в виде фиктивной переменной можно в следующем виде:

Примеры решения задач по эконометрике

Коэффициент регрессии при фиктивной переменной интерпретируется как среднее изменение зависимой переменной при переходе от одной категории (женский пол) к другой (мужской пол) при неизменных значениях остальных параметров. На основе Примеры решения задач по эконометрике-критерия Стьюдента делается вывод о значимости влияния фиктивной переменной, существенности расхождения между категориями.

Пример задачи №5

По 30 территориям России имеются данные, представленные в табл. 2.1.

Примеры решения задач по эконометрике

Требуется:

  1. Построить уравнение множественной регрессии в стандартизованной и естественной форме; рассчитать частные коэффициенты эластичности, сравнить их с Примеры решения задач по эконометрике и Примеры решения задач по эконометрике пояснить различия между ними.
  2. Рассчитать линейные коэффициенты частной корреляции и коэффициент множественной корреляции, сравнить их с линейными коэффициентами парной корреляции, пояснить различия между ними.
  3. Рассчитать общий и частные Примеры решения задач по эконометрике-критерии Фишера.

Решение:

Линейное уравнение множественной регрессии Примеры решения задач по эконометрике от Примеры решения задач по эконометрике и Примеры решения задач по эконометрике имеет вид:

Примеры решения задач по эконометрике

Для расчета его параметров применим метод стандартизации переменных и построим искомое уравнение в стандартизованном масштабе:

Примеры решения задач по эконометрике

Расчет Примеры решения задач по эконометрике-коэффициентов выполним по формулам

Примеры решения задач по эконометрике

Получим уравнение

Примеры решения задач по эконометрике

Для построения уравнения в естественной форме рассчитаем Примеры решения задач по эконометрике и Примеры решения задач по эконометрике, используя формулы для перехода от Примеры решения задач по эконометрике к Примеры решения задач по эконометрике;

Примеры решения задач по эконометрике

Значение а определим из соотношения

Примеры решения задач по эконометрике

Для характеристики относительной силы влияния Примеры решения задач по эконометрике и Примеры решения задач по эконометрике на Примеры решения задач по эконометрике рассчитаем средние коэффициенты эластичности:

Примеры решения задач по эконометрике

С увеличением средней заработной платы Примеры решения задач по эконометрике на 1% от ее среднего уровня средний душевой доход у возрастает на 1,02% от своего среднего уровня; при повышении среднего возраста безработного Примеры решения задач по эконометрике на 1% среднедушевой доход у снижается на 0,87% от своего среднего уровня. Очевидно, что сила влияния средней заработной платы Примеры решения задач по эконометрике на средний душевой доход у оказалась большей, чем сила влияния среднего возраста безработного Примеры решения задач по эконометрике. К аналогичным выводам о силе связи приходим при сравнении модулей значений Примеры решения задач по эконометрике и Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

Различия в силе влияния фактора на результат, полученные при сравнении Примеры решения задач по эконометрике и Примеры решения задач по эконометрике объясняются тем, что коэффициент эластичности исходит из соотношения средних:

Примеры решения задач по эконометрике

Примеры решения задач по эконометрике-коэффициент — из соотношения средних квадратических отклонений:

Примеры решения задач по эконометрике
  • Линейные коэффициенты частной корреляции здесь рассчитываются по рекуррентной формуле:
Примеры решения задач по эконометрике

Если сравнить значения коэффициентов парной и частной корреляции, то приходим к выводу, что из-за слабой межфакторной связи Примеры решения задач по эконометрике коэффициенты парной и частной корреляции отличаются незначительно: выводы о тесноте и направлении связи на основе коэффициентов парной и частной корреляции совпадают:

Примеры решения задач по эконометрике

Расчет линейного коэффициента множественной корреляции выполним с использованием коэффициентов Примеры решения задач по эконометрике и Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

Зависимость Примеры решения задач по эконометрике от Примеры решения задач по эконометрике и Примеры решения задач по эконометрике характеризуется как тесная, в которой 72% вариации среднего душевого дохода определяются вариацией учтенных в модели факторов: средней заработной платы и среднего возраста безработного. Прочие факторы, не включенные в модель, составляют соответственно 28% от общей вариации Примеры решения задач по эконометрике.

Примеры решения задач по эконометрике

Сравнивая Примеры решения задач по эконометрике приходим к выводу о необходимости отклонить гипотезу Примеры решения задач по эконометрике, так как

Примеры решения задач по эконометрике

С вероятностью Примеры решения задач по эконометрике делаем заключение о статистической значимости уравнения в целом и показателя тесноты связи Примеры решения задач по эконометрике которые сформировались под неслучайным воздействием факторов Примеры решения задач по эконометрике и Примеры решения задач по эконометрике.

Частные Примеры решения задач по эконометрике-критерии — Примеры решения задач по эконометрике и Примеры решения задач по эконометрике оценивают статистическую значимость присутствия факторов Примеры решения задач по эконометрике и Примеры решения задач по эконометрике в уравнении множественной регрессии, оценивают целесообразность включения в уравнение одного фактора после другого фактора, т.е. Примеры решения задач по эконометрике оценивает целесообразность включения в уравнение фактора Примеры решения задач по эконометрике после того, как в него был включен фактор Примеры решения задач по эконометрике. Соответственно Примеры решения задач по эконометрике указывает на целесообразность включения в модель фактора Примеры решения задач по эконометрике после фактора Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

Сравнивая Примеры решения задач по эконометрике приходим к выводу о целесообразности включения в модель фактора Примеры решения задач по эконометрике после’ фактора Примеры решения задач по эконометрике, так как

Примеры решения задач по эконометрике

Гипотезу Примеры решения задач по эконометрике о несущественности прироста Примеры решения задач по эконометрике за счет включения дополнительного фактора Примеры решения задач по эконометрике отклоняем и приходим к выводу о статистически подтвержденной целесообразности включения фактора Примеры решения задач по эконометрике после фактора Примеры решения задач по эконометрике.

Целесообразность включения в модель фактора Примеры решения задач по эконометрике после фактора Примеры решения задач по эконометрике проверяет Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

Низкое значение Примеры решения задач по эконометрике (немногим больше 1) свидетельствует о статистической незначимости прироста Примеры решения задач по эконометрике за счет включения в модель фактора Примеры решения задач по эконометрике после фактора Примеры решения задач по эконометрике. Следовательно, подтверждается нулевая гипотеза Примеры решения задач по эконометрике нецелесообразности включения в модель фактора Примеры решения задач по эконометрике (средний возраст безработного). Это означает, что парная регрессионная модель зависимости среднего дохода от средней заработной платы является достаточно статистически значимой, надежной и что нет необходимости улучшать ее, включая дополнительный фактор Примеры решения задач по эконометрике (средний возраст безработного).

Пример задачи №6

По 20 территориям России изучаются следующие данные (табл. 2.2): зависимость среднегодового душевого дохода у (тыс. руб.) от доли занятых тяжелым физическим трудом в общей численности занятых Примеры решения задач по эконометрике (%) и от доли экономически активного населения в численности всего населения Примеры решения задач по эконометрике (%).

Примеры решения задач по эконометрике

Требуется:

  1. Составить таблицу дисперсионного анализа для проверки при уровне значимости Примеры решения задач по эконометрике статистической значимости уравнения множественной регрессии и его показателя тесноты связи.
  2. С помощью частных Примеры решения задач по эконометрике-критериев Фишера оценить, насколько целесообразно включение в уравнение множественной регрессии фактора Примеры решения задач по эконометрике после фактора Примеры решения задач по эконометрике и насколько целесообразно включение Примеры решения задач по эконометрике после Примеры решения задач по эконометрике.
  3. Оценить с помощью Примеры решения задач по эконометрике-критерия Стыодента статистическую значимость коэффициентов при переменных Примеры решения задач по эконометрике и Примеры решения задач по эконометрике множественного уравнения регрессии.

Решение:

  • Задача дисперсионного анализа состоит в проверке нулевой гипотезы Примеры решения задач по эконометрике о статистической незначимости уравнения регрессии в целом и показателя тесноты связи.

Анализ выполняется при сравнении фактического и табличного (критического) значений Примеры решения задач по эконометрике-критерия Фишера

Примеры решения задач по эконометрике

определяется из соотношения значений факторной и остаточной дисперсий, рассчитанных на одну степень свободы:

Примеры решения задач по эконометрике

где Примеры решения задач по эконометрике — число единиц совокупности;

Примеры решения задач по эконометрике — число факторов в уравнении линейной регрессии; Примеры решения задач по эконометрике — фактическое значение результативного признака; Примеры решения задач по эконометрике — расчетное значение результативного признака.

Результаты дисперсионного анализа представлены в табл. 2.3.

Примеры решения задач по эконометрике

Сравнивая Примеры решения задач по эконометрике приходим к выводу о необходимости отклонить гипотезу Примеры решения задач по эконометрике и сделать вывод о статистической значимости уравнения регрессии в целом и значения Примеры решения задач по эконометрике, так как они статистически надежны и сформировались под систематическим действием неслучайных причин. Вероятность того, что допускаются ошибки при отклонении нулевой гипотезы, не превышает 5%, и это является достаточно малой величиной.

Возможно эта страница вам будет полезна:

Примеры решения задач по эконометрике

Результаты дисперсионного анализа представлены в табл. 2.4.

Примеры решения задач по эконометрике

Включение фактора Примеры решения задач по эконометрике после фактора Примеры решения задач по эконометрике оказалось статистически значимым и оправданным: прирост факторной дисперсии (в расчете на одну степень свободы) оказался существенным, т.е. следствием дополнительного включения в модель систематически действующего фактора Примеры решения задач по эконометрике так как

Примеры решения задач по эконометрике

Аналогично проверим целесообразность включения в модель дополнительного фактора Примеры решения задач по эконометрике после включенного ранее фактора Примеры решения задач по эконометрике. Расчет выполним с использованием показателей тесноты связи

Примеры решения задач по эконометрике
Примеры решения задач по эконометрике

В силу того что

Примеры решения задач по эконометрике

приходим к выводу, что включение Примеры решения задач по эконометрике после Примеры решения задач по эконометрике оказалось бесполезным: прирост факторной дисперсии в расчете на одну степень свободы был несуществен, статистически незначим, т.е. влияние Примеры решения задач по эконометрике не является устойчивым, систематическим. Вполне возможно было ограничиться построением линейного уравнения парной регрессии у от Примеры решения задач по эконометрике.

Примеры решения задач по эконометрике

Табличные (критические) значения Примеры решения задач по эконометрике-критерия Стьюдента зависят от принятого уровня значимости Примеры решения задач по эконометрике (обычно это 0,1; 0,05 или 0,01) и от числа степеней свободы Примеры решения задач по эконометрике, где Примеры решения задач по эконометрике — число единиц совокупности, Примеры решения задач по эконометрике — число факторов в уравнении.

В нашем примере при

Примеры решения задач по эконометрике

Сравнивая Примеры решения задач по эконометрике, приходим к выводу, что так как Примеры решения задач по эконометрикеПримеры решения задач по эконометрике коэффициент регрессии Примеры решения задач по эконометрике является статистически значимым, надежным, на него можно опираться в анализе и в прогнозе. Так как

Примеры решения задач по эконометрике

приходим к заключению, что величина Примеры решения задач по эконометрике является статистически незначимой, ненадежной в силу того, что она формируется преимущественно под воздействием случайных факторов. Еще раз подтверждается статистическая значимость влияния Примеры решения задач по эконометрике (доли занятых тяжелым физическим трудом) на у (среднедушевой доход) и ненадежность, незначимость влияния Примеры решения задач по эконометрике (доли экономически активного населения в численности всего населения).

Возможно эта страница вам будет полезна:

Пример задачи №7

Зависимость спроса на свинину Примеры решения задач по эконометрике от цены на нее Примеры решения задач по эконометрике и от цены на говядину Примеры решения задач по эконометрике представлена уравнением

Примеры решения задач по эконометрике

Требуется:

  1. Представить данное уравнение в естественной форме (не в логарифмах).
  2. Оценить значимость параметров данного уравнения, если известно, что Примеры решения задач по эконометрике-критерий для параметра Примеры решения задач по эконометрике при Примеры решения задач по эконометрике составил 0,827, а для параметра Примеры решения задач по эконометрике при Примеры решения задач по эконометрике — 1,015.

Решение:

  • Представленное степенное уравнение множественной регрессии приводим к естественной форме путём потенцирования обеих частей уравнения:
Примеры решения задач по эконометрике

Значения коэффициентов регрессии Примеры решения задач по эконометрике и Примеры решения задач по эконометрике в степенной функции равны коэффициентам эластичности результата Примеры решения задач по эконометрике от Примеры решения задач по эконометрике и Примеры решения задач по эконометрике.

Примеры решения задач по эконометрике

Спрос на свинину Примеры решения задач по эконометрике сильнее связан с ценой на говядину — он увеличивается в среднем на 2,83% при росте цен на 1%. С ценой на свинину спрос на нее связан обратной зависимостью: с ростом цен на 1% потребление снижается в среднем на 0,21%.

Примеры решения задач по эконометрике
  • Это весьма небольшие значения Примеры решения задач по эконометрике-критерия, которые свидетельствуют о случайной природе взаимосвязи, о статистической ненадежности всего уравнения, поэтому применять полученное уравнение для прогноза не рекомендуется.

Возможно эта страница вам будет полезна:

Пример задачи №8

По 20 предприятиям региона (табл. 2.5) изучается зависимость выработки продукции на одного работника у (тыс. руб.) от ввода в действие новых основных фондов Примеры решения задач по эконометрике (% от стоимости фондов на конец года) и от удельного веса рабочих высокой квалификации в общей численности рабочих Примеры решения задач по эконометрике (%).

Примеры решения задач по эконометрике

Требуется:

  1. Оценить показатели вариации каждого признака и сделать вывод о возможностях применения МНК для их изучения.
  2. Проанализировать линейные коэффициенты парной и частной корреляции.
  3. Написать уравнение множественной регрессии, оценить значимость его параметров, пояснить их экономический смысл.
  4. С помощью Примеры решения задач по эконометрике-критерия Фишера оценить статистическую надежность уравнения регрессии и Примеры решения задач по эконометрике. Сравнить значения скорректированного и нескорректированного линейных коэффициентов множественной детерминации.
  5. С помощью частных Примеры решения задач по эконометрике-критериев Фишера оценить целесообразность включения в уравнение множественной регрессии фактора Примеры решения задач по эконометрике после Примеры решения задач по эконометрике и фактора Примеры решения задач по эконометрике после Примеры решения задач по эконометрике.
  6. Рассчитать средние частные коэффициенты эластичности и дать на их основе сравнительную оценку силы влияния факторов на результат.

Возможно эта страница вам будет полезна:

Реализация типовых задач в Excel

  1. Решение примера проведем с использованием ППП MS Excel и Statgraphics.

Решение с помощью ППП Excel

Сводную таблицу основных статистических характеристик для одного или нескольких массивов данных можно получить с помощью инструмента анализа данных Описательная статистика. Для этого выполните следующие шаги:

1) введите исходные данные или откройте существующий файл, содержащий анализируемые данные;

2) в главном меню выберите последовательно пункты Сервис / Анализ данных / Описательная статистика, после чего щелкните по кнопке ОК;

Примеры решения задач по эконометрике

3) заполните диалоговое окно ввода данных и параметров вывода (рис. 2.1):

Входной интервал — диапазон, содержащий анализируемые данные, это может быть одна или несколько строк (столбцов); Группирование — по столбцам или по строкам — необходимо указать дополнительно;

Метки — флажок, который указывает, содержит ли первая строка названия столбцов или нет;

Выходной интервал — достаточно указать левую верхнюю ячейку будущего диапазона;

Новый рабочий лист — можно задать произвольное имя нового листа.

Если необходимо получить дополнительную информацию Итоговой статистики, Уровня надежности, k-го наибольшего и наименьшего значений, установите соответствующие флажки в диалоговом окне. Щелкните по кнопке ОК.

Результаты вычисления соответствующих показателей для каждого признака представлены на рис. 2.2.

Примеры решения задач по эконометрике

Решение с помощью ППП Statgraphics

Для проведения многофакторного анализа в ППП Statgraphics используется пункт меню Multiple Variable Analysis. Для получения показателей описательной статистики необходимо проделать следующие операции:

1) ввести исходные данные или открыть существующий файл, содержащий анализируемые данные;

2) в главном меню выбрать Describe/Numeric Data/Multiple Variable Analysis;

3) заполнить диалоговое окно ввода данных (рис. 2.3). Ввести названия всех столбцов, значения которых вы хотите включить в анализ; щелкнуть по кнопке ОК;

Примеры решения задач по эконометрике

4) в окне табличных настроек поставить флажок напротив Summary Statistics (рис. 2.4). Итоговая статистика — показатели вариации -появится в отдельном окне.

Примеры решения задач по эконометрике

Для данных примера 4 результат применения функции Multiple Variable Analysis представлен на рис. 2.5.

Примеры решения задач по эконометрике

Сравнивая значения средних квадратических отклонений и средних величин и определяя коэффициенты вариации:

Примеры решения задач по эконометрике

приходим к выводу о повышенном уровне варьирования признаков, хотя и в допустимых пределах, не превышающих 35%. Совокупность предприятий однородна, и для ее изучения могут использоваться метод наименьших квадратов и вероятностные методы оценки статистических гипотез.

  • Значения линейных коэффициентов парной корреляции определяют тесноту попарно связанных переменных, использованных в данном уравнении множественной регрессии. Линейные коэффициенты частной корреляции оценивают тесноту связи значений двух переменных, исключая влияние всех других переменных, представленных в уравнении множественной регрессии.

Решение с помощью ППП Excel

К сожалению, в ППП MS Excel нет специального инструмента для расчета линейных коэффициентов частной корреляции. Матрицу парных коэффициентов корреляции переменных можно рассчитать, используя инструмент анализа данных Корреляция. Для этого:

1) в главном меню последовательно выберите пункты Сервис / Анализ данных / Корреляция. Щелкните по кнопке ОК;

2) заполните диалоговое окно ввода данных и параметров вывода (см. рис. 2.1);

3) результаты вычислений — матрица коэффициентов парной корреляции — представлены на рис. 2.6.

Примеры решения задач по эконометрике

Решение с помощью ППП Stat graphics

При проведении многофакторного анализа — Multiple Variable Analysis — вычисляются линейные коэффициенты парной корреляции и линейные коэффициенты частной корреляции. Последовательность операций описана в п.1 этого примера. Для отображения результатов вычисления на экране необходимо установить флажки напротив Correlations и Partial Correlations в окне табличных настроек (рис. 2.7).

Примеры решения задач по эконометрике

В результате получим матрицы коэффициентов парной и частной корреляции (рис. 2.8).

Примеры решения задач по эконометрике

Значения коэффициентов парной корреляции указывают на весьма тесную связь выработки у как с коэффициентом обновления основных фондов — Примеры решения задач по эконометрике, так и с долей рабочих высокой квалификации

Примеры решения задач по эконометрике

Но в то же время межфакторная связь Примеры решения задач по эконометрике весьма тесная и превышает тесноту связи Примеры решения задач по эконометрике с Примеры решения задач по эконометрике. В связи с этим для улучшения данной модели можно исключить из нее фактор Примеры решения задач по эконометрике как малоинформативный, недостаточно статистически надежный.

Коэффициенты частной корреляции дают более точную характеристику тесноты связи двух признаков, чем коэффициенты парной корреляции, так как очищают парную зависимость от взаимодействия данной пары признаков с другими признаками, представленными в модели. Наиболее тесно связаны Примеры решения задач по эконометрике и Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

связь Примеры решения задач по эконометрике и Примеры решения задач по эконометрике гораздо слабее:

Примеры решения задач по эконометрике

а межфакторная зависимость Примеры решения задач по эконометрике и Примеры решения задач по эконометрике выше, чем парная Примеры решения задач по эконометрике и Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

Все это приводит к выводу о необходимости исключить фактор Примеры решения задач по эконометрике — доля высококвалифицированных рабочих — из правой части уравнения множественной регрессии.

Если сравнить коэффициенты парной и частной корреляции, то можно увидеть, что из-за высокой межфакторной зависимости коэффициенты парной корреляции дают завышенные оценки тесноты связи:

Примеры решения задач по эконометрике

Именно по этой причине рекомендуется при наличии сильной коллинеарности (взаимосвязи) факторов исключать из исследования тот фактор, у которого теснота парной зависимости меньше, чем теснота межфакторной связи.

  1. Вычисление параметров линейного уравнения множественной регрессии.

Решение с помощью ППП Excel

Эта операция проводится с помощью инструмента анализа данных Регрессия. Она аналогична расчету параметров парной линейной регрессии, описанной в 1-м разделе практикума, только в отличие от парной регрессии в диалоговом окне при заполнении параметра входной интервал и следует указать не один столбец, а все столбцы, содержащие значения факторных признаков. Результаты анализа представлены на рис. 2.9.

Примеры решения задач по эконометрике

Для вычисления параметров множестнсшшП регрессии можно использовать процедуру Multiple Regression. Дни »нно:

1) введите исходные данные или откройте сущее i иун>щи11 файл;

2) в главном меню последовательно выберите Heinle / Multiple Regression;

3) заполните диалоговое окно ввода данных. II ноне Depended Variable введите название столбца, содержащею шичпш» зависимой переменной, в поле Independed Variable — нашими* i ишбцов, содержащих значения факторов. Щелкните по кнопке ОК

Результаты вычисления функции Multiple КсЦ1 гм1«ш появятся в отдельном окне (рис. 2.10).

По результатам вычислений составим урцниемн* множественной регрессии вида

Примеры решения задач по эконометрике

Значения случайных ошибок параметров Примеры решения задач по эконометрике с учетом округления:

Примеры решения задач по эконометрике

Примеры решения задач по эконометрике

Они показывают, какое значение данной характеристики сформировалось под влиянием случайных факторов. Эти значения используются для расчета Примеры решения задач по эконометрике-критерия С п.юдснта:

Примеры решения задач по эконометрике

Если значения Примеры решения задач по эконометрике-критерия больше 2-3, можно сделать вывод о существенности данного параметра, который формируется под воздействием неслучайных причин. Здесь статистически значимыми являются Примеры решения задач по эконометрике и Примеры решения задач по эконометрике, а величина Примеры решения задач по эконометрике сформировалась под воздействием случайных причин, поэтому фактор силу влияния которого оценивает Примеры решения задач по эконометрике, можно исключить как несущественно влияющий, неинформативный.

На это же указывает показатель вероятности случайных значений параметров регрессии: если а меньше принятого нами уровня (обычно 0,1; 0,05 или 0,01; это соответствует 10%; 5% или 1% вероятности), делают вывод о неслучайной природе данного значения параметра, т.е. о том, что он статистически значим и надежен. В противном случае принимается гипотеза о случайной природе значения коэффициентов уравнения. Здесь

Примеры решения задач по эконометрике

что позволяет рассматривать Примеры решения задач по эконометрике как неинформативный фактор и удалить его для улучшения данного уравнения.

Величина Примеры решения задач по эконометрике оценивает агрегированное влияние прочих (кроме учтенных в модели факторов Примеры решения задач по эконометрике и Примеры решения задач по эконометрике) факторов на результату.

Величины Примеры решения задач по эконометрике и Примеры решения задач по эконометрике указывают, что с увеличением Примеры решения задач по эконометрике и Примеры решения задач по эконометрике на единицу их значений результат увеличивается соответственно на 0,9459 и на 0,0856 млн руб. Сравнивать эти значения не следует, так как они зависят от единиц измерения каждого признака и потому несопоставимы между собой.

Оценку надежности уравнения регрессии в целом и показателя тесноты связи Примеры решения задач по эконометрике дает Примеры решения задач по эконометрике-критерий Фишера:

Примеры решения задач по эконометрике

По данным таблиц дисперсионного анализа, представленным на рис. 2.9 и 2.10, Примеры решения задач по эконометрике. Вероятность случайно получить такое значение Примеры решения задач по эконометрике-критерия составляет 0,0000, что не превышает допустимый уровень значимости 5%; об этом свидетельствует величина Примеры решения задач по эконометрике — значения из этих же таблиц. Следовательно, полученное значение не случайно, оно сформировалось под алюминием существенных факторов, т.е. подтверждается статистически значимость всего уравнения и показателя тесноты связи Примеры решения задач по эконометрике.

Значения скорректированного и нескорремирпианпого линейных коэффициентов множественной детерминации приведены на рис. 2.9 и 2.10 в рамках регрессионной статистики.

Нескорректированный коэффициент множественной детерминации

Примеры решения задач по эконометрике

оценивает долю вариации результата за счет представленных в уравнении фактором в общей вариации результата. Здесь эта доля составляет 94,7% и указывает на весьма высокую степень обусловленности вариации вариацией факторов, иными словами — на весьма теси> i факторов с результатом.

Скорректированный коэффициент множественной детерминации

Примеры решения задач по эконометрике

определяет тесноту связи с учетом степеней свободы общей и остаточной дисперсий. Он дает такую оценку тесноты связи, которая не зависит от числа факторов и потому может сравниваться по разным моделям с разным что ном факторов. Оба коэффициента указывают на весьма высокую (Ооиес 90%) детерминированность результата в модели факторами.

1) введите исходные данные или откройте существующий файл;

2) в главном меню последовательно выберите пункты Relate / Multiple Regression;

3) заполните диалоговое окно ввода данных. В поле Depended Variable введите название столбца, содержащего значения зависимой переменной, в поле Independed Variable — названия столбцов, содержащих значения факторов, в том порядке, в котором будет проводиться анализ целесообразности включения факторов в модель. Чтобы оценить статистическую значимость включения в модель фактора Примеры решения задач по эконометрике после фактора Примеры решения задач по эконометрике, сначала введите фактор Примеры решения задач по эконометрике затем Примеры решения задач по эконометрике. Для оценки обратного порядка включения факторов в модель Примеры решения задач по эконометрике после Примеры решения задач по эконометрике введите Примеры решения задач по эконометрике, затем Примеры решения задач по эконометрике. Щелкните по кнопке ОК;

4) в окне табличных настроек поставьте флажок напротив поля Conditional Sums of Squares.

Результаты вычисления показаны на рис. 2.11.

Примеры решения задач по эконометрике

Частный Примеры решения задач по эконометрике-критерий — Примеры решения задач по эконометрике показывает статистическую значимость включения фактора Примеры решения задач по эконометрике в модель после того, как в нее включен фактор Примеры решения задач по эконометрике.

Примеры решения задач по эконометрике = 2 . Вероятность случайной природы его значения (Примеры решения задач по эконометрике-значение = 0,1750) составляет 17,5% против принятого уровня значимости Примеры решения задач по эконометрике (5%). Следовательно, включение в модель фактора Примеры решения задач по эконометрике — доля высококвалифицированных рабочих — после того, как в уравнение включен фактор Примеры решения задач по эконометрике — коэффициент обновления основных фондов — статистически нецелесообразно: прирост факторной дисперсии за счет дополнительного признака Примеры решения задач по эконометрике оказывается незначимым, несущественным; фактор Примеры решения задач по эконометрике включать в уравнение после фактора Примеры решения задач по эконометрике не следует.

Если поменять первоначальный порядок включения факторов в модель и рассмотреть вариант включения Примеры решения задач по эконометрике после Примеры решения задач по эконометрике, то результат расчета частного Примеры решения задач по эконометрике-критерия для Примеры решения задач по эконометрике будет иным.

Примеры решения задач по эконометрике

Вероятность его случайного формирования составила 0,04%, это значительно меньше принятого стандарта Примеры решения задач по эконометрике (5%). Следовательно, значение частного Примеры решения задач по эконометрике-критерия для дополнительно включенного фактора Примеры решения задач по эконометрике не случайно, является статистически значимым, надежным, достоверным: прирост факторной дисперсии за счет дополнительного фактора Примеры решения задач по эконометрике является существенным. Фактор Примеры решения задач по эконометрике должен присутствовать в уравнении, в том числе в варианте, когда он дополнительно включается после фактора Примеры решения задач по эконометрике.

Общий вывод состоит в том, что множественная модель с факторами Примеры решения задач по эконометрике и Примеры решения задач по эконометрике с

Примеры решения задач по эконометрике

содержит неинформативный фактор Примеры решения задач по эконометрике. Если исключить фактор Примеры решения задач по эконометрике, то можно (ограничиться уравнением парной регрессии:

Примеры решения задач по эконометрике

более простым, хорошо детерминированным, ириголным для анализа и для прогноза.

  1. Средние частные коэффициенты эластичности показывают, на сколько процентов от значения своей средней изменяется результат при изменении фактора Примеры решения задач по эконометрике на 1% от своей средней Примеры решения задач по эконометрике и

при фиксированном воздействии на у всех прочих факторов, включенных в уравнение регрессии. Для линейной зависимости

Примеры решения задач по эконометрике

где Примеры решения задач по эконометрике — коэффициент регрессии при Примеры решения задач по эконометрике в уравнении множественной регрессии. Здесь

Примеры решения задач по эконометрике

По значениям частных коэффициентов эластичности можно сделать вывод о более сильном влиянии на результат у признака фактора Примеры решения задач по эконометрике, чем признака фактора Примеры решения задач по эконометрике:0,6% против 0,2%.

Возможно эта страница вам будет полезна:

Система эконометрических уравнений

Сложные экономические процессы описывают с помощью системы взаимосвязанных (одновременных) уравнений.

Различают несколько видов систем уравнений: • система независимых уравнений — когда каждая зависимая переменная Примеры решения задач по эконометрике рассматривается как функция одного и того же набора факторов Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

Для решения этой системы и нахождения ее параметров используется метод наименьших квадратов;

• система рекурсивных уравнений — когда зависимая переменная Примеры решения задач по эконометрике одного уравнения выступает в виде фактора Примеры решения задач по эконометрике в другом уравнении:

Примеры решения задач по эконометрике

Для решения этой системы и нахождения ее параметров используется метод наименьших квадратов;
• система взаимосвязанных (совместных) уравнений — когда одни и те же зависимые переменные в одних уравнениях входят в левую часть, а в других — в правую:

Примеры решения задач по эконометрике

Такая система уравнений называется структурной формой модели.

Эндогенные переменные — взаимозависимые переменные, которые определяются внутри модели (системы) Примеры решения задач по эконометрике.

Экзогенные переменные — независимые переменные, которые определяются вне системы Примеры решения задач по эконометрике.

Предопределенные переменные — экзогенные и лаговые (за предыдущие моменты времени) эндогенные переменные системы.

Коэффициенты Примеры решения задач по эконометрике и Примеры решения задач по эконометрике при переменных — структурные коэффициенты модели.

Система линейных функций эндогенных переменных от всех предопределенных переменных системы — приведенная форма модели.

Примеры решения задач по эконометрике

где Примеры решения задач по эконометрике — коэффициенты приведенной формы модели.
Необходимое условие идентификации — выполнение счетного правила:

Примеры решения задач по эконометрике — уравнение идентифицируемо;

Примеры решения задач по эконометрике — уравнение неидентифицируемо;

Примеры решения задач по эконометрике — уравнение сверхидентифицируемо,

где Примеры решения задач по эконометрике — число эндогенных переменных в уравнении,

Примеры решения задач по эконометрике — число предопределенных переменных, отсутствующих в уравнении, но присутствующих в системе.

Достаточное условие идентификации — определитель матрицы, составленной из коэффициентов при переменных, отсутствующих в исследуемом уравнении, не равен нулю, и ранг этой матрицы не менее числа эндогенных переменных системы без единицы.

Для решения идентифицируемого уравнения применяется косвенный метод наименьших квадратов, для решения сверхидентифицированных — двухшаговый метод наименьших квадратов.

Косвенный МНК состоит в следующем:

• составляют приведенную форму модели и определяют численные значения параметров каждого ее уравнения обычным МНК;

• путем алгебраических преобразований переходят от приведенной формы к уравнениям структурной формы модели, получая тем самым численные оценки структурных параметров.

Двухшаговый МНК заключается в следующем:

• составляют приведенную форму модели и определяют численные значения параметров каждого ее уравнения обычным МНК;

• выявляют эндогенные переменные, находящиеся в правой части структурного уравнения, параметры которого определяют двухша-говым МНК, и находят расчетные значения по соответствующим уравнениям приведенной формы модели;

• обычным МНК определяют параметры структурного уравнения, используя в качестве исходных данных фактические значения предопределенных переменных и расчетные значения эндогенных переменных, стоящих в правой части данного структурного уравнения.

Пример задачи №9

Требуется:

  • Оценить следующую структурную модель на идентификацию:
Примеры решения задач по эконометрике
  • Исходя из приведенной формы модели уравнений
Примеры решения задач по эконометрике

найти структурные коэффициенты модели.

Решение:

Проверим каждое уравнение системы на необходимое (Н) и достаточное (Д) условия идентификации.

Первое уравнение. Н: эндогенных переменных — Примеры решения задач по эконометрике, отсутствующих экзогенных — Примеры решения задач по эконометрике. Выполняется необходимое равенство: 2 = 1 + 1, следовательно, уравнение точно идентифицируемо.

Д: в первом уравнений отсутствуют Примеры решения задач по эконометрике и Примеры решения задач по эконометрике. Построим матрицу из коэффициентов при них в других уравнениях системы:

Примеры решения задач по эконометрике

Определитель матрицы не равен 0, ранг матрицы равен 2; следовательно, выполняется достаточное условие идентификации, и первое уравнение точно идентифицируемо.

Второе уравнение.

Н: эндогенных переменных — Примеры решения задач по эконометрике, отсутствующих экзогенных — Примеры решения задач по эконометрике

Выполняется необходимое равенство: 3 = 2+ 1, следовательно, уравнение точно идентифицируемо.

Д: во втором уравнении отсутствуют Примеры решения задач по эконометрике и Примеры решения задач по эконометрике. Построим матрицу из коэффициентов при них в других уравнениях системы:

Примеры решения задач по эконометрике

Определитель матрицы не равен 0, ранг матрицы равен 2, следовательно, выполняется достаточное условие идентификации, и второе уравнение точно идентифицируемо.

Третье уравнение.

Н: эндогенных переменных — Примеры решения задач по эконометрике, отсутствующих экзогенных — Примеры решения задач по эконометрике.

Выполняется необходимое равенство: 2=1 + 1, следовательно, уравнение точно идентифицируемо.

Д: в третьем уравнении отсутствуют Примеры решения задач по эконометрике и Примеры решения задач по эконометрике. Построим матрицу из коэффициентов при них в других уравнениях системы:

Примеры решения задач по эконометрике

Определитель матрицы не равен 0, ранг матрицы равен 2, следовательно, выполняется достаточное условие идентификации, и третье уравнение точно идентифицируемо.

Следовательно, исследуемая система точно идентифицируема и может быть решена косвенным методом наименьших квадратов.

  1. Вычислим структурные коэффициенты модели:

1)из третьего уравнения приведенной формы выразим Примеры решения задач по эконометрике (так как его нет в первом уравнении структурной формы):

Примеры решения задач по эконометрике

Данное выражение содержит переменные Примеры решения задач по эконометрике которые нужны для первого уравнения структурной формы модели (СФМ). Подставим полученное выражение Примеры решения задач по эконометрике в первое уравнение приведенной формы модели (ПФМ):

Примеры решения задач по эконометрике

2) во втором уравнении СФМ нет переменных Примеры решения задач по эконометрике и Примеры решения задач по эконометрике. Структурные параметры второго уравнения СФМ можно будет определить в два этапа:

Первый этап: выразим Примеры решения задач по эконометрике в данном случае из первого или третьего уравнения ПФМ. Например, из первого уравнения:

Примеры решения задач по эконометрике

Подстановка данного выражения во второе уравнение ПФМ не решило бы задачу до конца, так как в выражении присутствует Примеры решения задач по эконометрике, которого нет в СФМ.

Выразим Примеры решения задач по эконометрике из третьего уравнения ПФМ:

Примеры решения задач по эконометрике

Подставим его в выражение Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

Второй этап: аналогично, чтобы выразить Примеры решения задач по эконометрике через искомые Примеры решения задач по эконометрике и Примеры решения задач по эконометрике и Примеры решения задач по эконометрике, заменим в выражении Примеры решения задач по эконометрике значение Примеры решения задач по эконометрике на полученное из первого уравнения ПФМ:

Примеры решения задач по эконометрике

Следовательно,

Примеры решения задач по эконометрике

Подставим полученные Примеры решения задач по эконометрике и Примеры решения задач по эконометрике во второе уравнение ПФМ:

Примеры решения задач по эконометрике

Это уравнение можно получить из ПФМ иным путем. Суммируя все уравнения, получим

Примеры решения задач по эконометрике

Далее из первого и второго уравнений ПФМ исключим домножив первое уравнение на 3, а второе — на (-2) и просуммировав их:

Примеры решения задач по эконометрике

Затем аналогичным путем из полученных уравнений исключаем Примеры решения задач по эконометрике, а именно:

Примеры решения задач по эконометрике

3) из второго уравнения ПФМ выразим Примеры решения задач по эконометрике, так как его нет в третьем уравнении СФМ:

Примеры решения задач по эконометрике

Подставим полученное выражение в третье уравнение ПФМ:

Примеры решения задач по эконометрике

Таким образом, СФМ примет вид

Примеры решения задач по эконометрике

Пример задачи №10

Изучается модель вида

Примеры решения задач по эконометрике

где Примеры решения задач по эконометрике — валовой национальный доход;

Примеры решения задач по эконометрике — валовой национальный доход предшествующего года;

Примеры решения задач по эконометрике — личное потребление;

Примеры решения задач по эконометрике — конечный спрос (помимо личного потребления);

Примеры решения задач по эконометрике — случайные составляющие.
Информация за девять лет о приростах всех показателей дана в табл. 3.1*.

Примеры решения задач по эконометрике

Для данной модели была получена система приведенных уравнений:

Примеры решения задач по эконометрике

Требуется:

  1. Провести идентификацию модели.
  2. Рассчитать параметры первого уравнения структурной модели.

Решение:

В данной модели две эндогенные переменные ( и ) и две экзогенные переменные ( и ). Второе уравнение точно идентифицировано, так как содержит две эндогенные переменные и не содержит одну экзогенную переменную из системы. Иными словами, для второго уравнения имеем по счетному правилу идентификации равенство: 2=1 + 1.

Первое уравнение сверхидентифицировано, так как в нем на параметры при Примеры решения задач по эконометрике и Примеры решения задач по эконометрике наложено ограничение: они должны бьггь равны. В этом уравнении содержится одна эндогенная переменная Примеры решения задач по эконометрике. Переменная Примеры решения задач по эконометрике в данном уравнении не рассматривается как эндогенная, так как она участвует в уравнении не самостоятельно, а вместе с переменной Примеры решения задач по эконометрике. В данном уравнении отсутствует одна экзогенная переменная, имеющаяся в системе. По счетному правилу идентификации получаем: 1 + 1 = 2: Примеры решения задач по эконометрике + 1 > Н. Это больше, чем число эндогенных переменных в данном уравнении, следовательно, система сверх-идентифицирована.

  • Для определения параметров сверхидентифицированной модели используется двухшаговый метод наименьших квадратов.

Шаг 1. На основе системы приведенных уравнений по точно идентифицированному второму уравнению определим теоретические значения эндогенной переменной Примеры решения задач по эконометрике. Для этого в приведенное уравнение

Примеры решения задач по эконометрике

подставим значения Примеры решения задач по эконометрике и Примеры решения задач по эконометрике, имеющиеся в условии задачи. Получим:

Примеры решения задач по эконометрике

Шаг 2. По сверхидентифицированному уравнению структурной формы модели заменяем фактические значения Примеры решения задач по эконометрике на теоретические Примеры решения задач по эконометрике и рассчитываем новую переменную Примеры решения задач по эконометрике + Примеры решения задач по эконометрике (табл. 3.2).

Примеры решения задач по эконометрике

Далее к сверхидентифицированному уравнению применяется метод наименьших квадратов. Обозначим новую переменную Примеры решения задач по эконометрике + Примеры решения задач по эконометрике через Примеры решения задач по эконометрике. Решаем уравнение

Примеры решения задач по эконометрике

Система нормальных уравнений составит:

Примеры решения задач по эконометрике

Итак, первое уравнение структурной модели будет таким:

Примеры решения задач по эконометрике

Пример задачи №11

Имеются данные за 1990-1994 гг. (табл. 3.3).

Примеры решения задач по эконометрике

Требуется: Построить модель вида

Примеры решения задач по эконометрике

рассчитав соответствующие структурные коэффициенты.

Решение:

Система одновременных уравнений с двумя эндогенными и двумя экзогенными переменными имеет вид

Примеры решения задач по эконометрике

В каждом уравнении две эндогенные и одна отсутствующая экзогенная переменная из имеющихся в системе. Для каждого уравнения данной системы действует счетное правило 2=1 + 1. Это означает, что каждое уравнение и система в целом идентифицированы.

Для определения параметров такой системы применяется косвенный метод наименьших квадратов.

С этой целью структурная форма модели преобразуется в приведенную форму:

Примеры решения задач по эконометрике

в которой коэффициенты при Примеры решения задач по эконометрике определяются методом наименьших квадратов.

Для нахождения значений Примеры решения задач по эконометрике и Примеры решения задач по эконометрике запишем систему нормальных уравнений:

Примеры решения задач по эконометрике

При ее решении предполагается, что Примеры решения задач по эконометрике и Примеры решения задач по эконометрике выражены через отклонения от средних уровней, т. е. матрица исходных данных составит:

Примеры решения задач по эконометрике

Применительно к ней необходимые суммы оказываются следующими:

Примеры решения задач по эконометрике

Система нормальных уравнений составит:

Примеры решения задач по эконометрике

Решая ее, получим:

Примеры решения задач по эконометрике

Итак, имеем

Примеры решения задач по эконометрике

Аналогично строим систему нормальных уравнений для определения коэффициентов Примеры решения задач по эконометрике и Примеры решения задач по эконометрике:

Примеры решения задач по эконометрике

Следовательно,

Примеры решения задач по эконометрике

тогда второе уравнение примет вид

Примеры решения задач по эконометрике

Приведенная форма модели имеет вид

Примеры решения задач по эконометрике

Из приведенной формы модели определяем коэффициенты структурной модели:

Примеры решения задач по эконометрике

Итак, структурная форма модели имеет вид

Примеры решения задач по эконометрике

Пример задачи №12

Рассматривается следующая модель:

Примеры решения задач по эконометрике

где

Примеры решения задач по эконометрике

Требуется:

  1. В предположении, что имеются временные ряды данных по всем переменным модели, предложите способ оценки ее параметров.
  2. Как изменится ваш ответ на вопрос п. 1, если из модели исключить тождество дохода?

Решение:

  1. Модель представляет собой систему одновременных уравнений. Для ответа на вопрос о способе оценки параметров модели проверим каждое ее уравнение на идентификацию.

Модель включает четыре эндогенные переменные Примеры решения задач по эконометрике и четыре предопределенные переменные (две экзогенные переменные —Примеры решения задач по эконометрике и Примеры решения задач по эконометрике и две лаговые эндогенные переменные — Примеры решения задач по эконометрике и Примеры решения задач по эконометрике).

Проверим необходимое условие идентификации для уравнений модели уравнение.

Это уравнение включает две эндогенные переменные Примеры решения задач по эконометрике и одну предопределенную переменную Примеры решения задач по эконометрике. Следовательно, число предопределенных переменных, не входящих в это уравнение, плюс 1, больше числа эндогенных переменных, входящих в уравнение: 3 + 1 > 2. Уравнение сверх идентифицировано.

II уравнение.

Уравнение II включает две эндогенные переменные, Примеры решения задач по эконометрике и не включает три предопределенные переменные. Как и I уравнение, оно сверхидентифицировано.

III уравнение.

Уравнение III тоже включает две эндогенные переменные и не включает три предопределенные переменные. Это уравнение сверхидентифицировано.

IV уравнение.

Уравнение IV представляет собой тождество, параметры которого известны. Необходимости в его идентификации нет.

Проверим для каждого из уравнений достаточное условие идентификации. Для этого составим матрицу коэффициентов при переменных модели:

Примеры решения задач по эконометрике

В соответствии с достаточным условием идентификации определитель матрицы коэффициентов при переменных, не входящих в исследуемое уравнение, не должен быть равен нулю, а ранг матрицы должен быть равен числу эндогенных переменных модели минус 1, т.е. 4-1=3.

I уравнение.

Матрица коэффициентов при переменных, не входящих в уравнение, имеет вид

Примеры решения задач по эконометрике

Ее ранг равен 3, так как определитель квадратной подматрицы 3×3 этой матрицы не равен нулю:

Примеры решения задач по эконометрике

Достаточное условие идентификации для I уравнения выполняется.

II уравнение.

Выпишем матрицу коэффициентов при переменных, не входящих в уравнение:

Примеры решения задач по эконометрике

Ее ранг равен трем, так как определитель квадратной подматрицы 3 х 3 этой матрицы не равен нулю:

Примеры решения задач по эконометрике

Достаточное условие идентификации для II уравнения выполняется.

Ill уравнение.

Выпишем матрицу коэффициентов при переменных, не входящих в уравнение:

Примеры решения задач по эконометрике

Ее ранг равен трем, так как определитель квадратной подматрицы 3 х 3 этой матрицы не равен нулю:

Примеры решения задач по эконометрике

Достаточное условие идентификации для III уравнения выполняется.

Таким образом, все уравнения модели сверхидентифицированы. Для оценки параметров каждого из уравнений будем применять двухшаговый МНК.

Шаг 1. Запишем приведенную форму модели в общем виде:

Примеры решения задач по эконометрике

где Примеры решения задач по эконометрике — случайные ошибки.

Определим параметры каждого из приведенных выше уравнений в отдельности обычным МНК. Затем найдем расчетные значения

эндогенных переменных Примеры решения задач по эконометрике, используемых в правой части структурной модели, подставляя в каждое уравнение приведенной формы соответствующее значение предопределенных переменных.

Шаг 2. В исходных структурных уравнениях заменим эндогенные переменные, выступающие в качестве факторных признаков, их расчетными значениями:

Примеры решения задач по эконометрике

Применяя к каждому из полученных уравнений в отдельности обычный МНК, определим структурные параметры

Примеры решения задач по эконометрике
Примеры решения задач по эконометрике

Если из модели исключить тождество дохода, число предопределенных переменных модели уменьшится на 1 (из модели будет исключена переменная Примеры решения задач по эконометрике). Число эндогенных переменных модели также снизится на единицу — переменная Примеры решения задач по эконометрике станет экзогенной. В правых частях функции потребления и функции денежного рынка будут находиться только предопределенные переменные. Функция инвестиций постулирует зависимость эндогенной переменной Примеры решения задач по эконометрике от эндогенной переменной Примеры решения задач по эконометрике (которая зависит только от предопределенных переменных) и предопределенной переменной Примеры решения задач по эконометрике. Таким образом, мы получим рекурсивную систему. Ее параметры можно оценивать обычным МНК, и нет необходимости исследования системы уравнения на идентификацию.

Временные ряды в эконометрических исследованиях

Модели, построенные по данным, характеризующим один объект за ряд последовательных моментов (периодов), называются моделями временных рядов.

Временной ряд — это совокупность значений какого-либо показателя за несколько последовательных моментов или периодов.

Каждый уровень временного ряда формируется из трендовой Примеры решения задач по эконометрике, циклической Примеры решения задач по эконометрике и случайной Примеры решения задач по эконометрике компонент.

Модели, в которых временной ряд представлен как сумма перечисленных компонент, — аддитивные модели, как произведение -мультипликативные модели временного ряда. Аддитивная модель имеет вид:

Примеры решения задач по эконометрике

мультипликативная модель:

Примеры решения задач по эконометрике

Построение аддитивной и мультипликативной моделей сводится к расчету значений Примеры решения задач по эконометрике для каждого уровня ряда. Построение модели включает следующие шаги:

1) выравнивание исходного ряда методом скользящей средней;

2) расчет значений сезонной компоненты Примеры решения задач по эконометрике;

3) устранение сезонной компоненты из исходных уровней ряда и получение выровненных данных в аддитивной Примеры решения задач по эконометрике или в мультипликативной Примеры решения задач по эконометрике модели;

4) аналитическое выравнивание уровней Примеры решения задач по эконометрике или Примеры решения задач по эконометрике и расчет значений Т с использованием полученного уравнения тренда;

5) расчет полученных по модели значений Примеры решения задач по эконометрике или Примеры решения задач по эконометрике;

6) расчет абсолютных и/или относительных ошибок.

Автокорреляция уровней ряда — это корреляционная зависимость между последовательными уровнями временного ряда:

Примеры решения задач по эконометрике

где

Примеры решения задач по эконометрике

коэффициент автокорреляции уровней ряда первого порядка;

Примеры решения задач по эконометрике

где

Примеры решения задач по эконометрике

коэффициент автокорреляции уровней ряда второго порядка.

Формулы для расчета коэффициентов автокорреляции старших порядков легко получить из формулы линейного коэффициента корреляции.

Последовательность коэффициентов автокорреляции уровней первого, второго и т.д. порядков называют автокорреляционной функцией временного ряда, а график зависимости ее значений от величины лага (порядка коэффициента автокорреляции) — коррело-граммой.

Построение аналитической функции для моделирования тенденции (тренда) временного ряда называют аналитическим выравниванием временного ряда. Для этого чаще всего применяются следующие функции:

• линейная Примеры решения задач по эконометрике

• гипербола Примеры решения задач по эконометрике

• экспонента Примеры решения задач по эконометрике

• степенная функция Примеры решения задач по эконометрике

• парабола второго и более высоких порядков

Примеры решения задач по эконометрике

Параметры трендов определяются обычным МНК, в качестве независимой переменной выступает время Примеры решения задач по эконометрике, а в качестве зависимой переменной — фактические уровни временного ряда Примеры решения задач по эконометрике. Критерием отбора наилучшей формы тренда является наибольшее значение скорректированного коэффициента детерминации Примеры решения задач по эконометрике.

При построении моделей регрессии по временным рядам для устранения тенденции используются следующие методы.

Метод отклонений от тренда предполагает вычисление трендовых значений для каждого временного ряда модели, например Примеры решения задач по эконометрике и Примеры решения задач по эконометрике расчет отклонений от трендов:

Примеры решения задач по эконометрике

Для дальнейшего анализа используют не исходные данные, а отклонения от тренда.

Метод последовательных разностей заключается в следующем: если ряд содержит линейный тренд, тогда исходные данные заменяются первыми разностями:

Примеры решения задач по эконометрике

если параболический тренд — вторыми разностями:

Примеры решения задач по эконометрике

В случае экспоненциального и степенного тренда метод последовательных разностей применяется к логарифмам исходных данных.

Модель, включающая фактор времени, имеет вид

Примеры решения задач по эконометрике

Параметры а и b этой модели определяются обычным МНК.

Автокорреляция в остатках — корреляционная зависимость между значениями остатков Примеры решения задач по эконометрике за текущий и предыдущие моменты времени.

Для определения автокорреляции остатков используют критерий Дарвина — Уотсона и расчет величины:

Примеры решения задач по эконометрике

Коэффициент автокорреляции остатков первого порядка определяется по формуле

Примеры решения задач по эконометрике

Критерий Дарбина — Уотсона и коэффициент автокорреляции остатков первого порядка связаны соотношением

Примеры решения задач по эконометрике

Эконометрические модели, содержащие не только текущие, но и лаговые значения факторных переменных, называются моделями с распределенным лагом.

Модель с распределенным лагом в предположении, что максимальная величина лага конечна, имеет вид

Примеры решения задач по эконометрике

Коэффициент регрессии Примеры решения задач по эконометрике при переменной Примеры решения задач по эконометрике характеризует среднее абсолютное изменение Примеры решения задач по эконометрике при изменении Примеры решения задач по эконометрике на 1 ед. своего измерения в некоторый фиксированный момент времени Примеры решения задач по эконометрике, без учета воздействия лаговых значений фактора Примеры решения задач по эконометрике. Этот коэффициент называют краткосрочным мультипликатором.

В момент Примеры решения задач по эконометрике воздействие факторной переменной Примеры решения задач по эконометрике на результат Примеры решения задач по эконометрике составит Примеры решения задач по эконометрике условных единиц; в момент времени Примеры решения задач по эконометрике воздействие можно охарактеризовать суммой Примеры решения задач по эконометрике и т.д. Эти суммы называют промежуточными мультипликаторами. Для максимального лага Примеры решения задач по эконометрике воздействие фактора на результат описывается суммой Примеры решения задач по эконометрике которая называется долгосрочным мультипликатором.

Величины

Примеры решения задач по эконометрике

называются относительными коэффициентами модели с распределенным лагом. Если все коэффициенты Примеры решения задач по эконометрике имеют одинаковые знаки, то для любого Примеры решения задач по эконометрике

Примеры решения задач по эконометрике

Величина среднего лага модели множественной регрессии определяется по формуле средней арифметической взвешенной:

Примеры решения задач по эконометрике

и представляет собой средний период, в течение которого будет происходить изменение результата под воздействием изменения фактора в момент Примеры решения задач по эконометрике.

Медианный лаг — это период, в течение которого с момента времени Примеры решения задач по эконометрике будет реализована половина общего воздействия фактора на результат:

Примеры решения задач по эконометрике

где Примеры решения задач по эконометрике — медианный лаг.

Оценку параметров моделей с распределенными лагами можно проводить согласно одному из двух методов: методу Койка или методу Алмон.

В распределении Койка делается предположение, что коэффициенты при лаговых значениях объясняющей переменной убывают в геометрической прогрессии:

Примеры решения задач по эконометрике

Уравнение регрессии преобразуется к виду

Примеры решения задач по эконометрике

После несложных преобразований получаем уравнение, оценки параметров которого приводят к оценкам параметров исходного уравнения.

В методе Алмон предполагается, что веса текущих и лаговых значений объясняющих переменных подчиняются полиномиальному распределению:

Примеры решения задач по эконометрике

Уравнение регрессии примет вид

Примеры решения задач по эконометрике

Расчет параметров модели с распределенным лагом методом Алмон проводится по следующей схеме:

1) устанавливается максимальная величина лага Примеры решения задач по эконометрике;

2) определяется степень полинома Примеры решения задач по эконометрике, описывающего структуру лага;

3) рассчитываются значения переменных Примеры решения задач по эконометрике;

4) определяются параметры уравнения линейной регрессии Примеры решения задач по эконометрике от Примеры решения задач по эконометрике;

5) рассчитываются параметры исходной модели с распределенным лагом.

Модели, содержащие в качестве факторов лаговые значения зависимой переменной, называются моделями авторегрессии, например:

Примеры решения задач по эконометрике

Как и в модели с распределенным лагом, Примеры решения задач по эконометрике в этой модели характеризует краткосрочное изменение Примеры решения задач по эконометрике под воздействием изменения Примеры решения задач по эконометрике на 1 ед. Долгосрочный мультипликатор в модели авторегрессии рассчитывается как сумма краткосрочного и промежуточных мультипликаторов:

Примеры решения задач по эконометрике

Отметим, что такая интерпретация коэффициентов модели авторегрессии и расчет долгосрочного мультипликатора основаны на предпосылке о наличии бесконечного лага в воздействии текущего значения зависимой переменной на ее будущие значения.

Пример задачи №13

По данным за 18 месяцев построено уравнение регрессии зависимости прибыли предприятия Примеры решения задач по эконометрике (млн руб.) от цен на сырье Примеры решения задач по эконометрике (тыс. руб. за 1 т) и производительности труда Примеры решения задач по эконометрике (ед. продукции на 1 работника):

Примеры решения задач по эконометрике

При анализе остаточных величин были использованы значения, приведенные в табл. 4.1.

Примеры решения задач по эконометрике

Требуется:

  1. По трем позициям рассчитать Примеры решения задач по эконометрике
  2. Рассчитать критерий Дарбина — Уотсона.
  3. Оценить полученный результат при 5%-ном уровне значимости.
  4. Указать, пригодно ли уравнение для прогноза.

Решение:

  1. Примеры решения задач по эконометрике определяется путем подстановки фактических значений Примеры решения задач по эконометрике и Примеры решения задач по эконометрике в уравнение регрессии:
Примеры решения задач по эконометрике

Остатки Примеры решения задач по эконометрике рассчитываются по формуле

Примеры решения задач по эконометрике

Следовательно,

Примеры решения задач по эконометрике

Примеры решения задач по эконометрике — те же значения, что и Примеры решения задач по эконометрике, но со сдвигом на один месяц. Результаты вычислений оформим в виде табл. 4.2.

Примеры решения задач по эконометрике
  • Критерий Дарбина — Уотсона рассчитывается по формуле
Примеры решения задач по эконометрике

4-4 = 4-3,81 =0,19,

что значительно меньше, чем Примеры решения задач по эконометрике. Это означает наличие в остатках автокорреляции.

  • Уравнение регрессии не может быть использовано для прогноза, так как в нем не устранена автокорреляция в остатках, которая может иметь разные причины. Автокорреляция в остатках может означать, что в уравнение не включен какой-либо существенный фактор. Возможно также, что форма связи неточна, а может быть, в рядах динамики имеется общая тенденция.

Пример задачи №14

Имеются следующие данные о величине дохода на одного члена семьи и расхода на товар Примеры решения задач по эконометрике (табл. 4.3).

Примеры решения задач по эконометрике

Требуется:

  1. Определить ежегодные абсолютные приросты доходов и расходов и сделать выводы о тенденции развития каждого ряда.
  2. Перечислить основные пути устранения тенденции для построения модели спроса на товар Примеры решения задач по эконометрике в зависимости от дохода.
  3. Построить линейную модель спроса, используя первые разности уровней исходных динамических рядов.
  4. Пояснить экономический смысл коэффициента регрессии.
  5. Построить линейную модель спроса на товар Примеры решения задач по эконометрике, включив в нее фактор времен». Интерпретировать полученные параметры.

Решение:

Обозначим расходы на товар Примеры решения задач по эконометрике через Примеры решения задач по эконометрике, а доходы одного члена семьи — через Примеры решения задач по эконометрике. Ежегодные абсолютные приросты определяются по формулам

Примеры решения задач по эконометрике

Расчеты можно оформить в виде таблицы (табл. 4.4).

Примеры решения задач по эконометрике

Значения Примеры решения задач по эконометрике не имеют четко выраженной тенденции, они варьируют вокруг среднего уровня, что означает наличие в ряде динамики линейного тренда (линейной тенденции). Аналогичный вывод можно сделать и по ряду Примеры решения задач по эконометрике: абсолютные приросты не имеют систематической направленности, они примерно стабильны, а следовательно, ряд характеризуется линейной тенденцией.

Так как ряды динамики имеют общую тенденцию к росту, то для построения регрессионной модели спроса на товар Примеры решения задач по эконометрике в зависимости от дохода необходимо устранить тенденцию. С этой целью модель может строиться по первым разностям, т.е. Примеры решения задач по эконометрике, если ряды динамики характеризуются линейной тенденцией.

Другой возможный путь учета тенденции при построении моделей — найти по каждому ряду уравнение тренда:

Примеры решения задач по эконометрике

и отклонения от него:

Примеры решения задач по эконометрике

Далее модель строится по отклонениям от тренда:

Примеры решения задач по эконометрике

При построении эконометрических моделей чаще используется другой путь учета тенденции — включение в модель фактора времени. Иными словами, модель строится по исходным данным, но в нее в качестве самостоятельного фактора включается время, т.е. Примеры решения задач по эконометрике.

Модель имеет вид

Примеры решения задач по эконометрике

Для определения параметров Примеры решения задач по эконометрике и Примеры решения задач по эконометрике применяется МНК. Система нормальных уравнений следующая:

Примеры решения задач по эконометрике

Применительно к нашим данным имеем

Примеры решения задач по эконометрике

Решая эту систему, получим:

Примеры решения задач по эконометрике

откуда модель имеет вид

Примеры решения задач по эконометрике

Коэффициент регрессии

Примеры решения задач по эконометрике

Он означает, что с ростом прироста душевого дохода на 1%-ный пункт расходы на товар Примеры решения задач по эконометрике увеличиваются со средним ускорением, равным 0,565 руб.

Модель имеет вид

Примеры решения задач по эконометрике

Применяя МНК, получим систему нормальных уравнений:

Примеры решения задач по эконометрике

Расчеты оформим в виде табл. 4.5.

Примеры решения задач по эконометрике

Система уравнений примет вид

Примеры решения задач по эконометрике

Решая ее, получим

Примеры решения задач по эконометрике

Уравнение регрессии имеет вид

Примеры решения задач по эконометрике

Параметр Примеры решения задач по эконометрике фиксирует силу связи Примеры решения задач по эконометрике и Примеры решения задач по эконометрике. Его величина означает, что с ростом дохода на одного члена семьи на 1%-ный пункт при условии неизменной тенденции расходы на товар А возрастают в среднем на 0,322 руб. Параметр Примеры решения задач по эконометрике характеризует среднегодовой абсолютный прирост расходов на товар Примеры решения задач по эконометрике под воздействием прочих факторов при условии неизменного дохода.

Пример задачи №15

По данным за 30 месяцев некоторого временного ряда Примеры решения задач по эконометрике были получены значения коэффициентов автокорреляции уровней;

Примеры решения задач по эконометрике

Требуется:

  1. Охарактеризовать структуру этого ряда, используя графическое изображение.
  2. Для прогнозирования значений Примеры решения задач по эконометрике в будущие периоды предполагается построить уравнение авторегрессии. Выбрать наилучшее уравнение, обосновать выбор. Указать общий вид этого уравнения.

Решение:

  1. Так как значения всех коэффициентов автокорреляции достаточно высокие, ряд содержит тенденцию. Поскольку наибольшее абсолютное значение имеет коэффициент автокорреляции 4-го порядка Примеры решения задач по эконометрике, ряд содержит периодические колебания, цикл этих колебаний равен 4.

Примеры решения задач по эконометрике

Наиболее целесообразно построение уравнения авторегрессии:

Примеры решения задач по эконометрике

так как значение Примеры решения задач по эконометрике = 0,97 свидетельствует о наличии очень тесной связи между уровнями ряда с лагом в 4 месяца.

Кроме того, возможно построение и множественного уравнения авторегрессии Примеры решения задач по эконометрике от Примеры решения задач по эконометрике и Примеры решения задач по эконометрике, так как Примеры решения задач по эконометрике = 0,72:

Примеры решения задач по эконометрике

Сравнить полученные уравнения и выбрать наилучшее решение можно с помощью скорректированного коэффициента детерминации.

Пример задачи №16

На основе помесячных данных о числе браков (тыс.) в регионе за последние три года была построена аддитивная модель временного ряда. Скорректированные значения сезонной компоненты за соответствующие месяцы приводятся в табл. 4.6.

Примеры решения задач по эконометрике

Уравнение тренда выглядит следующим образом:

Примеры решения задач по эконометрике

при расчете параметров тренда использовались фактические моменты времени Примеры решения задач по эконометрике.

Требуется:

  1. Определить значение сезонной компоненты за декабрь.
  2. На основе построенной модели дать прогноз общего числа браков, заключенных в течение первого квартала следующего года.

Решение:

  • Сумма значений сезонной компоненты внутри одного цикла должна быть равна нулю (в соответствии с методикой построения аддитивной модели временного ряда). Следовательно, значение сезонной компоненты за декабрь составит:
Примеры решения задач по эконометрике

Число браков, заключенных в первом квартале следующего года, есть сумма числа браков, заключенных в январе Примеры решения задач по эконометрике в феврале Примеры решения задач по эконометрике и в марте Примеры решения задач по эконометрике.

Для расчета трендовых значений воспользуемся уравнением тренда, указанным в условии задачи:

Примеры решения задач по эконометрике

Соответствующие значения сезонных компонент составят:

Примеры решения задач по эконометрике

Таким образом,

Примеры решения задач по эконометрике

Количество браков, заключенных в первом квартале следующего года, составит: 2,61 + 5,64 + 3,17 = 11,42 тыс., или 11420.

Пример задачи №17

Динамика выпуска продукции Финляндии характеризуется данными (млн долл.), представленными в табл. 4.7.

Примеры решения задач по эконометрике

Требуется:

  1. Провести расчет параметров линейного и экспоненциального трендов.
  2. Построить графики ряда динамики и трендов.
  3. Выбрать наилучший вид тренда на основании графического изображения и значения коэффициента детерминации.

Реализация типовых задач в Excel

Решение с использованием ППП MS Excel

  • Для определения параметров линейного тренда по методу наименьших квадратов используется статистическая функция ЛИНЕЙН, для определения экспоненциального тренда -ЛГРФПРИБЛ. Порядок вычисления был рассмотрен в 1-м разделе практикума. В качестве зависимой переменной в данном примере выступает время Примеры решения задач по эконометрике. Приведем результаты вычисления функций ЛИНЕЙН и ЛГРФПРИБЛ (рис. 4.2 и 4.3).
Примеры решения задач по эконометрике

Примеры решения задач по эконометрике

Запишем уравнения линейного и экспоненциального тренда, используя данные рис. 4.2 и 4.3:

Примеры решения задач по эконометрике
  1. Построение графиков осуществляется с помощью Мастера диаграмм.

Порядок построения следующий:

1) введите исходные данные или откройте существующий файл, содержащий анализируемые данные;

2) активизируйте Мастер диаграмм любым из следующих способов:

а) в главном меню выберите Вставка/Диаграмма;

б) на панели инструментов Стандартная щелкните по кнопке Мастер диаграмм;

3) в окне Тип выберите График (рис. 4.4); вид графика выберите в поле рядом со списком типов. Щелкните по кнопке Далее;

Примеры решения задач по эконометрике

4) заполните диапазон данных, как показано на рис. 4.5. Установите флажок размещения данных в столбцах (строках). Щелкните по кнопке Далее;

Примеры решения задач по эконометрике

5) заполните параметры диаграммы на разных закладках (рис. 4.6): названия диаграммы и осей, значения осей, линии сетки, параметры легенды, таблица и подписи данных. Щелкните по кнопке Далее;

Примеры решения задач по эконометрике

6) укажите место размещения диаграммы на отдельном или на имеющемся листе (рис. 4.7). Щелкните по кнопке Далее. Готовая диаграмма, отражающая динамику уровней изучаемого ряда, представлена на рис. 4.8.

Примеры решения задач по эконометрике

Примеры решения задач по эконометрике

В ППП MS Excel линия тренда может быть добавлена в диаграмму с областями гистограммы или в график. Для этого:

1) выделите область построения диаграммы; в главном меню выберите Диаграмма/Добавить линию тренда;

2) в появившемся диалоговом окне (рис. 4.9) выберите вид линии тренда и задайте соответствующие параметры. Для полиномиального тренда необходимо задать степень аппроксимирующего полинома, для скользящего среднего — количество точек усреднения.

Примеры решения задач по эконометрике

В качестве дополнительной информации на диаграмме можно отобразить уравнение регрессии и значение среднеквадратического отклонения, установив соответствующие флажки на закладке Параметры (рис. 4.10). Щелкните по кнопке ОК.

Примеры решения задач по эконометрике

На рис. 4.11 — 4.15 представлены различные виды трендов, описывающие исходные данные задачи.

Примеры решения задач по эконометрике

Примеры решения задач по эконометрике

Примеры решения задач по эконометрике

Сравним значения Примеры решения задач по эконометрике по разным уравнениям трендов: полиномиальный 6-й степени — Примеры решения задач по эконометрике = 0,9728; экспоненциальный — Примеры решения задач по эконометрике = 0,9647; линейный — Примеры решения задач по эконометрике = 0,8841; степенной — Примеры решения задач по эконометрике = 0,8470; логарифмический — Примеры решения задач по эконометрике = 0,5886.

Исходные данные лучше всего описывает полином 6-й степени. Следовательно, в рассматриваемом примере для расчета прогнозных значений следует использовать полиномиальное уравнение.

Кстати готовые на продажу задачи тут, и там же теория из учебников может быть вам поможет она.

Пример задачи №18

Имеются данные о динамике товарооборота и доходов населения России за 1997 — 1999 гг. (табл. 4.8).

Примеры решения задач по эконометрике

Требуется:

  1. Оценить параметры модели с распределенными лагами методом Алмон.
  2. Постройте таблицу результатов дисперсионного анализа. Оцените значимость построенной модели.

Решение:

Решение с использованием ППП Statistica

  1. Для построения регрессионной модели с распределенными лагами необходимо априори задать длину максимального лага, для этой задачи выберем длину 3. Тогда уравнение регрессии будет выглядеть следующим образом:
Примеры решения задач по эконометрике

Для оценки параметров этой модели согласно методу Алмон необходимо задать степень аппроксимирующего полинома. Для решения используем соответствующую процедуру ППП Statistica. Порядок расчетов следующий:

1) введите исходные данные или откройте существующий файл другого формата, содержащий анализируемые данные, в опции Data Management в окне переключения модулей (рис. 4.16). Если создаете новый файл данных, в соответствующих ячейках укажите количество строк и столбцов. В нашем случае — 2 столбца, 36 строк;

Примеры решения задач по эконометрике

2) из модуля управления данными перейдите в модуль анализа временных рядов, выбрав в меню пункт Time Series / Forecasting;

Примеры решения задач по эконометрике

3) откройте файл, содержащий данные — Open Data (рис. 4.17);

4) выделите все переменные, используемые для анализа, — Variables. Щелкните по кнопке ОК (рис. 4.18).

Примеры решения задач по эконометрике

5) щелкните по кнопке Distributed lags analysis (см. рис. 4.17);

Примеры решения задач по эконометрике

6) в окне Distributed Lags Analysis (рис. 4.19) выделите название зависимой переменной, в появляющемся окне Independent variable -название независимой переменной. В ячейке Lag length укажите значение максимального лага, в ячейке Almon polynomial lags — степень аппроксимирующего полинома. Степень полинома не должна превышать значение максимального лага. Щелкните по кнопке ОК (Begin analysis);

7) результаты расчетов — оценки регрессионных коэффициентов и значимость уравнения — приведены на рис. 4.20 и 4.21.

Примеры решения задач по эконометрике

Примеры решения задач по эконометрике

Согласно данным таблицы дисперсионного анализа (см. рис. 4.21), полученные значения Примеры решения задач по эконометрике-критерия Фишера и коэффициента детерминации Примеры решения задач по эконометрике показывают высокий уровень аппроксимации исходных данных.

Задачи с решением по всем темам эконометрики

Эконометрика – это раздел экономики, занимающийся разработкой и применением статистических методов для измерений взаимосвязей между экономическими переменными.

Эконометрика – это самостоятельная научная дисциплина, объединяющая совокупность теоретических результатов, приемов, методов и моделей.

Парный регрессионный анализ. Функциональная, статистическая и корреляционная зависимости

Из математики известно понятие функциональной зависимости (связи), когда каждому значению одной переменной соответствует вполне определенное значение другой (например, площадь круга в зависимости от радиуса и т.д.).

В экономике в большинстве случаев между переменными величинами существуют зависимости, когда каждому значению одной переменной соответствует не какое-то определенное, а множества возможных значений другой переменной Иначе говоря, каждому значению одной переменной соответствует определенное (условное) распределение другой переменной. Такая зависимость получила название статистической (или стохастической, вероятностной).

Возникновение понятия статистической связи обуславливается тем, что зависимая переменная подвержена влиянию множества неконтролируемых или неучтенных факторов, а таюке тем, что измерение значений переменных сопровождается случайными ошибками. Примером статистической связи является зависимость урожайности от количества внесенных удобрений, производительности труда на предприятии от его энерговооруженности и т.п.

В силу неоднозначности статистической зависимости между Решение задач по эконометрике и Решение задач по эконометрике представляет интерес усредненная по Решение задач по эконометрике схема зависимости, т. е. закономерность в измерении условного математического ожидания Решение задач по эконометрике (математического ожидания случайной переменной Решение задач по эконометрике, вычисленного в предположении, что переменная Решение задач по эконометрике приняла значение Решение задач по эконометрике) в зависимости от Решение задач по эконометрике.

Корреляционной зависимостью между двумя переменными называется функциональная зависимость между значениями одной из них и условным математическим ожиданием другой.

Корреляционная зависимость может быть представлена в виде

Решение задач по эконометрике

где

Решение задач по эконометрике

В регрессионном анализе рассматривается односторонняя зависимость случайной переменной Решение задач по эконометрике от одной (или нескольких) неслучайной независимой переменной Решение задач по эконометрике. Такая зависимость Решение задач по эконометрике от Решение задач по эконометрике (иногда ее называют регрессионной) может быть представлена в виде модельного уравнения регрессии Решение задач по эконометрике по Решение задач по эконометрике (1.1). При этом -зависимую переменную Решение задач по эконометрике называют также функцией отклика объясняемой, выходной. результирухпцей. эндогенной переменной, результативным признаком, а независимую переменную Решение задач по эконометрике — объясняющей, входной. предскашлаюгцей, предикторной, экзогенной переменной, фактором, регрессором, факторным признаком.

Уравнение (1.1) называется модельным уравнением регрессии (или просто уравнением регрессии), а функция Решение задач по эконометрике — модельной функцией регрессии (или просто функцией регрессии), а ее график — модельной линией регрессии (или просто линией регрессии).

Для точного описания уравнения регрессии необходимо знать условный закон распределения зависимой переменной Решение задач по эконометрике при условии, что переменная Решение задач по эконометрике примет значение Решение задач по эконометрике, т.е. Решение задач по эконометрике. На практике такую информацию получить, как правило, не удается, так как обычно исследователь располагает лишь выборкой пар значений Решение задач по эконометрике ограниченного объема Решение задач по эконометрике. В этом случае речь может идти об оценке {приближенном выражении, аппроксимации) по выборке функции регрессии. Такой оценкой является выборочная линия (кривая) регрессии

Решение задач по эконометрике

где Решение задач по эконометрике —условная (групповая) средняя переменной Решение задач по эконометрике при фиксированном значении переменной Решение задач по эконометрике;

Решение задач по эконометрике — параметры кривой.

Уравнение (1.2) называется выборочным уравнением регрессии

При правильно определенной аппроксимирующей функции Решение задач по эконометрике с увеличением объема выборки Решение задач по эконометрике она будет сходиться по вероятности к функции регрессии Решение задач по эконометрике

Линейная парная регрессия

Рассмотрим в качестве примера зависимость между сменной добычей угля на одного рабочего Решение задач по эконометрике (в тоннал) и мощностью пласта Решение задач по эконометрике (в метрах) по следующим (условным) данным, характеризующим процесс добычи угля в Решение задач по эконометрике = 10 шахтах.

Решение задач по эконометрике

Изобразим полученную зависимость графически точками координатной плоскости (рис. 1.1). Такое изображение статистической зависимости называется полем корреляции.

Решение задач по эконометрике

По расположению эмпирических точек можно предполагать наличие линейной корреляционной (регрессионной) зависимости между переменными Решение задач по эконометрике и Решение задач по эконометрике. Поэтому уравнение регрессии (1.2) будем искать в виде линейного уравнения

Решение задач по эконометрике

Найдем формулы расчета неизвестных параметров уравнения линейной регрессии. Согласно методу наименьших квадратов неизвестные параметры Решение задач по эконометрике и Решение задач по эконометрике выбираются таким образом, чтобы сумма квадратов отклонений эмпирических значений Решение задач по эконометрике от значений Решение задач по эконометрике найденных по уравнению регрессии (3.3), была минимальной:

Решение задач по эконометрике

На основании необходимого условия экстремума функции двух переменных Решение задач по эконометрике приравниваем к нулю ее частные производные, т. е.

Решение задач по эконометрике

откуда после преобразований получим систему нормальных уравнений для определения параметров линейной регрессии

Решение задач по эконометрике

Разделив обе части уравнений (1.5) на Решение задач по эконометрике, получим систему нормальных уравнении в виде:

Решение задач по эконометрике

где соответствующие средние определяются по формулам:

Решение задач по эконометрике

Решая систему (1.6), найдем

Решение задач по эконометрике

Коэффициент Решение задач по эконометрике называется выборочным коэффициентом регрессии (или просто коэффициентом регрессии) Решение задач по эконометрике по Решение задач по эконометрике

Коэффициент регрессии Решение задач по эконометрике по Решение задач по эконометрике показывает, на сколько единиц в среднем изменяется переменная Решение задач по эконометрике при увеличении переменной Решение задач по эконометрике на одну единицу.

Решение задач по эконометрике

выборочная дисперсия переменной Решение задач по эконометрике.

Решение задач по эконометрике

выборочная ковариация.

Решение задач по эконометрике

Уравнение регрессии примет вид:

Решение задач по эконометрике

Задача №1.1.

По данным табл. 1.1 найти уравнение регрессии Решение задач по эконометрике по Решение задач по эконометрике.

Решение:

Вычислим все необходимые суммы:

Решение задач по эконометрике

Затем находим параметры уравнения регрессии:

Решение задач по эконометрике

Уравнение регрессии Решение задач по эконометрике по Решение задач по эконометрике имеет вид:

Решение задач по эконометрике

Из полученного уравнения регрессии (см. рис. I 1) следует, что при увеличении мощности пласта Решение задач по эконометрике на 1 м добыча угля на одного рабочего Решение задач по эконометрике увеличивается в среднем на 1,12т .

Коэффициент корреляции

Оценим тесноту корреляционной зависимости. Рассмотрим случай линейной зависимости вида (1.10):

Решение задач по эконометрике

На первый взгляд, подходящим измерителем тесноты связи Решение задач по эконометрике от Решение задач по эконометрике является коэффициент регрессии Решение задач по эконометрике, так как он показывает, на сколько единиц в среднем изменяется Решение задач по эконометрике, когда Решение задач по эконометрике увеличивается на одну единицу. Однако Решение задач по эконометрике зависит от единиц измерения переменных Например, в полученной ранее зависимости он увеличится в 100 раз, если мощность пласта Решение задач по эконометрике выразить не в метрах, а в сантиметрах. Поэтому для выбора показателя тесноты связи нужна такая система единиц измерения, в которой данные по различным характеристикам оказались бы сравнимы между собой. Представим уравнение (1.10) в эквивалентном виде:

Решение задач по эконометрике

В этом выражении величина Решение задач по эконометрике показывает на сколько величин Решение задач по эконометрике изменится в среднем Решение задач по эконометрике, когда Решение задач по эконометрике увеличится на одно Решение задач по эконометрике.

Величина Решение задач по эконометрике является показателем тесноты связи и называется выборочным коэффициентом корреляции (или просто коэффициентом корреляции). Две корреляционные зависимости переменной Решение задач по эконометрике от Решение задач по эконометрике приведены на рис. 1.2. Очевидно, что в случае а) зависимость между переменными менее тесная и коэффициент корреляции должен быть меньше, чем в случае б), так как точки корреляционного поля а) дальше отстоят от линии регрессии, чем точки поля б).

Решение задач по эконометрике

Если Решение задач по эконометрике то корреляционная связь между переменными называется прямой, если Решение задач по эконометрике — обратной. При прямой (обратной) связи увеличение одной из переменных ведет к увеличению (уменьшению) условной (групповой) средней другой. Учитывая (1.9), формулу для Решение задач по эконометрике представим в виде:

Решение задач по эконометрике

Отметим другие модификации формулы Решение задач по эконометрике:

Решение задач по эконометрике
Решение задач по эконометрике

Выборочный коэффициент корреляции Решение задач по эконометрике (при достаточно большом объеме выборки Решение задач по эконометрике) обладает следующими свойствами.

  1. Коэффициент корреляции принимает значения на отрезке [-1;1], т.е. Решение задач по эконометрике. Чем ближе Решение задач по эконометрике к единице, тем теснее связь.
  2. При Решение задач по эконометрике корреляционная связь представляет линейную функциональную зависимость. При этом все наблюдаемые значения располагаются на прямой линии (рис. 1.3 а, 6).
  3. При Решение задач по эконометрике линейная корреляционная связь отсутствует. При этом линия регрессии параллельна оси Решение задач по эконометрике (рис. 1.3 в).

Следует отметить, что Решение задач по эконометрике является непосредственно оценкой генерального коэффициента корреляции Решение задач по эконометрике между Решение задач по эконометрике и Решение задач по эконометрике лишь в случае двумерного нормального закона распределения случайных величин Решение задач по эконометрике и Решение задач по эконометрике. В других случаях (когда распределения Решение задач по эконометрике и Решение задач по эконометрике отклоняются от нормального, одна из исследуемых величин, например Решение задач по эконометрике, не является случайной и т.п.) выборочный коэффициент корреляции не следует рассматривать как строгую меру взаимосвязи переменных.

Решение задач по эконометрике

Возможно эта страница вам будет полезна:

Задача №1.2.

По данным табл. 1.1 вычислить коэффициент корреляции между переменными Решение задач по эконометрике и Решение задач по эконометрике

Решение:

В примере 1.1 были вычислены суммы

Решение задач по эконометрике

Вычислим сумму:

Решение задач по эконометрике

Вычислим коэффициент корреляции:

Решение задач по эконометрике

т. е. связь между переменными достаточно тесная

Основные положения регрессионного анализа. Оценка параметров парной регрессионной модели

Рассматриваемая в регрессионном анализе зависимость Решение задач по эконометрике от Решение задач по эконометрике может быть представлена в виде молельного уравнения регрессии (1.1), но из-за воздействия неучтенных случайных факторов и причин отдельные наблюдения переменной Решение задач по эконометрике будут в большей или меньшей мере отклоняться от функции регрессии Решение задач по эконометрике. В этом случае уравнение взаимосвязи двух переменных может быть представлено в виде:

Решение задач по эконометрике

где Решение задач по эконометрике — случайная переменная (случайный член), характеризующая отклонение от функции регрессии. Эту переменную будем называть возмущающей или просто возмущением (либо ошибкой). Таким образом, в регрессионной модели зависимая переменная Решение задач по эконометрике есть некоторая функция Решение задач по эконометрике с точностью до случайного возмущения Решение задач по эконометрике.

Рассмотрим линейный регрессионный анализ, для которого функция Решение задач по эконометрике линейна относительно оцениваемых параметров:

Решение задач по эконометрике

Предположим, что для оценки параметров линейной функции регрессии (1.16) взята выборка, содержащая Решение задач по эконометрике пар значений переменных Решение задач по эконометрике, где Решение задач по эконометрике. В этом случае линейная парная регрессионная модель имеет вид:

Решение задач по эконометрике

Отметим основные предпосылки регрессионного анализа.

Решение задач по эконометрике

(или математическое ожидание зависимой переменной Решение задач по эконометрике — равно линейной функции регрессии:

Решение задач по эконометрике
Решение задач по эконометрике

или

Решение задач по эконометрике

условие гомоскедастичности или равноизменчивости возмущения (зависимой переменной)).

Решение задач по эконометрике

В этом случае модель (1.17) называется классической нормальной линейной регрессионной моделью.

Для получения уравнения регрессии достаточно предпосылок 1-4. Требование выполнения предпосылки 5 (т. е. рассмотрение «нормальной регрессии») необходимо для оценки точности уравнения регрессии и его параметров.

Оценкой модели (1.17) по выборке является уравнение регрессии

Решение задач по эконометрике

Параметры этого уравнения Решение задач по эконометрике и Решение задач по эконометрике определяются на основе метода наименьших квадратов.

Воздействие неучтенных случайных факторов и ошибок наблюдений в модели (1.17) определяется с помощью дисперсии возмущений (ошибок) или остаточной дисперсии Решение задач по эконометрике. Несмещенной оценкой этой дисперсии является выборочная остаточная дисперсия

Решение задач по эконометрике

где Решение задач по эконометрике — групповая средняя, найденная по уравнению регрессии; Решение задач по эконометрике— выборочная оценка возмущения Решение задач по эконометрике или остаток репрессии.

В знаменателе выражения (1.18) стоит число степеней свободы Решение задач по эконометрике, так как две степени свободы теряются при определении двух параметров прямой из системы нормальных уравнений (1.5).

Ответ на вопрос, являются ли оценки Решение задач по эконометрике параметров Решение задач по эконометрике «наилучшими», дает следующая теорема.

Теорема Гаусса—Маркова. Если регрессионная модель (1.17) удовлетворяет предпосылкам 1 -4 , то оценки Решение задач по эконометрике и Решение задач по эконометрике имеют наименьшую дисперсию в классе всех линейных несмещенных оценок. Таким образом, оценки Решение задач по эконометрике и Решение задач по эконометрике в определенном смысле являются наиболее эффективными линейными оценками параметров Решение задач по эконометрике и Решение задач по эконометрике.

Интервальная оценка функции регрессии и ее параметров

Построим доверительный интервал для функции регрессии, т.е. для условного математического ожидания Решение задач по эконометрике, который с заданной надежностью (доверительной вероятностью) Решение задач по эконометрике накрывает неизвестное значение Решение задач по эконометрике.

Найдем дисперсию групповой средней Решение задач по эконометрике представляющей выборочную оценку Решение задач по эконометрике. С этой целью уравнение регрессии (1.10) представим в виде:

Решение задач по эконометрике

На рис. 1.4 линия регрессии (1.19) изображена графически. Для произвольного наблюдаемого значения Решение задач по эконометрике выделены его составляющие: средняя Решение задач по эконометрике, приращение Решение задач по эконометрике, образующие расчетное значение Решение задач по эконометрике и остаток Решение задач по эконометрике.

Дисперсия групповой средней равна сумме дисперсий двух независимых слагаемых выражения (1.19):

Решение задач по эконометрике

Здесь учтено, что Решение задач по эконометрике — неслучайная величина, при вынесении которой за знак дисперсии ее необходимо возвести в квадрат.

Решение задач по эконометрике

Дисперсии выборочной средней Решение задач по эконометрике и параметра Решение задач по эконометрике находятся по формулам

Решение задач по эконометрике

Оценка Решение задач по эконометрике дисперсии групповых средних Решение задач по эконометрике вычисляется по формуле:

Решение задач по эконометрике

Основываясь на предпосылках 1 — 5 регрессионного анализа можно показать, что статистика Решение задач по эконометрике имеет Решение задач по эконометрике — распределение Стьюдента с Решение задач по эконометрике степенями свободы и построить доверительный интервал для условного математического ожидания Решение задач по эконометрике:

Решение задач по эконометрике

где Решение задач по эконометрике — стандартная ошибка групповой средней Решение задач по эконометрике. Из формул (1.22) и (1.23) видно, что величина (длина) доверительного интервала зависит от значения объясняющей переменной Решение задач по эконометрике: три Решение задач по эконометрике она минимальна, а по мере удаления Решение задач по эконометрике от Решение задач по эконометрике величина доверительного интервала увеличивается (рис. 1.5). Таким образом, прогноз значений (определение неизвестных значений) зависимой переменной Решение задач по эконометрике по уравнению регрессии оправдан, если значение Решение задач по эконометрике объясняющей переменной Решение задач по эконометрике не выходит за диапазон ее значений по выборке (причем тем более точный, чем ближе Решение задач по эконометрике к Решение задач по эконометрике). Другими словами, экстраполяция кривой регрессии, т.е. ее использование вне пределов обследованного диапазона значений объясняющей переменной (даже если она оправдана для рассматриваемой переменной исходя из смысла решаемой задачи) может привести к значительным погрешностям

Решение задач по эконометрике

Определим доверительный интервал для индивидуальных значений зависимой переменной. Построенная доверительная область для Решение задач по эконометрике (см. рис. 1.5) определяет местоположение модельной линии регрессии (т.е. условного математического ожидания), но не отдельных возможных значений зависимой переменной, которые отклоняются от средней. Поэтому при определении доверительного интервала для индивидуальных значений Решение задач по эконометрике зависимой переменной необходимо учитывать еще один источник вариации рассеяние вокруг линии регрессии, т.е. в оценку суммарной дисперсии Решение задач по эконометрике следует включить величину Решение задач по эконометрике. В результате оценка дисперсии индивидуальных значений Решение задач по эконометрике при Решение задач по эконометрике равна

Решение задач по эконометрике

а соответствующий доверительный интервал для прогнозов индивидуальных значений Решение задач по эконометрике будет определятся по формуле:

Решение задач по эконометрике

Построим доверительный интервал для параметров регрессионной модели, в частности для параметров регрессионной модели Решение задач по эконометрике и Решение задач по эконометрике.

При выполнении предпосылки 5 регрессионного анализа статистика Решение задач по эконометрике имеет нормальный закон распределения, а статистика

Решение задач по эконометрике

имеет Решение задач по эконометрике-распределение Стьюдента с Решение задач по эконометрике степенями свободы.

Поэтому интервальная опенка параметра Решение задач по эконометрике на уровне значимости а имеет вид:

Решение задач по эконометрике

При построении доверительного интервала для параметра Решение задач по эконометрике снисходят из того, что статистика Решение задач по эконометрике имеет Решение задач по эконометрике-распределение с Решение задач по эконометрике степенями свободы. Поэтому интервальная оценка для Решение задач по эконометрике на уровне значимости Решение задач по эконометрике имеет вид :

Решение задач по эконометрике

доверительный интервал выбирается таким образом, чтобы

Решение задач по эконометрике

Задача №1.3.

По данным табл. 1.1 требуется:

1) оценить сменную среднюю добычу угля на одного рабочего для шахт с мощностью пласта 8 м;

2) найти 95% — ные доверительные интервалы для индивидуального и среднего значений сменной добычи угля на 1 рабочего для таких же шахт;

3) найти с надежностью 0,95 интервальные оценки коэффициента рецессии Решение задач по эконометрике и дисперсии Решение задач по эконометрике.

Решение:

Уравнение регрессии Решение задач по эконометрике по Решение задач по эконометрике было получено в примере ранее Решение задач по эконометрике, т.е. при увеличении мощности пласта Решение задач по эконометрике на 1м добыча угля на одного рабочего Решение задач по эконометрике увеличивается в среднем на 1,12 т.

Решение задач по эконометрике

Для построения доверительного интервала для Решение задач по эконометрике необходимо знать дисперсию его оценки, т.е. Решение задач по эконометрике. Составим вспомогательную таблицу подставив значение Решение задач по эконометрике в полученное уравнению регрессии.

Решение задач по эконометрике

Подставим из таблицы найденные значения в формулы

Решение задач по эконометрике

Следовательно

Решение задач по эконометрике

По таблице значений Решение задач по эконометрике-критерия Стьюдента находим Решение задач по эконометрике. Искомый доверительный интервал имеет вид

Решение задач по эконометрике
Решение задач по эконометрике

Средняя сменная добыча угля на одного рабочего для шахт с мощностью пласта 8м с надежностью 0,95 находится в пределах от 2,77 до 6,03 т. 2. Чтобы построить доверительный интервал для индивидуального значения Решение задач по эконометрике найдем дисперсию его оценки по формуле:

Решение задач по эконометрике

Искомый доверительный интервал примет вид:

Решение задач по эконометрике

Таким образом, индивидуальная сменная добыча угля на одного рабочего для шахт с мощностью пласта 8м с надежностью 0,95 находится в пределах от 0,57 до 8,23 т.

  • Найдем 95% -ный доверительный интервал для параметра Решение задач по эконометрике по формуле (1.27)
Решение задач по эконометрике

т. е. с надежностью 0,95 при изменении мощности пласта Решение задач по эконометрике на 1м суточная выработка Решение задач по эконометрике будет изменяться на величину, заключенную в интервале от 0,332 до 1,907 (т).

Найдем 95%-ный доверительный интервал для параметра Решение задач по эконометрике

Учитывая, что Решение задач по эконометрике, найдем по таблице значений Решение задач по эконометрике -критерия Пирсона

Решение задач по эконометрике

Подставим найденные значения в формулу для оценки интервала получим:

Решение задач по эконометрике

Таким образом, с надежностью 0,95 дисперсия возмущений заключена в пределах от 1,29 до 10,36, а их стандартное отклонение — от 1,13 до 3,22 (т).

Оценка значимости уравнения регрессии. Коэффициент детерминации

Проверить значимость уравнения регрессии — значит установить, соответствует ли математическая модель, выражающая зависимость между переменными, экспериментальным данным и достаточно ли включенных в уравнение объясняющих переменных (одной или нескольких) для описания зависимой переменной.

Проверка значимости уравнения регрессии производится на основе дисперсионного анализа.

Согласно основной идее дисперсионного анализа

Решение задач по эконометрике

или

Решение задач по эконометрике

где Решение задач по эконометрике — общая сумма квадратов отклонений зависимой переменной от средней; Решение задач по эконометрике — сумма квадратов, обусловленная регрессией; Решение задач по эконометрике — остаточная сумма квадратов, характеризующая влияние неучтенных факторов

Нетрудно убедиться, что третье слагаемое

Решение задач по эконометрике

Представим полученные соотношения в виде таблицы 1.3

Решение задач по эконометрике

Средние квадраты Решение задач по эконометрике и Решение задач по эконометрике представляют собой несмещенные оценки дисперсий зависимой переменной, обусловленных соответственно регрессий или объясняющей переменной Решение задач по эконометрике и воздействием неучтенных случайных факторов и ошибок; Решение задач по эконометрике — число оцениваемых параметров уравнения регрессии; Решение задач по эконометрике — число наблюдений.

Уравнение регрессии значимо на уровне Решение задач по эконометрике, если фактически наблюдаемое значение статистики

Решение задач по эконометрике

Задача №1.4.

По данным табл. 1.1 оценить на уровне Решение задач по эконометрике значимость уравнения регрессии Решение задач по эконометрике по Решение задач по эконометрике.

Решение:

Ранее, были

Решение задач по эконометрике

Вычислим суммы квадратов для определения компонент дисперсии:

Решение задач по эконометрике

Находим значение Решение задач по эконометрике— распределения

Решение задач по эконометрике

По таблице значений Решение задач по эконометрике -распределения Фишера определяем табличное значение

Решение задач по эконометрике

Так как

Решение задач по эконометрике

то уравнение регрессии значимо.

Одной из наиболее эффективных оценок адекватности регрессионной модели, мерой качества уравнения регрессии, (или, как говорят, мерой качества подгонки регрессионной модели к найденным значениям Решение задач по эконометрике), характеристикой прогностической анализируемой регрессионной модели является коэффициент детерминации, определяемый по формуле

Решение задач по эконометрике

Величина Решение задач по эконометрике показывает, какая часть (доля) вариации зависимой переменной обусловлена вариацией объясняющей переменной.

Так как Решение задач по эконометрике, то Решение задач по эконометрике Чем ближе Решение задач по эконометрике к единице, тем лучше регрессия аппроксимирует эмпирические данные, тем теснее наблюдения примыкают к линии регрессии. Если Решение задач по эконометрике, то эмпирические точки Решение задач по эконометрике лежат на линии регрессии (см. рис. 1.3 а.б) и между переменными Решение задач по эконометрике и Решение задач по эконометрике существует линейная функциональная зависимость. Если Решение задач по эконометрике то (вариация зависимой переменной полностью обусловлена воздействием неучтенных в модели переменных, и линия регрессии параллельна оси абсцисс (рис. 1.3 в).

Заметим, что коэффициент Решение задач по эконометрике имеет смысл рассматривать только при наличии свободного члена в уравнении регрессии, так как лишь в этом случае, как уже отмечалось, верно, равенство (1.29), а следовательно, и соотношение (1.32).

Если известен коэффициент детерминации Решение задач по эконометрике, то критерий значимости (1.30) уравнения регрессии или самого коэффициента детерминация может быть записан в виде

Решение задач по эконометрике

В случае парной линейной регрессионной модели коэффициент детерминации равен квадрату коэффициента корреляции, т. е. Решение задач по эконометрике.

Задача №1.5.

По данным табл. 1.1 найти коэффициент детерминации и пояснить его смысл.

Решение:

В примере 1.4 было получено Решение задач по эконометрике. Находим

Решение задач по эконометрике

Коэффициент детерминации можно было вычислить и иначе, если учесть, что в примере 1.2 был вычислен коэффициент корреляции Решение задач по эконометрике. Так как для парной линейной регрессионной модели Решение задач по эконометрике, то Решение задач по эконометрике.

Это означает, что вариация зависимой переменной Решение задач по эконометрике — сменной добычи угля на одного рабочего — на 62% объясняется изменчивостью объясняющей переменной Решение задач по эконометрике — мощностью пласта.

Множественный регрессионный анализ. Классическая нормальная линейная модель множественной регрессии

Экономические явления, как правило, определяются большим числом одновременно и совокупно действующих факторов. В связи с этим часто возникает задача исследования зависимости одной зависимой переменной Решение задач по эконометрике от нескольких объясняющих переменных Решение задач по эконометрике. Эта задача решается с помощью множественного регрессионного анализа.

Обозначим Решение задач по эконометрике-е наблюдение зависимой переменной а объясняющих переменных — Решение задач по эконометрике. Тогда модель множественной линейной регрессии можно представить в виде:

Решение задач по эконометрике

где

Решение задач по эконометрике

Решение задач по эконометрике— удовлетворяет приведенным выше (см. Главу 1) предпосылкам 1-5.

Включение в регрессионную модель новых объясняющих переменных приводит к целесообразности использования матричных обозначений. Магричное описание регрессии облегчает как теоретические концепции анализа, так и необходимые расчетные процедуры.

Введем обозначения:

Решение задач по эконометрике — матрица-столбец, или вектор значений зависимой переменной размерности Решение задач по эконометрике;

Решение задач по эконометрике

матрица значений объясняющих переменных, или матрица плана размерности Решение задач по эконометрике (в матрицу дополнительно введен столбец, все элементы которого равны 1, т.е. условно полагается, что в модели свободный член Решение задач по эконометрике умножается на фиктивную переменную Решение задач по эконометрике принимающую значение 1 дня всех Решение задач по эконометрике;

Решение задач по эконометрике — матрица-столбец, или вектор параметров размерности Решение задач по эконометрике,

Решение задач по эконометрике — матрица-столбец, или вектор, возмущений (случайных ошибок, остатков) размера Решение задач по эконометрике.

Тогда в матричной форме модель примет вид:

Решение задач по эконометрике

Оценкой этой модели по выборке является уравнение

Решение задач по эконометрике

где

Решение задач по эконометрике

Оценка параметров классической регрессионной модели методом наименьших квадратов

Для оценки вектора неизвестных параметров Решение задач по эконометрике применим метод наименьших квадратов.

Условие минимизации остаточной суммы квадратов запишется в виде:

Решение задач по эконометрике

На основании необходимого условия экстремума функции нескольких переменных Решение задач по эконометрике необходимо приравнять нулю частные производные по этим переменным или в матричной форме— вектор частных производных

Решение задач по эконометрике

После вычисления вектора частных производных приравняем его 0 — Решение задач по эконометрике, откуда получаем систему нормальных уравнений в матричной форме для определения вектора Решение задач по эконометрике:

Решение задач по эконометрике

Для решения этого матричного уравнения относительно вектора оценок параметров Решение задач по эконометрике введём еще одну предпосылку о том, что матрица Решение задач по эконометрике является неособенной, т. е. ее определитель не равен нулю. Следовательно, ранг матрицы Решение задач по эконометрике равен ее порядку, т.е. Решение задач по эконометрике но Решение задач по эконометрике, значит, Решение задач по эконометрике (ранг матрицы плана Решение задач по эконометрике равен числу ее столбцов). В соответствии с этим сформулируем упомянутую выше предпосылку множественного регрессионного анализа в следующем виде:

Кроме того, полагают, что число имеющихся наблюдений (значений) каждой из объясняющих и зависимой переменных превосходит ранг-матрицы Решение задач по эконометрике, т. е. Решение задач по эконометрике или Решение задач по эконометрике, ибо в противном случае в принципе невозможно получение сколько-нибудь надежных статистических выводов.

В новых терминах приведенные ранее предпосылки для множественного регрессионного анализа могут быть записаны следующим образом:

Модель (2.2), удовлетворяющая приведенным предпосылкам 1-6, называется классической нормальной линейной моделью множественной регрессии, если же среди приведенных не выполняется лишь предпосылка о нормальном законе распределения вектора возмущений с , то модель называется просто классической линейной моделью множественной рефессии.

Решением уравнения (2.4) является вектор

Решение задач по эконометрике

где Решение задач по эконометрике — матрица, обратная матрице Решение задач по эконометрике, Решение задач по эконометрике — матрица-столбец, или вектор ее свободных членов.

Рассмотренная выше для парной регрессионной модели теорема Гаусса — Маркова оказывается верной для модели (2.2) множественной регрессии и может быть сформулирована в следующем виде

При выполнении предпосылок множественного регрессионного анализа оценка метода наименьших квадратов Решение задач по эконометрике является наиболее эффективной, т е обладает наименьшей дисперсией в классе линейных несмещенных оценок.

Зная вектор Решение задач по эконометрике, выборочное уравнение множественной регрессии представим в виде:

Решение задач по эконометрике

где Решение задач по эконометрике групповая (условная) средняя переменной Решение задач по эконометрике при заданном векторе значений объясняющей переменной

Решение задач по эконометрике

Задача №2.1.

Имеются следующие данные о сменной добыче угля на одного рабочего Решение задач по эконометрике(т), мощности пласта Решение задач по эконометрике (м) и уровне механизации работ Решение задач по эконометрике (%), характеризующие процесс добычи угля в 10 шахтах. Предполагая, что между переменными Решение задач по эконометрике, Решение задач по эконометрике и Решение задач по эконометрике существует линейная корреляционная зависимость, найти ее аналитическое выражение (уравнение регрессии Решение задач по эконометрике по Решение задач по эконометрике и Решение задач по эконометрике).

Эконометрика задачи с решением

Решение:

Обозначим

Эконометрика задачи с решением

(в матрицу Эконометрика задачи с решением вводится дополнительный столбец чисел, состоящий из единиц).

Для удобства вычислений составляем вспомогательную таблицу.

Эконометрика задачи с решением

Вычислим матрицы:

Эконометрика задачи с решением

Умножим матрицу Эконометрика задачи с решением на вектор Эконометрика задачи с решением и получим

Эконометрика задачи с решением

Уравнение множественной регрессии имеет вид:

Эконометрика задачи с решением

Оно показывает, что при увеличении только мощности пласта Эконометрика задачи с решением (при неизменном Эконометрика задачи с решением) на 1м добыча угля на одного рабочего Эконометрика задачи с решением увеличивается в среднем на 0,660 т, а при увеличении только уровня механизации работ Эконометрика задачи с решением (при неизменной Эконометрика задачи с решением) — в среднем на 0,90 т.

Добавление в регрессионную модель новой объясняющей переменнойЭконометрика задачи с решением изменило коэффициент регрессии Эконометрика задачи с решением (Эконометрика задачи с решением по Эконометрика задачи с решением) с 1,12 для парной регрессии (см. пример 1.1) до 0,66 — для множественной регрессии. В случае парной регрессии Эконометрика задачи с решением учитывает воздействие на Эконометрика задачи с решением не только переменной Эконометрика задачи с решением но и косвенно корреляционно связанной с ней переменной Эконометрика задачи с решением.

Ковариационная матрица и ее выборочная оценка

Вариации оценок параметров определяют точность уравнения множественной регрессии. Для их измерения в многомерном регрессионном анализе рассматривают так называемую ковариационную матрицу вектора оценок параметров Эконометрика задачи с решением, являющуюся матричным аналогом дисперсии одной переменной

Эконометрика задачи с решением

где элементы Эконометрика задачи с решением — ковариации (или корреляционные моменты) оценок параметров Эконометрика задачи с решением и Эконометрика задачи с решением. Ковариация двух переменных определяется как математическое ожидание произведения отклонений этих переменных от их математических ожиданий:

Эконометрика задачи с решением

Учитывая, что оценки Эконометрика задачи с решением, полученные методом наименьших квадратов, являются несмещенными оценками параметров , т. е. Эконометрика задачи с решением выражение примет вид

Эконометрика задачи с решением

Ковариация характеризует как степень рассеяния значений двух переменных относительно их математических ожиданий, так и взаимосвязь этих переменных.

Определение доверительных интервалов для коэффициентов и функции регрессии

Доверительный интервал для параметров регрессионной модели

Эконометрика задачи с решением

Оценка Эконометрика задачи с решением дисперсии Эконометрика задачи с решением коэффициента регрессии Эконометрика задачи с решением определяется по формуле:

Эконометрика задачи с решением

где Эконометрика задачи с решением — несмещенная оценка параметра Эконометрика задачи с решением;

Эконометрика задачи с решением — диагональный элемент матрицы Эконометрика задачи с решением Среднее квадратическое отклонение (стандартная ошибка) коэффициента регрессии Эконометрика задачи с решением вычисляется по формуле:

Эконометрика задачи с решением

Учитывая, что статистика Эконометрика задачи с решением имеет Эконометрика задачи с решением-распределение Стьюдента с Эконометрика задачи с решением степенями свободы, можно проверить значимость коэффициента регрессии Эконометрика задачи с решением. Гипотеза Эконометрика задачи с решением о равенстве параметра Эконометрика задачи с решением нулю Эконометрика задачи с решением отвергается, если Эконометрика задачи с решением, где Эконометрика задачи с решением табличное значение Эконометрика задачи с решением-критерия Стьюдента, определенное на уровне значимости Эконометрика задачи с решением при числе степеней свободы Эконометрика задачи с решением, т. е. Эконометрика задачи с решением отличается от нуля на уровне значимости Эконометрика задачи с решением.

В обшей постановке гипотеза Эконометрика задачи с решением о равенстве параметра Эконометрика задачи с решением заданному числу Эконометрика задачи с решением отвергается, если

Эконометрика задачи с решением

Доверительный интервал для параметра Эконометрика задачи с решением имеет вид.

Эконометрика задачи с решением
  • Доверительный интервал для функции репрессии или для условного математического ожидания зависимой переменной Эконометрика задачи с решением
Эконометрика задачи с решением

где Эконометрика задачи с решением — групповая средняя, определяемая по уравнению регрессии;

Эконометрика задачи с решением — ее стандартная ошибка, определяемая по формуле:

Эконометрика задачи с решением
  • Доверительный интервал для индивидуальных значений зависимой переменной Эконометрика задачи с решением
Эконометрика задачи с решением

где

Эконометрика задачи с решением
  • Доверительный интервал для параметра Эконометрика задачи с решением.

В множественной регрессии он строится аналогично парной модели с соответствующим изменением числа степеней свободы с критерия Эконометрика задачи с решением

Эконометрика задачи с решением

Задача №2.2

По данным примера 2.1 оценить сменную добычу угля на одного рабочего для шахт с мощностью пласта 8 м и уровнем механизации работ 6%; наши 95%-ные доверительные интервалы для индивидуального и среднего значений сменной добычи угля на одного рабочего для таких же шахт. Проверить значимость коэффициентов регрессии и построить для них 95%-ные доверительные интервалы. Найти интервачьную оценку для дисперсии Эконометрика задачи с решением.

Решение:

В примере 2.1 уравнение регрессии получено в виде

Эконометрика задачи с решением

По условию надо оценить Эконометрика задачи с решением, где Эконометрика задачи с решением. Выборочной оценкой Эконометрика задачи с решением является групповая средняя, которую найдем по уравнению регрессии:

Эконометрика задачи с решением

Для построения доверительного инггерала для Эконометрика задачи с решением воспользуемся формулой (2.11). Вначале найдем дисперсию Эконометрика задачи с решением. При ей вычислении используем две последних строки табл. 2.2 (групповые средние Эконометрика задачи с решением в них определяются по полученному уравнению регрессии).

Находим

Эконометрика задачи с решением

Вычисляем

Эконометрика задачи с решением

По таблице значений Эконометрика задачи с решением — критерия Стьюдента при числе степеней свободы

Эконометрика задачи с решением

находим Эконометрика задачи с решением. Следовательно, доверительный интервал для Эконометрика задачи с решением равен

Эконометрика задачи с решением

Итак, с надежностью 0,95 средняя сменная добыча угля на одного рабочего для шахт с мощностью пласта 8 м и уровнем механизации работ 6% находится в пределах от 4,27 до 7,29 т.

Сравнивая новый доверительный интервал для функции регрессии Эконометрика задачи с решением, полученный с учетом двух объясняющих переменных, с аналогичным интервалом с учетом одной объясняющей переменной (см пример 1.3), можно заметить некоторое уменьшение его величины.

Это связано с тем, что включение в модель новой объясняющей переменной позволяет несколько повысить точность модели за счет увеличения взаимосвязи зависимой и объясняющей переменных.

Найдем доверительный интервал для индивидуального значения Эконометрика задачи с решениемпри

Эконометрика задачи с решением

Вычислим

Эконометрика задачи с решением
Эконометрика задачи с решением

Итак, с надежностью 0,95 индивидуальное значение сменной добычи угля в шахтах с мощностью пласта 8 м и уровнем механизации работ 6% находится в пределах от 2,80 до 8,76 (т).

Проверим значимость коэффициентов регрессии Эконометрика задачи с решением и Эконометрика задачи с решением. Для Эконометрика задачи с решением стандартная ошибка Эконометрика задачи с решением равна

Эконометрика задачи с решением

Так как

Эконометрика задачи с решением

тo коэффициент Эконометрика задачи с решением значим.

Аналогично для Эконометрика задачи с решением стандартная ошибкаЭконометрика задачи с решением, равна

Эконометрика задачи с решением

т. е. коэффициент Эконометрика задачи с решением значим.

Доверительный интервал коэффициента регрессии Эконометрика задачи с решением имеет вид;

Эконометрика задачи с решением

Доверительный интервал коэффициента регрессии Эконометрика задачи с решением имеет вид:

Эконометрика задачи с решением

Итак, с надежностью 0,95 за счет изменения на 1 м мощности пласта Эконометрика задачи с решением (при неизменном Эконометрика задачи с решением) сменная добыча угля на одного рабочего Эконометрика задачи с решением будет изменяться в пределах от 0,15 до 1,17 (т), а за счёт изменения на 1% механизации работ Эконометрика задачи с решением (при неизменном Эконометрика задачи с решением) значения Эконометрика задачи с решением будут изменяться в пределах от 0,27 до 1,53 (т).

Найдем 95%-ный доверительный интервал для параметра Эконометрика задачи с решением. Учитывая, что

Эконометрика задачи с решением

степени свободы найдем по таблице значений критерия Пирсона

Эконометрика задачи с решением
Эконометрика задачи с решением

С помощью формулы (2.14) находим интервал

Эконометрика задачи с решением

Таким образом, с надежностью 0,95 дисперсия возмущений заключена в пределах от 0,738 до 6,99, а их стандартное отклонение — от 0,859 до 2,64(т).

Оценка значимости множественной регрессии. Коэффициенты детерминации

В модели множественной регрессии, как и в случае парной регрессионной модели, общая вариация Эконометрика задачи с решением — сумма квадратов отклонений зависимой переменной от средней может быть разложена на две составляющие:

Эконометрика задачи с решением

где Эконометрика задачи с решением — соответственно сумма квадратов отклонений, обусловленная регрессией, и остаточная сумма квадратов, характеризующая влияние неучтенных факторов. Они вычисляются по следующим формулам:

Эконометрика задачи с решением

Уравнение множественной регрессии значимо (иначе — гипотеза о равенстве нулю параметров регрессионной модели, т. е.

Эконометрика задачи с решением

отвергается), если

Эконометрика задачи с решением

где Эконометрика задачи с решением — табличное значение Эконометрика задачи с решением-критерия Фишера — Снелекора.

Коэффициент детерминации Эконометрика задачи с решением является оценкой адекватности модели, мерой качества уравнения регрессии, характеристикой его прогностической силы Множественный коэффициент детерминации Эконометрика задачи с решением определяется по формулам;

Эконометрика задачи с решением

Величина Эконометрика задачи с решением характеризует долю вариации зависимой переменной, обусловленной регрессией или изменчивостью объясняющих переменных; чем ближе Эконометрика задачи с решением к единице, тем лучше регрессия описывает зависимость между объясняющими и зависимой переменными.

Вместе с тем использование только одного коэффициента детерминации Эконометрика задачи с решением для выбора наилучшего уравнения регрессии может оказаться недостаточным. Недостатком коэффициента детерминации Эконометрика задачи с решением является то, что он, вообще говоря, увеличивается при добавлении новых объясняющих переменных, хотя это и не обязательно означает улучшение качества регрессионной модели. На практике встречаются случаи, когда плохо определенная модель регрессии может дать сравнительно высокий коэффициент Эконометрика задачи с решением.

Поэтому предпочтительнее использовать скорректированный (адаптированный, поправленный) коэффициент детерминации Эконометрика задачи с решением определяемый по формулам:

Эконометрика задачи с решением

Из формул следует, что чем больше число объясняющих переменных Эконометрика задачи с решением, тем меньше Эконометрика задачи с решением по сравнению с Эконометрика задачи с решением. В отличие от Эконометрика задачи с решением скорректированный коэффициент Эконометрика задачи с решением может уменьшаться при введении в модель новых объясняющих переменных, не оказывающих существенного влияния на зависимую переменную. Однако даже увеличение скоррекгированного коэффициента детерминации Эконометрика задачи с решением при введении в модель новой объясняющей переменной не всегда получается, что ее коэффициент регрессии значим (это происходит, как можно показать, только в случае, если соответствующее значение Эконометрика задачи с решением-статистики больше единицы (по абсолютной величине), т. е. Эконометрика задачи с решением. Другими словами, увеличение Эконометрика задачи с решением еще не означает улучшения качества регрессионной модели.

Если известен коэффициент детерминации Эконометрика задачи с решением, то критерий значимости уравнения регрессии может быть записан в виде:

Эконометрика задачи с решением

где Эконометрика задачи с решением, т. к. в уравнении множественной регрессии вместе со свободным членом оценивается Эконометрика задачи с решениемпараметров

Возможно эта страница вам будет полезна:

Задача №2.3.

По данным примера 2.1 определить множественный коэффициент детерминации и проверить значимость полученного уравнения регрессии Эконометрика задачи с решением по Эконометрика задачи с решением и Эконометрика задачи с решением на уровне Эконометрика задачи с решением.

Решение:

Вычислим произведения векторов (см. пример 2.1):

Эконометрика задачи с решением

По формуле (2 18) определим множественный коэффициент детерминации

Эконометрика задачи с решением

Коэффициент детерминации Эконометрика задачи с решением свидетельствует о том, что вариация исследуемой зависимой переменной У — сменной добычи угля на одного рабочего на 69,1% объясняется изменчивостью включенных в модель объясняющих переменных— мощности пласта Эконометрика задачи с решением и уровня механизации работ Эконометрика задачи с решением.

Зная Эконометрика задачи с решением, проверим значимость уравнения регрессии. Вычислим фактическое значение критерия:

Эконометрика задачи с решением

Оно больше табличного Эконометрика задачи с решением, определенного на уровне значимости Эконометрика задачи с решением при Эконометрика задачи с решением степенях свободы, т. е. уравнение регрессии значимо, следовательно, исследуемая зависимая переменная Эконометрика задачи с решением достаточно хорошо описывается включенными в регрессионную модель переменными Эконометрика задачи с решением и Эконометрика задачи с решением.

Временные ряды и прогнозирование. Общие сведения о временных рядах и задачах их анализа

Под временным рядом (динамическим рядом, или рядом динамики) в экономике подразумевается последовательность наблюдений некоторого признака (случайной величины) Эконометрика задачи с решением в последовательные моменты времени. Отдельные наблюдения называются уровнями ряда, которые будем обозначать Эконометрика задачи с решением, где Эконометрика задачи с решением — число уровней.

В табл. 3.1 приведены данные, отражающие спрос на некоторый товар за восьмилетний период (усл. ед.), т. е. временной ряд спроса Эконометрика задачи с решением.

Эконометрика задачи с решением

На рис. 3.1 временной ряд Эконометрика задачи с решением изображен графически ломаной линией.

Эконометрика задачи с решением

Методы исследования моделей, основанных на данных пространственных выборок и временных рядов, вообще говоря, отличаются Объясняется это Tev что в отличие от пространственных выборок наблюдения во временных ряда как правило, нельзя считать независимыми.

При анализе точности этих моделей и определении интервальных ошибок прогноза на их основе, будем полагать, что рассматриваемые в главе регрессионные модели временных рядов удовлетворяют условиям классической модели.

В общем виде при исследовании экономического временного ряда Эконометрика задачи с решением выделяются несколько составляющих:

Эконометрика задачи с решением

где Эконометрика задачи с решением— тренд, плавно меняющаяся компонента, описывающая чистое влияние долговременных факторов, т. е. длительную тенденцию изменения признака (например, показатели экономического развития, рост населения, и т. п.);

Эконометрика задачи с решением — сезонная компонента, отражающая повторяемость экономических процессов в течение не очень длительного периода (года, месяца, недели и т. д., например, объем продаж туристических путевок или перевозок авиапассажиров в различные времена года);

Эконометрика задачи с решением — циклическая компонента, отражающая повторяемость экономических процессов в течение длительных периодов (например, влияние волн экономической активности Кондратьева, демографических «ям», циклов солнечной активности и т. п.);

Эконометрика задачи с решением — случайная компонента, отражающая влияние не поддающихся учету и регистрации случайных факторов.

Первые три составляющие (компоненты) Эконометрика задачи с решением и Эконометрика задачи с решением, в отличие от Эконометрика задачи с решением, являются закономерными, неслучайными.

Важнейшей классической задачей при исследовании экономических временных рядов является выявление и статистическая оценка основной тенденции развития изучаемого процесса и отклонений от нее.

Основные этапы анализа временных рядов:

графическое представление и описание поведения временного ряда; выделение и удаление закономерных (неслучайных) составляющих временного ряда (тренда, сезонных и циклических сост авляющих);

сглаживание и фильтрация (удаление низко — или высокочастотных составляющих временного ряда);

исследование случайной составляющей временного ряда, построение и проверка адекватности математической модели для ее описания;

прогнозирование развития изучаемого процесса на основе имеющегося временного ряда;

исследование взаимосвязи между различными временными рядами. Наиболее распространенными методами анализа временных рядов являются корреляционный и спектральный анализ, модели авторегрессии и скользящей средней

Временной ряд Эконометрика задачи с решением рассматривается как одна из реализаций (траекторий) случайного процесса Эконометрика задачи с решением. Вместе с тем следует иметь в виду принципиальные отличия временного ряда Эконометрика задачи с решением от последовательности наблюдений Эконометрика задачи с решением образующих случайную выборку. Во-первых, в отличие от элементов случайной выборки члены временного ряда, как правило, не являются статистически независимыми. Во-вторых, члены временного ряда не являются одинаково распределенными. Выборка Эконометрика задачи с решением рассматривается как одна из реализаций случайной величины Эконометрика задачи с решением.

Стационарные временные ряды и их характеристики. Автокорреляционная функция

Важное значение в анализе временных рядов имеют стационарные временные ряды, вероятностные свойства которых не изменяются во времени.

Временной ряд Эконометрика задачи с решением называется строго стационарным (или стационарным в узком смысле), если совместное распределение вероятностей Эконометрика задачи с решением наблюдений Эконометрика задачи с решением такое же, как и Эконометрика задачи с решением наблюдений Эконометрика задачи с решением при любых Эконометрика задачи с решением и Эконометрика задачи с решением. Другими словами, свойства строю стационарных рядов Эконометрика задачи с решением не зависят от момента Эконометрика задачи с решением, т е закон распределения и его числовые характеристики не зависят от Эконометрика задачи с решением. Следовательно, математическое ожидание Эконометрика задачи с решением среднее квадратическое отклонение Эконометрика задачи с решением могут быть оценены по наблюдениям Эконометрика задачи с решением по формулам:

Эконометрика задачи с решением

Степень тесноты связи между последовательностями наблюдений временного ряда

Эконометрика задачи с решением

(сдвинутых относительно друг друга на Эконометрика задачи с решением единиц, или, как говорят, с лагом Эконометрика задачи с решением) может быть определена с помощью коэффициента корреляции

Эконометрика задачи с решением
Эконометрика задачи с решением

Коэффициент Эконометрика задачи с решением измеряет корреляцию между членами одного и того же ряда, поэтому его называют коэффициентом автокорреляции, а зависимость Эконометрика задачи с решением — автокор реляционной функцией. В силу стационарности временного ряда Эконометрика задачи с решением автокорреляционная функция Эконометрика задачи с решением зависит только от лага Эконометрика задачи с решением, причем Эконометрика задачи с решением, т. е. при изучении Эконометрика задачи с решением можно ограничиться рассмотрением только положительных значений Эконометрика задачи с решением.

Статистической оценкой Эконометрика задачи с решением является выборочный коэффициент автокорреляции Эконометрика задачи с решением, определяемый по формуле:

Эконометрика задачи с решением

Функция Эконометрика задачи с решением называется выборочной автокорреляционной функцией, а ее график — коррелограимой.

При расчете Эконометрика задачи с решением необходимо учитывать, что с увеличением Эконометрика задачи с решением число Эконометрика задачи с решением пар наблюдений Эконометрика задачи с решением уменьшается, поэтому лаг Эконометрика задачи с решением должен быть таким, чтобы число Эконометрика задачи с решением было достаточным для определения Эконометрика задачи с решением. Обычно принимается Эконометрика задачи с решением.

Для стационарного временного ряда с увеличением лага г взаимосвязь членов временного ряда Эконометрика задачи с решением и Эконометрика задачи с решением ослабевает , и автокорреляционная функция Эконометрика задачи с решением должна убывать по абсолютной величине, а для ее выборочного (эмпирического) аналога Эконометрика задачи с решением, особенно при небольшом числе пар наблюдений Эконометрика задачи с решением, свойство монотонного убывания (по абсолютной величине) при возрастании Эконометрика задачи с решением может нарушаться.

Наряду с автокорреляционной функцией при исследовании стационарных временных рядов рассматриваем частная автокорреляционная функция Эконометрика задачи с решением, где Эконометрика задачи с решением есть частный коэффициент корреляции между членами временного ряда Эконометрика задачи с решением и Эконометрика задачи с решением, т. е. коэффициент корреляции между Эконометрика задачи с решением и Эконометрика задачи с решением при устранении влияния промежуточных (между Эконометрика задачи с решением и Эконометрика задачи с решением) членов.

Статистической оценкой Эконометрика задачи с решением является выборочная частная автокорреляционная функция Эконометрика задачи с решением, где Эконометрика задачи с решением — выборочный частный коэффициент корреляции Например, выборочный частный коэффициент автокорреляции 1-го порядка между членами временного, ряда Эконометрика задачи с решением и Эконометрика задачи с решением при устранении влияния Эконометрика задачи с решением может быть вычислен по формуле:

Эконометрика задачи с решением

где Эконометрика задачи с решением — выборочные коэффициенты автокорреляции между Эконометрика задачи с решением соответственно.

Задача №3.1

По данным табл. 1 для временного ряда у, найти среднее чначение, среднее квадратическое отклонение, коэффициенты автокорреляции (для лагов г=1;2) и частный коэффициент автокорреляции I-го порядка.

Решение:

Среднее значение временного ряда находим по формуле (3.1):

Эконометрика задачи с решением

Дисперсию и среднее квадратическое отклонение вычислим, воспользовавшись соотношением:

Эконометрика задачи с решением

Найдем коэффициент автокорреляции Эконометрика задачи с решением временного ряда (для лага Эконометрика задачи с решением), т. е. коэффициент корреляции между последовательностями семи пар наблюдений Эконометрика задачи с решением, представленных в табл. 3.2.

Эконометрика задачи с решением

Сначала вычисляем необходимые суммы:

Эконометрика задачи с решением

Затем подставим их в формулу:

Эконометрика задачи с решением

при

Эконометрика задачи с решением

получим:

Эконометрика задачи с решением

Коэффициенты автокорреляции Эконометрика задачи с решением для лага Эконометрика задачи с решением между членами ряда Эконометрика задачи с решением и Эконометрика задачи с решением по шести парам наблюдений и Эконометрика задачи с решением между членами ряда Эконометрика задачи с решением и Эконометрика задачи с решением вычисляются аналогично:

Эконометрика задачи с решением

Для определения частного коэффициента корреляции 1-го порядка Эконометрика задачи с решением между членами ряда Эконометрика задачи с решением и Эконометрика задачи с решением при исключении влияния Эконометрика задачи с решениемнайденные значения Эконометрика задачи с решением подставим в формулу:

Эконометрика задачи с решением

Знание автокорреляционных функций Эконометрика задачи с решением и Эконометрика задачи с решением может оказать существенную помощь при подборе и идентификации модели анализируемого временного ряда и статистической оценке его параметров.

Аналитическое выравнивание (сглаживание) временного ряда

Одной из важнейших задач исследования экономического временного ряда является выявление основной тенденции изучаемого процесса, выраженной неслучайной составляющей Эконометрика задачи с решением (тренда либо тренда с циклической или (и) сезонной компонентой).

Для решения этой задачи вначале необходимо выбрать вид функции Эконометрика задачи с решением Часто используются следующие функции:

Эконометрика задачи с решением

При выборе соответствующей функции Эконометрика задачи с решением используют содержательный анализ (который может установить характер динамики процесса), а также визуальные наблюдения (на основе графического изображения временного ряда). Из двух функций предпочтение обычно отдается той, при которой меньше сумма квадратов отклонений фактических данных от расчетных на основе этих функций. Следует заметить, что для любого ряда из Эконометрика задачи с решением точек можно подобрать полином (Эконометрика задачи с решением-1)-й степени, проходящий через все точки, и соответственно с минимальной ( нулевой ) суммой квадратов отклонений, однако в этом случае не следует говорить о выделении основной тенденции, учитывая случайный характер этих точек. Поэтому при прочих равных условиях предпочтение следует отдавать более простым функциям.

При использовании метола наименьших квадратов для выявления основной тенденции значения временного ряда Эконометрика задачи с решением рассматриваются как зависимая переменная, а время Эконометрика задачи с решением — как объясняющая:

Эконометрика задачи с решением

где Эконометрика задачи с решением — возмущения, удовлетворяющие основным предпосылкам регрессионного анализа, т. е. представляющие независимые и одинаково распределенные случайные величины, распределение которых предполагаем нормальным.

Для линейной функции согласно методу наименьших квадратов параметры прямой Эконометрика задачи с решением находятся из системы нормальных уравнений

Эконометрика задачи с решением

Задача №3.2.

По данным табл. 3.1 найти уравнение неслучайной составляющей (тренда) для временного ряда у, полагая тренд линейным.

Решение:

Вначале вычислим необходимые суммы:

Эконометрика задачи с решением

Система нормальных уравнений имеет вид:

Эконометрика задачи с решением

Решая эту систему, находим уравнение тренда:

Эконометрика задачи с решением

Это значит, что спрос (см. рис 3.1) ежегодно увеличивается в среднем на 26,5 ед.

Уравнение регрессии с учётом зависимостей (1.7) — (1.10) и (3.7) можно представить в виде:

Эконометрика задачи с решением
Эконометрика задачи с решением

Проверим значимость полученного уравнения тренда по Эконометрика задачи с решением-критерию на 5%-ном уровне значимости. Вначале подставим в формулу (1.29) соотношения из (3.8) и вычислим:

а) сумму квадратов, обусловленную регрессией

Эконометрика задачи с решением

б) общую сумму квадратов отклонений зависимой переменной от средней

Эконометрика задачи с решением

в) остаточную сумму квадратов, характеризующую влияние неучтённых факторов

Эконометрика задачи с решением

Затем найдем по формуле (1.30) при Эконометрика задачи с решением значение статистики:

Эконометрика задачи с решением

По таблице значений критерия Фишера-Снсдекора определяем Эконометрика задачи с решением.

Так как Эконометрика задачи с решением, то условие неравенства (1.31) выполняется и уравнение тренда значимо.

Другим методом выравнивания (сглаживания) временного ряда является метод скользящих средних. Он основан на переходе от начальных значений членов ряда к их средним значениям на интервале времени, длина которого определена заранее. При что и сам выбранный интервал времени «скользит» вдоль ряда.

Получаемый таким образом ряд скользящих средних ведет себя более гладко, чем исходный ряд, из-за усреднения отклонений ряда.

Действительно, если разброс значений члена временного ряда Эконометрика задачи с решением, около своего среднего значения Эконометрика задачи с решением характеризуется дисперсией Эконометрика задачи с решением, то разброс-средней из Эконометрика задачи с решением членов временного ряда Эконометрика задачи с решением около того же значения а будет характеризоваться существенно меньшей величиной дисперсии, равной Эконометрика задачи с решением. Для усреднения могут быть использованы средняя арифметическая (простая и с некоторыми весами), медиана и др

Задача №3.3.

Провести сглаживание временного ряда Эконометрика задачи с решением по данным табл 3.1 методом скользящих средних, используя простую среднюю арифметическую с интервалом сглаживания Эконометрика задачи с решением года.

Решение:

Скользящие средние вычисляем по формуле:

Эконометрика задачи с решением

При Эконометрика задачи с решением получим Эконометрика задачи с решением.

Для Эконометрика задачи с решением находим

Эконометрика задачи с решением

Для Эконометрика задачи с решением находим

Эконометрика задачи с решением

В результате получим сглаженный ряд, представленный в табл. 3.3.

Эконометрика задачи с решением

На рис. 3.1 этот ряд изображен графически в виде пунктирной линии

Прогнозирование на основе моделей временных рядов

Одна из нажнейших задач (этапов) анализа временного (динамического) ряда состоит в прогнозировании на его основе развития изучаемого процесса. При этом исходят из того, что тенденция развития, установленная в прошлом, может быть распространена (экстраполирована) на будущий период.

Задача ставится так: имеется временной ряд Эконометрика задачи с решением и требуется дать прогноз уровня этого ряда на момент Эконометрика задачи с решением. Выше, в § 1.5, 2.2, 2.4, мы рассматривали точечный и интервальный прогноз значений зависимой переменной Эконометрика задачи с решением, т. е определение точечных и интервальных оценок Эконометрика задачи с решением, полученных для парной и множественной регрессий для значений объясняющих переменных Эконометрика задачи с решением, расположенных вне пределов обследованного диапазона значений Эконометрика задачи с решением.

Если рассматривать временной ряд как регрессионную модель изучаемого признака по переменной «время», то к нему могут быть применены рассмотренные выше методы анализа. Следует, однако, вспомнить, что одна из основных предпосылок регрессионного анализа состоит в том, что возмущения Эконометрика задачи с решением представляют собой независимые случайные величины с математическим ожиданием (средним значением), равным нулю. А при работе с временными рядами такое допущение оказывается во многих случаях неверным. В данной главе мы полагаем, что возмущения Эконометрика задачи с решением удовлетворяют предпосылкам регрессионного анализа, т. е. условиям нормальной классической регрессионной модели.

Задача №3.4.

По данным табл. 3.1 дать точечную и с надежностью 0,95 интервальную оценки прогноза среднего и индивидуального значений спроса на некоторый товар на момент Эконометрика задачи с решением (девятый год). (Полагаем, что тренд линейный, а возмущения удовлетворяют требованиям классической модели).

Решение:

Выше, в примере 3.2, получено уравнение регрессии Эконометрика задачи с решением т. е. ежегодно спрос на товар увеличивался в среднем на 26,5 ед. Надо оценить условное математическое ожидание Эконометрика задачи с решением.

Оценкой Эконометрика задачи с решением является групповая средняя

Эконометрика задачи с решением

Найдем оценку Эконометрика задачи с решением дисперсии Эконометрика задачи с решением

Эконометрика задачи с решением

Находим табличное значение Эконометрика задачи с решением. Подставив найденные значения в (1.23) определим интервальную оценку прогноза среднего значения спроса

Эконометрика задачи с решением

или

Эконометрика задачи с решением

Для нахождения интервальной оценки прогноза индивидуального значения Эконометрика задачи с решением по формуле (1.24) вычислим дисперсию его оценки:

Эконометрика задачи с решением
Эконометрика задачи с решением

Интервальная оценка для Эконометрика задачи с решением:

Эконометрика задачи с решением

или

Эконометрика задачи с решением

Итак, с надежностью 0,95 среднее значение спроса на товар на девятый год будет заключено от 345,9 до 468,9 (ед ), а ею индивидуальное значение -от 307,3 до 507,5 (ед ).

Как правило, прогноз развития изучаемого процесса на основе экстраполяции временных рядов оказывается эффективным, r рамка, краткосрочного или среднесрочного периода прогнозирования.

Автокорреляция остатков временного ряда

При моделировании реальных экономических процессов част возникают ситуации, в которых условия классической линейной модели регрессии оказываются нарушенными В частности, могут не выполняться предпосылки 3 и 4 регрессионного анализа (см. § 1.4) о том, что случайные возмущения (ошибки) модели имеют постоянную дисперсию и не коррелированны между собой. Так, например, при рассмотрении зависимости расходов на потребление от уровня доходов семей можно ожидать, что в более обеспеченных семьях вариация расходов выше, чем в малообеспеченных, т. е. дисперсии возмущений не одинаковы.

При анализе временных рядов мы часто сталкиваемся с ситуацией, когда наблюдаемые в данный момент значения зависимой переменной коррелированны с их значениями в предыдущие моменты времени, т. е. имеется корреляция между возмущениями в разные моменты времени.

Рассмотрим регрессионную модель временного (динамического) ряда. Упорядоченность наблюдений оказывается существенной в том случае, если прослеживается механизм влияния результатов предыдущих наблюдений на результаты последующих. Математически это выражается в том, что случайные величины Эконометрика задачи с решением в регрессионной модели не оказываются независимыми, в частности, условие Эконометрика задачи с решением не выполняется Такие модели называются моделями с наличием автокорреляции (сериальной корреляции). Рассмотрим в качестве примера /6 / временной ряд Эконометрика задачи с решением — ряд последовательных значений курса ценной бумаги Эконометрика задачи с решением, наблюдаемых в моменты времени 1,…. 100. Результаты наблюдений графически изображены на рис. 3.2. Из рисунка видно, что курс ценной бумаги Эконометрика задачи с решением имеет тенденцию к росту.

Эконометрика задачи с решением

Оценивая методом наименьших квадратов зависимость курса от времени (номера наблюдений), получим следующие результаты:

Эконометрика задачи с решением

Естественно предположить, что результаты предыдущих торгов оказывают влияние на результаты последующих: если в какой-то момент курс окажется завышенным по сравнению с реальным, то скорее всего он будет завышен на следующих торгах, т. е. имеет место положительная автокорреляция. Графически (см. рис 3.2) положительная автокорреляция выражается в чередовании тех зон, где наблюдаемые значения оказываются выше объясненных (лежащих на прямой Эконометрика задачи с решением), с зонами, где наблюдаемые значения ниже.

Отрицательная автокорреляция встречается в тех случаях, когда завышенные значения в предыдущих наблюдениях приводят к занижению их в наблюдениях последующих (наблюдения действуют друг на друга по принципу «маятника»). Графически это выражается в том, что результаты наблюдений Эконометрика задачи с решением и Эконометрика задачи с решением оказываются по разные стороны относительно прямой Эконометрика задачи с решением.

Метод наименьших квадратов при наличии коррелированности ошибок регрессии даст несмещенные и состоятельные (разумеется, неэффективные) оценки коэффициентов регрессии, однако, оценки их дисперсий несостоятельные и смешенные (как правило, в сторону занижения), т. е. результаты тестирования гипотез оказываются недостоверными.

Как правило, если автокорреляция присутствует, то наибольшее влияние на последующее наблюдение оказывает результат предыдущего наблюдения Так, например, если рассматривается ряд значений курса какой-либо ценной бумаги, то, очевидно, именно результат последних торгов служит основой для формирования курса на следующих торгах. Ситуация, когда на значение наблюдения у, оказывает основное влияние не результат Эконометрика задачи с решением, а более ранние значения, является достаточно редкой Чаще всего при этом влияние носит циклический характер, например, если наблюдения осуществляются ежедневно и имеют недельный цикл (например, сбор кинотеатра). В этом случае можно составить ряды наблюдений отдельно по субботам, воскресеньям и так далее, после чего наиболее сильная корреляция будет наблюдаться между соседними членами.

Таким образом, отсутствие корреляции между соседними членами позволяет считать, что корреляция отсутствует в целом, и обычный метод наименьших квадратов дает адекватные и эффективные результаты.

Наличие автокорреляции между соседними членами можно определить с помощью теста Дарбина- Уотсона. Этот критерий (тест) Дарбина- Уотсона основан на простой идее: если корреляция ошибок регрессии не равна нулю, то она присутствует и в остатках регрессии Эконометрика задачи с решением получающихся в результате применения обычного метода наименьших квадратов. В тесте Дарбина -Уотсона для оценки корреляции используется статистика вида

Эконометрика задачи с решением

В случае отсутствия автокорреляции выборочный коэффициент Эконометрика задачи с решением будет близким к нулю, а значение статистики Эконометрика задачи с решением — близко к двум, близость наблюдаемого значения к нулю должна означать наличие положительной автокорреляции, к четырем — отрицательной..

Тест Дарбина-Уотсона имеет один существенный недостаток -распределение статистики Эконометрика задачи с решением зависит не только от числа наблюдений, но и от значений регрессоров Эконометрика задачи с решением Это означает, что тест Дарбина -Уотсона, вообще говоря, не представляет собой статистический критерий, в том смысле, что нельзя указать критическую область, которая позволяла бы отвергнуть гипотезу об отсутствии корреляции, если бы оказалось, что в эту область попало наблюдаемое значение статистики Эконометрика задачи с решением.

Однако существуют два пороговых значения Эконометрика задачи с решением и Эконометрика задачи с решением зависящие только от числа наблюдений, числа регрессоров и уровня значимости, такие, что выполняются следующие условия.

Если фактически наблюдаемое значение Эконометрика задачи с решением:

а) Эконометрика задачи с решением то гипотеза об отсутствии автокорреляции не отвергается (принимается);

б) Эконометрика задачи с решением, то вопрос об отвержении или принятии гипотезы остается открытым (область неопределенности критерия);

в) Эконометрика задачи с решением, то принимается альтернативная гипотеза о положительной автокорреляции;

г) Эконометрика задачи с решением, то принимается альтернативная гипотеза об отрицательной автокорреляции

Графическая иллюстрация теста Дарбина-Уотсона приведена на рис. 3.3:

Эконометрика задачи с решением

Для Эконометрика задачи с решением-статистики найдены верхняя Эконометрика задачи с решением и нижняя Эконометрика задачи с решением границы на уровнях значимости

Эконометрика задачи с решением

Недостатками критерия Дарбина -Уотсона является наличие области неопределенности критерия и то, что критические значения Эконометрика задачи с решением-статистики определены для объемов выборки не менее 15. Тем не менее, тест Дарбина -Уотсона является наиболее употребляемым.

Задача №3.5.

Выявить на уровне значимости 0,05 наличие втокорреляции возмущений для временного ряда_у, по данным табл. 3.1.

Решение:

В примере 3.2 получено уравнение тренда

Эконометрика задачи с решением

В табл. 3.4 приведен расчет данных, необходимых для вычисления ^-статистики.

Эконометрика задачи с решением

Находим суммы

Эконометрика задачи с решением

подставляем в формулу (3.9) и вычисляем значение статистики

Эконометрика задачи с решением

По таблице значений критерия Дарбина — Уотсона при Эконометрика задачи с решением определим критические значения: Эконометрика задачи с решением. Фактически найденное Эконометрика задачи с решением находится в пределах от Эконометрика задачи с решением до Эконометрика задачи с решением. При Эконометрика задачи с решением критических значений Эконометрика задачи с решением -статистики в таблице нет, но судя по тенденции их изменений с уменьшением Эконометрика задачи с решением, можно предполагать, что найденное значение останется в игтервале Эконометрика задачи с решением.

Для рассматриваемого временного ряда спроса на уровне значимости 0,05 гипотеза об отсутствии автокорреляции возмущений принимается.

Готовые задачи по эконометрике

Эконометрика – это самостоятельная научная дисциплина, объединяющая совокупность теоретических результатов, приемов, методов и моделей, предназначенных для того, чтобы на базе экономической теории, экономической статистики и экономических измерений, математико-статистического инструментария придавать конкретное количественное выражение общим (качественным) закономерностям, обусловленным экономической теорией.

Эконометрика – одна из базовых дисциплин экономического образования во всем мире.

Эконометрические модели парной регрессии

Эконометрика является одной из важнейших составляющих современного экономического образования. Применение эконометрических методов является необходимым условием проведения качественных экономических исследований.

Современную эконометрику можно разделить на два направления: теоретическую и прикладную.

Теоретическая эконометрика занимается изучением специальных вероятностных (т.н. регрессионных) моделей, используя при этом аппарат теории вероятностей и математической статистики.

В основе прикладной эконометрики лежит применение вероятностных моделей для количественного описания и анализа экономических явлений и процессов.

Между этими направления существует глубокая двусторонняя взаимосвязь. Основные результаты теоретической эконометрики в виде статистических тестов и новых классов вероятностных моделей находят свое применение при решении прикладных задач. С другой стороны, в прикладной эконометрике в процессе исследования экономических явлений возникают ситуации или наблюдаются эффекты, которые не описываются существующими моделями. Это является предпосылкой для дальнейшего развития теоретического аппарата.

Термин «эконометрика» дословно читается как «измерения в экономике». Однако не каждое измерение в экономике относится к эконометрике, поэтому дадим точное определение.

Эконометрика (или эконометрия) изучает методы оценивания параметров моделей, характеризующих количественную взаимосвязь между экономическими показателями, а также рассматривает основные направления применения этих моделей в экономических исследованиях.

Предметом изучения эконометрики являются социально-экономические системы, процессы или явления, описываемые моделями. Методы исследования — математические методы, базирующиеся на теории вероятностей и математической статистике (далее ТВиМС), и других разделах математики. Структурно эконометрические исследования приведены на рис. 1.1.

Задачи по эконометрике

Построение эконометрической модели условно делят на четыре этапа:

  1. спецификация модели, т.е. её запись в математической форме;
  2. сбор и подготовка экономической информации;
  3. оценивание параметров модели;
  4. проверка модели на достоверность.

Этапы 1) и 2) взаимозаменяемы. Полученную модель применяют для прогнозирования, планирования и с другими целями.

Термин «эконометрика» был введен в научный оборот в начале 20-го века. В 1928 г. была опубликована работа Ч. Кобба и П. Дугласа, посвященная исследованию производственной функции, связывающей объём выпуска продукции в отрасли, затраты труда и затраты капитала. Модель производственной функции Кобба-Дугласа является, пожалуй, первым примером использования эконометрики и отражает классический подход к эконометрическому анализу.

Окончательное становление эконометрики относят к 1930 году, когда европейскими и американскими учёными было основано «Эконометриче-ское сообщество». С 1933 г. выходит журнал «Эконометрия», издающийся этим сообществом.

Основателями эконометрии считаются Р. Фриш, Я. Тинберген, И. Шумпетер, Л. Клейн, Р. Стоун и другие учёные. Их целью было объединение экономической теории с математическими и статистическими методами. Модели, предложенные этими учеными, способствовали развитию математического и статистического аппарата и расширению области применения эконометрики.

После Второй мировой войны были построены комплексные эконо-метрические модели на макроуровне, в которых основное внимание уделялось спросу, финансовому состоянию, налогам, прибылям, ценам и другим важнейшим экономическим показателям.

Наиболее используемыми в эконометрии являются: производственные функции; функции потребления различных групп населения; функции предпочтения потребителей; межотраслевые модели производства, распределения и потребления продукции; модели экономического равновесия.

Помимо экономических исследований, эконометрические методы успешно применяются в биологии, истории, социологии и некоторых других общественных и естественных науках, где необходимо оценивать взаимосвязи между большим количеством переменных.

Важность данной науки подчеркивает тот факт, что за эконометрические исследования многократно присуждалась Нобелевская премия в области экономики.

В настоящее время эконометрия продолжает динамично развиваться и охватывает всё новые сферы экономических знаний.

Особенности эконометрических моделей

Математическая модель социально-экономической системы, процесса или явления представляет собой абстрактную запись основных его закономерностей с помощью математических формул и соотношений. Эконометрические модели относятся к функциональным стохастическим моделям. Они количественно описывают корреляционно-регрессионную связь между исследуемыми показателями.

Эконометрическая модель содержит три группы элементов: вектор Задачи по эконометрике — неизвестные характеристики объекта, которые необходимо определить; вектор Задачи по эконометрике— характеристики внешних по отношению к объекту условий, которые, изменяясь, влияют на изучаемые параметры; матрица Задачи по эконометрике — совокупность внутренних параметров объекта.

В данном случае Задачи по эконометрике и Задачи по эконометрике являются экзогенными параметрами (т.е., параметрами, которые определяются вне модели), a Задачи по эконометрике — эндогенный параметр, значения которого определяются из модели.

В общем виде эконометрическую модель можно записать в виде:

Задачи по эконометрике

Здесь Задачи по эконометрике — входные экономические показатели, Задачи по эконометрике — случайная (стохастическая) составляющая, которые посредством функции регрессии влияют на Задачи по эконометрике.

Для построения эконометрической модели необходимо выполнение следующих условий:

наличие достаточно большой совокупности наблюдений;

  • однородность совокупности наблюдений;
  • точность входных данных.

В отношении оценивания степени однородности совокупности наблюдений существует много различных подходов. Впрочем, все исследователи согласны с тем, что экономические наблюдения, как правило, неоднородны. Поэтому речь может идти лишь о достижении определенной степени однородности, которая обеспечит достоверность экономических выводов.

Различают качественную и количественную однородность. Под первой подразумевается однотипность экономических объектов, их одинаковое качество и определенное назначение. Под второй — однородность группы единиц совокупности, которая определяется на основе количественных показателей.

В математической статистике есть ряд критериев, которые позволяют сделать вывод, являются ли рассматриваемые случайные выборки однородными и можно ли их объединять в одну совокупность для проведения эконометрических исследований.

Точность выходных данных существенно влияет на выводы, которые могут быть сделаны на основе эконометрического моделирования. Погрешности могут возникать при формировании алгоритма расчёта показателей, при округлении, повторном учёте тех или иных показателей и др. Все ошибки делят на систематические, т.е. такие, которые имеют постоянную величину, либо изменяются, подчиняясь определенной функциональной зависимости, и случайные, которые обусловлены влиянием случайных факторов при формировании показателей.

При формировании совокупности наблюдений необходимо обращать внимание и на наличие ошибок во входных данных. Если нет возможности избежать этих ошибок, то необходимо применять специальные методы оценивания параметров эконометрической модели.

Наиболее часто используемым методом для количественной оценки взаимосвязей в эконометрии является корреляционно-регрессионный анализ. Суть метода заключается в определении оценок количественного влияния показателей на исследуемую величину и построении на этой основе строгой зависимости между ними, которая в общем виде записывается в виде некоторой функции:

Задачи по эконометрике

где Задачи по эконометрике — исследуемая величина, Задачи по эконометрике — показатели, влияющие на исследуемую величину.

Чаще всего с этой целью используется линейная функция. Однако возможны и другие формы зависимостей: экспоненциальная, степенная, гиперболическая и другие.

Каждая из рассматриваемых функций может быть сведена к линейной с помощью алгебраических преобразований или путем замены. По этой причине именно исследованию линейной зависимости уделяется значительное внимание.

В реальной ситуации наблюдаемые величины отклоняются от данной функциональной формы связи, поэтому в регрессионную модель включается стохастическая составляющая Задачи по эконометрике, которую еще называют отклонением или остатком.

В классической линейной эконометрической модели переменная s интерпретируется как случайная переменная, которая имеет нормальный закон распределения с математическим ожиданием, равным нулю, и постоянной дисперсией.

Парная регрессия. Однофакторные линейные эконометрические модели

Простейшими эконометрическими моделями являются модели парной регрессии. Парная регрессия представляет собой зависимость между двумя переменными — Задачи по эконометрике и Задачи по эконометрике, т.е. модель вида:

Задачи по эконометрике

Здесь Задачи по эконометрике — зависимая переменная (результативный признак); Задачи по эконометрике -независимая, или объясняющая, переменная (признак-фактор). Знак Задачи по эконометрике означает, что между переменными Задачи по эконометрике и Задачи по эконометрике нет строгой функциональной зависимости, поэтому величина у складывается из двух составляющих:

Задачи по эконометрике

Таким образом, Задачи по эконометрике — фактическое значение результативного признака; Задачи по эконометрике — теоретическое значение результативного признака, найденное по уравнению регрессии; Задачи по эконометрике — случайная величина, характеризующая отклонения между Задачи по эконометрике и Задачи по эконометрике. Случайная величина s включает влияние не учтённых в модели факторов, случайных ошибок и особенностей измерения.

В парной регрессии выбор вида математической функции (спецификация) Задачи по эконометрике может быть осуществлён тремя способами:

1) графическим;

2) аналитическим, т.е. исходя из теории изучаемой взаимосвязи;

3) экспериментальным.

Чаще всего эти способы применяют комплексно.

Графический способ основан на внешнем виде корреляционного поля. Напомним, что корреляционным полем называют множество точек Задачи по эконометрике в декартовой системе координат. Здесь Задачи по эконометрике — номер наблюдения, Задачи по эконометрике — количество наблюдений (объём статистической выборки).

Если точки корреляционного поля выстраиваются как бы вдоль гипотетической прямой, то в качестве модели парной регрессии следует брать линейную модель:

Задачи по эконометрике

В противном случае нужно выбирать нелинейную модель.

Аналитический способ выбора типа уравнения регрессии основан на изучении материальной природы связи исследуемых признаков. Здесь важную роль играет опыт экономиста, который знаком с наработанными схемами зависимостей между социально-экономическими показателями.

При использовании экспериментального способа сравнивают величины остаточной дисперсии, рассчитанной для разных моделей:

Задачи по эконометрике

Чем меньше величина остаточной дисперсии Задачи по эконометрике, тем меньше влияние не учтённых в уравнении регрессии факторов и тем лучше уравнение регрессии подходит к исходным данным.

В эконометрическом моделировании следует придерживаться принципа — чем сложнее модель, тем большее количество наблюдений Задачи по эконометрике требуется для её построения.

Сложность модели можно определить показателем Задачи по эконометрике — количеством неизвестных параметров, которые являются множителями при переменной Задачи по эконометрике или при функциях от переменной Задачи по эконометрике.

Например, Задачи по эконометрике для следующих моделей:

Задачи по эконометрике

Соответственно Задачи по эконометрике для моделей:

Задачи по эконометрике

При построении эконометрической модели необходимо придерживаться статистического правила:

Задачи по эконометрике

Таким образом, если Задачи по эконометрике, то Задачи по эконометрике. Следовательно, модель можно строить, имея не менее семи наблюдений. При Задачи по эконометрике соответственно имеем Задачи по эконометрике.

Простейшими эконометрическими моделями являются однофакторные линейные модели парной регрессии. В этом случае предполагается, что между двумя исследуемыми показателями существует линейная корреляционная зависимость. В общем виде однофакторная линейная эконометрическая модель имеет вид:

Задачи по эконометрике

где Задачи по эконометрике — зависимая переменная, Задачи по эконометрике — независимая переменная, Задачи по эконометрике -оцениваемые параметры, Задачи по эконометрике — отклонение линии регрессии от фактических наблюдений.

Чтобы найти уравнение регрессии, необходимо найти неизвестные параметры Задачи по эконометрике и Задачи по эконометрике. Их оценка осуществляется на основании статистических данных (совокупности наблюдений).

При нахождении оценок параметров уравнения регрессии возникает вопрос, каким критерием следует воспользоваться, чтобы найденная прямая наиболее точно отражала зависимость между показателями. В любом случае расчетные значения зависимой переменной, найденные с помощью уравнения регрессии, будут отклоняться истинных наблюдений.

В качестве критерия можно было бы рассматривать сумму этих отклонений. Однако, поскольку одни имеют разные знаки, то при суммировании будут взаимно «погашаться». Чтобы избежать этого, в качестве критерия предлагается рассматривать сумму квадратов этих отклонений. Этот принцип и лежит в основе метода наименьших квадратов (МНК).

Постановка задачи следующая. Уравнение регрессии будем искать в виде:

Задачи по эконометрике

где Задачи по эконометрике — оценки величин Задачи по эконометрике и Задачи по эконометрике. Необходимо подобрать такие значения Задачи по эконометрике, которые минимизируют сумму квадратов отклонении расчетного значения Задачи по эконометрике от наблюдаемого Задачи по эконометрике, т.е. Задачи по эконометрике.

Заметим, что применение МНК возможно при выполнении следующих условий:

  1. Математическое ожидание остатков (ошибок) равно нулю.
  2. Случайные величины Задачи по эконометрике имеют одинаковую дисперсию.
  3. Остатки распределены по нормальному закону с математическим ожиданием, равным нулю и постоянной дисперсией.

Рассмотрим сумму квадратов отклонений как функцию двух переменных Задачи по эконометрике:

Задачи по эконометрике

Для того чтобы найти минимум этой функции, вычислим ее частные производные первого порядка по переменным Задачи по эконометрике и приравняем их к нулю:

Задачи по эконометрике

После преобразований получаем систему нормальных уравнений:

Задачи по эконометрике

Решаем её относительно Задачи по эконометрике и Задачи по эконометрике, и получаем формулы, для вычисления параметров уравнения регрессии:

Задачи по эконометрике

Отметим следующее свойство оценок МНК: линия регрессии всегда проходит через среднюю точку Задачи по эконометрике то есть: Задачи по эконометрике. С учётом этого оценку параметра Задачи по эконометрике можно найти, воспользовавшись соотношением:

Задачи по эконометрике

Преобразовав формулу, имеем:

Задачи по эконометрике

Умножив числитель и знаменатель на Задачи по эконометрике, получаем ещё одну формулу оценки коэффициента регрессии:

Задачи по эконометрике

Рассмотрим экономический смысл этого коэффициента. Если в уравнении регрессии Задачи по эконометрике в качестве аргумента взять Задачи по эконометрике, то получим:

Задачи по эконометрике

Таким образом, коэффициент регрессии в линейной модели показывает, на сколько единиц в среднем изменится зависимая переменная, если независимую переменную увеличить на единицу при прочих неизменных условиях. Значению свободного члена Задачи по эконометрике объяснений не дают.

Задача №1.1.

В таблице 1.1 приведены данные за восемь лет об объёме прямых иностранных инвестициях (далее ПИИ) в экономику страны и объёме валового внутреннего продукта (далее ВВП).

Задачи по эконометрике

Необходимо найти уравнение линейной регрессии, отражающее зависимость ВВП от ПИИ.

Решение:

Введём в MS Excel данные. С помощью «Мастера диаграмм» построим точечную диаграмму — корреляционное поле (рис. 1.2).

Задачи по эконометрике

Для упрощения расчётов составим таблицу 1.2.

Задачи по эконометрике

Найдём оценки параметров уравнения регрессии, используя формулы:

Задачи по эконометрике
Задачи по эконометрике

Уравнение регрессии имеет вид:

Задачи по эконометрике

Коэффициент регрессии Задачи по эконометрике показывает, что при увеличении ПИИ на 1 млрд. долларов, ВВП увеличится в среднем на 23,5982 млрд. долл.

Проверка адекватности однофакторной линейной эконометрической модели, значимости её параметров и построение прогнозов

Следующий этап эконометрического моделирования заключается в оценке качества полученного уравнения и его параметров.

Для оценки тесноты и направления связи между двумя показателями используется коэффициент парной корреляции. Его можно вычислить по формуле:

Задачи по эконометрике

где Задачи по эконометрике — ковариация, а Задачи по эконометрике — дисперсия Задачи по эконометрике и Задачи по эконометрике соответственно.

Для вычисления коэффициента парной корреляции можно также использовать преобразованную формулу:

Задачи по эконометрике

В отличие от коэффициента регрессии, коэффициент корреляции является показателем относительной меры связи между двумя показателями. Значения коэффициента корреляции всегда находятся в пределах:

Задачи по эконометрике

Положительное значение коэффициента свидетельствует о прямой связи, т.е. с увеличением независимой переменной Задачи по эконометрике, увеличивается в среднем и значение Задачи по эконометрике. Если коэффициент корреляции отрицательный, то связь обратная.

Если модуль коэффициента парной корреляции близок к 1 Задачи по эконометрике, то линейная связь между показателями тесная. Если же коэффициент близок к 0 Задачи по эконометрике, то связь практически отсутствует.

Если Задачи по эконометрике, то между случайными величинами Задачи по эконометрике и Задачи по эконометрике существует линейная функциональная зависимость. Коэффициент корреляции равен нулю, когда случайные величины Задачи по эконометрике и Задачи по эконометрике независимы

В случае, когда Задачи по эконометрике и Задачи по эконометрике, то между случайными величинами Задачи по эконометрике и Задачи по эконометрике существует корреляционная зависимость. Причём, чем ближе значение коэффициента по модулю к единице, тем теснее линейная связь между показателями.

Таким образом, коэффициент парной корреляции характеризует тесноту и направление линейной связи между показателями. Следует отметить, что знак коэффициента корреляции всегда совпадает со знаком коэффициента регрессии.

Связь между коэффициентом парной корреляции Задачи по эконометрике и коэффициентом регрессии Задачи по эконометрике выражается следующей формулой:

Задачи по эконометрике

Ещё одним показателем адекватности линейной модели является коэффициент детерминации Задачи по эконометрике. Он определяется по формуле:

Задачи по эконометрике

где Задачи по эконометрике — общая дисперсия, а Задачи по эконометрике — дисперсия, объясняемая регрессией.

Эти показатели вычисляются по формулам:

Задачи по эконометрике

Таким образом, коэффициент детерминации — это часть дисперсии, которая объясняет регрессию. Величина коэффициента детерминации изменяется в пределах от нуля до единицы:

Задачи по эконометрике

Если значение Задачи по эконометрике близко к единице, то модель адекватна, если близко к нулю, то неадекватна.

Кроме того, коэффициент детерминации показывают, какая часть вариации (изменения) зависимой переменной Задачи по эконометрике объясняется вариацией независимой переменной Задачи по эконометрике. Для определения доли вариации Задачи по эконометрике за счет неучтенных в модели факторов рассчитывается т.н. коэффициент остаточной детерминации:

Задачи по эконометрике

Рассмотренные выше коэффициенты парной корреляции и детерминации, как показатели адекватности модели, имеют между собой связь, которая выражается формулой:

т.е. коэффициент детерминации равен квадрату коэффициента корреляции.

Осуществляется также проверка значимости коэффициента корреляции, которая подразумевает проверку статистической гипотезы Задачи по эконометрикеЗадачи по эконометрике против альтернативной гипотезы Задачи по эконометрике, т.е. проверяется гипотеза, заключающаяся в том, что случайные величины Задачи по эконометрике и Задачи по эконометрике не коррелируют друг с другом.

Для проверки гипотезы рассчитывается Задачи по эконометрике -статистика Стьюдента:

Задачи по эконометрике

где Задачи по эконометрике — число степеней свободы.

Для заданного уровня значимости (допустимой вероятности ошибки) Задачи по эконометрике и числа степеней свободы Задачи по эконометрике находится табличное значение критерия. Если Задачи по эконометрике, то гипотеза Задачи по эконометрике об отсутствии корреляционной связи между переменными отвергается, в противном случае — принимает.

Для проверки значимости параметров уравнения парной регрессии Задачи по эконометрике и Задачи по эконометрике также используется Задачи по эконометрике-статистика Стьюдента. Расчётные значения критерия можно найти по формулам:

Задачи по эконометрике

В знаменателях этих дробей стоят случайные ошибки параметров эконометрической модели:

Задачи по эконометрике

где Задачи по эконометрике — несмещенная оценка дисперсии остатков.

Найденные расчётные значения берут по модулю и сравнивают с табличным Задачи по эконометрике, которое определено по уровню значимости Задачи по эконометрике и числу степеней свободы Задачи по эконометрике. Если модуль расчётного значения больше табличного, то соответствующий параметр является значимым. В противном случае он не значим.

Замечание 1.1. Требование значимости коэффициента регрессии Задачи по эконометрике является обязательным. Свободный член Задачи по эконометрике носит вспомогательный характер. Его незначимость по критерию Стьюдента не является критичным для эконометрической модели.

Для проверки адекватности эконометрической модели используют Задачи по эконометрике-критерий Фишера. Расчётное значение критерия находится по формуле:

Задачи по эконометрике

Данное число сравнивается с табличным значением распределения Фишера, найденного по заданному уровню значимости Задачи по эконометрике и числам степеней свободы Задачи по эконометрике. Если расчётное значение Задачи по эконометрике-критерия превышает табличное, то нулевая гипотеза о равенстве нулю коэффициента регрессии отвергается, и модель признаётся адекватной. В противном случае — гипотеза принимается.

Возможно эта страница вам будет полезна:

Задача №1.2.

По данным примера 1.1 найти значение коэффициентов парной корреляции и детерминации. Проверить значимость коэффициента корреляции, параметров регрессии и значимость модели в целом при уровне значимости Задачи по эконометрике = 0,05.

Согласно таблице 1.1, объём ПИИ в последнем временном периоде составлял Задачи по эконометрике млрд. долл. Предполагается, что прогнозное значение ПИИ в следующем году составит 120% от Задачи по эконометрике, т.е. Задачи по эконометрике млрд. долл. Требуется построить точечный и интервальный прогнозы для объёма ВВП на следующий год.

Решение:

Рассчитаем линейный коэффициент корреляции:

Задачи по эконометрике

Близость коэффициента корреляции к единице указывает на тесную линейную связь между признаками. Коэффициент детерминации

Задачи по эконометрике

показывает, что уравнением регрессии объясняется 98,41% дисперсии результативного признака, а на долю прочих факторов приходится 1,59%.

Проверим значимость коэффициента парной корреляции по критерию Стьюдента. Расчётное значение критерия равно:

Задачи по эконометрике

По уровню значимости Задачи по эконометрике и количеству степеней свободы Задачи по эконометрике определим табличное значение критерия Задачи по эконометрике.

Расчётное значение, взятое по модулю, больше табличного. Следовательно, коэффициент корреляции является значимым с надёжностью не менее 95% Задачи по эконометрике.

Для оценки статистической значимости параметров регрессии рассчитаем Задачи по эконометрике-критерий Стьюдента. Вычислим случайные ошибки параметров и фактические значения Задачи по эконометрике-статистик:

Задачи по эконометрике

Табличное значение Задачи по эконометрике-критерия Стьюдента при Задачи по эконометрике и числе степеней свободы Задачи по эконометрике определено выше и составляет Задачи по эконометрике.

Модули обоих расчётных значения больше табличного, поэтому признаём статистическую значимость параметров регрессии с надёжностью не менее 95%.

Оценим качество уравнения регрессии в целом с помощью Задачи по эконометрике -критерия Фишера. Рассчитаем фактическое значение Задачи по эконометрике -критерия:

Задачи по эконометрике

Количество степеней свободы для критерия Фишера Задачи по эконометрике, Задачи по эконометрике. При уровне значимости Задачи по эконометрике табличное значение критерия равно:

Задачи по эконометрике

Так как Задачи по эконометрике, то найденная эконометрическая модель является статистически значимой с надёжностью не менее 95%.

Для вычисления точечного прогноза объёма ВВП достаточно в уравнение регрессии подставить предполагаемый объём ПИИ, т.е. 30,72 млрд. долл. Точечный прогноз для ВВП будет следующим:

Задачи по эконометрике

Ошибка прогноза составляет:

Задачи по эконометрике

Интервальный прогноз для Задачи по эконометрике оценивают по формуле Задачи по эконометрике.

Поэтому доверительный интервал будет следующим:

Задачи по эконометрике

Замечание 1.2. Эконометрическую модель можно считать достоверной, если построенные с помощью неё прогнозы отклоняются от фактических данных не более, чем на 10%. Модель из Задача 1.1 была построена по статистическим данным 2007-2014 гг. Фактические данные за 2015 г. составили Задачи по эконометрике млрд. долл. и Задачи по эконометрике млрд. долл. Подставив в найденное уравнение регрессии Задачи по эконометрике, мы оценим теоретическое (прогнозное) значение у, т.е.

Задачи по эконометрике

Абсолютное отклонение составит:

Задачи по эконометрике

Относительное отклонение:

Задачи по эконометрике

Так как Задачи по эконометрике, то построенную модель парной регрессии можно считать адекватной и пригодной для краткосрочных прогнозов.

Оценивание параметров в однофакторных нелинейных эконометрических моделях

Необходимость построения нелинейных моделей парной регрессии приводит к некоторому усложнению преобразований данных и вычислений. Однако при современном развитии информационных технологий эти трудности вполне преодолимы.

Задача №1.3.

В таблице 1.3 приведены данные по десяти однотипным заводам, специализирующихся на ремонте шахтного оборудования в Донецком регионе. Годовой объём выпуска продукции Задачи по эконометрике (млн. руб.) зависит от фонда оплаты труда Задачи по эконометрике (млн. руб.).

Задачи по эконометрике

Требуется:

1) средствами MS Excel построить нелинейные уравнения парной регрессии Задачи по эконометрике от Задачи по эконометрике;

2) выбрать лучшую модель.

Решение:

Принято различать два класса уравнений нелинейных регрессий. Первый из них включает нелинейные уравнения относительно объясняющих переменных, но линейные по оцениваемым параметрам.

К ним, например, относятся: многочлены (полиномы) различных степеней

Задачи по эконометрике

и т.д.; равносторонняя гипербола

Задачи по эконометрике

полулогарифмическая функция

Задачи по эконометрике

Регрессии первого класса приводятся к линейному виду заменой переменных. Дальнейшая оценка параметров производится с помощью МНК.

Например, парабола второй степени

Задачи по эконометрике

приводится к линейному виду с помощью замены:

Задачи по эконометрике

В результате приходим к двухфакторному уравнению

Задачи по эконометрике

оценка параметров которого осуществляется при помощи МНК.

Равносторонняя гипербола

Задачи по эконометрике

может быть использована для характеристики связи удельных расходов сырья, материалов, топлива от объёма выпускаемой продукции, времени обращения товаров от величины товарооборота, процента прироста заработной платы от уровня безработицы (кривая Филипса), расходов на непродовольственные товары от доходов или общей суммы расходов (кривые Энгеля) и в других случаях. Гипербола приводится к линейному уравнению заменой: Задачи по эконометрике. Аналогичным образом приводятся к линейному виду зависимости Задачи по эконометрике, Задачи по эконометрике и др.

Второй класс нелинейных уравнений — регрессии, нелинейные по оцениваемым параметрам. К ним, например, относятся: степенная Задачи по эконометрике; показательная Задачи по эконометрике; экспоненциальная Задачи по эконометрике. Эти модели приводятся к линейному виду логарифмированием и заменой переменных.

Покажем, как это делается на примере степенной функции Задачи по эконометрике:

Задачи по эконометрике

где

Задачи по эконометрике

Таким образом, мы применяем МНК к преобразованным данным, а затем потенцированием (обратная замена) находим искомое уравнение.

Широкое использование степенной функции связано с тем, что параметр Задачи по эконометрике в ней имеет чёткое экономическое истолкование — он является коэффициентом эластичности.

Такие задачи удобно решать в MS Excel. Для этого нужно выполнить следующую последовательность действий:

• ввести экспериментальные данные в столбцы (или построчно);

• на основании введённых данных построить точечную диаграмму;

• активизировать данные диаграммы, щелкнув по точкам левой кнопкой «мыши»;

• в пункте меню «Диаграмма» выбрать опцию «Добавить линию тренда…»;

• в пункте меню «Тип» выбрать «Полиномиальная (степень 2-я)» или «Логарифмическая», или «Степенная», или «Экспоненциальная»;

• в пункте «Параметры» — «Показывать уравнение на диаграмме» и «Поместить на диаграмму величину достоверности аппроксимации (R1)».

Для величины достоверности аппроксимации выполняется неравенство: Задачи по эконометрике. Формула расчёта Задачи по эконометрике (см. справку MS Excel) содержит сумму квадратов отклонений. Чем ближе Задачи по эконометрике к единице, тем лучше модель описывает фактические данные.

На рис. 1.3-1.6 поместим корреляционное поле, соответствующую линию регрессии, уравнение регрессии и величину достоверности аппроксимации Задачи по эконометрике.

Задачи по эконометрике
Задачи по эконометрике

Наибольшую величину достоверности аппроксимации Задачи по эконометрике имеет полиномиальная модель второй степени (рис. 1.4). Поэтому, на первый взгляд, эту модель можно признать лучшей.

Однако ранее было приведено статистическое правило:

Задачи по эконометрике

Полиномиальная модель второй степени

Задачи по эконометрике

имеет два неизвестных параметра Задачи по эконометрике и Задачи по эконометрике, которые являются множителями при переменной Задачи по эконометрике или при функциях от переменной Задачи по эконометрике. Поэтому Задачи по эконометрике и должно выполняться условие Задачи по эконометрике.

Т.к. в Задаче 1.3 имеем Задачи по эконометрике, то признать данную модель лучшей было бы некорректно. Отвергаем полиномиальную модель второй степени и рассматриваем остальные.

Среди оставшихся моделей наибольшую величину достоверности аппроксимации Задачи по эконометрике имеет экспоненциальная модель (рис. 1.6):

Задачи по эконометрике

Введём замену Задачи по эконометрике и запишем модель в виде, который используется в MS Excel:

Задачи по эконометрике

Логарифмируя обе части уравнения, получим

Задачи по эконометрике

Следовательно, экспоненциальная модель имеет один неизвестный параметр Задачи по эконометрике, который является множителем при переменной Задачи по эконометрике. Поэтому Задачи по эконометрике и условие Задачи по эконометрике выполняется,т.к. Задачи по эконометрике.

Значит, лучшей моделью является экспоненциальная модель (рис. 1.6),

Задачи по эконометрике

Задача 1.3 выполнена.

Заканчивая эту главу, заметим, что, эконометрические модели парной регрессии описаны во многих учебниках и учебных пособиях. Несмотря на свою простоту, эти модели весьма востребованы в практических задачах экономики.

Множественная регрессия в эконометрических задачах. Производственная функция Кобба-Ду гласа в эконометрическом моделировании

Американский экономист Пол Дуглас в 30-е годы XX в. наблюдал за данными перерабатывающей промышленности США на протяжении двадцати лет и заметил зависимость между экономическими показателями. Он не сумел определить функцию, описывающую эту зависимость, и обратился в 1927 г. к математику Чарльзу Коббу, который предложил следующую функцию:

Задачи по эконометрике

где Задачи по эконометрике — объём выпущенной продукции; Задачи по эконометрике — затраты труда; Задачи по эконометрике — затраты производственных фондов; Задачи по эконометрике и Задачи по эконометрике — неизвестные параметры модели, определяемые с помощью МНК на основе эмпирических данных.

Так появилась производственная функция Кобба-Дугласа, принадлежащая к наиболее известным производственным функциям, широко применяемым в экономических исследованиях.

С точки зрения эконометрии эта функция — не что иное, как двух-факторная нелинейная регрессионная модель. С точки зрения математики — мультипликативная степенная функция.

Для определения неизвестных параметров этой модели прологарифмируем левую и правую части функции:

Задачи по эконометрике

Введём замены

Задачи по эконометрике

и получим линейную модель

Задачи по эконометрике

С помощью МНК будем искать параметры Задачи по эконометрике и Задачи по эконометрике Система нормальных уравнений имеет вид:

Задачи по эконометрике

Продемонстрируем на конкретных данных этапы построения производственной функции Кобба-Дугласа.

Задача №2.1.

Финансово-промышленная группа «Росслад» владеет шестнадцатью заводами по производству сахара. Имеются данные (табл. 9.3) прошлого года о выпуске продукции у (млн. руб.), затратах труда Задачи по эконометрике (млн. руб.) и затратах производственных фондов (ПФ) Задачи по эконометрике (млн. руб.).

Задачи по эконометрике

Требуется:

A) Построить производственную функцию Кобба-Дугласа. Б) Рассчитать характеристики:

1) среднюю производительность труда;

2) среднюю фондоотдачу;

3) предельную производительность труда;

4) предельную фондоотдачу;

5) эластичность выпуска продукции по затратам труда;

6) эластичность выпуска продукции по ПФ;

7) потребность в ресурсах труда;

8) потребность в ПФ;

9) фондовооружённость труда;

10) предельную норму замещения затрат труда производственными фондами;

11) эластичность замещения ресурсов.

B) Найти прогноз выпуска Задачи по эконометрике для заданных значений Задачи по эконометрике. руб. и Задачи по эконометрике. руб.

Решение:

А) Составим расчётную таблицу 2.2.

Задачи по эконометрике

Для наших данных система нормальных уравнений будет следующей:

Задачи по эконометрике

Введём в рассмотрение матрицы

Задачи по эконометрике

Запишем систему в матричном виде

Задачи по эконометрике

Согласно методу обратной матрицы

Задачи по эконометрике

Обратную матрицу находим с помощью Microsoft Excel. Напомним, что операции с матрицами желательно завершать нажатием клавиши «F2» и «Ctrl+Shift+Enter». Итак, имеем:

Задачи по эконометрике

Так как

Задачи по эконометрике

Значения неизвестных параметров:

Задачи по эконометрике

Производственная функция Кобба-Дугласа имеет вид:

Задачи по эконометрике

Б) Рассчитаем основные характеристики производственной функции: 1) средняя производительность труда равна:

Следовательно, с увеличением затрат труда Задачи по эконометрике (при неизменных затратах ПФ Задачи по эконометрике) средняя производительность труда снижается. И, наоборот, увеличение затрат ПФ (при неизменных затратах труда) ведёт к росту средней производительности труда;
2) средняя фондоотдача равна:

Задачи по эконометрике

Таким образом, с увеличением затрат ПФ (при неизменных затратах труда) средняя фондоотдача снижается. Увеличение же затрат труда (при неизменных затратах ПФ) ведёт к росту средней фондоотдачи; 3) предельная производительность труда:

Задачи по эконометрике

Следовательно, с увеличением затрат труда (при неизменных затратах ПФ) предельная производительность труда снижается. Наоборот, увеличение затрат ПФ (при неизменных затратах труда) ведёт к росту предельной производительности труда;

4) предельная фондоотдача:

Задачи по эконометрике

Таким образом, с увеличением затрат ПФ (при неизменных затратах труда) предельная фондоотдача снижается. Увеличение же затрат труда (при неизменных затратах ПФ) ведёт к росту предельной фондоотдачи; 5) эластичность выпуска продукции по затратам труда:

Задачи по эконометрике

Данный показатель указывает на то, что при увеличении затрат труда Задачи по эконометрике на 1% выпуск продукции у предельно увеличивается на 0,2743%; 6) эластичность выпуска продукции по ПФ:

Задачи по эконометрике

При увеличении ПФ на 1% выпуск продукции может предельно увеличиться на 0,6892%;

7) производственная функция позволяет рассчитать потребность в одном из ресурсов при заданном объеме выпуска продукции Задачи по эконометрике и заданной величине другого ресурса.

Потребность в ресурсах труда:

Задачи по эконометрике

8) потребность в ПФ:

Задачи по эконометрике

9) производственная функция позволяет исследовать вопросы соотношения, замещения, взаимодействия ресурсов. В частности, определяется важный экономический показатель — фондовооружённость труда:

Задачи по эконометрике

10) взаимодействующие в рамках производственной функции ресурсы могут замещать друг друга. Предельная норма замещения затрат труда Задачи по эконометрике производственными фондами Задачи по эконометрике равна:

Задачи по эконометрике

Предельная норма замещения зависит не только от параметров Задачи по эконометрике и Задачи по эконометрике производственной функции Кобба-Дугласа, но и от соотношения объёмов ресурсов. Знак «минус» означает, что при фиксированном объёме выпуска продукции Задачи по эконометрике необходимо при уменьшении одного ресурса увеличивать другой.

11) влияние соотношения объемов ресурсов на предельную норму замещения Задачи по эконометрике находит свое выражение в эластичности замещения ресурсов. Этот показатель определяется как отношение относительных приращений фондовооружённости труда и предельной нормы замещения ресурсов:

Задачи по эконометрике

Эластичность замещения ресурсов для производственной функции Кобба-Дугласа всегда равна единице. Т.е. изменению фондовооружённости труда на 1% соответствует изменение предельной нормы замещения также на 1%.

В) Найдём точечный прогноз выпуска продукции для заданных значений

Задачи по эконометрике
Задачи по эконометрике

Задача 2.1 решена полностью.

Многофакторные линейные эконометрические модели

Ввиду чёткой интерпретации результатов наиболее широко в множественной регрессии используется линейная функция.

Рассмотрим многофакторную линейную эконометрическую модель:

Задачи по эконометрике

Ей соответствует линейное уравнение множественной регрессии

Задачи по эконометрике

Параметры, являющиеся множителями при независимых переменных, называются коэффициентами «чистой» регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизмененном значении других факторов.

Классический подход к оцениванию параметров линейной модели множественной регрессии основан на МНК:

Задачи по эконометрике

Задача №2.2.

Открытое акционерное общество «РосСельхозХолдинг» более десяти лет производит пшеницу в своих тридцати агроцехах, расположенных в разных областях Российской Федерации. Имеются данные прошлого года (табл. 9.5) о прибыли предприятия Задачи по эконометрике (млн. руб.), среднегодовом

удельном весе сельскохозяйственных рабочих в составе агроцеха Задачи по эконометрике Задачи по эконометрике, среднегодовой численности персонала Задачи по эконометрике (тыс. чел.), среднесуточном времени простоя техники в рабочее время Задачи по эконометрике (часы), среднемесячных выплатах за вредность труда на одного работника Задачи по эконометрике (руб.), среднегодовой текучести кадров Задачи по эконометрике (%).

Задачи по эконометрике

Предполагая, что между переменной Задачи по эконометрике и независимыми переменнымиЗадачи по эконометрике существует линейная зависимость, требуется:

  1. Найти линейное уравнение множественной регрессии;
  2. С помощью алгоритма пошаговой регрессии построить эконометрическую модель с максимальным числом значимых коэффициентов при уровне значимости 0,05.
  3. Построить точечный и интервальный прогнозы для Задачи по эконометрике при допущении, что средние показатели по независимым переменным будут превышены на 5%.

Решение:

В Microsoft Excel имеется пункт меню «Сервис», который содержит надстройку «Анализ данных». В нём выбираем инструмент анализа «Регрессия». Вводим входной интервал для у и входной интервал для Задачи по эконометрике. Т.к. в условии задан уровень значимости Задачи по эконометрике, то выбираем уровень надёжности 95% Задачи по эконометрике. В параметрах вывода отмечаем «Новый рабочий лист» и жмём «ОК». Результаты вычислений, округлённые до четвёртого знака приведены на рис. 2.1.

Задачи по эконометрике
  • Столбец «Коэффициенты» (рис. 2.1) содержит найденные параметры уравнения регрессии. Т.о. линейная пятифакторная регрессионная модель имеет вид:
Задачи по эконометрике

По коэффициентам регрессии можно давать объяснения. Например, если текучесть кадров Задачи по эконометрике увеличится на 1%, то прибыль предприятия снизится в среднем на 0,1714 млн. руб. При этом значения переменных Задачи по эконометрикеЗадачи по эконометрике должны оставаться неизменными. Значение свободного члена Задачи по эконометрике не объясняют.

  • Прокомментируем данные отчета на рис. 9.8.

Множественный коэффициент корреляции Задачи по эконометрике характеризует тесноту линейной связи рассматриваемого набора факторов Задачи по эконометрике с исследуемым признаком Задачи по эконометрике. Границы изменения коэффициента множественной корреляции от 0 до 1. Чем ближе его значение к 1 (в нашем примере Задачи по эконометрике), тем теснее линейная связь результативного признака со всем набором исследуемых факторов.

Множественный коэффициент детерминации Задачи по эконометрике, то дисперсия (т.е. разброс) прибыли у на 99,48% объясняется регрессией, т.е. зависимостью от показателей Задачи по эконометрике. Величина Задачи по эконометрике (т.е. 0,52%) характеризует долю дисперсии Задачи по эконометрике, вызванную влиянием не учтённых в модели факторов.

В разделе «Дисперсионный анализ» (рис. 9.8) на пересечении строки «Остаток» и столбца «MS» находится несмещённая оценка дисперсии остатков Задачи по эконометрике. Извлекая квадратный корень, получим среднее квадратическое отклонение — стандартную ошибку Задачи по эконометрике. В следующей строке располагается число наблюдений Задачи по эконометрике.

Раздел «Дисперсионный анализ» называют ANOVA-таблицей (analysis of variance). Она содержит обозначение Задачи по эконометрике (degree of freedom) — число степеней свободы. В уравнение регрессии входит Задачи по эконометрике независимых переменных (строка «Регрессия»), в строке «Остаток» содержится Задачи по эконометрике, что в сумме (строка «Итого») составляет Задачи по эконометрике.

Значимость уравнения множественной регрессии в целом определяется с помощью статистического Задачи по эконометрике -критерия Фишера. Вероятность того, что Задачи по эконометрике будет меньше фактического значения Задачи по эконометрике, можно оценить по формуле

Задачи по эконометрике

Для нашей задаче:

Задачи по эконометрике

Эту вероятность сравниваем с заданным уровнем значимости Задачи по эконометрике. Так как Задачи по эконометрике, т.е. вероятность ошибки не превысила 5%, то пятифак-торное уравнение регрессии значимо с надёжностью не менее 95%.

Последний раздел отчёта на рис. 9.8 содержит коэффициенты регрессии

Задачи по эконометрике
Задачи по эконометрике

В столбце «Стандартная ошибка» расположены

Задачи по эконометрике

Задачи по эконометрике

Для проверки значимости коэффициентов регрессии применяют статистический Задачи по эконометрике-критерий Стьюдента. Пусть Задачи по эконометрике — случайная величина, имеющая распределение Стьюдента с числом степеней свободы Задачи по эконометрике. Вычисляются фактические значения Задачи по эконометрике -критерия Стьюдента:

Задачи по эконометрике

Они помещены в столбце «Задачи по эконометрике-статистика»:

Задачи по эконометрике

Задачи по эконометрике

Заметим, что свободный член Задачи по эконометрике обычно не проверяется на статистическую значимость. Вероятность того, что Задачи по эконометрике будет меньше фактического значения Задачи по эконометрике, можно оценить по формуле

Задачи по эконометрике

Для нашей задачи (столбец «Задачи по эконометрике-Значение») имеем:

Задачи по эконометрике

Эти вероятности сравниваем с заданным уровнем значимости Задачи по эконометрике. Так как

Задачи по эконометрике

то оценки коэффициентов регрессии

Задачи по эконометрике

не являются значимыми. Т.к.

Задачи по эконометрике

то оценки коэффициентов регрессии

Задачи по эконометрике

значимы с надёжностью не менее 95%.

Среди незначимых оценок наибольшая вероятность ошибки

Задачи по эконометрике

поэтому переменная Задачи по эконометрике должна быть исключена из модели. Эта процедура повторяется до тех пор, пока все оценки коэффициентов регрессии не будут статистически значимыми.

Такой подход называют алгоритмом пошагового регрессионного анализа. После завершения алгоритма мы получим уравнение регрессии с максимальным числом значимых коэффициентов.

На рис. 9.8 в столбцах «Нижние 95%» и «Верхние 95%» содержит интервальные оценки коэффициентов регрессии. Т.к. среди этих параметров оказались незначимые, то нет смысла давать объяснения их интервальным оценкам. Это будет сделано после построения окончательной модели.

Повторяем те же действия, что и в начале решения задачи. В Microsoft Excel в пункте меню «Сервис» выбираем пакет прикладных программ «Анализ данных». Пользуемся инструментом анализа «Регрессия». Вводим входной интервал для у и входной интервал для Задачи по эконометрике при уровне надёжности 95%. Результаты вычислений округляем до четвёртого знака и приводим отчет на рис. 2.2.

Задачи по эконометрике

Получена линейная четырёхфакторная эконометрическая модель:

Задачи по эконометрике

Т.к. множественный коэффициент корреляции Задачи по эконометрике близок к 1, то наблюдается высокая теснота линейной связи факторов Задачи по эконометрике с исследуемым признаком Задачи по эконометрике. Т.к. множественный коэффициент детерминации Задачи по эконометрике, то дисперсия прибыли Задачи по эконометрике на 99,47% объясняется найденной регрессией. Величина Задачи по эконометрике (т.е. 0,53%) характеризует долю дисперсии у, вызванную влиянием не учтённых в модели факторов.

Фактическое значение критерия Фишера составляет Задачи по эконометрике. Оценена вероятность Задачи по эконометрике. Эту вероятность сравниваем с заданным уровнем значимости Задачи по эконометрике. Т.к. Задачи по эконометрике, то четырёхфакторное уравнение регрессии значимо с надёжностью не менее 95%.

Найденная вероятность Задачи по эконометрике больше уровня значимости Задачи по эконометрике. Оценка коэффициента регрессии Задачи по эконометрике не является значимой, поэтому переменная Задачи по эконометрике должна быть исключена из модели.

Вводим входной интервал для Задачи по эконометрике и входной интервал для Задачи по эконометрике при уровне надёжности 95%. Округляем данные до четвёртого знака и приводим отчёт на рис. 2.3.

Задачи по эконометрике

Линейная трёхфакторная эконометрическая модель имеет вид:

Задачи по эконометрике

Отчет на рис. 9.10 содержит следующую информацию. Множественный коэффициент корреляции Задачи по эконометрике близок к 1. Следовательно, наблюдается высокая теснота линейной связи факторов Задачи по эконометрике с признаком Задачи по эконометрике. Множественный коэффициент детерминации Задачи по эконометрике. Значит, дисперсия у на 99,46% объясняется найденной регрессией. Величина Задачи по эконометрике (т.е. 0,54%) характеризует долю дисперсии у, вызванную влиянием не учтённых в модели факторов.

Фактическое значение критерия Фишера Задачи по эконометрике. Получена вероятность Задачи по эконометрике. Т.к. Задачи по эконометрике, то трёхфакторное уравнение регрессии значимо с надёжностью не менее 95%.

Столбец «Задачи по эконометрике -Значение» содержит вероятности для коэффициентов регрессии

Задачи по эконометрике

(свободный член Задачи по эконометрике не анализируется). Все вероятности оказалась меньше уровня значимости Задачи по эконометрике. Следовательно, все оценки коэффициентов регрессии значимы.

Алгоритм пошагового регрессионного анализа завершён. Построенная трёхфакторная модель — это уравнение регрессии с максимальным числом Задачи по эконометрике значимых коэффициентов.

В столбцах «Нижние 95%» и «Верхние 95%» содержит интервальные оценки параметров уравнения регрессии. Они вычислены по данным столбцов «Коэффициенты» и «Стандартная ошибка»:

Задачи по эконометрике

Численные значения доверительных интервалов объясняют следующим образом. Например, точеная оценка Задачи по эконометрике с надёжностью не менее 95% может колебаться от 5,7325 до 8,8249.

  • Построим точечный и интервальный прогнозы для прибыли предприятия v при допущении, что средние показатели по Задачи по эконометрике будут превышены на 5%.

Так как

Задачи по эконометрике

то предполагаемые значения:

Задачи по эконометрике

Вектор предполагаемых значений:

Задачи по эконометрике

Точечный прогноз для среднего значения прибыли агроцеха:

Задачи по эконометрике

Вычислим дисперсию прогноза:

Задачи по эконометрике

Извлекая квадратный корень, найдём среднеквадратическую ошибку прогноза Задачи по эконометрике.

Доверительный интервал для среднего значения (математического ожидания) прогноза зависимой переменной находим по формуле:

Задачи по эконометрике

Рассчитаем дисперсию и среднее квадратическое отклонение индивидуального прогноза:

Задачи по эконометрике

Доверительный интервал для индивидуального значения прогноза:

Задачи по эконометрике

Задачи 2.2 выполнено полностью.

Возможно эта страница вам будет полезна:

Границы применимости классического метода наименьших квадратов в эконометрнческом моделировании

Рассмотрим многофакторную линейную эконометрическую модель:

Задачи по эконометрике

При построении такой модели предполагают, что выполняются следующие гипотезы.

  • Спецификация модели:
Задачи по эконометрике

где Задачи по эконометрике — номер наблюдения.

  • Числовые значения независимых переменных Задачи по эконометрике являются детерминированными (не случайными) величинами. Векторы
Задачи по эконометрике

являются линейно независимыми в пространстве Задачи по эконометрике. 3. Случайные величины Задачи по эконометрике удовлетворяют условиям. Их математические ожидания равны нулю:

Задачи по эконометрике

Дисперсии:

Задачи по эконометрике

Причём значения математических ожиданий и дисперсий ошибок не зависят от номера наблюдений Задачи по эконометрике.

  • При Задачи по эконометрике ковариации ошибок равны нулю:
Задачи по эконометрике

Т.е. для разных наблюдений имеет место статистическая независимость (некоррелированность) ошибок.

Задачи по эконометрике

При выполнении гипотез 1 — 5 эконометрическая модель называется нормальной линейной регрессионной моделью.

Важнейшую роль в эконометрическом анализе играет следующая теорема, формулировка которой приводится без доказательства.

Теорема Гаусса-Маркова. Предположим, что для линейной модели множественной регрессии выполняются гипотезы 1 — 4. Тогда оценки коэффициентов регрессии Задачи по эконометрике, найденные с помощью МНК, являются наиболее эффективными (в смысле наименьшей дисперсии) среди всех линейных несмещённых оценок.

Заметим, что при невыполнении отдельных гипотез теорема Гаусса-Маркова становится неприменимой. Следовательно, и классический МНК не будет давать достоверных результатов.

Нарушение условия линейной независимости векторов Задачи по эконометрике (гипотеза

2) приводит к нежелательному явлению, называемому мультиколлинеар-ностью. Условие независимости дисперсии ошибок от номера наблюдения (гипотеза 3) называется гомоскедастичностью. Нарушение данного условия называют гетероскедастичностью. Невыполнение гипотезы 4 называется автокорреляцией остатков.

В эконометрическом моделировании надо уметь выявлять эти нежелательные явления и устранять их. При невозможности устранения — научиться моделировать в условиях невозможности применения классического МНК.

Мультиколлинеарность в массиве независимых переменных эконометрической модели

Мультиколлинеарность означает существование тесной линейной зависимости, или сильной корреляции, между двумя или более объясняющими переменными.

Она негативно влияет на количественные характеристики эконометриче-ской модели, или делает её построение вообще невозможным.

Задача №2.3.

На производительность труда однотипных малых предприятий влияет ряд факторов, среди которых: удельный вес рабочих на предприятии Задачи по эконометрике; премии и другие вознаграждения на одного работника Задачи по эконометрике (ден. ед.); оборачиваемость нормируемых оборотных средств Задачи по эконометрике (дни). Исследовать на мультиколлинеарность переменные Задачи по эконометрике. При наличии мультиколлинеарности предложить меры по её устранению. Статистические данные по десяти предприятиям приведены в табл. 2.4. Уровень значимости Задачи по эконометрике.

Задачи по эконометрике

Решение:

Исследуем мультпколлинеарность в массиве независимых переменных при помощи алгоритма Фаррара-Глобера. Расчёты проведём в Microsoft Excel, округляя числа до четвёртого знака после запятой.

  • Нахождение корреляционной матрицы выполним с помощью встроенной функции «Корреляция» (Сервиз—>Анализ данных —> Корреляция), которая позволяет находить коэффициенты корреляции более чем двух факторов:
Задачи по эконометрике

Её определитель: Задачи по эконометрике Он вычислен с помощью функции МОПРЕД().

При Задачи по эконометрике имеется полная мультиколлинеарность, а если Задачи по эконометрике, то мультиколлинеарность отсутствует. В нашем случае Задачи по эконометрике, поэтому продолжим исследование на наличие мультиколлинеарности.

  • Определим фактическое значение критерия «хи»-квадрат Пирсона:
Задачи по эконометрике

Фактическое значение критерия Задачи по эконометрике сравнивается с табличным значением при Задачи по эконометрике степенях свободы и уровне значимости Задачи по эконометрике: Задачи по эконометрике Т.к. Задачи по эконометрике то в массиве объясняющих переменных существует мультиколлинеарность.

  • С помощью функции МОБР() определим обратную матрицу:
Задачи по эконометрике
  • Вычисление Задачи по эконометрике -критериев Фишера осуществляем по формуле
Задачи по эконометрике

где Задачи по эконометрике — диагональные элементы матрицы Задачи по эконометрике. Имеем

Задачи по эконометрике

Фактические значения критериев сравниваются с табличным Задачи по эконометрике при Задачи по эконометрике степенях свободы и уровне значимости Задачи по эконометрике: Задачи по эконометрике

Т.к. Задачи по эконометрике, то независимые переменные Задачи по эконометрике и Задачи по эконометрике мультиколлинеарны с другими.

  • Находим частные коэффициенты корреляции по формуле
Задачи по эконометрике

где Задачи по эконометрике — элемент матрицы Задачи по эконометрике, содержащийся в Задачи по эконометрике-ой строке и Задачи по эконометрике-ом столбце; Задачи по эконометрике и Задачи по эконометрике — диагональные элементы матрицы Задачи по эконометрике. Получаем:

Задачи по эконометрике

Вычисление Задачи по эконометрике-критериев Стьюдента осуществляем по формуле

Задачи по эконометрике

Имеем

Задачи по эконометрике

Фактические значения критериев сравниваются с табличным Задачи по эконометрике при Задачи по эконометрике степенях свободы и уровне значимости Задачи по эконометрике.

Т.к. Задачи по эконометрике, то между независимыми переменными Задачи по эконометрике и Задачи по эконометрике существует мультиколлинеарность.

Для того, чтобы избавиться от мультиколлинеарности, можно исключить одну из переменных мультиколлинеарной пары Задачи по эконометрике и Задачи по эконометрике. Удалить следует переменную Задачи по эконометрике, т.к. у неё больше значение Задачи по эконометрике-критерия. Следовательно, она больше влияет на общую мультиколлинеарность модели. Однако этот шаг не должен противоречить экономическому смыслу задачи.

Гетсроскедастичность в эконометрическом моделировании

Условие независимости дисперсии ошибок от номера наблюдения называется гомоскедастичностью. Нарушение данного условия вызывает нежелательное явление, называемое гетероскедастичиостью.

Гетероскедастичность возникает, когда значения переменных в уравнении регрессии сильно отличаются в разных наблюдениях, т.е. если анализируемые объекты неоднородны. Неоднородность объектов может отражаться в несопоставимости их «размеров».

Например, в одну выборку объединены крупные и мелкие банки, у которых анализируется зависимость прибыли Задачи по эконометрике от величины активов Задачи по эконометрике. В этом случае можно ожидать, что для крупных банков колебание прибыли будет выше, чем для мелких. Величина колебаний повлияет на дисперсию ошибок.

Неоднородность может также проявляться, когда в одну выборку объединяются предприятия разного профиля деятельности.

Часто при исследовании совокупности данных на гетероскедастичность предполагается, что дисперсия остатков пропорциональна квадрату значений одной из независимых переменных Задачи по эконометрике.

В этом случае наиболее эффективен параметрический тест Гольд-фельда-Квандта. Опишем его алгоритм.

Задача №2.4.

В таблице 2.5 приведены данные по зависимой переменной Задачи по эконометрике и независимым переменным Задачи по эконометрике. Требуется проверить наличие гетероскедастичности с помощью параметрического теста Гольд-фельда-Квандта при уровне значимости Задачи по эконометрике.

Задачи по эконометрике

Решение:

Применим параметрический тест Гольдфельда-Квандта.

Предположим, что дисперсия остатков пропорциональна квадрату значений одной из независимых переменных Задачи по эконометрике. Графически определим эту переменную. Построим поля парной корреляции (рис. 2.4 — 2.6).

Задачи по эконометрике
Задачи по эконометрике

Как видно из рис. 2.4 — 2.6 источником гетероскедастичности является, скорее всего, переменная Задачи по эконометрике.

Данные примут вид (табл. 2.6).

В MS Excel в пункте меню «Сервис» выбираем надстройку «Анализ данных». Пользуемся инструментом анализа «Регрессия». Вводим входной интервал для Задачи по эконометрике и входной интервал для Задачи по эконометрике при уровне надёжности 95%. Имеем следующие модели:

Задачи по эконометрике
Задачи по эконометрике
Задачи по эконометрике

Рассмотрим
простейшую модель парной регрессии –
линейную регрессию. Линейная регрессия
находит широкое применение в эконометрике
ввиду четкой экономической интерпретации
ее параметров.

Линейная
регрессия сводится к нахождению уравнения
вида

или .

(4)

Уравнение
вида позволяет
по заданным значениям факторанаходить
теоретические значения результативного
признака, подставляя в него фактические
значения фактора.

Построение
линейной регрессии сводится к оценке
ее параметров – и.
Классический подход к оцениванию
параметров линейной регрессии основан
на методе наименьших квадратов (МНК).
МНК позволяет получить такие оценки
параметрови,
при которых сумма квадратов отклонений
фактических значений результативного
признакаот
теоретическихминимальна:

.

(5)

Т. е. из всего
множества линий линия регрессии на
графике выбирается так, чтобы сумма
квадратов расстояний по вертикали между
точками и этой линией была бы минимальной
в соответствии с рис.
2
.

Рис. 2. Линия
регрессии с минимальной дисперсией
остатков

Как известно
из курса математического анализа, чтобы
найти минимум функции (5), надо вычислить
частные производные по каждому из
параметров ии
приравнять их к нулю. Обозначимчерез,
тогда

 

  (6)  

После
несложных преобразований получим
следующую систему линейных уравнений
для оценки параметров и:

  (7)

Решая систему
уравнений (7), найдем искомые оценки
параметров и.
Можно воспользоваться следующими
готовыми формулами, которые следуют
непосредственно из решения системы
(7):

,

(8)

где 
ковариация признакови,


дисперсия признака и

,,.

Ковариация
– числовая характеристика совместного
распределения двух случайных величин,
равная математическому ожиданию
произведения отклонений этих случайных
величин от их математических ожиданий.
Дисперсия – характеристика случайной
величины, определяемая как математическое
ожидание квадрата отклонения случайной
величины от ее математического ожидания.
Математическое ожидание – сумма
произведений значений случайной величины
на соответствующие вероятности.

Параметр называется
коэффициентом регрессии. Его величина
показывает среднее изменение результата
с изменением фактора на одну единицу.

Возможность
четкой экономической интерпретации
коэффициента регрессии сделала линейное
уравнение регрессии достаточно
распространенным в эконометрических
исследованиях.

Формально 
значениепри.
Если признак-факторне
может иметь нулевого значения, то
вышеуказанная трактовка свободного
членане
имеет смысла, т. е. параметрможет
не иметь экономического содержания.

Уравнение
регрессии всегда дополняется показателем
тесноты связи. При использовании линейной
регрессии в качестве такого показателя
выступает линейный коэффициент
корреляции ,
который можно рассчитать по следующим
формулам:

.

(9)

Линейный
коэффициент корреляции находится в
пределах .
Чем ближе абсолютное значениек
единице, тем сильнее линейная связь
между факторами (приимеем
строгую функциональную зависимость).
Но следует иметь в виду, что близость
абсолютной величины линейного коэффициента
корреляции к нулю еще не означает
отсутствия связи между признаками. При
другой (нелинейной) спецификации модели
связь между признаками может оказаться
достаточно тесной.

Для оценки
качества подбора линейной функции
рассчитывается квадрат линейного
коэффициента корреляции ,
называемый коэффициентом детерминации.
Коэффициент детерминации характеризует
долю дисперсии результативного
признака,
объясняемую регрессией, в общей дисперсии
результативного признака

,

(10)

где ,.

Соответственно
величина характеризует
долю дисперсии,
вызванную влиянием остальных не учтенных
в модели факторов.

После того
как найдено уравнение линейной регрессии,
проводится оценка значимости как
уравнения в целом, так и отдельных его
параметров.

Проверить
значимость уравнения регрессии – значит
установить, соответствует ли математическая
модель, выражающая зависимость между
переменными, экспериментальным данным
и достаточно ли включенных в уравнение
объясняющих переменных (одной или
нескольких) для описания зависимой
переменной. Чтобы иметь общее суждение
о качестве модели из относительных
отклонений по каждому наблюдению,
определяют среднюю ошибку аппроксимации:

.

(11)

Средняя
ошибка аппроксимации не должна превышать
8–10 %.

Оценка
значимости уравнения регрессии в целом
производится на основе -критерия
Фишера, которому предшествует дисперсионный
анализ. В математической статистике
дисперсионный анализ рассматривается
как самостоятельный инструмент
статистического анализа. В эконометрике
он применяется как вспомогательное
средство для изучения качества
регрессионной модели.

Согласно
основной идее дисперсионного анализа
общая сумма квадратов отклонений
переменной от
среднего значенияраскладывается
на две части – «объясненную» и
«необъясненную»:

,

(12)

где 
общая сумма квадратов отклонений;


сумма квадратов отклонений,
объясненная регрессией (или факторная
сумма квадратов отклонений);


остаточная сумма квадратов
отклонений, характеризующая влияние
неучтенных в модели факторов.

Схема
дисперсионного анализа имеет вид,
представленный в табл. 2 (
число наблюдений,
число параметров при переменной).

Т а б л и ц а
2.Схема дисперсионного анализа

Компонент
дисперсии

Сумма
квадратов

Число
степеней свободы

Дисперсия
на одну степень свободы

Общая

Факторная

Остаточная

Определение
дисперсии на одну степень свободы
приводит дисперсии к сравнимому виду.
Сопоставляя факторную и остаточную
дисперсии в расчете на одну степень
свободы, получим величину -критерия
Фишера:

.

  (13)

Фактическое
значение -критерия
Фишера (2.10) сравнивается с табличным
значениемпри
уровне значимостии
степенях свободыи.
При этом, если фактическое значение-критерия
больше табличного, то признается
статистическая значимость уравнения
в целом.

Для парной
линейной регрессии ,
поэтому

.

  (14)

Величина -критерия
связана с коэффициентом детерминации,
и ее можно рассчитать по формуле

.

  (15)

В парной
линейной регрессии оценивается значимость
не только уравнения в целом, но и отдельных
его параметров. С этой целью по каждому
из параметров определяется его стандартная
ошибка: и.

Стандартная
ошибка коэффициента регрессии определяется
по формуле

,

  (16)

где 
остаточная дисперсия на одну степень
свободы.

Величина
стандартной ошибки совместно с 
распределением Стьюдента пристепенях
свободы применяется для проверки
существенности коэффициента регрессии
и для расчета его доверительного
интервала.

Для
оценки существенности коэффициента
регрессии его величина сравнивается с
его стандартной ошибкой, т. е. определяется
фактическое значение 
критерия Стьюдента:,
которое затем сравнивается с табличным
значением при определенном уровне
значимостии
числе степеней свободы.
Доверительный интервал для коэффициента
регрессии определяется как.
Поскольку знак коэффициента регрессии
указывает на рост результативного
признакапри
увеличении признака-фактора(),
уменьшение результативного признака
при увеличении признака-фактора ()
или его независимость от независимой
переменной ()(рис.
3)
,
то границы доверительного интервала
для коэффициента регрессии не должны
содержать противоречивых результатов,
например, .
Такого рода запись указывает, что
истинное значение коэффициента регрессии
одновременно содержит положительные
и отрицательные величины и даже ноль,
чего не может быть.

Рис. 3. Наклон
линии регрессии в зависимости от значения
параметра 

Стадартная
ошибка параметра определяется
по формуле:

.

  (17)

Процедура
оценивания существенности данного
параметра не отличается от рассмотренной
выше для коэффициента регрессии.
Вычисляется -критерий:,
его величина сравнивается с табличным
значением пристепенях
свободы.

Значимость
линейного коэффициента корреляции
проверяется на основе величины ошибки
коэффициента корреляции

.

  (18)

Фактическое
значение -критерия
Стьюдента определяется как.

Существует
связь между -критерием
Стьюдента и-критерием
Фишера:

.

(19)

В прогнозных
расчетах по уравнению регрессии
определяется предсказываемое значение
как точечный прогнозпри,
т. е. путем подстановки в уравнение
регрессии y = a + bx соответствующего
значения.
Однако точечный прогноз явно не реален.
Поэтому он дополняется расчетом
стандартной ошибки,
т. е.,
и соответственно интервальной оценкой
прогнозного значения:

,

где ,
а
средняя ошибка прогнозируемого
индивидуального значения

.

  (20)

Рассмотрим пример.
По данным проведенного опроса восьми
групп семей (табл. 3) известны данные
связи расходов населения на продукты
питания с уровнем доходов семьи за месяц
на семью из четырех человек.

Т а б л и ц а
3.Исходные данные

Показатель

Значения

Расходы
на продукты питания, ,
тыс. р.

Доходы
семьи, ,
тыс. р.

Предположим,
что связь между доходами семьи и расходами
на продукты питания линейная. Для
подтверждения нашего предположения
построим поле корреляции в масштабе
(у/10; x/10).

Рис. 4. Исходные
данные

По графику
видно, что точки выстраиваются в некоторую
прямую линию.

Для удобства
дальнейших вычислений составим таблицу
в масштабе (x/10; y/10).

Т а б л и ц а
4.Пример расчета

Число
наблюдений

,
%

1,2

0,9

1,08

1,44

0,81

1,038

–0,138

0,0190

15,33

3,1

1,2

3,72

9,61

1,44

1,357

–0,157

0,0246

13,08

5,3

1,8

9,54

28,09

3,24

1,726

0,074

0,0055

4,11

7,4

2,2

16,28

54,76

4,84

2,079

0,121

0,0146

5,50

9,6

2,6

24,96

92,16

6,76

2,449

0,151

0,0228

5,81

11,8

2,9

34,22

139,24

8,41

2,818

0,082

0,0067

2,83

14,5

3,3

47,85

210,25

10,89

3,272

0,028

0,0008

0,85

18,7

3,8

71,06

349,69

14,44

3,978

–0,178

0,0317

4,68

Итого

71,6

18,7

208,71

885,24

50,83

18,717

–0,017

0,1257

52,19

Среднее
значение

8,95

2,34

26,09

110,66

6,35

2,34

0,0157

6,52

5,53

0,935

30,56

0,874

Рассчитаем
параметры линейного уравнения парной
регрессии .
Для этого воспользуемся формулами (8):

;

.

Получили
уравнение: =
0,836 + 0,168·x. Т. е. с увеличением дохода
семьи на 1000 р. расходы на питание
увеличиваются на 168 р.

Как было
указано выше, уравнение линейной
регрессии всегда дополняется показателем
тесноты связи – линейным коэффициентом
корреляции .
Для этого воспользуемся формулой (9)

.

Близость
коэффициента корреляции к 1 указывает
на тесную линейную связь между признаками.

Коэффициент
детерминации (примерно
тот же результат получим, если воспользуемся
формулой (10)) показывает, что уравнением
регрессии объясняется 98,7 % дисперсии
результативного признака, а на долю
прочих факторов приходится лишь 1,3 %.

Оценим
качество уравнения регрессии в целом
с помощью -критерия
Фишера. Сосчитаем фактическое
значение-критерия,
воспользовавшись формулой (15)

.

Табличное
значение (,,):.
Так как,
то признается статистическая значимость
уравнения в целом.

Для оценки
статистической значимости коэффициентов
регрессии и корреляции рассчитаем -критерий
Стьюдента и доверительные интервалы
каждого из показателей. Рассчитаем
случайные ошибки параметров линейной
регрессии и коэффициента корреляции

:

,

,

.

Фактические
значения -статистик:

,.

Табличное
значение -критерия
Стьюдента прии
числе степеней свободыесть.
Так как,и,
то признаем статистическую значимость
параметров регрессии и показателя
тесноты связи. Рассчитаем доверительные
интервалы для параметров регрессиии:и.
Получим, чтои.

Cреднюю
ошибку аппроксимации находим по
формуле ,говорит
о хорошем качестве уравнения регрессии,
т. е. свидетельствует о хорошем подборе
модели к исходным данным.

И, наконец,
найдем прогнозное значение результативного
фактора при
значении признака-фактора, составляющем
110 % от среднего уровня,
т. е. найдем расходы на питание, если
доходы семьи составят 9,85 тыс. р.

(тыс.
р.).

Значит, если
доходы семьи составят 9,845 тыс. р., то
расходы на питание будут 2,490 тыс. р.

Найдем
доверительный интервал прогноза. Ошибка
прогноза

,

а доверительный
интервал ():

.

Т. е. прогноз
является статистически надежным. Теперь
на одном графике изобразим исходные
данные и линию регрессии.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #


Регрессия позволяет прогнозировать зависимую переменную на основании значений фактора. В

MS

EXCEL

имеется множество функций, которые возвращают не только наклон и сдвиг линии регрессии, характеризующей линейную взаимосвязь между факторами, но и регрессионную статистику. Здесь рассмотрим простую линейную регрессию, т.е. прогнозирование на основе одного фактора.


Disclaimer

: Данную статью не стоит рассматривать, как пересказ главы из учебника по статистике. Статья не обладает ни полнотой, ни строгостью изложения положений статистической науки. Эта статья – о применении MS EXCEL для целей

Регрессионного анализа.

Теоретические отступления приведены лишь из соображения логики изложения. Использование данной статьи для изучения

Регрессии

– плохая идея.

Статья про

Регрессионный анализ

получилась большая, поэтому ниже для удобства приведены ее разделы:

  • Немного теории и основные понятия
  • Предположения линейной регрессионной модели
  • Задачи регрессионного анализа
  • Оценка неизвестных параметров линейной модели (используя функции MS EXCEL)
  • Оценка неизвестных параметров линейной модели (через статистики выборок)
  • Оценка неизвестных параметров линейной модели (матричная форма)
  • Построение линии регрессии
  • Коэффициент детерминации
  • Стандартная ошибка регрессии
  • Стандартные ошибки и доверительные интервалы для наклона и сдвига
  • Проверка значимости взаимосвязи переменных
  • Доверительные интервалы для нового наблюдения Y и среднего значения
  • Проверка адекватности линейной регрессионной модели


Примечание

: Если прогнозирование переменной осуществляется на основе нескольких факторов, то имеет место

множественная регрессия

.

Чтобы разобраться, чем может помочь MS EXCEL при проведении регрессионного анализа, напомним вкратце теорию, введем термины и обозначения, которые могут отличаться в зависимости от различных источников.


Примечание

: Для тех, кому некогда, незачем или просто не хочется разбираться в теоретических выкладках предлагается сразу перейти к вычислительной части —

оценке неизвестных параметров линейной модели

.

Немного теории и основные понятия

Пусть у нас есть массив данных, представляющий собой значения двух переменных Х и Y. Причем значения переменной Х мы можем произвольно задавать (контролировать) и использовать эту переменную для предсказания значений зависимой переменной Y. Таким образом, случайной величиной является только переменная Y.

Примером такой задачи может быть производственный процесс изготовления некого волокна, причем

прочность этого волокна

(Y) зависит только от

рабочей температуры процесса

в реакторе (Х), которая задается оператором.

Построим

диаграмму рассеяния

(см.

файл примера лист Линейный

), созданию которой

посвящена отдельная статья

. Вообще, построение

диаграммы рассеяния

для целей

регрессионного анализа

де-факто является стандартом.


СОВЕТ

: Подробнее о построении различных типов диаграмм см. статьи

Основы построения диаграмм

и

Основные типы диаграмм

.

Приведенная выше

диаграмма рассеяния

свидетельствует о возможной

линейной взаимосвязи

между Y от Х: очевидно, что точки данных в основном располагаются вдоль прямой линии.


Примечание

: Наличие даже такой очевидной

линейной взаимосвязи

не может являться доказательством о наличии причинной взаимосвязи переменных. Наличие

причинной

взаимосвязи не может быть доказано на основании только анализа имеющихся измерений, а должно быть обосновано с помощью других исследований, например теоретических выкладок.


Примечание

: Как известно, уравнение прямой линии имеет вид

Y

=

m

*

X

+

k

, где коэффициент

m

отвечает за наклон линии (

slope

),

k

– за сдвиг линии по вертикали (

intercept

),

k

равно значению Y при Х=0.

Предположим, что мы можем зафиксировать переменную Х (

рабочую температуру процесса

) при некотором значении Х

i

и произвести несколько наблюдений переменной Y (

прочность нити

). Очевидно, что при одном и том же значении Хi мы получим различные значения Y. Это обусловлено влиянием других факторов на Y. Например, локальные колебания давления в реакторе, концентрации раствора, наличие ошибок измерения и др. Предполагается, что воздействие этих факторов имеет случайную природу и для каждого измерения имеются одинаковые условия проведения эксперимента (т.е. другие факторы не изменяются).

Полученные значения Y, при заданном Хi, будут колебаться вокруг некого

значения

. При увеличении количества измерений, среднее этих измерений, будет стремиться к

математическому ожиданию

случайной величины Y (при Х

i

) равному μy(i)=Е(Y

i

).

Подобные рассуждения можно привести для любого значения Хi.

Чтобы двинуться дальше, воспользуемся материалом из раздела

Проверка статистических гипотез

. В статье о

проверке гипотезы о среднем значении генеральной совокупности

в качестве

нулевой

гипотезы

предполагалось равенство неизвестного значения μ заданному μ0.

В нашем случае

простой линейной регрессии

в качестве

нулевой

гипотезы

предположим, что между переменными μy(i) и Хi существует линейная взаимосвязь μ

y(i)

=α* Х

i

+β. Уравнение μ

y(i)

=α* Х

i

+β можно переписать в обобщенном виде (для всех Х и μ

y

) как μ

y

=α* Х +β.

Для наглядности проведем прямую линию соединяющую все μy(i).

Данная линия называется

регрессионной линией генеральной совокупности

(population regression line), параметры которой (

наклон

a и

сдвиг β

) нам не известны (по аналогии с

гипотезой о среднем значении генеральной совокупности

, где нам было неизвестно истинное значение μ).

Теперь сделаем переход от нашего предположения, что μy=a* Х +

β

, к предсказанию значения случайной переменной Y в зависимости от значения контролируемой переменной Х. Для этого уравнение связи двух переменных запишем в виде Y=a*X+β+ε, где ε — случайная ошибка, которая отражает суммарный эффект влияния других факторов на Y (эти «другие» факторы не участвуют в нашей модели). Напомним, что т.к. переменная Х фиксирована, то ошибка ε определяется только свойствами переменной Y.

Уравнение Y=a*X+b+ε называют

линейной регрессионной моделью

. Часто Х еще называют

независимой переменной

(еще

предиктором

и

регрессором

, английский термин

predictor

,

regressor

), а Y –

зависимой

(или

объясняемой

,

response

variable

). Так как

регрессор

у нас один, то такая модель называется

простой линейной регрессионной моделью

(

simple

linear

regression

model

). α часто называют

коэффициентом регрессии.

Предположения линейной регрессионной модели перечислены в следующем разделе.

Предположения линейной регрессионной модели

Чтобы модель линейной регрессии Yi=a*Xi+β+ε

i

была адекватной — требуется:

  • Ошибки ε

    i

    должны быть независимыми переменными;
  • При каждом значении Xi ошибки ε

    i

    должны быть иметь нормальное распределение (также предполагается равенство нулю математического ожидания, т.е. Е[ε

    i

    ]=0);
  • При каждом значении Xi ошибки ε

    i

    должны иметь равные дисперсии (обозначим ее σ

    2

    ).


Примечание

: Последнее условие называется

гомоскедастичность

— стабильность, гомогенность дисперсии случайной ошибки e. Т.е.

дисперсия

ошибки σ

2

не должна зависеть от значения Xi.

Используя предположение о равенстве математического ожидания Е[ε

i

]=0 покажем, что μy(i)=Е[Yi]:

Е[Yi]= Е[a*Xi+β+ε

i

]= Е[a*Xi+β]+ Е[ε

i

]= a*Xi+β= μy(i), т.к. a, Xi и β постоянные значения.


Дисперсия

случайной переменной Y равна

дисперсии

ошибки ε, т.е. VAR(Y)= VAR(ε)=σ

2

. Это является следствием, что все значения переменной Х являются const, а VAR(ε)=VAR(ε

i

).

Задачи регрессионного анализа

Для проверки гипотезы о линейной взаимосвязи переменной Y от X делают выборку из генеральной совокупности (этой совокупности соответствует

регрессионная линия генеральной совокупности

, т.е.  μy=a* Х +β). Выборка будет состоять из n точек, т.е. из n пар значений {X;Y}.

На основании этой выборки мы можем вычислить оценки наклона a и сдвига β, которые обозначим соответственно

a

и

b

. Также часто используются обозначения â и b̂.

Далее, используя эти оценки, мы также можем проверить гипотезу: имеется ли линейная связь между X и Y статистически значимой?

Таким образом:


Первая задача

регрессионного анализа

– оценка неизвестных параметров (

estimation

of

the

unknown

parameters

). Подробнее см. раздел

Оценки неизвестных параметров модели

.


Вторая задача

регрессионного анализа

Проверка адекватности модели

(

model

adequacy

checking

).


Примечание

: Оценки параметров модели обычно вычисляются

методом наименьших квадратов

(МНК),

которому посвящена отдельная статья

.

Оценка неизвестных параметров линейной модели (используя функции MS EXCEL)

Неизвестные параметры

простой линейной регрессионной модели

Y=a*X+β+ε оценим с помощью

метода наименьших квадратов

статье про МНК подробно описано этот метод

).

Для вычисления параметров линейной модели методом МНК получены следующие выражения:

Таким образом, мы получим уравнение прямой линии Y=

a

*X+

b

, которая наилучшим образом аппроксимирует имеющиеся данные.


Примечание

: В статье про

метод наименьших квадратов

рассмотрены случаи аппроксимации

линейной

и

квадратичной функцией

, а также

степенной

,

логарифмической

и

экспоненциальной функцией

.

Оценку параметров в MS EXCEL можно выполнить различными способами:

  • с помощью функций

    НАКЛОН()

    и

    ОТРЕЗОК()

    ;
  • с помощью функции

    ЛИНЕЙН()

    ; см. статью

    Функция MS EXCEL ЛИНЕЙН()

  • формулами через статистики выборок

    ;

  • в матричной форме

    ;

  • с помощью

    инструмента Регрессия надстройки Пакет Анализа

    .

Сначала рассмотрим функции

НАКЛОН()

,

ОТРЕЗОК()

и

ЛИНЕЙН()

.

Пусть значения Х и Y находятся соответственно в диапазонах

C

23:

C

83

и

B

23:

B

83

(см.

файл примера

внизу статьи).


Примечание

: Значения двух переменных Х и Y можно сгенерировать, задав тренд и величину случайного разброса (см. статью

Генерация данных для линейной регрессии в MS EXCEL

).

В MS EXCEL наклон прямой линии

а

(

оценку

коэффициента регрессии

), можно найти по

методу МНК

с помощью функции

НАКЛОН()

, а сдвиг

b

(

оценку

постоянного члена

или

константы регрессии

), с помощью функции

ОТРЕЗОК()

. В английской версии это функции SLOPE и INTERCEPT соответственно.

Аналогичный результат можно получить с помощью функции

ЛИНЕЙН()

, английская версия LINEST (см.

статью об этой функции

).

Формула

=ЛИНЕЙН(C23:C83;B23:B83)

вернет наклон

а

. А формула =

ИНДЕКС(ЛИНЕЙН(C23:C83;B23:B83);2)

— сдвиг

b

. Здесь требуются пояснения.

Функция

ЛИНЕЙН()

имеет 4 аргумента и возвращает целый массив значений:

ЛИНЕЙН(известные_значения_y; [известные_значения_x]; [конст]; [статистика])

Если 4-й аргумент

статистика

имеет значение ЛОЖЬ или опущен, то функция

ЛИНЕЙН()

возвращает только оценки параметров модели:

a

и

b

.


Примечание

: Остальные значения, возвращаемые функцией

ЛИНЕЙН()

, нам потребуются при вычислении

стандартных ошибок

и для

проверки значимости регрессии

. В этом случае аргумент

статистика

должен иметь значение ИСТИНА.

Чтобы вывести сразу обе оценки:

  • в одной строке необходимо выделить 2 ячейки,
  • ввести формулу в

    Строке формул

  • нажать

    CTRL

    +

    SHIFT

    +

    ENTER

    (см. статью про

    формулы массива

    ).

Если в

Строке формул

выделить формулу =

ЛИНЕЙН(C23:C83;B23:B83)

и нажать

клавишу F9

, то мы увидим что-то типа {3,01279389265416;154,240057900613}. Это как раз значения

a

и

b

. Как видно, оба значения разделены точкой с запятой «;», что свидетельствует, что функция вернула значения «в нескольких ячейках одной строки».

Если требуется вывести параметры линии не в одной строке, а одном столбце (ячейки друг под другом), то используйте формулу =

ТРАНСП(ЛИНЕЙН(C23:C83;B23:B83))

. При этом выделять нужно 2 ячейки в одном столбце. Если теперь выделить новую формулу и нажать клавишу F9, то мы увидим что 2 значения разделены двоеточием «:», что означает, что значения выведены в столбец (функция

ТРАНСП()

транспонировала строку в столбец

).

Чтобы разобраться в этом подробнее необходимо ознакомиться с

формулами массива

.

Чтобы не связываться с вводом

формул массива

, можно

использовать функцию ИНДЕКС()

. Формула =

ИНДЕКС(ЛИНЕЙН(C23:C83;B23:B83);1)

или просто

ЛИНЕЙН(C23:C83;B23:B83)

вернет параметр, отвечающий за наклон линии, т.е.

а

. Формула

=ИНДЕКС(ЛИНЕЙН(C23:C83;B23:B83);2)

вернет параметр

b

.

Оценка неизвестных параметров линейной модели (через статистики выборок)

Наклон линии, т.е. коэффициент

а

, можно также вычислить через

коэффициент корреляции

и

стандартные отклонения выборок

:

=

КОРРЕЛ(B23:B83;C23:C83) *(СТАНДОТКЛОН.В(C23:C83)/ СТАНДОТКЛОН.В(B23:B83))

Вышеуказанная формула математически эквивалентна отношению

ковариации

выборок Х и Y и

дисперсии

выборки Х:

=

КОВАРИАЦИЯ.В(B23:B83;C23:C83)/ДИСП.В(B23:B83)

И, наконец, запишем еще одну формулу для нахождения сдвига

b

. Воспользуемся тем фактом, что

линия регрессии

проходит через точку

средних значений

переменных Х и Y.

Вычислив

средние значения

и подставив в формулу ранее найденный наклон

а

, получим сдвиг

b

.

Оценка неизвестных параметров линейной модели (матричная форма)

Также параметры

линии регрессии

можно найти в матричной форме (см.

файл примера лист Матричная форма

).

В формуле символом β обозначен столбец с искомыми параметрами модели: β0 (сдвиг

b

), β1 (наклон

a

).

Матрица Х равна:

Матрица

Х

называется

регрессионной матрицей

или

матрицей плана

. Она состоит из 2-х столбцов и n строк, где n – количество точек данных. Первый столбец — столбец единиц, второй – значения переменной Х.

Матрица

Х

T

– это

транспонированная матрица

Х

. Она состоит соответственно из n столбцов и 2-х строк.

В формуле символом

Y

обозначен столбец значений переменной Y.

Чтобы

перемножить матрицы

используйте функцию

МУМНОЖ()

. Чтобы

найти обратную матрицу

используйте функцию

МОБР()

.

Пусть дан массив значений переменных Х и Y (n=10, т.е.10 точек).

Слева от него достроим столбец с 1 для матрицы Х.

Записав формулу

=

МУМНОЖ(МОБР(МУМНОЖ(ТРАНСП(B7:C16);(B7:C16))); МУМНОЖ(ТРАНСП(B7:C16);(D7:D16)))

и введя ее как

формулу массива

в 2 ячейки, получим оценку параметров модели.

Красота применения матричной формы полностью раскрывается в случае

множественной регрессии

.

Построение линии регрессии

Для отображения

линии регрессии

построим сначала

диаграмму рассеяния

, на которой отобразим все точки (см.

начало статьи

).

Для построения прямой линии используйте вычисленные выше оценки параметров модели

a

и

b

(т.е. вычислите

у

по формуле

y

=

a

*

x

+

b

) или функцию

ТЕНДЕНЦИЯ()

.

Формула =

ТЕНДЕНЦИЯ($C$23:$C$83;$B$23:$B$83;B23)

возвращает расчетные (прогнозные) значения ŷi для заданного значения Хi из столбца

В2

.


Примечание

:

Линию регрессии

можно также построить с помощью функции

ПРЕДСКАЗ()

. Эта функция возвращает прогнозные значения ŷi, но, в отличие от функции

ТЕНДЕНЦИЯ()

работает только в случае одного регрессора. Функция

ТЕНДЕНЦИЯ()

может быть использована и в случае

множественной регрессии

(в этом случае 3-й аргумент функции должен быть ссылкой на диапазон, содержащий все значения Хi для выбранного наблюдения i).

Как видно из диаграммы выше

линия тренда

и

линия регрессии

не обязательно совпадают: отклонения точек от

линии тренда

случайны, а МНК лишь подбирает линию наиболее точно аппроксимирующую случайные точки данных.


Линию регрессии

можно построить и с помощью встроенных средств диаграммы, т.е. с помощью инструмента

Линия тренда.

Для этого выделите диаграмму, в меню выберите

вкладку Макет

, в

группе Анализ

нажмите

Линия тренда

, затем

Линейное приближение.

В диалоговом окне установите галочку

Показывать уравнение на диаграмме

(подробнее см. в

статье про МНК

).

Построенная таким образом линия, разумеется, должна совпасть с ранее построенной нами

линией регрессии,

а параметры уравнения

a

и

b

должны совпасть с параметрами уравнения отображенными на диаграмме.


Примечание:

Для того, чтобы вычисленные параметры уравнения

a

и

b

совпадали с параметрами уравнения на диаграмме, необходимо, чтобы тип у диаграммы был

Точечная, а не График

, т.к. тип диаграммы

График

не использует значения Х, а вместо значений Х используется последовательность 1; 2; 3; … Именно эти значения и берутся при расчете параметров

линии тренда

. Убедиться в этом можно если построить диаграмму

График

(см.

файл примера

), а значения

Хнач

и

Хшаг

установить равным 1. Только в этом случае параметры уравнения на диаграмме совпадут с

a

и

b

.

Коэффициент детерминации R

2


Коэффициент детерминации

R

2

показывает насколько полезна построенная нами

линейная регрессионная модель

.

Предположим, что у нас есть n значений переменной Y и мы хотим предсказать значение yi, но без использования значений переменной Х (т.е. без построения

регрессионной модели

). Очевидно, что лучшей оценкой для yi будет

среднее значение

ȳ. Соответственно, ошибка предсказания будет равна (yi — ȳ).


Примечание

: Далее будет использована терминология и обозначения

дисперсионного анализа

.

После построения

регрессионной модели

для предсказания значения yi мы будем использовать значение ŷi=a*xi+b. Ошибка предсказания теперь будет равна (yi — ŷi).

Теперь с помощью диаграммы сравним ошибки предсказания полученные без построения модели и с помощью модели.

Очевидно, что используя

регрессионную модель

мы уменьшили первоначальную (полную) ошибку (yi — ȳ)  на значение (ŷi — ȳ)  до величины (yi — ŷi).

(yi — ŷi) – это оставшаяся, необъясненная ошибка.

Очевидно, что все три ошибки связаны выражением:

(yi — ȳ)= (ŷi — ȳ) + (yi — ŷi)

Можно показать, что в общем виде справедливо следующее выражение:

Доказательство:

или в других, общепринятых в зарубежной литературе, обозначениях:


SST

=

SSR

+

SSE

Что означает:


Total Sum of Squares

=

Regression Sum of Squares

+

Error Sum of Squares


Примечание

: SS — Sum of Squares — Сумма Квадратов.

Как видно из формулы величины SST, SSR, SSE имеют размерность

дисперсии

(вариации) и соответственно описывают разброс (изменчивость):

Общую изменчивость

(Total variation),

Изменчивость объясненную моделью

(Explained variation) и

Необъясненную изменчивость

(Unexplained variation).

По определению

коэффициент детерминации

R

2

равен:

R

2

=

Изменчивость объясненная моделью / Общая изменчивость.

Этот показатель равен квадрату

коэффициента корреляции

и в MS EXCEL его можно вычислить с помощью функции

КВПИРСОН()

или

ЛИНЕЙН()

:

=

ИНДЕКС(ЛИНЕЙН(C23:C83;B23:B83;;ИСТИНА);3)

R

2

принимает значения от 0 до 1 (1 соответствует идеальной линейной зависимости Y от Х). Однако, на практике малые значения R2 вовсе не обязательно указывают, что переменную Х нельзя использовать для прогнозирования переменной Y. Малые значения R2 могут указывать на нелинейность связи или на то, что поведение переменной Y объясняется не только Х, но и другими факторами.

Стандартная ошибка регрессии


Стандартная ошибка регрессии

(

Standard Error of a regression

) показывает насколько велика ошибка предсказания значений переменной Y на основании значений Х. Отдельные значения Yi мы можем предсказывать лишь с точностью +/- несколько значений (обычно 2-3, в зависимости от формы распределения ошибки ε).

Теперь вспомним уравнение

линейной регрессионной модели

Y=a*X+β+ε. Ошибка ε имеет случайную природу, т.е. является случайной величиной и поэтому имеет свою функцию распределения со

средним значением

μ и

дисперсией

σ

2

.

Оценив значение

дисперсии

σ

2

и вычислив из нее квадратный корень – получим

Стандартную ошибку регрессии.

Чем точки наблюдений на диаграмме

рассеяния

ближе находятся к прямой линии, тем меньше

Стандартная ошибка.


Примечание

:

Вспомним

, что при построении модели предполагается, что

среднее значение

ошибки ε равно 0, т.е. E[ε]=0.

Оценим

дисперсию σ

2

. Помимо вычисления

Стандартной ошибки регрессии

эта оценка нам потребуется в дальнейшем еще и при построении

доверительных интервалов

для оценки параметров регрессии

a

и

b

.

Для оценки

дисперсии

ошибки ε используем

остатки регрессии

— разности между имеющимися значениями

yi

и значениями, предсказанными регрессионной моделью ŷ. Чем лучше регрессионная модель согласуется с данными (точки располагается близко к прямой линии), тем меньше величина остатков.

Для оценки

дисперсии σ

2

используют следующую формулу:

где SSE – сумма квадратов значений ошибок модели ε

i

=yi — ŷi (

Sum of Squared Errors

).

SSE часто обозначают и как SSres – сумма квадратов остатков (

Sum

of

Squared

residuals

).

Оценка

дисперсии

s

2

также имеет общепринятое обозначение MSE (Mean Square of Errors), т.е. среднее квадратов

ошибок

или MSRES (Mean Square of Residuals), т.е. среднее квадратов

остатков

. Хотя правильнее говорить сумме квадратов остатков, т.к. ошибка чаще ассоциируется с ошибкой модели ε, которая является непрерывной случайной величиной. Но, здесь мы будем использовать термины SSE и MSE, предполагая, что речь идет об остатках.


Примечание

: Напомним, что когда

мы использовали МНК

для нахождения параметров модели, то критерием оптимизации была минимизация именно SSE (SSres). Это выражение представляет собой сумму квадратов расстояний между наблюденными значениями yi и предсказанными моделью значениями ŷi, которые лежат на

линии регрессии.

Математическое ожидание

случайной величины MSE равно

дисперсии ошибки

ε, т.е.

σ

2

.

Чтобы понять почему SSE выбрана в качестве основы для оценки

дисперсии

ошибки ε, вспомним, что

σ

2

является также

дисперсией

случайной величины Y (относительно

среднего значения

μy, при заданном значении Хi). А т.к. оценкой μy является значение ŷi =

a

* Хi +

b

(значение

уравнения регрессии

при Х= Хi), то логично использовать именно SSE в качестве основы для оценки

дисперсии

σ

2

. Затем SSE усредняется на количество точек данных n за вычетом числа 2. Величина n-2 – это количество

степеней свободы

(

df



degrees

of

freedom

), т.е. число параметров системы, которые могут изменяться независимо (вспомним, что у нас в этом примере есть n независимых наблюдений переменной Y). В случае

простой линейной регрессии

число степеней свободы

равно n-2, т.к. при построении

линии регрессии

было оценено 2 параметра модели (на это было «потрачено» 2

степени свободы

).

Итак, как сказано было выше, квадратный корень из s

2

имеет специальное название

Стандартная ошибка регрессии

(

Standard Error of a regression

) и обозначается SEy. SEy показывает насколько велика ошибка предсказания. Отдельные значения Y мы можем предсказывать с точностью +/- несколько значений SEy (см.

этот раздел

). Если ошибки предсказания ε имеют

нормальное распределение

, то примерно 2/3 всех предсказанных значений будут на расстоянии не больше SEy от

линии регрессии

. SEy имеет размерность переменной Y и откладывается по вертикали. Часто на

диаграмме рассеяния

строят

границы предсказания

соответствующие +/- 2 SEy (т.е. 95% точек данных будут располагаться в пределах этих границ).

В MS EXCEL

стандартную ошибку

SEy можно вычислить непосредственно по формуле:

=

КОРЕНЬ(СУММКВРАЗН(C23:C83; ТЕНДЕНЦИЯ(C23:C83;B23:B83;B23:B83)) /( СЧЁТ(B23:B83) -2))

или с помощью функции

ЛИНЕЙН()

:

=

ИНДЕКС(ЛИНЕЙН(C23:C83;B23:B83;;ИСТИНА);3;2)


Примечание

: Подробнее о функции

ЛИНЕЙН()

см.

эту статью

.

Стандартные ошибки и доверительные интервалы для наклона и сдвига

В разделе

Оценка неизвестных параметров линейной модели

мы получили точечные оценки наклона

а

и сдвига

b

. Так как эти оценки получены на основе случайных величин (значений переменных Х и Y), то эти оценки сами являются случайными величинами и соответственно имеют функцию распределения со

средним значением

и

дисперсией

. Но, чтобы перейти от

точечных оценок

к

интервальным

, необходимо вычислить соответствующие

стандартные ошибки

(т.е.

стандартные отклонения

).


Стандартная ошибка коэффициента регрессии

a

вычисляется на основании

стандартной ошибки регрессии

по следующей формуле:

где Sx – стандартное отклонение величины х, вычисляемое по формуле:

где Sey –

стандартная ошибка регрессии,

т.е. ошибка предсказания значения переменой Y

(

см. выше

).

В MS EXCEL

стандартную ошибку коэффициента регрессии

Se можно вычислить впрямую по вышеуказанной формуле:

=

КОРЕНЬ(СУММКВРАЗН(C23:C83; ТЕНДЕНЦИЯ(C23:C83;B23:B83;B23:B83)) /( СЧЁТ(B23:B83) -2))/  СТАНДОТКЛОН.В(B23:B83) /КОРЕНЬ(СЧЁТ(B23:B83) -1)

или с помощью функции

ЛИНЕЙН()

:

=

ИНДЕКС(ЛИНЕЙН(C23:C83;B23:B83;;ИСТИНА);2;1)

Формулы приведены в

файле примера на листе Линейный

в разделе

Регрессионная статистика

.


Примечание

: Подробнее о функции

ЛИНЕЙН()

см.

эту статью

.

При построении

двухстороннего доверительного интервала

для

коэффициента регрессии

его границы определяются следующим образом:

где  —

квантиль распределения Стьюдента

с n-2 степенями свободы. Величина

а

с «крышкой» является другим обозначением

наклона

а

.

Например для

уровня значимости

альфа=0,05, можно вычислить с помощью формулы

=СТЬЮДЕНТ.ОБР.2Х(0,05;n-2)

Вышеуказанная формула следует из того факта, что если ошибки регрессии распределены нормально и независимо, то выборочное распределение случайной величины

является

t-распределением Стьюдента

с n-2 степенью свободы (то же справедливо и для наклона

b

).


Примечание

: Подробнее о построении

доверительных интервалов

в MS EXCEL можно прочитать в этой статье

Доверительные интервалы в MS EXCEL

.

В результате получим, что найденный

доверительный интервал

с вероятностью 95% (1-0,05) накроет истинное значение

коэффициента регрессии.

Здесь мы считаем, что

коэффициент регрессии

a

имеет

распределение Стьюдента

с n-2

степенями свободы

(n – количество наблюдений, т.е. пар Х и Y).


Примечание

: Подробнее о построении

доверительных интервалов

с использованием t-распределения см. статью про построение

доверительных интервалов

для среднего

.


Стандартная ошибка сдвига

b

вычисляется по следующей формуле:

В MS EXCEL

стандартную ошибку сдвига

Seb можно вычислить с помощью функции

ЛИНЕЙН()

:

=

ИНДЕКС(ЛИНЕЙН(C23:C83;B23:B83;;ИСТИНА);2;2)

При построении

двухстороннего доверительного интервала

для

сдвига

его границы определяются аналогичным образом как для

наклона

:

b

+/- t*Seb.

Проверка значимости взаимосвязи переменных

Когда мы строим модель Y=αX+β+ε мы предполагаем, что между Y и X существует линейная взаимосвязь. Однако, как это иногда бывает в статистике, можно вычислять параметры связи даже тогда, когда в действительности она не существует, и обусловлена лишь случайностью.

Единственный вариант, когда Y не зависит X (в рамках модели Y=αX+β+ε), возможен, когда

коэффициент регрессии

a

равен 0.

Чтобы убедиться, что вычисленная нами оценка

наклона

прямой линии не обусловлена лишь случайностью (не случайно отлична от 0), используют

проверку гипотез

. В качестве

нулевой гипотезы

Н

0

принимают, что связи нет, т.е. a=0. В качестве альтернативной гипотезы

Н

1

принимают, что a <>0.

Ниже на рисунках показаны 2 ситуации, когда

нулевую гипотезу

Н

0

не удается отвергнуть.

На левой картинке отсутствует любая зависимость между переменными, на правой – связь между ними нелинейная, но при этом

коэффициент линейной корреляции

равен 0.

Ниже — 2 ситуации, когда

нулевая гипотеза

Н

0

отвергается.

На левой картинке очевидна линейная зависимость, на правой — зависимость нелинейная, но коэффициент корреляции не равен 0 (метод МНК вычисляет показатели наклона и сдвига просто на основании значений выборки).

Для проверки гипотезы нам потребуется:

  • Установить

    уровень значимости

    , пусть альфа=0,05;

  • Рассчитать с помощью функции

    ЛИНЕЙН()

    стандартное отклонение

    Se для

    коэффициента регрессии

    (см.

    предыдущий раздел

    );

  • Рассчитать число степеней свободы: DF=n-2 или по формуле =

    ИНДЕКС(ЛИНЕЙН(C24:C84;B24:B84;;ИСТИНА);4;2)
  • Вычислить значение тестовой статистики t

    0

    =a/S

    e

    , которая имеет

    распределение Стьюдента

    с

    числом степеней свободы

    DF=n-2;

  • Сравнить значение

    тестовой статистики

    |t0| с пороговым значением t

    альфа

    ,n-2. Если значение

    тестовой статистики

    больше порогового значения, то

    нулевая гипотеза

    отвергается (

    наклон

    не может быть объяснен лишь случайностью при заданном уровне альфа) либо
  • вычислить

    p-значение

    и сравнить его с

    уровнем значимости

    .

В

файле примера

приведен пример проверки гипотезы:

Изменяя

наклон

тренда k (ячейка

В8

) можно убедиться, что при малых углах тренда (например, 0,05) тест часто показывает, что связь между переменными случайна. При больших углах (k>1), тест практически всегда подтверждает значимость линейной связи между переменными.


Примечание

: Проверка значимости взаимосвязи эквивалентна

проверке статистической значимости коэффициента корреляции

. В

файле примера

показана эквивалентность обоих подходов. Также проверку значимости можно провести с помощью

процедуры F-тест

.

Доверительные интервалы для нового наблюдения Y и среднего значения

Вычислив параметры

простой линейной регрессионной модели

Y=aX+β+ε мы получили точечную оценку значения нового наблюдения Y при заданном значении Хi, а именно: Ŷ=

a

* Хi +

b

Ŷ также является точечной оценкой для

среднего значения

Yi при заданном Хi. Но, при построении

доверительных интервалов

используются различные

стандартные ошибки

.


Стандартная ошибка

нового наблюдения Y при заданном Хi учитывает 2 источника неопределенности:

  • неопределенность связанную со случайностью оценок параметров модели

    a

    и

    b

    ;
  • случайность ошибки модели ε.

Учет этих неопределенностей приводит к

стандартной ошибке

S(Y|Xi), которая рассчитывается с учетом известного значения Xi.

где SS

xx

– сумма квадратов отклонений от

среднего

значений переменной Х:


Примечание

: Se –

стандартная ошибка коэффициента регрессии

(

наклона

а

).

В

MS EXCEL 2010

нет функции, которая бы рассчитывала эту

стандартную ошибку

, поэтому ее необходимо рассчитывать по вышеуказанным формулам.


Доверительный интервал

или

Интервал предсказания для нового наблюдения

(Prediction Interval for a New Observation) построим по схеме показанной в разделе

Проверка значимости взаимосвязи переменных

(см.

файл примера лист Интервалы

). Т.к. границы интервала зависят от значения Хi (точнее от расстояния Хi до среднего значения Х

ср

), то интервал будет постепенно расширяться при удалении от Х

ср

.

Границы

доверительного интервала

для

нового наблюдения

рассчитываются по формуле:

Аналогичным образом построим

доверительный интервал

для

среднего значения

Y при заданном Хi (Confidence Interval for the Mean of Y). В этом случае

доверительный интервал

будет уже, т.к.

средние значения

имеют меньшую изменчивость по сравнению с отдельными наблюдениями (

средние значения,

в рамках нашей линейной модели Y=aX+β+ε, не включают ошибку ε).


Стандартная ошибка

S(Yср|Xi) вычисляется по практически аналогичным формулам как и

стандартная ошибка

для нового наблюдения:

Как видно из формул,

стандартная ошибка

S(Yср|Xi) меньше

стандартной ошибки

S(Y|Xi) для индивидуального значения

.

Границы

доверительного интервала

для

среднего значения

рассчитываются по формуле:

Проверка адекватности линейной регрессионной модели

Модель адекватна, когда все предположения, лежащие в ее основе, выполнены (см. раздел

Предположения линейной регрессионной модели

).

Проверка адекватности модели в основном основана на исследовании остатков модели (model residuals), т.е. значений ei=yi – ŷi для каждого Хi. В рамках

простой линейной модели

n остатков имеют только n-2 связанных с ними

степеней свободы

. Следовательно, хотя, остатки не являются независимыми величинами, но при достаточно большом n это не оказывает какого-либо влияния на проверку адекватности модели.

Чтобы проверить предположение о

нормальности распределения

ошибок строят

график проверки на нормальность

(Normal probability Plot).

В

файле примера на листе Адекватность

построен

график проверки на нормальность

. В случае

нормального распределения

значения остатков должны быть близки к прямой линии.

Так как значения переменной Y мы

генерировали с помощью тренда

, вокруг которого значения имели нормальный разброс, то ожидать сюрпризов не приходится – значения остатков располагаются вблизи прямой.

Также при проверке модели на адекватность часто строят график зависимости остатков от предсказанных значений Y. Если точки не демонстрируют характерных, так называемых «паттернов» (шаблонов) типа вор

о

нок или другого неравномерного распределения, в зависимости от значений Y, то у нас нет очевидных доказательств неадекватности модели.

В нашем случае точки располагаются примерно равномерно.

Часто при проверке адекватности модели вместо остатков используют нормированные остатки. Как показано в разделе

Стандартная ошибка регрессии

оценкой

стандартного отклонения ошибок

является величина SEy равная квадратному корню из величины MSE. Поэтому логично нормирование остатков проводить именно на эту величину.

SEy можно вычислить с помощью функции

ЛИНЕЙН()

:

=

ИНДЕКС(ЛИНЕЙН(C23:C83;B23:B83;;ИСТИНА);3;2)

Иногда нормирование остатков производится на величину

стандартного отклонения

остатков (это мы увидим в статье об инструменте

Регрессия

, доступного в

надстройке MS EXCEL Пакет анализа

), т.е. по формуле:

Вышеуказанное равенство приблизительное, т.к. среднее значение остатков близко, но не обязательно точно равно 0.

Содержание:

Регрессионный анализ:

Регрессионным анализом называется раздел математической статистики, объединяющий практические методы исследования корреляционной зависимости между случайными величинами по результатам наблюдений над ними. Сюда включаются методы выбора модели изучаемой зависимости и оценки ее параметров, методы проверки статистических гипотез о зависимости.

Пусть между случайными величинами X и Y существует линейная корреляционная зависимость. Это означает, что математическое ожидание Y линейно зависит от значений случайной величины X. График этой зависимости (линия регрессии Y на X) имеет уравнение Регрессионный анализ - определение и вычисление с примерами решения

Линейная модель пригодна в качестве первого приближения и в случае нелинейной корреляции, если рассматривать небольшие интервалы возможных значений случайных величин.

Пусть параметры линии регрессии Регрессионный анализ - определение и вычисление с примерами решения неизвестны, неизвестна и величина коэффициента корреляции Регрессионный анализ - определение и вычисление с примерами решения Над случайными величинами X и Y проделано n независимых наблюдений, в результате которых получены n пар значений: Регрессионный анализ - определение и вычисление с примерами решения Эти результаты могут служить источником информации о неизвестных значениях Регрессионный анализ - определение и вычисление с примерами решения надо только уметь эту информацию извлечь оттуда.

Неизвестная нам линия регрессии Регрессионный анализ - определение и вычисление с примерами решения как и всякая линия регрессии, имеет то отличительное свойство, что средний квадрат отклонений значений Y от нее минимален. Поэтому в качестве оценок для Регрессионный анализ - определение и вычисление с примерами решения можно принять те их значения, при которых имеет минимум функция Регрессионный анализ - определение и вычисление с примерами решения

Такие значения Регрессионный анализ - определение и вычисление с примерами решения, согласно необходимым условиям экстремума, находятся из системы уравнений:

Регрессионный анализ - определение и вычисление с примерами решения

Решения этой системы уравнений дают оценки называемые оценками по методу наименьших квадратов.Регрессионный анализ - определение и вычисление с примерами решения

и

Регрессионный анализ - определение и вычисление с примерами решения

Известно, что оценки по методу наименьших квадратов являются несмещенными и, более того, среди всех несмещенных оценок обладают наименьшей дисперсией. Для оценки коэффициента корреляции можно воспользоваться тем, что Регрессионный анализ - определение и вычисление с примерами решения где Регрессионный анализ - определение и вычисление с примерами решения средние квадратические отклонения случайных величин X и Y соответственно. Обозначим через Регрессионный анализ - определение и вычисление с примерами решения оценки этих средних квадратических отклонений на основе опытных данных. Оценки можно найти, например, по формуле (3.1.3). Тогда для коэффициента корреляции имеем оценку Регрессионный анализ - определение и вычисление с примерами решения

По методу наименьших квадратов можно находить оценки параметров линии регрессии и при нелинейной корреляции. Например, для линии регрессии вида Регрессионный анализ - определение и вычисление с примерами решения оценки параметров Регрессионный анализ - определение и вычисление с примерами решения находятся из условия минимума функции

Регрессионный анализ - определение и вычисление с примерами решения

Пример:

По данным наблюдений двух случайных величин найти коэффициент корреляции и уравнение линии регрессии Y наРегрессионный анализ - определение и вычисление с примерами решения

Решение. Вычислим величины, необходимые для использования формул (3.7.1)–(3.7.3):

 Регрессионный анализ - определение и вычисление с примерами решения

По формулам (3.7.1) и (3.7.2) получимРегрессионный анализ - определение и вычисление с примерами решения

Итак, оценка линии регрессии имеет вид Регрессионный анализ - определение и вычисление с примерами решения Так как Регрессионный анализ - определение и вычисление с примерами решения то по формуле (3.1.3)

Регрессионный анализ - определение и вычисление с примерами решения

Аналогично, Регрессионный анализ - определение и вычисление с примерами решения Поэтому в качестве оценки коэффициента корреляции имеем по формуле (3.7.3) величину Регрессионный анализ - определение и вычисление с примерами решения

Ответ.  Регрессионный анализ - определение и вычисление с примерами решения

Пример:

Получена выборка значений величин X и YРегрессионный анализ - определение и вычисление с примерами решения

Для представления зависимости между величинами предполагается использовать модель Регрессионный анализ - определение и вычисление с примерами решения Найти оценки параметров Регрессионный анализ - определение и вычисление с примерами решения

Решение. Рассмотрим сначала задачу оценки параметров этой модели в общем виде. Линия Регрессионный анализ - определение и вычисление с примерами решения играет роль линии регрессии и поэтому параметры ее можно найти из условия минимума функции (сумма квадратов отклонений значений Y от линии должна быть минимальной по свойству линии регрессии)Регрессионный анализ - определение и вычисление с примерами решения

Необходимые условия экстремума приводят к системе из двух уравнений:Регрессионный анализ - определение и вычисление с примерами решения

Откуда

Регрессионный анализ - определение и вычисление с примерами решения

Решения системы уравнений (3.7.4) и (3.7.5) и будут оценками по методу наименьших квадратов для параметров Регрессионный анализ - определение и вычисление с примерами решения

На основе опытных данных вычисляем:Регрессионный анализ - определение и вычисление с примерами решения

В итоге получаем систему уравнений (?????) и (?????) в виде Регрессионный анализ - определение и вычисление с примерами решения

Эта система имеет решения Регрессионный анализ - определение и вычисление с примерами решения

Ответ. Регрессионный анализ - определение и вычисление с примерами решения

Если наблюдений много, то результаты их обычно группируют и представляют в виде корреляционной таблицы.Регрессионный анализ - определение и вычисление с примерами решения

В этой таблице Регрессионный анализ - определение и вычисление с примерами решения равно числу наблюдений, для которых X находится в интервале Регрессионный анализ - определение и вычисление с примерами решения а Y – в интервале Регрессионный анализ - определение и вычисление с примерами решения Через Регрессионный анализ - определение и вычисление с примерами решения обозначено число наблюдений, при которых Регрессионный анализ - определение и вычисление с примерами решения а Y произвольно. Число наблюдений, при которых Регрессионный анализ - определение и вычисление с примерами решения а X произвольно, обозначено через Регрессионный анализ - определение и вычисление с примерами решения

Если величины дискретны, то вместо интервалов указывают отдельные значения этих величин. Для непрерывных случайных величин представителем каждого интервала считают его середину и полагают, что Регрессионный анализ - определение и вычисление с примерами решения и Регрессионный анализ - определение и вычисление с примерами решения  наблюдались Регрессионный анализ - определение и вычисление с примерами решения раз.

При больших значениях X и Y можно для упрощения вычислений перенести начало координат и изменить масштаб по каждой из осей, а после завершения вычислений вернуться к старому масштабу.

Пример:

Проделано 80 наблюдений случайных величин X и Y. Результаты наблюдений представлены в виде таблицы. Найти линию регрессии Y на X. Оценить коэффициент корреляции.Регрессионный анализ - определение и вычисление с примерами решенияРегрессионный анализ - определение и вычисление с примерами решения

Решение. Представителем каждого интервала будем считать его середину. Перенесем начало координат и изменим масштаб по каждой оси так, чтобы значения X и Y были удобны для вычислений. Для этого перейдем к новым переменным Регрессионный анализ - определение и вычисление с примерами решения Значения этих новых переменных указаны соответственно в самой верхней строке и самом левом столбце таблицы.

Чтобы иметь представление о виде линии регрессии, вычислим средние значения Регрессионный анализ - определение и вычисление с примерами решения при фиксированных значениях Регрессионный анализ - определение и вычисление с примерами решения:Регрессионный анализ - определение и вычисление с примерами решения

Нанесем эти значения на координатную плоскость, соединив для наглядности их отрезками прямой (рис. 3.7.1).Регрессионный анализ - определение и вычисление с примерами решения

По виду полученной ломанной линии можно предположить, что линия регрессии Y на X является прямой. Оценим ее параметры. Для этого сначала вычислим с учетом группировки данных в таблице все величины, необходимые для использования формул (3.31–3.33): Регрессионный анализ - определение и вычисление с примерами решенияРегрессионный анализ - определение и вычисление с примерами решения

Тогда

Регрессионный анализ - определение и вычисление с примерами решения

В новом масштабе оценка линии регрессии имеет вид Регрессионный анализ - определение и вычисление с примерами решения График этой прямой линии изображен на рис. 3.7.1.

Для оценки Регрессионный анализ - определение и вычисление с примерами решения по корреляционной таблице можно воспользоваться формулой (3.1.3):

Регрессионный анализ - определение и вычисление с примерами решения

Подобным же образом можно оценить Регрессионный анализ - определение и вычисление с примерами решения величиной Регрессионный анализ - определение и вычисление с примерами решения Тогда оценкой коэффициента корреляции может служить величина Регрессионный анализ - определение и вычисление с примерами решения

Вернемся к старому масштабу:

 Регрессионный анализ - определение и вычисление с примерами решения

Коэффициент корреляции пересчитывать не нужно, так как это величина безразмерная и от масштаба не зависит.

Ответ. Регрессионный анализ - определение и вычисление с примерами решения

Пусть некоторые физические величины X и Y связаны неизвестной нам функциональной зависимостью Регрессионный анализ - определение и вычисление с примерами решения Для изучения этой зависимости производят измерения Y при разных значениях X. Измерениям сопутствуют ошибки и поэтому результат каждого измерения случаен. Если систематической ошибки при измерениях нет, то Регрессионный анализ - определение и вычисление с примерами решения играет роль линии регрессии и все свойства линии регрессии приложимы к Регрессионный анализ - определение и вычисление с примерами решения. В частности, Регрессионный анализ - определение и вычисление с примерами решения обычно находят по методу наименьших квадратов.

Регрессионный анализ

Основные положения регрессионного анализа:

Основная задача регрессионного анализа — изучение зависимости между результативным признаком Y и наблюдавшимся признаком X, оценка функции регрессий.

Предпосылки регрессионного анализа:

  1. Y — независимые случайные величины, имеющие постоянную дисперсию;
  2. X— величины наблюдаемого признака (величины не случайные);
  3. условное математическое ожидание Регрессионный анализ - определение и вычисление с примерами решения можно представить в виде Регрессионный анализ - определение и вычисление с примерами решения

Выражение (2.1), как уже упоминалось в п. 1.2, называется функцией регрессии (или модельным уравнением регрессии) Y на X. Оценке в этом выражении подлежат параметры Регрессионный анализ - определение и вычисление с примерами решения называемые коэффициентами регрессии, а также Регрессионный анализ - определение и вычисление с примерами решения— остаточная дисперсия.

Остаточной дисперсией называется та часть рассеивания результативного признака, которую нельзя объяснить действием наблюдаемого признака; Остаточная дисперсия может служить для оценки точности подбора вида функции регрессии (модельного уравнения регрессии), полноты набора признаков, включенных в анализ. Оценки параметров функции регрессии находят, используя метод наименьших квадратов.

В данном вопросе рассмотрен линейный регрессионный анализ. Линейным он называется потому, что изучаем лишь те виды зависимостейРегрессионный анализ - определение и вычисление с примерами решения которые линейны по оцениваемым параметрам, хотя могут быть нелинейны по переменным X. Например, зависимости Регрессионный анализ - определение и вычисление с примерами решенияРегрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения линейны относительно параметров Регрессионный анализ - определение и вычисление с примерами решения Регрессионный анализ - определение и вычисление с примерами решения хотя вторая и третья зависимости нелинейны относительно переменных х. Вид зависимости Регрессионный анализ - определение и вычисление с примерами решения выбирают, исходя из визуальной оценки характера расположения точек на поле корреляции; опыта предыдущих исследований; соображений профессионального характера, основанных и знании физической сущности процесса.

Важное место в линейном регрессионном анализе занимает так называемая «нормальная регрессия». Она имеет место, если сделать предположения относительно закона распределения случайной величины Y. Предпосылки «нормальной регрессии»:

  1. Y — независимые случайные величины, имеющие постоянную дисперсию и распределенные по нормальному закону;
  2. X— величины наблюдаемого признака (величины не случайные);
  3. условное математическое ожидание Регрессионный анализ - определение и вычисление с примерами решения можно представить в виде (2.1).

В этом случае оценки коэффициентов регрессии — несмещённые с минимальной дисперсией и нормальным законом распределения. Из этого положения следует что при «нормальной регрессии» имеется возможность оценить значимость оценок коэффициентов регрессии, а также построить доверительный интервал для коэффициентов регрессии и условного математического ожидания M(YX=x).

Линейная регрессия

Рассмотрим простейший случай регрессионного анализа — модель вида (2.1), когда зависимость Регрессионный анализ - определение и вычисление с примерами решения линейна и по оцениваемым параметрам, и

по переменным. Оценки параметров модели (2.1) Регрессионный анализ - определение и вычисление с примерами решения обозначил Регрессионный анализ - определение и вычисление с примерами решенияОценку остаточной дисперсии Регрессионный анализ - определение и вычисление с примерами решения обозначим Регрессионный анализ - определение и вычисление с примерами решенияПодставив в формулу (2.1) вместо параметров их оценки, получим уравнение регрессии Регрессионный анализ - определение и вычисление с примерами решениякоэффициенты которого Регрессионный анализ - определение и вычисление с примерами решения находят из условия минимума суммы квадратов отклонений измеренных значений результативного признакаРегрессионный анализ - определение и вычисление с примерами решения от вычисленных по уравнению регрессии Регрессионный анализ - определение и вычисление с примерами решенияРегрессионный анализ - определение и вычисление с примерами решения

Составим систему нормальных уравнений: первое уравнение

Регрессионный анализ - определение и вычисление с примерами решения

откуда   Регрессионный анализ - определение и вычисление с примерами решения

второе уравнениеРегрессионный анализ - определение и вычисление с примерами решения

откудаРегрессионный анализ - определение и вычисление с примерами решения

Итак,
Регрессионный анализ - определение и вычисление с примерами решения
Оценки, полученные по способу наименьших квадратов, обладают минимальной дисперсией в классе линейных оценок. Решая систему (2.2) относительноРегрессионный анализ - определение и вычисление с примерами решения найдём оценки параметров Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

Остаётся получить оценку параметра Регрессионный анализ - определение и вычисление с примерами решения . Имеем
Регрессионный анализ - определение и вычисление с примерами решения
где т — количество наблюдений.

Еслит велико, то для упрощения расчётов наблюдавшиеся данные принята группировать, т.е. строить корреляционную таблицу. Пример построения такой таблицы приведен в п. 1.5. Формулы для нахождения коэффициентов регрессии по сгруппированным данным те же, что и для расчёта по несгруппированным данным, но суммыРегрессионный анализ - определение и вычисление с примерами решениязаменяют на
Регрессионный анализ - определение и вычисление с примерами решения
где Регрессионный анализ - определение и вычисление с примерами решения — частоты повторений соответствующих значений переменных. В дальнейшем часто используется этот наглядный приём вычислений.
 

Нелинейная регрессия

Рассмотрим случай, когда зависимость нелинейна по переменным х, например модель вида
Регрессионный анализ - определение и вычисление с примерами решения   Регрессионный анализ - определение и вычисление с примерами решения

На рис. 2.1 изображено поле корреляции. Очевидно, что зависимость между Y и X нелинейная и её графическим изображением является не прямая, а кривая. Оценкой выражения (2.6) является уравнение регрессии

Регрессионный анализ - определение и вычисление с примерами решения

где Регрессионный анализ - определение и вычисление с примерами решения —оценки коэффициентов регрессии Регрессионный анализ - определение и вычисление с примерами решения
Регрессионный анализ - определение и вычисление с примерами решения
Принцип нахождения коэффициентов тот же — метод наименьших квадратов, т.е.

Регрессионный анализ - определение и вычисление с примерами решения

или

Регрессионный анализ - определение и вычисление с примерами решения

Дифференцируя последнее равенство по Регрессионный анализ - определение и вычисление с примерами решения и приравнивая правые части нулю, получаем так называемую систему нормальных уравнений:

Регрессионный анализ - определение и вычисление с примерами решения

В общем случае нелинейной зависимости между переменными Y и X связь может выражаться многочленом k-й степени от x:

Регрессионный анализ - определение и вычисление с примерами решения

Коэффициенты регрессии определяют по принципу наименьших квадратов. Система нормальных уравнений имеет вид

Регрессионный анализ - определение и вычисление с примерами решения
Вычислив коэффициенты системы, её можно решить любым известным способом.
 

Оценка значимости коэффициентов регрессии. Интервальная оценка коэффициентов регрессии

Проверить значимость оценок коэффициентов регрессии — значит установить, достаточна ли величина оценки для статистически обоснованного вывода о том, что коэффициент регрессии отличен от нуля. Для этого проверяют гипотезу о равенстве нулю коэффициента регрессии, соблюдая предпосылки «нормальной регрессии». В этом случае вычисляемая для проверки нулевой гипотезы Регрессионный анализ - определение и вычисление с примерами решения статистика

Регрессионный анализ - определение и вычисление с примерами решения

имеет распределение Стьюдента с к= n-2 степенями свободы (b — оценка коэффициента регрессии, Регрессионный анализ - определение и вычисление с примерами решения— оценка среднеквадратического отклонения

коэффициента регрессии, иначе стандартная ошибка оценки). По уровню значимости а и числу степеней свободы к находят по таблицам распределения Стьюдента (см. табл. 1 приложений) критическое значениеРегрессионный анализ - определение и вычисление с примерами решения удовлетворяющее условию Регрессионный анализ - определение и вычисление с примерами решения то нулевую гипотезу о равенстве нулю коэффициента регрессии отвергают, коэффициент считают значимым. ПриРегрессионный анализ - определение и вычисление с примерами решениянет оснований отвергать нулевую гипотезу.

Оценки среднеквадратического отклонения коэффициентов регрессии вычисляют по следующим формулам:
Регрессионный анализ - определение и вычисление с примерами решения
где   Регрессионный анализ - определение и вычисление с примерами решения— оценка остаточной дисперсии, вычисляемая по
формуле (2.5).

Доверительный интервал для значимых параметров строят по обычной схеме. Из условия

Регрессионный анализ - определение и вычисление с примерами решения
где а — уровень значимости, находим

Регрессионный анализ - определение и вычисление с примерами решения
 

Интервальная оценка для условного математического ожидания

Линия регрессии характеризует изменение условного математического ожидания результативного признака от вариации остальных признаков.

Точечной оценкой условного математического ожидания Регрессионный анализ - определение и вычисление с примерами решения является условное среднее Регрессионный анализ - определение и вычисление с примерами решения   Кроме точечной оценки для Регрессионный анализ - определение и вычисление с примерами решения можно
построить доверительный интервал в точке Регрессионный анализ - определение и вычисление с примерами решения

Известно, что Регрессионный анализ - определение и вычисление с примерами решения имеет распределение
Стьюдента с k=n—2 степенями свободы. Найдя оценку среднеквадратического отклонения для условного среднего, можно построить доверительный интервал для условного математического ожидания Регрессионный анализ - определение и вычисление с примерами решения

Оценку дисперсии условного среднего вычисляют по формуле
Регрессионный анализ - определение и вычисление с примерами решения
или для интервального ряда
Регрессионный анализ - определение и вычисление с примерами решения
Доверительный интервал находят из условия
Регрессионный анализ - определение и вычисление с примерами решения
где а — уровень значимости. Отсюда

Регрессионный анализ - определение и вычисление с примерами решения
Доверительный интервал для условного математического ожидания можно изобразить графически (рис, 2.2).

Регрессионный анализ - определение и вычисление с примерами решения

Из рис. 2.2 видно, что в точке Регрессионный анализ - определение и вычисление с примерами решения границы интервала наиболее близки друг другу. Расположение границ доверительного интервала показывает, что прогнозы по уравнению регрессии, хороши только в случае, если значение х не выходит за пределы выборки, по которой вычислено уравнение регрессии; иными словами, экстраполяция по уравнению регрессии может привести к значительным погрешностям.

Проверка значимости уравнения регрессии

Оценить значимость уравнения регрессии — значит установить, соответствует ли математическая, модель, выражающая зависимость между Y и X, экспериментальным данным. Для оценки значимости в предпосылках «нормальной регрессии» проверяют гипотезу Регрессионный анализ - определение и вычисление с примерами решения Если она отвергается, то считают, что между Y и X нет связи (или связь нелинейная). Для проверки нулевой гипотезы используют основное положение дисперсионного анализа о разбиении суммы квадратов на слагаемые. Воспользуемся разложением Регрессионный анализ - определение и вычисление с примерами решения— Общая сумма квадратов отклонений результативного признака

Регрессионный анализ - определение и вычисление с примерами решения разлагается на Регрессионный анализ - определение и вычисление с примерами решения (сумму, характеризующую влияние признака

X) и Регрессионный анализ - определение и вычисление с примерами решения (остаточную сумму квадратов, характеризующую влияние неучтённых факторов). Очевидно, чем меньше влияние неучтённых факторов, тем лучше математическая модель соответствует экспериментальным данным, так как вариация У в основном объясняется влиянием признака X.

Для проверки нулевой гипотезы вычисляют статистику Регрессионный анализ - определение и вычисление с примерами решения которая имеет распределение Фишера-Снедекора с АРегрессионный анализ - определение и вычисление с примерами решения степенями свободы (в п — число наблюдений). По уровню значимости а и числу степеней свободы Регрессионный анализ - определение и вычисление с примерами решения находят по таблицам F-распределение для уровня значимости а=0,05 (см. табл. 3 приложений) критическое значениеРегрессионный анализ - определение и вычисление с примерами решения удовлетворяющее условию Регрессионный анализ - определение и вычисление с примерами решения. Если Регрессионный анализ - определение и вычисление с примерами решениянулевую гипотезу отвергают, уравнение считают значимым. Если Регрессионный анализ - определение и вычисление с примерами решения то нет оснований отвергать нулевую гипотезу.

Многомерный регрессионный анализ

В случае, если изменения результативного признака определяются действием совокупности других признаков, имеет место многомерный регрессионный анализ. Пусть результативный признак У, а независимые признаки Регрессионный анализ - определение и вычисление с примерами решенияДля многомерного случая предпосылки регрессионного анализа можно сформулировать следующим образом: У -независимые случайные величины со средним Регрессионный анализ - определение и вычисление с примерами решения и постоянной дисперсией Регрессионный анализ - определение и вычисление с примерами решения— линейно независимые векторы Регрессионный анализ - определение и вычисление с примерами решения. Все положения, изложенные в п.2.1, справедливы для многомерного случая. Рассмотрим модель вида 

Регрессионный анализ - определение и вычисление с примерами решения

Оценке подлежат параметры Регрессионный анализ - определение и вычисление с примерами решения и остаточная дисперсия.

Заменив параметры их оценками, запишем уравнение регрессии

Регрессионный анализ - определение и вычисление с примерами решения
Коэффициенты в этом выражении находят методом наименьших квадратов.

Исходными данными для вычисления коэффициентов Регрессионный анализ - определение и вычисление с примерами решения является выборка из многомерной совокупности, представляемая обычно в виде матрицы X и вектора Y:
Регрессионный анализ - определение и вычисление с примерами решения   

Как и в двумерном случае, составляют систему нормальных уравнений
Регрессионный анализ - определение и вычисление с примерами решения
которую можно решить любым способом, известным из линейной алгебры. Рассмотрим один из них — способ обратной матрицы. Предварительно преобразуем систему уравнений. Выразим из первого уравнения значение Регрессионный анализ - определение и вычисление с примерами решениячерез остальные параметры:

Регрессионный анализ - определение и вычисление с примерами решения

Подставим в остальные уравнения системы вместо Регрессионный анализ - определение и вычисление с примерами решения полученное выражение:

Регрессионный анализ - определение и вычисление с примерами решения

Пусть С — матрица коэффициентов при неизвестных параметрах Регрессионный анализ - определение и вычисление с примерами решения Регрессионный анализ - определение и вычисление с примерами решения— матрица, обратная матрице С; Регрессионный анализ - определение и вычисление с примерами решения — элемент, стоящий на пересечении i-Й строки и i-го столбца матрицыРегрессионный анализ - определение и вычисление с примерами решения    — выражение
Регрессионный анализ - определение и вычисление с примерами решения. Тогда, используя формулы линейной алгебры,

запишем окончательные выражения для параметров:

Регрессионный анализ - определение и вычисление с примерами решения

Оценкой остаточной дисперсииРегрессионный анализ - определение и вычисление с примерами решения является

Регрессионный анализ - определение и вычисление с примерами решения

где Регрессионный анализ - определение и вычисление с примерами решения — измеренное значение результативного признака;Регрессионный анализ - определение и вычисление с примерами решения значение результативного признака, вычисленное по уравнению регрессий.

Если выборка получена из нормально распределенной генеральной совокупности, то, аналогично изложенному в п. 2.4, можно проверить значимость оценок коэффициентов регрессии, только в данном случае статистикуРегрессионный анализ - определение и вычисление с примерами решения вычисляют для каждого j-го коэффициента регрессии

Регрессионный анализ - определение и вычисление с примерами решения

где Регрессионный анализ - определение и вычисление с примерами решения—элемент обратной матрицы, стоящий на пересечении i-й строки и j-
го столбца;Регрессионный анализ - определение и вычисление с примерами решения —диагональный элемент обратной матрицы.

При заданном уровне значимости а и числе степеней свободы к=n— m—1 по табл. 1 приложений находят критическое значение Регрессионный анализ - определение и вычисление с примерами решения ЕслиРегрессионный анализ - определение и вычисление с примерами решения то нулевую гипотезу о равенстве нулю коэффициента регрессии отвергают. Оценку коэффициента считают значимой. Такую проверку производят последовательно для каждого коэффициента регрессии. ЕслиРегрессионный анализ - определение и вычисление с примерами решения то нет оснований отвергать нулевую гипотезу, оценку коэффициента регрессии считают незначимой.

Для значимых коэффициентов регрессии целесообразно построить доверительные интервалы по формуле (2.10). Для оценки значимости уравнения регрессии следует проверить нулевую гипотезу о том, что все коэффициенты регрессии (кроме свободного члена) равны нулю:Регрессионный анализ - определение и вычисление с примерами решения Регрессионный анализ - определение и вычисление с примерами решения — вектор коэффициентов регрессии). Нулевую гипотезу проверяют, так же как и в п. 2.6, с помощью статистики Регрессионный анализ - определение и вычисление с примерами решения, где Регрессионный анализ - определение и вычисление с примерами решения — сумма квадратов, характеризующая влияние признаков X; Регрессионный анализ - определение и вычисление с примерами решения — остаточная сумма квадратов, характеризующая влияние неучтённых факторов; Регрессионный анализ - определение и вычисление с примерами решенияРегрессионный анализ - определение и вычисление с примерами решенияДля уровня значимости а и числа степеней свободы Регрессионный анализ - определение и вычисление с примерами решения по табл. 3 приложений находят критическое значение Регрессионный анализ - определение и вычисление с примерами решения Если Регрессионный анализ - определение и вычисление с примерами решения то нулевую гипотезу об одновременном равенстве нулю коэффициентов регрессии отвергают. Уравнение регрессии считают значимым. При Регрессионный анализ - определение и вычисление с примерами решения нет оснований отвергать нулевую гипотезу, уравнение регрессии считают незначимым.

Факторный анализ

Основные положения. В последнее время всё более широкое распространение находит один из новых разделов многомерного статистического анализа — факторный анализ. Первоначально этот метод

разрабатывался для объяснения многообразия корреляций между исходными параметрами. Действительно, результатом корреляционного анализа является матрица коэффициентов корреляций. При малом числе параметров можно произвести визуальный анализ этой матрицы. С ростом числа параметра (10 и более) визуальный анализ не даёт положительных результатов. Оказалось, что всё многообразие корреляционных связей можно объяснить действием нескольких обобщённых факторов, являющихся функциями исследуемых параметров, причём сами обобщённые факторы при этом могут быть и неизвестны, однако их можно выразить через исследуемые параметры.

Один из основоположников факторного анализа Л. Терстоун приводит такой пример: несколько сотен мальчиков выполняют 20 разнообразных гимнастических упражнений. Каждое упражнение оценивают баллами. Можно рассчитать матрицу корреляций между 20 упражнениями. Это большая матрица размером 20><20. Изучая такую матрицу, трудно уловить закономерность связей между упражнениями. Нельзя ли объяснить скрытую в таблице закономерность действием каких-либо обобщённых факторов, которые в результате эксперимента непосредственно, не оценивались? Оказалось, что обо всех коэффициентах корреляции можно судить по трём обобщённым факторам, которые и определяют успех выполнения всех 20 гимнастических упражнений: чувство равновесия, усилие правого плеча, быстрота движения тела.

Дальнейшие разработки факторного анализа доказали, что этот метод может быть с успехом применён в задачах группировки и классификации объектов. Факторный анализ позволяет группировать объекты со сходными сочетаниями признаков и группировать признаки с общим характером изменения от объекта к объекту. Действительно, выделенные обобщённые факторы можно использовать как критерии при классификации мальчиков по способностям к отдельным группам гимнастических упражнений.

Методы факторного анализа находят применение в психологии и экономике, социологии и экономической географии. Факторы, выраженные через исходные параметры, как правило, легко интерпретировать как некоторые существенные внутренние характеристики объектов.

Факторный анализ может быть использован и как самостоятельный метод исследования, и вместе с другими методами многомерного анализа, например в сочетании с регрессионным анализом. В этом случае для набора зависимых переменных наводят обобщённые факторы, которые потом входят в регрессионный анализ в качестве переменных. Такой подход позволяет сократить число переменных в регрессионном анализе, устранить коррелированность переменных, уменьшить влияние ошибок и в случае ортогональности выделенных факторов значительно упростить оценку значимости переменных.

Представление, информации в факторном анализе

Для проведения факторного анализа информация должна быть представлена в виде двумерной таблицы чисел размерностью Регрессионный анализ - определение и вычисление с примерами решенияаналогичной приведенной в п. 2.7 (матрица исходных данных). Строки этой матрицы должны соответствовать объектам наблюдений Регрессионный анализ - определение и вычисление с примерами решения столбцы — признакамРегрессионный анализ - определение и вычисление с примерами решениятаким образом, каждый признак является как бы статистическим рядом, в котором наблюдения варьируют от объекта к объекту. Признаки, характеризующие объект наблюдения, как правило, имеют различную размерность. Чтобы устранить влияние размерности и обеспечить сопоставимость признаков, матрицу исходных данных    обычно нормируют, вводя единый    масштаб. Самым распространенным видом нормировки является стандартизация. От переменных Регрессионный анализ - определение и вычисление с примерами решения переходят к переменным Регрессионный анализ - определение и вычисление с примерами решенияВ дальнейшем, говоря о матрице исходных переменных, всегда будем иметь в виду стандартизованную матрицу.

Основная модель факторного анализа. Основная модель факторного анализа имеет вид

Регрессионный анализ - определение и вычисление с примерами решения

где Регрессионный анализ - определение и вычисление с примерами решения-j-й признак (величина случайная); Регрессионный анализ - определение и вычисление с примерами решения— общие факторы (величины случайные, имеющие нормальный закон распределения); Регрессионный анализ - определение и вычисление с примерами решения— характерный фактор; Регрессионный анализ - определение и вычисление с примерами решения— факторные нагрузки, характеризующие существенность влияния каждого фактора (параметры модели, подлежащие определению);Регрессионный анализ - определение и вычисление с примерами решения — нагрузка характерного фактора.

Модель предполагает, что каждый из j признаков, входящих в исследуемый набор и заданных в стандартной форме, может быть представлен в виде линейной комбинации небольшого числа общих факторов Регрессионный анализ - определение и вычисление с примерами решения и характерного фактора Регрессионный анализ - определение и вычисление с примерами решения

Термин «общий фактор» подчёркивает, что каждый такой фактор имеет существенное значение для анализа всех признаковРегрессионный анализ - определение и вычисление с примерами решения, т.е.

Регрессионный анализ - определение и вычисление с примерами решения

Термин «характерный фактор» показывает, что он относится только к данному j-му признаку. Это специфика признака, которая не может быть, выражена через факторы Регрессионный анализ - определение и вычисление с примерами решения

Факторные нагрузки Регрессионный анализ - определение и вычисление с примерами решения. характеризуют величину влияния того или иного общего фактора в вариации данного признака. Основная задача факторного анализа — определение факторных нагрузок. Факторная модель относится к классу аппроксимационных. Параметры модели должны быть выбраны так, чтобы наилучшим образом аппроксимировать корреляции между наблюдаемыми признаками.

Для j-го признака и i-го объекта модель (2.19) можно записать в. виде

Регрессионный анализ - определение и вычисление с примерами решения

где Регрессионный анализ - определение и вычисление с примерами решения значение k-го фактора для i-го объекта.

Дисперсию признака Регрессионный анализ - определение и вычисление с примерами решения можно разложить на составляющие: часть, обусловленную действием общих факторов, — общность Регрессионный анализ - определение и вычисление с примерами решения и часть, обусловленную действием j-го характера фактора, характерность Регрессионный анализ - определение и вычисление с примерами решения Все переменные представлены в стандартизированном виде, поэтому дисперсий у-го признака Регрессионный анализ - определение и вычисление с примерами решенияДисперсия признака может быть выражена через факторы и в конечном счёте через факторные нагрузки.

Если общие и характерные факторы не коррелируют между собой, то дисперсию j-го признака можно представить в виде

Регрессионный анализ - определение и вычисление с примерами решения

где Регрессионный анализ - определение и вычисление с примерами решения —доля дисперсии признака Регрессионный анализ - определение и вычисление с примерами решения приходящаяся на k-й фактор.

Полный вклад k-го фактора в суммарную дисперсию признаков

Регрессионный анализ - определение и вычисление с примерами решения

Вклад общих факторов в суммарную дисперсию Регрессионный анализ - определение и вычисление с примерами решения
 

Факторное отображение

Используя модель (2.19), запишем выражения для каждого из параметров:

Регрессионный анализ - определение и вычисление с примерами решения
Коэффициенты системы (2,21) — факторные нагрузки — можно представить в виде матрицы, каждая строка которой соответствует параметру, а столбец — фактору.

Факторный анализ позволяет получить не только матрицу отображений, но и коэффициенты корреляции между параметрами и

факторами, что является важной характеристикой качества факторной модели. Таблица таких коэффициентов корреляции называется факторной структурой или просто структурой.

Коэффициенты отображения можно выразить через выборочные парные коэффициенты корреляции. На этом основаны методы вычисления факторного отображения.

Рассмотрим связь между элементами структуры и коэффициентами отображения. Для этого, учитывая выражение (2.19) и определение выборочного коэффициента корреляции, умножим уравнения системы (2.21) на соответствующие факторы, произведём суммирование по всем n наблюдениям и, разделив на n, получим следующую систему уравнений:

Регрессионный анализ - определение и вычисление с примерами решения

гдеРегрессионный анализ - определение и вычисление с примерами решения — выборочный коэффициент корреляции между j-м параметром и к-
м фактором;Регрессионный анализ - определение и вычисление с примерами решения — коэффициент корреляции между к-м и р-м факторами.

Если предположить, что общие факторы между собой, не коррелированы, то уравнения    (2.22) можно записать в виде

Регрессионный анализ - определение и вычисление с примерами решения, т.е. коэффициенты отображения равны
элементам структуры.

Введём понятие, остаточного коэффициента корреляции и остаточной корреляционной матрицы. Исходной информацией для построения факторной модели (2.19) служит матрица выборочных парных коэффициентов корреляции. Используя построенную факторную модель, можно снова вычислить коэффициенты корреляции между признаками и сравнись их с исходными Коэффициентами корреляции. Разница между ними и есть остаточный коэффициент корреляции.

В случае независимости факторов имеют место совсем простые выражения для вычисляемых коэффициентов корреляции между параметрами: для их вычисления достаточно взять сумму произведений коэффициентов отображения, соответствующих наблюдавшимся признакам: Регрессионный анализ - определение и вычисление с примерами решения
где Регрессионный анализ - определение и вычисление с примерами решения —вычисленный по отображению коэффициент корреляции между j-м
и к-м признаком. Остаточный коэффициент корреляции

Регрессионный анализ - определение и вычисление с примерами решения

Матрица остаточных коэффициентов корреляции называется остаточной матрицей или матрицей остатков

Регрессионный анализ - определение и вычисление с примерами решения
где Регрессионный анализ - определение и вычисление с примерами решения — матрица остатков; R — матрица выборочных парных коэффициентов корреляции, или полная матрица; R’— матрица вычисленных по отображению коэффициентов корреляции.

Результаты факторного анализа удобно представить в виде табл. 2.10.
Регрессионный анализ - определение и вычисление с примерами решения

Здесь суммы квадратов нагрузок по строкам — общности параметров, а суммы квадратов нагрузок по столбцам — вклады факторов в суммарную дисперсию параметров. Имеет место соотношение

Регрессионный анализ - определение и вычисление с примерами решения

Определение факторных нагрузок

Матрицу факторных нагрузок можно получить различными способами. В настоящее время наибольшее распространение получил метод главных факторов. Этот метод основан на принципе последовательных приближений и позволяет достичь любой точности. Метод главных факторов предполагает использование ЭВМ. Существуют хорошие алгоритмы и программы, реализующие все вычислительные процедуры.

Введём понятие редуцированной корреляционной матрицы или просто редуцированной матрицы. Редуцированной называется матрица выборочных коэффициентов корреляцииРегрессионный анализ - определение и вычисление с примерами решения у которой на главной диагонали стоят значения общностей Регрессионный анализ - определение и вычисление с примерами решения:Регрессионный анализ - определение и вычисление с примерами решения

Редуцированная и полная матрицы связаны соотношением

Регрессионный анализ - определение и вычисление с примерами решения

где D — матрица характерностей.

Общности, как правило, неизвестны, и нахождение их в факторном анализе представляет серьезную проблему. Вначале определяют (хотя бы приближённо) число общих факторов, совокупность, которых может с достаточной точностью аппроксимировать все взаимосвязи выборочной корреляционной матрицы. Доказано, что число общих факторов (общностей) равно рангу редуцированной матрицы, а при известном ранге можно по выборочной корреляционной матрице найти оценки общностей. Числа общих факторов можно определить априори, исходя из физической природы эксперимента. Затем рассчитывают матрицу факторных нагрузок. Такая матрица, рассчитанная методом главных факторов, обладает одним интересным свойством: сумма произведений каждой пары её столбцов равна нулю, т.е. факторы попарно ортогональны.

Сама процедура нахождения факторных нагрузок, т.е. матрицы А, состоит из нескольких шагов и заключается в следующем: на первом шаге ищут коэффициенты факторных нагрузок при первом факторе так, чтобы сумма вкладов данного фактора в суммарную общность была максимальной:Регрессионный анализ - определение и вычисление с примерами решения

Максимум Регрессионный анализ - определение и вычисление с примерами решения должен быть найден при условии
Регрессионный анализ - определение и вычисление с примерами решения
где Регрессионный анализ - определение и вычисление с примерами решения —общностьРегрессионный анализ - определение и вычисление с примерами решенияпараметраРегрессионный анализ - определение и вычисление с примерами решения

Затем рассчитывают матрицу коэффициентов корреляции с учётом только первого фактораРегрессионный анализ - определение и вычисление с примерами решения Имея эту матрицу, получают первую матрицу остатков:Регрессионный анализ - определение и вычисление с примерами решения

На втором шаге определяют коэффициенты нагрузок при втором факторе так, чтобы сумма вкладов второго фактора в остаточную общность (т.е. полную общность без учёта той части, которая приходится на долю первого фактора) была максимальной. Сумма квадратов нагрузок при втором фактореРегрессионный анализ - определение и вычисление с примерами решения

Максимум Регрессионный анализ - определение и вычисление с примерами решения находят из условия
Регрессионный анализ - определение и вычисление с примерами решения
где Регрессионный анализ - определение и вычисление с примерами решения— коэффициент корреляции из первой матрицы остатков; Регрессионный анализ - определение и вычисление с примерами решения — факторные нагрузки с учётом второго фактора. Затем рассчитыва коэффициентов корреляций с учётом второго фактора и вычисляют вторую матрицу остатков: Регрессионный анализ - определение и вычисление с примерами решения

Факторный анализ учитывает суммарную общность. Исходная суммарная общностьРегрессионный анализ - определение и вычисление с примерами решения Итерационный процесс выделения факторов заканчивают, когда учтённая выделенными факторами суммарная общность отличается от исходной суммарной общности меньше чем на Регрессионный анализ - определение и вычисление с примерами решения— наперёд заданное малое число).

Адекватность факторной модели оценивается по матрице остатков (если величины её коэффициентов малы, то модель считают адекватной).

Такова последовательность шагов для нахождения факторных нагрузок. Для нахождения максимума функции (2.24) при условии (2.25) используют метод множителей Лагранжа, который приводит к системе т уравнений относительно m неизвестных Регрессионный анализ - определение и вычисление с примерами решения

Метод главных компонент

Разновидностью метода главных факторов является метод главных компонент или компонентный анализ, который реализует модель вида

Регрессионный анализ - определение и вычисление с примерами решения

где m — количество параметров (признаков).

Каждый из наблюдаемых, параметров линейно зависит от m не коррелированных между собой новых компонент (факторов) Регрессионный анализ - определение и вычисление с примерами решенияПо сравнению с моделью факторного анализа (2.19) в модели (2.28) отсутствует характерный фактор, т.е. считается, что вся вариация параметра может быть объяснена только действием общих или главных факторов. В случае компонентного анализа исходной является матрица коэффициентов корреляции, где на главной диагонали стоят единицы. Результатом компонентного анализа, так же как и факторного, является матрица факторных нагрузок. Поиск факторного решения — это ортогональное преобразование матрицы исходных переменных, в результате которого каждый параметр может быть представлен линейной комбинацией найденных m факторов, которые называют главными компонентами. Главные компоненты легко выражаются через наблюдённые параметры.

Если для дальнейшего анализа оставить все найденные т компонент, то тем самым будет использована вся информация, заложенная в корреляционной матрице. Однако это неудобно и нецелесообразно. На практике обычно оставляют небольшое число компонент, причём количество их определяется долей суммарной дисперсии, учитываемой этими компонентами. Существуют различные критерии для оценки числа оставляемых компонент; чаще всего используют следующий простой критерий: оставляют столько компонент, чтобы суммарная дисперсия, учитываемая ими, составляла заранее установленное число процентов. Первая из компонент должна учитывать максимум суммарной дисперсии параметров; вторая — не коррелировать с первой и учитывать максимум оставшейся дисперсии и так до тех пор, пока вся дисперсия не будет учтена. Сумма учтённых всеми компонентами дисперсий равна сумме дисперсий исходных параметров. Математический аппарат компонентного анализа полностью совпадает с аппаратом метода главных факторов. Отличие только в исходной матрице корреляций.

Компонента (или фактор) через исходные переменные выражается следующим образом:

Регрессионный анализ - определение и вычисление с примерами решения

где Регрессионный анализ - определение и вычисление с примерами решения— элементы факторного решения:Регрессионный анализ - определение и вычисление с примерами решения— исходные переменные; Регрессионный анализ - определение и вычисление с примерами решения.— k-е собственное значение; р — количество оставленных главных
компонент.

Для иллюстрации возможностей факторного анализа покажем, как, используя метод главных компонент, можно сократить размерность пространства независимых переменных, перейдя от взаимно коррелированных параметров к независимым факторам, число которых р

Следует особо остановиться на интерпретации результатов, т.е. на смысловой стороне факторного анализа. Собственно факторный анализ состоит из двух важных этапов; аппроксимации корреляционной матрицы и интерпретации результатов. Аппроксимировать корреляционную матрицу, т.е. объяснить корреляцию между параметрами действием каких-либо общих для них факторов, и выделить сильно коррелирующие группы параметров достаточно просто:    из корреляционной матрицы одним из методов

факторного анализа непосредственно получают матрицу нагрузок — факторное решение, которое называют прямым факторным решением. Однако часто это решение не удовлетворяет исследователей. Они хотят интерпретировать фактор как скрытый, но существенный параметр, поведение которого определяет поведение некоторой своей группы наблюдаемых параметров, в то время как, поведение других параметров определяется поведением других факторов. Для этого у каждого параметра должна быть наибольшая по модулю факторная нагрузка с одним общим фактором. Прямое решение следует преобразовать, что равносильно повороту осей общих факторов. Такие преобразования называют вращениями, в итоге получают косвенное факторное решение, которое и является результатом факторного анализа.

Приложения

Значение t — распределения Стьюдента Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

Понятие о регрессионном анализе. Линейная выборочная регрессия. Метод наименьших квадратов (МНК)

Основные задачи регрессионного анализа:

  •  Вычисление выборочных коэффициентов регрессии
  •  Проверка значимости коэффициентов регрессии
  •  Проверка адекватности модели
  •  Выбор лучшей регрессии
  •  Вычисление стандартных ошибок, анализ остатков

Построение простой регрессии по экспериментальным данным.

Предположим, что случайные величины Регрессионный анализ - определение и вычисление с примерами решения связаны линейной корреляционной зависимостью Регрессионный анализ - определение и вычисление с примерами решения для отыскания которой проведено Регрессионный анализ - определение и вычисление с примерами решения независимых измерений Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

Диаграмма рассеяния (разброса, рассеивания)
Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения — координаты экспериментальных точек.

Выборочное уравнение прямой линии регрессии Регрессионный анализ - определение и вычисление с примерами решения имеет вид

Регрессионный анализ - определение и вычисление с примерами решения

Задача: подобрать Регрессионный анализ - определение и вычисление с примерами решения таким образом, чтобы экспериментальные точки как можно ближе лежали к прямой Регрессионный анализ - определение и вычисление с примерами решения

Для того, что бы провести прямую Регрессионный анализ - определение и вычисление с примерами решения воспользуемся МНК. Потребуем,

чтобы Регрессионный анализ - определение и вычисление с примерами решения

Постулаты регрессионного анализа, которые должны выполняться при использовании МНК.

  1. Регрессионный анализ - определение и вычисление с примерами решения подчинены нормальному закону распределения.
  2. Дисперсия Регрессионный анализ - определение и вычисление с примерами решения постоянна и не зависит от номера измерения.
  3. Результаты наблюдений Регрессионный анализ - определение и вычисление с примерами решения в разных точках независимы.
  4. Входные переменные Регрессионный анализ - определение и вычисление с примерами решения независимы, неслучайны и измеряются без ошибок.

Введем функцию ошибок Регрессионный анализ - определение и вычисление с примерами решения и найдём её минимальное значение

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

Решив систему, получим искомые значения Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения является несмещенными оценками истинных значений коэффициентов Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения где 

Регрессионный анализ - определение и вычисление с примерами решения несмещенная оценка корреляционного момента (ковариации),
Регрессионный анализ - определение и вычисление с примерами решения несмещенная оценка дисперсии Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения выборочная ковариация,

  Регрессионный анализ - определение и вычисление с примерами решения выборочная дисперсия Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения — выборочный коэффициент корреляции

Коэффициент детерминации

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения — наблюдаемое экспериментальное значение Регрессионный анализ - определение и вычисление с примерами решения при Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения — предсказанное значение Регрессионный анализ - определение и вычисление с примерами решения удовлетворяющее уравнению регрессии

Регрессионный анализ - определение и вычисление с примерами решения — средневыборочное значение Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения — коэффициент детерминации, доля изменчивости Регрессионный анализ - определение и вычисление с примерами решения объясняемая  рассматриваемой регрессионной моделью. Для парной линейной регрессии Регрессионный анализ - определение и вычисление с примерами решения

Коэффициент детерминации принимает значения от 0 до 1. Чем ближе значение коэффициента к 1, тем сильнее зависимость. При оценке регрессионных моделей это используется для доказательства адекватности модели (качества регрессии). Для приемлемых моделей предполагается, что коэффициент детерминации должен быть хотя бы не меньше 0,5 (в этом случае коэффициент множественной корреляции превышает по модулю 0,7). Модели с коэффициентом детерминации выше 0,8 можно признать достаточно хорошими (коэффициент корреляции превышает 0,9). Подтверждение адекватности модели проводится на основе дисперсионного анализа путем проверки гипотезы о значимости коэффициента детерминации.

Регрессионный анализ - определение и вычисление с примерами решения регрессия незначима

Регрессионный анализ - определение и вычисление с примерами решения регрессия значима

Регрессионный анализ - определение и вычисление с примерами решения — уровень значимости 

Регрессионный анализ - определение и вычисление с примерами решения — статистический критерий

Критическая область — правосторонняя; Регрессионный анализ - определение и вычисление с примерами решения

Если Регрессионный анализ - определение и вычисление с примерами решения то нулевая гипотеза отвергается на заданном уровне значимости, следовательно, коэффициент детерминации значим, следовательно, регрессия адекватна.

Мощность статистического критерия. Функция мощности

Регрессионный анализ - определение и вычисление с примерами решения

Определение. Мощностью критерия Регрессионный анализ - определение и вычисление с примерами решения называют вероятность попадания критерия в критическую область при условии, что справедлива конкурирующая гипотеза.

Задача: построить критическую область таким образом, чтобы мощность критерия была максимальной.

Определение. Наилучшей критической областью (НКО) называют критическую область, которая обеспечивает минимальную ошибку второго рода Регрессионный анализ - определение и вычисление с примерами решения

Пример:

По паспортным данным автомобиля расход топлива на 100 километров составляет 10 литров. В результате измерения конструкции двигателя ожидается, что расход топлива уменьшится. Для проверки были проведены испытания 25 автомобилей с модернизированным двигателем; выборочная средняя расхода топлива по результатам испытаний составила 9,3 литра. Предполагая, что выборка получена из нормально распределенной генеральной совокупности с математическим ожиданием Регрессионный анализ - определение и вычисление с примерами решения и дисперсией Регрессионный анализ - определение и вычисление с примерами решения проверить гипотезу, утверждающую, что изменение конструкции двигателя не повлияло на расход топлива.

Регрессионный анализ - определение и вычисление с примерами решения

3) Уровень значимости Регрессионный анализ - определение и вычисление с примерами решения

4) Статистический критерий

Регрессионный анализ - определение и вычисление с примерами решения

5) Критическая область — левосторонняя

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения  следовательно Регрессионный анализ - определение и вычисление с примерами решения отвергается на уровне значимости Регрессионный анализ - определение и вычисление с примерами решения

Пример:

В условиях примера 1 предположим, что наряду с Регрессионный анализ - определение и вычисление с примерами решения рассматривается конкурирующая гипотеза Регрессионный анализ - определение и вычисление с примерами решения а критическая область задана неравенством Регрессионный анализ - определение и вычисление с примерами решения Найти вероятность ошибок I рода и II рода.

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения автомобилей имеют меньший расход топлива)

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения  автомобилей, имеющих расход топлива 9л на 100 км, классифицируются как автомобили, имеющие расход 10 литров).

Определение. Пусть проверяется Регрессионный анализ - определение и вычисление с примерами решения — критическая область критерия с заданным уровнем значимости Регрессионный анализ - определение и вычисление с примерами решения Функцией мощности критерия Регрессионный анализ - определение и вычисление с примерами решения называется вероятность отклонения Регрессионный анализ - определение и вычисление с примерами решения как функция параметра Регрессионный анализ - определение и вычисление с примерами решения т.е.

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения — ошибка 1-ого рода

Регрессионный анализ - определение и вычисление с примерами решения — мощность критерия

Пример:

Построить график функции мощности из примера 2 для Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения попадает в критическую область.

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

Пример:

Какой минимальный объем выборки следует взять в условии примера 2 для того, чтобы обеспечить Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

Лемма Неймана-Пирсона.

При проверке простой гипотезы Регрессионный анализ - определение и вычисление с примерами решения против простой альтернативной гипотезы Регрессионный анализ - определение и вычисление с примерами решения наилучшая критическая область (НКО) критерия заданного уровня значимости Регрессионный анализ - определение и вычисление с примерами решения состоит из точек выборочного пространства (выборок объема Регрессионный анализ - определение и вычисление с примерами решения для которых справедливо неравенство:

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения — константа, зависящая от Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения — элементы выборки;

Регрессионный анализ - определение и вычисление с примерами решения — функция правдоподобия при условии, что соответствующая гипотеза верна.

Пример:

Случайная величина Регрессионный анализ - определение и вычисление с примерами решения имеет нормальное распределение с параметрами Регрессионный анализ - определение и вычисление с примерами решения известно. Найти НКО для проверки Регрессионный анализ - определение и вычисление с примерами решения против Регрессионный анализ - определение и вычисление с примерами решенияпричем Регрессионный анализ - определение и вычисление с примерами решения

Решение:

Регрессионный анализ - определение и вычисление с примерами решения

Ошибка первого рода: Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

НКО: Регрессионный анализ - определение и вычисление с примерами решения

Пример:

Для зависимостиРегрессионный анализ - определение и вычисление с примерами решения заданной корреляционной табл. 13, найти оценки параметров Регрессионный анализ - определение и вычисление с примерами решения уравнения линейной регрессии Регрессионный анализ - определение и вычисление с примерами решения остаточную дисперсию; выяснить значимость уравнения регрессии при Регрессионный анализ - определение и вычисление с примерами решения

Решение. Воспользуемся предыдущими результатами

Регрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения

Согласно формуле (24), уравнение регрессии будет иметь вид Регрессионный анализ - определение и вычисление с примерами решения тогда Регрессионный анализ - определение и вычисление с примерами решения

Для выяснения значимости уравнения регрессии вычислим суммы Регрессионный анализ - определение и вычисление с примерами решенияСоставим расчетную таблицу:

Регрессионный анализ - определение и вычисление с примерами решения

Из (27) и (28) по данным таблицы получим Регрессионный анализ - определение и вычисление с примерами решенияРегрессионный анализ - определение и вычисление с примерами решения

Регрессионный анализ - определение и вычисление с примерами решения по табл. П7 находим Регрессионный анализ - определение и вычисление с примерами решения 

Вычислим статистику

Регрессионный анализ - определение и вычисление с примерами решения

Так как Регрессионный анализ - определение и вычисление с примерами решения то уравнение регрессии значимо. Остаточная дисперсия равна Регрессионный анализ - определение и вычисление с примерами решения

  • Корреляционный анализ
  • Статистические решающие функции
  • Случайные процессы
  • Выборочный метод
  • Проверка гипотезы о равенстве вероятностей
  • Доверительный интервал для математического ожидания
  • Доверительный интервал для дисперсии
  • Проверка статистических гипотез

АКТУАЛЬНОСТЬ ТЕМЫ

Общие положения

Про регрессионный анализ вообще, и его применение в DataScience написано очень много. Есть множество учебников, монографий, справочников и статей по прикладной статистике, огромное количество информации в интернете, примеров расчетов. Можно найти множество кейсов, реализованных с использованием средств Python. Казалось бы — что тут еще можно добавить?

Однако, как всегда, есть нюансы:

1. Регрессионный анализ — это прежде всего процесс, набор действий исследователя по определенному алгоритму: «подготовка исходных данных — построение модели — анализ модели — прогнозирование с помощью модели». Это ключевая особенность. Не представляет особой сложности сформировать DataFrame исходных данных и построить модель, запустить процедуру из библиотеки statsmodels. Однако подготовка исходных данных и последующий анализ модели требуют гораздо больших затрат человеко-часов специалиста и строк программного кода, чем, собственно, построение модели. На этих этапах часто приходится возвращаться назад, корректировать модель или исходные данные. Этому, к сожалению, во многих источниках, не удаляется достойного внимания, а иногда — и совсем не уделяется внимания, что приводит к превратному представлению о регрессионном анализе.

2. Далеко не во всех источниках уделяется должное внимание интерпретации промежуточных и финальных результатов. Специалист должен уметь интерпретировать каждую цифру, полученную в ходе работы над моделью.

3. Далеко не все процедуры на этапах подготовки исходных данных или анализа модели в источниках разобраны подробно. Например, про проверку значимости коэффициента детерминации найти информацию не представляет труда, а вот про проверку адекватности модели, построение доверительных интервалов регрессии или про специфические процедуры (например, тест Уайта на гетероскедастичность) информации гораздо меньше.

4. Своеобразная сложность может возникнуть с проверкой статистических гипотез: для отечественной литературы по прикладной статистике больше характерно проверять гипотезы путем сравнения расчетного значения критерия с табличным, а в иностранных источниках чаще определяется расчетный уровень значимости и сравнивается с заданным (чаще всего 0.05 = 1-0.95). В разных источниках информации реализованы разные подходы. Инструменты python (прежде всего библиотеки scipy и statsmodels) также в основном оперируют с расчетным уровнем значимости.

5. Ну и, наконец, нельзя не отметить, что техническая документация библиотеки statsmodels составлена, на мой взгляд, далеко не идеально: информация излагается путано, изобилует повторами и пропусками, описание классов, функций и свойств выполнено фрагментарно и количество примеров расчетов — явно недостаточно.

Поэтому я решил написать ряд обзоров по регрессионному анализу средствами Python, в которых акцент будет сделан на практических примерах, алгоритме действий исследователя, интерпретации всех полученных результатов, конкретных методических рекомендациях. Буду стараться по возможности избегать теории (хотя совсем без нее получится) — все-таки предполагается, что специалист DataScience должен знать теорию вероятностей и математическую статистику, хотя бы в рамках курса высшей математики для технического или экономического вуза.

В данном статье остановимся на самои простом, классическом, стереотипном случае — простой линейной регрессии (simple linear regression), или как ее еще принято называть — парной линейной регрессионной модели (ПЛРМ) — в ситуации, когда исследователя не подстерегают никакие подводные камни и каверзы — исходные данные подчиняются нормальному закону, в выборке отсутствуют аномальные значения, отсутствует ложная корреляция. Более сложные случаи рассмотрим в дальнейшем.

Для построение регрессионной модели будем пользоваться библиотекой statsmodels.

В данной статье мы рассмотрим по возможности полный набор статистических процедур. Некоторые из них (например, дескриптивная статистика или дисперсионный анализ регрессионной модели) могут показаться избыточными. Все так, но эти процедуры улучшают наше представление о процессе и об исходных данных, поэтому в разбор я их включил, а каждый исследователь сам вправе для себя определить, потребуются ему эти процедуры или нет.

Краткий обзор источников

Источников информации по корреляционному и регрессионному анализу огромное количество, в них можно просто утонуть. Поэтому позволю себе просто порекомендовать ряд источников, на мой взгляд, наиболее полезных:

  1. Кобзарь А.И. Прикладная математическая статистика. Для инженеров и научных работников. — М.: ФИЗМАТЛИТ, 2006. — 816 с.

  2. Львовский Е.Н. Статистические методы построения эмпирических формул. — М.: Высшая школа, 1988. — 239 с.

  3. Фёрстер Э., Рёнц Б. Методы корреляционного и регрессионного анализа / пер с нем. — М.: Финансы и статистика, 1983. — 302 с.

  4. Афифи А., Эйзен С. Статистический анализ. Подход с использованием ЭВМ / пер с англ. — М.: Мир, 1982. — 488 с.

  5. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. Книга 1 / пер.с англ. — М.: Финансы и статистика, 1986. — 366 с.

  6. Айвазян С.А. и др. Прикладная статистика: Исследование зависимостей. — М.: Финансы и статистика, 1985. — 487 с.

  7. Прикладная статистика. Основы эконометрики: В 2 т. 2-е изд., испр. — Т.2: Айвазян С.А. Основы эконометрики. — М.: ЮНИТИ-ДАНА, 2001. — 432 с.

  8. Магнус Я.Р. и др. Эконометрика. Начальный курс — М.: Дело, 2004. — 576 с.

  9. Носко В.П. Эконометрика. Книга 1. — М.: Издательский дом «Дело» РАНХиГС, 2011. — 672 с.

  10. Брюс П. Практическая статистика для специалистов Data Science / пер. с англ. — СПб.: БХВ-Петербург, 2018. — 304 с.

  11. Уатт Дж. и др. Машинное обучение: основы, алгоритмы и практика применения / пер. с англ. — СПб.: БХВ-Петербург, 2022. — 640 с.

Прежде всего следует упомянуть справочник Кобзаря А.И. [1] — это безусловно выдающийся труд. Ничего подобного даже близко не издавалось. Всем рекомендую иметь под рукой.

Есть очень хорошее практическое пособие [2] — для начинающих и практиков.>

Добротная работа немецких авторов [3]. Все разобрано подробно, обстоятельно, с примерами — очень хорошая книга. Примеры приведены из области экономики.

Еще одна добротная работа — [4], с примерами медико-биологического характера.

Работа [5] считается одним из наиболее полных изложений прикладного регрессионного анализа.

Более сложные работы — [6] (классика жанра), [7], [8], [9] — выдержаны на достаточно высоком математическом уровне, примеры из экономической области.

Свежие работы [10] (с примерами на языке R) и [11] (с примерами на python).

Cтатьи

Статей про регрессионный анализ в DataScience очень много, обращаю внимание на некоторые весьма полезные из них.

Серия статей «Python, корреляция и регрессия», охватывающая весь процесс регрессионного анализа:

  • первичная обработка данных, визуализация и корреляционный анализ;

  • регрессия;

  • теория матриц в регрессионном анализе, проверка  адекватности, мультиколлинеарность;

  • прогнозирование с помощью регрессионных моделей.

Очень хороший обзор «Интерпретация summary из statsmodels для линейной регрессии». В этой статье даны очень полезные ссылки:

  • Statistical Models

  • Interpreting Linear Regression Through statsmodels .summary()

Статья «Регрессионные модели в Python».

Основные предпосылки (гипотезы) регрессионного анализа

Очень кратко — об этом написано тысячи страниц в учебниках — но все же вспомним некоторые основы теории.

Проверка исходных предпосылок является очень важным моментом при статистическом анализе регрессионной модели. Если мы рассматриваем классическую линейную регрессионную модель вида:

то основными предпосылками при использовании обычного метода наименьших квадратов (МНК) для оценки ее параметров являются:

  1. Среднее значение (математическое ожидание) случайной составляющей равно нулю:

  1. Дисперсия случайной составляющей является постоянной:

В случае нарушения данного условия мы сталкиваемся с явлением гетероскедастичности.

  1. Значения случайной составляющей статистически независимы (некоррелированы) между собой:

В случае нарушения данного условия мы сталкиваемся с явлением автокорреляции.

  1. Условие существования обратной матрицы

что эквивалентно одному из двух следующих условий:

то есть число наблюдений должно превышать число параметров.

  1. Значения случайной составляющей некоррелированы со значениями независимых переменных:

  1. Случайная составляющая имеет нормальный закон распределения (с математическим ожиданием равным нулю — следует из условия 1):

Более подробно — см.: [3, с.90], [4, с.147], [5, с.122], [6, с.208], [7, с.49], [8, с.68], [9, с.88].

Кроме гетероскедастичности и автокорреляции возможно возникновение и других статистических аномалий — мультиколлинеарности, ложной корреляции и т.д.

Доказано, что оценки параметров, полученные с помощью МНК, обладают наилучшими свойствами (несмещенность, состоятельность, эффективность) при соблюдении ряда условий:

  • выполнение приведенных выше исходных предпосылок регрессионного анализа;

  • число наблюдений на одну независимую переменную должно быть не менее 5-6;

  • должны отсутствовать аномальные значения (выбросы).

Кроме обычного МНК существуют и другие его разновидности (взвешенный МНК, обобщенный МНК), которые применяются при наличии статистических аномалий. Кроме МНК применяются и другие методы оценки параметров моделей. В этом обзоре мы эти вопросы рассматривать не будем.

Алгоритм проведения регрессионного анализа

Алгоритм действий исследователя при построении регрессионной модели (полевые работы мы, по понятным причинам, не рассматриваем — считаем, что исходные данные уже получены):

  1. Подготовительный этап — постановка целей и задач исследования.

  2. Первичная обработка исходных данных — об этом много написано в учебниках и пособиях по DataScience, сюда могут относится:

  • выявление нерелевантных признаков (признаков, которые не несут полезной информации), нетипичных данных (выбросов), неинформативных признаков (имеющих большое количество одинаковых значений) и работа с ними (удаление/преобразование);

  • выделение категориальных признаков;

  • работа с пропущенными значениями;

  • преобразование признаков-дат в формат datetime и т.д.

  1. Визуализация исходных данных — предварительный графический анализ.

  2. Дескриптивная (описательная) статистика — расчет выборочных характеристик и предварительные выводы о свойствах исходных данных.

  3. Исследование закона распределения исходных данных и, при необходимости, преобразование исходных данных к нормальному закону распределения.

  4. Выявление статистически аномальных значений (выбросов), принятие решения об их исключении.

    Этапы 4, 5 и 6 могут быть при необходимости объединены.

  5. Корреляционный анализ — исследование корреляционных связей между исходными данными; это разведка перед проведением регрессионного анализа.

  6. Построение регрессионной модели:

  • выбор моделей;

  • выбор методов;

  • оценка параметров модели.

  1. Статистический анализ регрессионной модели:  

  • оценка ошибок аппроксимации (error metrics);

  • анализ остатков (проверка нормальности распределения остатков и гипотезы о равенстве нулю среднего значения остатков);

  • проверка адекватности модели;

  • проверка значимости коэффициента детерминации;

  • проверка значимости коэффициентов регрессии;

  • проверка мультиколлинеарности (для множественных регрессионных моделей; вообще мультиколлинеарные переменные выявляются еще на стадии корреляционного анализа);

  • проверка автокорреляции;

  • проверка гетероскедастичности.

   Этапы 8 и 9 могут быть при необходимости повторяться несколько раз.

  1. Сравнительный анализ нескольких регрессионных моделей, выбор наилучшей (при необходимости).

  2. Прогнозирование с помощью регрессионной модели и оценка качества прогноза.

  3. Выводы и рекомендации.

Само собой, этот алгоритм не есть истина в последней инстанции — в зависимости от особенностей исходных данных и вида модели могут возникать дополнительные задачи.

Применение пользовательских функций

Далее в обзоре мной будут использованы несколько пользовательских функций для решения разнообразных задач. Все эти функции созданы для облегчения работы и уменьшения размера программного кода. Данные функции загружается из пользовательского модуля my_module__stat.py, который доступен в моем репозитории на GitHub. Лично мне так удобнее работать, хотя каждый исследователь сам формирует себе инструменты по душе — особенно в части визуализации. Желающие могут пользоваться этими функциями, либо создать свои.

Итак, вот перечень данных функций:

  • graph_scatterplot_sns — функция позволяет построить точечную диаграмму средствами seaborn и сохранить график в виде png-файла;

  • graph_hist_boxplot_probplot_XY_sns  — функция позволяет визуализировать исходные данные для простой линейной регрессии путем одновременного построения гистограммы, коробчатой диаграммы и вероятностного графика (для переменных X и Y) средствами seaborn и сохранить график в виде png-файла; имеется возможность выбирать, какие графики строить (h — hist, b — boxplot, p — probplot);

  • descriptive_characteristics — функция возвращает в виде DataFrame набор статистических характеристики выборки, их ошибок и доверительных интервалов;

  • detecting_outliers_mad_test — функция выполняет проверку наличия аномальных значений (выбросов) по критерию наибольшего абсолютного отклонения (более подробно — см.[1, с.547]);

  • norm_distr_check — проверка нормальности распределения исходных данных с использованием набора из нескольких статистических тестов;

  • corr_coef_check — функция выполняет расчет коэффициента линейной корреляции Пирсона, проверку его значимости и расчет доверительных интервалов; об этой функции я писал в своей статье.

  • graph_regression_plot_sns —  — функция позволяет построить график регрессионной модели.

Ряд пользовательских функций мы создаем в процессе данного обзора (они тоже включены в пользовательский модуль my_module__stat.py):

  • regression_error_metrics — расчет ошибок аппроксимации регрессионной модели;

  • ANOVA_table_regression_model — вывод таблицы дисперсионного анализа регрессионной модели;

  • regression_model_adequacy_check — проверка адекватности регрессионной модели по критерию Фишера;

  • determination_coef_check — проверка значимости коэффициента детерминации по критерию Фишера;

  • regression_coef_check — проверка значимости коэффициентов регрессии по критеирю Стьюдента;

  • Goldfeld_Quandt_test, Breush_Pagan_test, White_test — проверка гетероскедастичности с использование тестов Голдфелда-Квандта, Бриша-Пэгана и Уайта соответственно;

  • regression_pair_predict — функция для прогнозирования с помощью парной регрессионной модели: рассчитывает прогнозируемое значение переменной Y по заданной модели, а также доверительные интервалы среднего и индивидуального значения для полученного прогнозируемого значения Y;

  • graph_regression_pair_predict_plot_sns — прогнозирование: построение графика регрессионной модели (с доверительными интервалами) и вывод расчетной таблицы с данными для заданной области значений X.

ПОСТАНОВКА ЗАДАЧИ

В качестве примера рассмотрим практическую задачу из области экспертизы промышленной безопасности — калибровку ультразвукового прибора для определения прочности бетона.

Итак, суть задачи: при обследовании несущих конструкций зданий и сооружений эксперт определяет прочность бетона с использованием ультразвукового прибора «ПУЛЬСАР-2.1», для которого необходимо предварительно построить градуировочную зависимость. Заключается это в следующем — производятся замеры с фиксацией следующих показателей:

  • X — показания ультразвукового прибора «ПУЛЬСАР-2.1» (м/с)

  • Y — результаты замера прочности бетона (методом отрыва со скалыванием) склерометром ИПС-МГ4.03.

Предполагается, что между показателями X и Y имеется линейная регрессионная зависимость, которая позволит прогнозировать прочность бетона на основании измерений, проведенных прибором «ПУЛЬСАР-2.1».

Были выполнены замеры фактической прочности бетона конструкций для бетонов одного вида с одним типом крупного заполнителя, с единой технологией производства. Для построения были выбраны 14 участков (не менее 12), включая участки, в которых значение косвенного показателя максимальное, минимальное и имеет промежуточные значения.

Настройка заголовков отчета:

# Общий заголовок проекта
Task_Project = 'Калибровка ультразвукового прибора "ПУЛЬСАР-2.1" nдля определения прочности бетона'

# Заголовок, фиксирующий момент времени
AsOfTheDate = ""

  # Заголовок раздела проекта
Task_Theme = ""

# Общий заголовок проекта для графиков
Title_String = f"{Task_Project}n{AsOfTheDate}"

# Наименования переменных
Variable_Name_X = "Скорость УЗК (м/с)"
Variable_Name_Y = "Прочность бетона (МПа)"

# Константы
INCH = 25.4    # мм/дюйм
  DecPlace = 5    # number of decimal places - число знаков после запятой

# Доверительная вероятность и уровень значимости:
p_level = 0.95
a_level = 1 - p_level   

Подключение модулей и библиотек:

# Стандартные модули и библиотеки

import os    # загрузка модуля для работы с операционной системой
import sys
import platform
print('{:<35}{:^0}'.format("Текущая версия Python: ", platform.python_version()), 'n')

import math
from math import *    # подключаем все содержимое модуля math, используем без псевдонимов

import numpy as np
#print ("Текущая версия модуля numpy: ", np.__version__)
print('{:<35}{:^0}'.format("Текущая версия модуля numpy: ", np.__version__))
from numpy import nan

import scipy as sci
print('{:<35}{:^0}'.format("Текущая версия модуля scipy: ", sci.__version__))
import scipy.stats as sps

import pandas as pd
print('{:<35}{:^0}'.format("Текущая версия модуля pandas: ", pd.__version__))

import matplotlib as mpl
print('{:<35}{:^0}'.format("Текущая версия модуля matplotlib: ", mpl.__version__))
import matplotlib.pyplot as plt

import seaborn as sns
print('{:<35}{:^0}'.format("Текущая версия модуля seaborn: ", sns.__version__))

import statsmodels.api as sm
import statsmodels.formula.api as smf
import statsmodels.graphics.api as smg
import statsmodels.stats.api as sms
from statsmodels.compat import lzip
print('{:<35}{:^0}'.format("Текущая версия модуля statsmodels: ", sm.__version__))

import statistics as stat    # module 'statistics' has no attribute '__version__'

import sympy as sym
print('{:<35}{:^0}'.format("Текущая версия модуля sympy: ", sym.__version__))

# Настройки numpy
np.set_printoptions(precision = 4, floatmode='fixed')

# Настройки Pandas
pd.set_option('display.max_colwidth', None)    # текст в ячейке отражался полностью вне зависимости от длины
pd.set_option('display.float_format', lambda x: '%.4f' % x)

# Настройки seaborn
sns.set_style("darkgrid")
sns.set_context(context='paper', font_scale=1, rc=None)    # 'paper', 'notebook', 'talk', 'poster', None

# Настройки Mathplotlib
f_size = 8    # пользовательская переменная для задания базового размера шрифта
plt.rcParams['figure.titlesize'] = f_size + 12    # шрифт заголовка
plt.rcParams['axes.titlesize'] = f_size + 10      # шрифт заголовка
plt.rcParams['axes.labelsize'] = f_size + 6       # шрифт подписей осей
plt.rcParams['xtick.labelsize'] = f_size + 4      # шрифт подписей меток
plt.rcParams['ytick.labelsize'] = f_size + 4
plt.rcParams['legend.fontsize'] = f_size + 6      # шрифт легенды

# Пользовательские модули и библиотеки

Text1 = os.getcwd()    # вывод пути к текущему каталогу
#print(f"Текущий каталог: {Text1}")

sys.path.insert(1, "D:REPOSITORYMyModulePython")

from my_module__stat import *

ФОРМИРОВАНИЕ ИСХОДНЫХ ДАННЫХ

Показания ультразвукового прибора «ПУЛЬСАР-2.1» (м/с):

X = np.array([
    4416, 4211, 4113, 4110, 4122,
    4427, 4535, 4311, 4511, 4475,
    3980, 4490, 4007, 4426
    ])

Результаты замера прочности бетона (методом отрыва со скалыванием) прибором ИПС-МГ4.03:

Y = np.array([
    34.2, 35.1, 31.5, 30.8, 30.0,
    34.0, 35.4, 35.8, 38.0, 37.7,
    30.0, 37.8, 31.0, 35.2
    ])

Запишем данные в DataFrame:

calibrarion_df = pd.DataFrame({
    'X': X,
    'Y': Y})
display(calibrarion_df)
calibrarion_df.info()

Сохраняем данные в csv-файл:

calibrarion_df.to_csv(
    path_or_buf='data/calibrarion_df.csv',
    mode='w+',
    sep=';')

Cоздаем копию исходной таблицы для работы:

dataset_df = calibrarion_df.copy()

ВИЗУАЛИЗАЦИЯ ДАННЫХ

Границы значений переменных (при построении графиков):

(Xmin_graph, Xmax_graph) = (3800, 4800)
(Ymin_graph, Ymax_graph) = (25, 45)
# Пользовательская функция
graph_scatterplot_sns(
    X, Y,
    Xmin=Xmin_graph, Xmax=Xmax_graph,
    Ymin=Ymin_graph, Ymax=Ymax_graph,
    color='orange',
    title_figure=Task_Project,
    x_label=Variable_Name_X,
    y_label=Variable_Name_Y,
    s=100,
    file_name='graph/scatterplot_XY_sns.png')

Существует универсальный набор графиков — гистограмма, коробчатая диаграмма, вероятностный график — которые позволяют исследователю сделать предварительные выводы о свойствах исходных данных.

Так как объем выборки невелик (n=14), строить гистограммы распределения переменных X и Y не имеет смысла, поэтому ограничимся построением коробчатых диаграмм и вероятностных графиков:

# Пользовательская функция
graph_hist_boxplot_probplot_XY_sns(
    data_X=X, data_Y=Y,
    data_X_min=Xmin_graph, data_X_max=Xmax_graph,
    data_Y_min=Ymin_graph, data_Y_max=Ymax_graph,  
    graph_inclusion='bp',    # выбираем для построения виды графиков: b - boxplot, p - probplot)
    data_X_label=Variable_Name_X,
    data_Y_label=Variable_Name_Y,
    title_figure=Task_Project,
    file_name='graph/hist_boxplot_probplot_XY_sns.png')    

Для сравнения характера распределений переменных X и Y возможно также построить совмещенную коробчатую диаграмму по стандартизованным данным:

# стандартизуем исходные данные
standardize_df = lambda X: ((X - np.mean(X))/np.std(X))

dataset_df_standardize = dataset_df.copy()
dataset_df_standardize = dataset_df_standardize.apply(standardize_df)
display(dataset_df_standardize)

# построим график
fig, axes = plt.subplots(figsize=(210/INCH, 297/INCH/2))
axes.set_title("Распределение стандартизованных переменных X и Y", fontsize = 16)
sns.boxplot(
    data=dataset_df_standardize,    
    orient='h',
    width=0.5,
    ax=axes)
plt.show()

Графический анализ позволяет сделать следующие выводы:

  1. Отсутствие выбросов на коробчатых диаграммах свидетельствует об однородности распределения переменных.

  2. Смещение медианы вправо на коробчатых диаграммах свидетельствует о левосторонней асимметрии распределения.

ДЕСКРИПТИВНАЯ (ОПИСАТЕЛЬНАЯ СТАТИСТИКА)

Собственно говоря, данный этап требуется проводить далеко не всегда, однако с помощью статистических характеристик выборки мы тоже можем сделать полезные выводы.

Описательная статистика исходных данных средствами библиотеки Pandas — самый простой вариант:

dataset_df.describe()

Описательная статистика исходных данных средствами библиотеки statsmodels — более развернутый вариант, с большим количеством показателей:

from statsmodels.stats.descriptivestats import Description
result = Description(
    dataset_df,
    stats=["nobs", "missing", "mean", "std_err", "ci", "ci", "std", "iqr", "mad", "coef_var", "range", "max", "min", "skew", "kurtosis", "mode",
           "median", "percentiles", "distinct", "top", "freq"],
    alpha=a_level,
    use_t=True)
display(result.summary())

Описательная статистика исходных данных с помощью пользовательской функции descriptive_characteristics:

# Пользовательская функция
descriptive_characteristics(X)

Выводы:

  1. Сравнение показателей среднего арифметического (mean) и медианы (median) свидетельствует о левосторонней асимметрии (т.к.mean < median).

  2. Значение коэффициента вариации CV = 0.0445 и доверительный интервал для него 0.0336 ≤ CV ≤ 0.0657 свидетельствует об однородности исходных данных (т.к. CV ≤ 0.33).

  3. Значение показателя асимметрии skew (As) = -0.3101 свидетельствует об умеренной левосторонней асимметрии распределении (т.к. |As| ≤ 0.5, As < 0).

  4. Значение показателя эксцесса kurtosis (Es) = -1.4551 свидетельствует о плосковершинном распределении (platykurtic distribution) (т.к. Es < 0).

# Пользовательская функция
descriptive_characteristics(Y)

Выводы:

  1. Сравнение показателей среднего арифметического (mean) и медианы (median) свидетельствует о левосторонней асимметрии (т.к.mean < median).

  2. Значение коэффициента вариации CV = 0.0822 и доверительный интервал для него 0.06202 ≤ CV ≤ 0.1217 свидетельствует об однородности исходных данных (т.к. CV ≤ 0.33).

  3. Значение показателя асимметрии skew (As) = -0.1109 свидетельствует о приблизительно симметричном распределении (т.к. |As| ≤ 0.25).

  4. Значение показателя эксцесса kurtosis (Es) = -1.3526 свидетельствует о плосковершинном распределении (platykurtic distribution) (т.к. Es < 0).

ПРОВЕРКА НОРМАЛЬНОСТИ РАСПРЕДЕЛЕНИЯ

Для проверки нормальности распределения использована пользовательская функция norm_distr_check, которая объединяет в себе набор стандартных статистических тестов проверки нормальности. Все тесты относятся к стандартному инструментарию Pyton (библиотека scipy, модуль stats), за исключением теста Эппса-Палли (Epps-Pulley test); о том, как реализовать этот тест средствами Pyton я писал в своей статье https://habr.com/ru/post/685582/.

Примечание: для использования функции norm_distr_check в каталог с ipynb-файлом необходимо поместить папку table c файлом Tep_table.csv, который содержит табличные значения статистики критерия Эппса-Палли.

# пользовательская функция
norm_distr_check(X)

# Пользовательская функция
norm_distr_check (Y)

Вывод: большинство статистических тестов позволяют принять гипотезу о нормальности распределения переменных X и Y.

ПРОВЕРКА АНОМАЛЬНЫХ ЗНАЧЕНИЙ (ВЫБРОСОВ)

Статистическую проверку аномальных значений (выбросов) не стоит путать с проверкой выбросов, которая проводится на этапе первичной обработки результатов наблюдений. Последняя проводится с целью отсеять явные ошибочные данные (например, в результате неправильно поставленной запятой величина показателя может увеличиться/уменьшиться на порядок); здесь же мы говорим о статистической проверке данных, которые уже прошли этап первичной обработки.

Имеется довольно много критериев для проверки аномальных значений (подробнее см.[1]); вообще данная процедура довольно неоднозначная:

  • критерии зависят от вида распределения;

  • мало данных о сравнительной мощности этих критериев;

  • даже в случае принятии гипотезы о нормальном распределении в выборке могут быть обнаружены аномальные значения и пр.

Кроме существует дилемма: если какие-то значения в выборке признаны выбросами — стоит или не стоит исследователю исключать их? Ведь каждое значение несет в себе информацию, причем иногда весьма ценную, а сильно отклоняющиеся от основного массива данные (которые не являются выбросами в смысле первичной обработки, но являются статистическим значимыми аномальными значениями) могут кардинально изменить статистический вывод.

В общем, о задаче выявления аномальных значений (выбросов) можно написать отдельно, а пока, в данном разборе, ограничимся проверкой аномальных значений по критерию наибольшего максимального отклонения (см.[1, с.547]) с помощью пользовательской функции detecting_outliers_mad_test. Данные функция возвращает DataFrame, которые включает список аномальных значений со следующими признаками:

  • value — проверяемое значение из выборки;

  • mad_calc и mad_table — расчетное и табличное значение статистики критерия;

  • outlier_conclusion — вывод (выброс или нет).

Обращаю внимание, что критерий наибольшего максимального отклонения можно использовать только для нормально распределенных данных.

# пользовательская функция
print("Проверка наличия выбросов переменной X:n")
result = detecting_outliers_mad_test(X)
mask = (result['outlier_conclusion'] == 'outlier')
display(result[mask])

# пользовательская функция
print("Проверка наличия выбросов переменной Y:n")
result = detecting_outliers_mad_test(Y)
mask = (result['outlier_conclusion'] == 'outlier')
display(result[mask])

Вывод: в случае обеих переменных X и Y список пуст, следовательно, аномальных значений (выбросов) не выявлено.

КОРРЕЛЯЦИОННЫЙ АНАЛИЗ

Корреляционный анализ — это разведка перед построением регрессионной модели.

Выполним расчет коэффициента линейной корреляции Пирсона, проверку его значимости и построение доверительных интервалов с помощью пользовательской функции corr_coef_check (про эту функцию более подробно написано в моей статье https://habr.com/ru/post/683442/):

# пользовательская функция
display(corr_coef_check(X, Y, scale='Evans'))

Выводы:

  1. Значение коэффициента корреляции coef_value = 0.8900 свидетельствует о весьма сильной корреляционной связи (по шкале Эванса).

  2. Коэффициент корреляции значим по критерию Стьюдента: t_calc ≥ t_table, a_calc ≤ a_level.

  3. Доверительный интервал для коэффициента корреляции: 0.6621 ≤ coef_value ≤ 0.9625.

РЕГРЕССИОННЫЙ АНАЛИЗ

Предварительная визуализация

python позволяет выполнить предварительную визуализацию, например, с помощью функции jointplot библиотеки seaborn:

fig = plt.figure(figsize=(297/INCH, 210/INCH))
axes = sns.jointplot(
    x=X, y=Y,
    kind='reg',
    ci=95)
plt.show()

Построение модели

Выполним оценку параметров и анализ простой линейной регрессии (simple linear regression), используя библиотеку statsmodels (https://www.statsmodels.org/) и входящий в нее модуль линейной регрессии Linear Regression (https://www.statsmodels.org/stable/regression.html).

Данный модуль включает в себя классы, реализующие различные методы оценки параметров моделей линейной регрессии, в том числе:

  • класс OLS (https://www.statsmodels.org/stable/generated/statsmodels.regression.linear_model.OLS.html#statsmodels.regression.linear_model.OLS) — Ordinary Least Squares (обычный метод наименьших квадратов).

  • класс WLS (https://www.statsmodels.org/stable/generated/statsmodels.regression.linear_model.WLS.html#statsmodels.regression.linear_model.WLS) — Weighted Least Squares (метод взвешенных наименьших квадратов) (https://en.wikipedia.org/wiki/Weighted_least_squares), применяется, если имеет место гетероскедастичность данных (https://ru.wikipedia.org/wiki/Гетероскедастичность).

  • класс GLS (https://www.statsmodels.org/stable/generated/statsmodels.regression.linear_model.GLS.html#statsmodels.regression.linear_model.GLS) — Generalized Least Squares (обобщенный метод наименьших квадратов) (https://en.wikipedia.org/wiki/Generalized_least_squares), применяется, если существует определенная степень корреляции между остатками в модели регрессии.

  • класс GLSAR (https://www.statsmodels.org/stable/generated/statsmodels.regression.linear_model.GLSAR.html#statsmodels.regression.linear_model.GLSAR) — Generalized Least Squares with AR covariance structure (обобщенный метод наименьших квадратов, ковариационная структура с автокорреляцией — экспериментальный метод)

  • класс RecurciveLS (https://www.statsmodels.org/stable/examples/notebooks/generated/recursive_ls.html) — Recursive least squares (рекурсивный метод наименьших квадратов) (https://en.wikipedia.org/wiki/Recursive_least_squares_filter)

  • классы RollingOLS (https://www.statsmodels.org/stable/generated/statsmodels.regression.rolling.RollingOLS.html#statsmodels.regression.rolling.RollingOLS) и RollingWLS (https://www.statsmodels.org/stable/generated/statsmodels.regression.rolling.RollingWLS.html#statsmodels.regression.rolling.RollingWLS) — скользящая регрессия (https://www.statsmodels.org/stable/examples/notebooks/generated/rolling_ls.html, https://help.fsight.ru/ru/mergedProjects/lib/01_regression_models/rolling_regression.htm)

    и т.д.

Так как исходные данные подчиняются нормальному закону распределения и аномальные значения (выбросы) отсутствуют, воспользуемся для оценки параметров обычным методом наименьших квадратов (класс OLS):

model_linear_ols = smf.ols(formula='Y ~ X', data=dataset_df)
result_linear_ols = model_linear_ols.fit()
print(result_linear_ols.summary())

Альтернативная форма выдачи результатов:

print(result_linear_ols.summary2())

Результаты построения модели мы получаем как класс statsmodels.regression.linear_model.RegressionResults (https://www.statsmodels.org/stable/generated/statsmodels.regression.linear_model.RegressionResults.html#statsmodels.regression.linear_model.RegressionResults).

Экспресс-выводы, которые мы можем сразу сделать из результатов построения модели:

  1. Коэффициенты регрессии модели Y = b0 + b1∙X:

    • Intercept = b0 = -21.3741

    • b1 = 0.0129

  2. Коэффициент детерминации R-squared = 0.776, его скорректированная оценка Adj. R-squared = 0.757 — это означает, что регрессионная модуль объясняет 75.75% вариации переменной Y.

  3. Проверка значимости коэффициента детерминации:

    • расчетное значение статистики критерия Фишера: F-statistic = 41.61

    • расчетный уровень значимости Prob (F-statistic) = 3.16e-05

    • так как значение Prob (F-statistic) < 0.05, то нулевая гипотеза R-squared = 0 НЕ ПРИНИМАЕТСЯ, т.е. коэффициент детерминации ЗНАЧИМ

  4. Проверка значимости коэффициентов регрессии:

    • расчетный уровень значимости P>|t| не превышает 0.05 — это означает, что оба коэффициента регрессии значимы

    • об этом же свидетельствует то, что доверительный интервал для обоих коэффициентов регрессии ([0.025; 0.975]) не включает в себя точку 0

    Также в таблице результатов содержится прочая информация по коэффициентам регрессии: стандартная ошибка Std.Err. расчетное значение статистики критерия Стьюдента t для проверки гипотезы о значимости.

  5. Анализ остатков модели:

    • Тест Omnibus — про этот тест подробно написано в https://en.wikipedia.org/wiki/Omnibus_test, https://medium.com/swlh/interpreting-linear-regression-through-statsmodels-summary-4796d359035a, http://work.thaslwanter.at/Stats/html/statsModels.html.

      Расчетное значение статистики критерия Omnibus = 3.466 — по сути расчетное значение F-критерия (см. https://en.wikipedia.org/wiki/Omnibus_test).

      Prob(Omnibus) = 0.177 — показывает вероятность нормального распределения остатков (значение 1 указывает на совершенно нормальное распределение).

      Учитывая, что в дальнейшем мы проверим нормальность распределения остатков по совокупности различных тестов, в том числе с достаточно высокой мощностью, и все тесты позволят принять гипотезу о нормальном распределении — в данном случае к тесту Omnibus возникают вопросы. С этим тестом нужно разбираться отдельно.

    • Skew = 0.014 и Kurtosis = 1.587 — показатели асимметрии и эксцесса остатков свидетельствуют, что распределение остатков практически симметричное, островершинное.

    • проверка нормальности распределения остатков по критерию Харке-Бера: расчетное значение статистики критерия Jarque-Bera (JB) = 1.164 и расчетный уровень значимости Prob(JB) = 0.559. К данным результатам также возникают вопросы, особенно, если учесть, что критерий Харке-Бера является асимптотическим, расчетное значение имеет распределение хи-квадрат, поэтому данный критерий рекомендуют применять только для больших выборок (см. https://en.wikipedia.org/wiki/Jarque–Bera_test). Проверку нормальности распределения остатков модели лучше проводить с использованием набора стандартных статистических тестов python (см. далее).

  6. Проверка автокорреляции по критерию Дарбина-Уотсона: Durbin-Watson = 1.443.

    Мы не будем здесь разбирать данный критерий, так как явление автокорреляции больше характерно для данных, выражаемых в виде временных рядов. Однако, для грубой оценки считается, что при расчетном значении статистики криетрия Дарбина=Уотсона а интервале [1; 2] автокорреляция отсутствует (см.https://en.wikipedia.org/wiki/Durbin–Watson_statistic).

    Более подробно про критерий Дарбина-Уотсона — см. [1, с.659].

Прочая информация, которую можно извлечь из результатов построения модели:

  1. Covariance Type — тип ковариации, подробнее см. https://habr.com/ru/post/681218/, https://towardsdatascience.com/simple-explanation-of-statsmodel-linear-regression-model-summary-35961919868b#:~:text=Covariance type is typically nonrobust,with respect to each other.

  2. Scale — масштабный коэффициент для ковариационной матрицы (https://www.statsmodels.org/stable/generated/statsmodels.regression.linear_model.RegressionResults.scale.html#statsmodels.regression.linear_model.RegressionResults.scale), равен величине Mean squared error (MSE) (cреднеквадратической ошибке), об подробнее см. далее, в разделе про ошибки аппроксимации моделей.

  3. Показатели сравнения качества различных моделей:

    • Log-Likelihood — логарифмическая функция правдоподобия, подробнее см. https://en.wikipedia.org/wiki/Likelihood_function#Log-likelihood, https://habr.com/ru/post/433804/

    • AIC — информационный критерий Акаике (Akaike information criterion), подробнее см. https://en.wikipedia.org/wiki/Akaike_information_criterion

    • BIC — информационный критерий Байеса (Bayesian information criterion), подробнее см. https://en.wikipedia.org/wiki/Bayesian_information_criterion

    В данной статье мы эти показатели рассматривать не будем, так как задача выбора одной модели из нескольких перед нами не стоит.

  4. Число обусловленности Cond. No = 96792 используется для проверки мультиколлинеарности (считается, что мультиколлинеарность есть, если значение Cond. No > 30) (см. http://work.thaslwanter.at/Stats/html/statsModels.html). В нашем случае парной регрессионной модели о мультиколлинеарности речь не идет.

Далее будем извлекать данные из стандартного набора выдачи результатов и анализировать их более подробно. Последующие этапы вовсе не обязательно проводить в полном объеме при решении задач, но здесь мы рассмотрим их подробно.

Параметры и уравнение регрессионной модели

Извлечем параметры полученной модели — как свойство params модели:

print('Параметры модели: n', result_linear_ols.params, type(result_linear_ols.params))

Имея параметры модели, можем формализовать уравнение модели Y = b0 + b1*X:

b0 = result_linear_ols.params['Intercept']
b1 = result_linear_ols.params['X']
Y_calc = lambda x: b0 + b1*x

График регрессионной модели

Для построения графиков регрессионных моделей можно воспользоваться стандартными возможностями библиотек statsmodels, seaborn, либо создать пользовательскую функцию — на усмотрение исследователя:

1. Построение графиков регрессионных моделей с использованием библиотеки statsmodels

С помощью функции statsmodels.graphics.plot_fit (https://www.statsmodels.org/stable/generated/statsmodels.graphics.regressionplots.plot_fit.html#statsmodels.graphics.regressionplots.plot_fit) — отображается график Y and Fitted vs.X (фактические и расчетные значения Y с доверительным интервалом для каждого значения Y):

fig, ax = plt.subplots(figsize=(297/INCH, 210/INCH))
fig = sm.graphics.plot_fit(
    result_linear_ols, 'X',
    vlines=True,    # это параметр отвечает за отображение доверительных интервалов для Y
    ax=ax)
ax.set_ylabel(Variable_Name_Y)
ax.set_xlabel(Variable_Name_X)
ax.set_title(Task_Project)
plt.show()

С помощью функции statsmodels.graphics.plot_regress_exog (https://www.statsmodels.org/stable/generated/statsmodels.graphics.regressionplots.plot_regress_exog.html#statsmodels.graphics.regressionplots.plot_regress_exog) — отображается область 2х2, которая содержит:

  • предыдущий график Y and Fitted vs.X;

  • график остатков Residuals versus X;

  • график Partial regression plot — график частичной регрессии, пытается показать эффект добавления другой переменной в модель, которая уже имеет одну или несколько независимых переменных (более подробно см. https://en.wikipedia.org/wiki/Partial_regression_plot);

  • график CCPR Plot (Component-Component plus Residual Plot) — еще один способ оценить влияние одной независимой переменной на переменную отклика, принимая во внимание влияние других независимых переменных (более подробно — см. https://towardsdatascience.com/calculating-price-elasticity-of-demand-statistical-modeling-with-python-6adb2fa7824d, https://www.kirenz.com/post/2021-11-14-linear-regression-diagnostics-in-python/linear-regression-diagnostics-in-python/).

fig = plt.figure(figsize=(297/INCH, 210/INCH))
sm.graphics.plot_regress_exog(result_linear_ols, 'X', fig=fig)
plt.show()

2. Построение графиков регрессионных моделей с использованием библиотеки seaborn

Воспользуемся модулем regplot библиотеки seaborn (https://seaborn.pydata.org/generated/seaborn.regplot.html). Данный модуль позволяет визуализировать различные виды регрессии:

  • линейную

  • полиномиальную

  • логистическую

  • взвешенную локальную регрессию (LOWESS — Locally Weighted Scatterplot Smoothing) (см. http://www.machinelearning.ru/wiki/index.php?title=Алгоритм_LOWESS, https://www.statsmodels.org/stable/generated/statsmodels.nonparametric.smoothers_lowess.lowess.html)

Более подробно про модуль regplot можно прочитать в статье: https://pyprog.pro/sns/sns_8_regression_models.html.

Есть более совершенный модуль lmplot (https://seaborn.pydata.org/generated/seaborn.lmplot.html), который объединяет в себе regplot и FacetGrid, но мы его здесь рассматривать не будем.

# создание рисунка (Figure) и области рисования (Axes)
fig = plt.figure(figsize=(297/INCH, 420/INCH/1.5))
ax1 = plt.subplot(2,1,1)
ax2 = plt.subplot(2,1,2)
# заголовок рисунка (Figure)
title_figure = Task_Project
fig.suptitle(title_figure, fontsize = 18)
# заголовок области рисования (Axes)
title_axes_1 = 'Линейная регрессионная модель'
ax1.set_title(title_axes_1, fontsize = 16)
# график регрессионной модели
order_mod = 1    # порядок модели
#label_legend_regr_model = 'фактические данные'
sns.regplot(
    #data=dataset_df,
    x=X, y=Y,
    #x_estimator=np.mean,
    order=order_mod,
    logistic=False,
    lowess=False,
    robust=False,
    logx=False,
    ci=95,
    scatter_kws={'s': 30, 'color': 'red'},
    line_kws={'color': 'blue'},
    #label=label_legend_regr_model,
    ax=ax1)
ax1.set_ylabel(Variable_Name_Y)
ax1.legend()
# график остатков
title_axes_2 = 'График остатков'
ax2.set_title(title_axes_2, fontsize = 16)
sns.residplot(
    #data=dataset_df,
    x=X, y=Y,
    order=order_mod,
    lowess=False,
    robust=False,
    scatter_kws={'s': 30, 'color': 'darkorange'},
    ax=ax2)
ax2.set_xlabel(Variable_Name_X)

plt.show()

3. Построение графиков регрессионных моделей с помощью пользовательской функции

# Пользовательская функция
graph_regression_plot_sns(
    X, Y,
    regression_model=Y_calc,
    Xmin=Xmin_graph, Xmax=Xmax_graph,
    Ymin=Ymin_graph, Ymax=Ymax_graph,
    title_figure=Task_Project,
    x_label=Variable_Name_X,
    y_label=Variable_Name_Y,
    label_legend_regr_model=f'линейная регрессия Y = {b0:.3f} + {b1:.4f}*X',
    s=80,
    file_name='graph/regression_plot_lin.png')

Статистический анализ регрессионной модели

1. Расчет ошибки аппроксимации (Error Metrics)

Ошибки аппроксимации (Error Metrics) позволяют получить общее представление о качестве модели, а также позволяют сравнивать между собой различные модели.

Создадим пользовательскую функцию, которая рассчитывает основные ошибки аппроксимации для заданной модели:

  • Mean squared error (MSE) или Mean squared deviation (MSD) — среднеквадратическая ошибка (https://en.wikipedia.org/wiki/Mean_squared_error):

  • Root mean square error (RMSE) или Root mean square deviation (RMSD) — квадратный корень из MSE (https://en.wikipedia.org/wiki/Root-mean-square_deviation):

  • Mean absolute error (MAE) — средняя абсолютная ошибка (https://en.wikipedia.org/wiki/Mean_absolute_error):

  • Mean squared prediction error (MSPE) — среднеквадратическая ошибка прогноза (среднеквадратическая ошибка в процентах) (https://en.wikipedia.org/wiki/Mean_squared_prediction_error):

  • Mean absolute percentage error (MAPE) — средняя абсолютная ошибка в процентах (https://en.wikipedia.org/wiki/Mean_absolute_percentage_error):

Про выбор метрики см. также https://machinelearningmastery.ru/how-to-select-the-right-evaluation-metric-for-machine-learning-models-part-2-regression-metrics-d4a1a9ba3d74/.

# Пользовательская функция
def regression_error_metrics(model, model_name=''):
    model_fit = model.fit()
    Ycalc = model_fit.predict()
    n_fit = model_fit.nobs
    Y = model.endog
    
    MSE = (1/n_fit) * np.sum((Y-Ycalc)**2)
    RMSE = sqrt(MSE)
    MAE = (1/n_fit) * np.sum(abs(Y-Ycalc))
    MSPE = (1/n_fit) *  np.sum(((Y-Ycalc)/Y)**2)
    MAPE = (1/n_fit) *  np.sum(abs((Y-Ycalc)/Y))
        
    model_error_metrics = {
        'MSE': MSE,
        'RMSE': RMSE,
        'MAE': MAE,
        'MSPE': MSPE,
        'MAPE': MAPE}
    
    result = pd.DataFrame({
        'MSE': MSE,
        'RMSE': RMSE,
        'MAE': MAE,
        'MSPE': "{:.3%}".format(MSPE),
        'MAPE': "{:.3%}".format(MAPE)},
        index=[model_name])        
        
    return model_error_metrics, result

(model_error_metrics, result) = regression_error_metrics(model_linear_ols, model_name='linear_ols')
display(result)

В литературе по прикладной статистике нет единого мнения о допустимом размере относительных ошибок аппроксимации: в одних источниках допустимой считается ошибка 5-7%, в других она может быть увеличена до 8-10%, и даже до 15%.

Вывод: модель хорошо аппроксимирует фактические данные (относительная ошибка аппроксимации MAPE = 3.405% < 10%).

2. Дисперсионный анализ регрессионной модели (ДАРМ)

ДАРМ не входит в стандартную форму выдачи результатов Regression Results, однако я решил написать здесь о нем по двум причинам:

  1. Именно анализ дисперсии регрессионной модели, разложение этой дисперсии на составляющие дает фундаментальное представление о сути регрессии, а термины, используемые при ДАРМ, применяются на последующих этапах анализа.

  2. С терминами ДАРМ в литературе по прикладной статистике имеется некоторая путаница, в разных источниках они могут именоваться по-разному (см., например, [8, с.52]), поэтому, чтобы двигаться дальше, необходимо определиться с понятиями.

При ДАРМ общую вариацию результативного признака (Y) принято разделять на две составляющие — вариация, обусловленная регрессией и вариация, обусловленная отклонениями от регрессии (остаток), при этом в разных источниках эти термины могут именоваться и обозначаться по-разному, например:

  1. Вариация, обусловленная регрессией — может называться Explained sum of squares (ESS), Sum of Squared Regression (SSR) (https://en.wikipedia.org/wiki/Explained_sum_of_squares, https://towardsdatascience.com/anova-for-regression-fdb49cf5d684), Sum of squared deviations (SSD).

  2. Вариация, обусловленная отклонениями от регрессии (остаток) — может называться Residual sum of squares (RSS), Sum of squared residuals (SSR), Squared estimate of errors, Sum of Squared Error (SSE) (https://en.wikipedia.org/wiki/Residual_sum_of_squares, https://towardsdatascience.com/anova-for-regression-fdb49cf5d684); в отчественной практике также применяется термин остаточная дисперсия.

  3. Общая (полная) вариация — может называться Total sum of squares (TSS), Sum of Squared Total (SST) (https://en.wikipedia.org/wiki/Partition_of_sums_of_squares, https://towardsdatascience.com/anova-for-regression-fdb49cf5d684).

Как видим, путаница знатная:

  • в разных источниках под SSR могут подразумеваться различные показатели;

  • легко перепутать показатели ESS и SSE;

  • в библиотеке statsmodel также есть смешение терминов: для показателя Explained sum of squares используется свойство ess, а для показателя Sum of squared (whitened) residuals — свойство ssr.

Мы будем пользоваться системой обозначений, принятой в большинстве источников — SSR (Sum of Squared Regression), SSE (Sum of Squared Error), SST (Sum of Squared Total). Стандартная таблица ДАРМ в этом случае имеет вид:

Примечания:

  1. Здесь приведена таблица ДАРМ для множественной линейной регрессионной модели (МЛРМ), в нашем случае при ПЛРМ мы имеем частный случай p=1.

  2. Показатели Fcalc-ad и Fcalc-det — расчетные значения статистики критерия Фишера при проверке адекватности модели и значимости коэффициента детерминации (об этом — см.далее).

Более подробно про дисперсионный анализ регрессионной модели — см.[4, глава 3].

Класс statsmodels.regression.linear_model.RegressionResults позволяет нам получить данные для ANOVA (см. https://www.statsmodels.org/stable/generated/statsmodels.regression.linear_model.RegressionResults.html#statsmodels.regression.linear_model.RegressionResults) как свойства класса:

  1. Сумма квадратов, обусловленная регрессией / SSR (Sum of Squared Regression) — свойство ess.

  2. Сумма квадратов, обусловленная отклонением от регрессии / SSE (Sum of Squared Error) — свойство ssr.

  3. Общая (полная) сумма квадратов / SST (Sum of Squared Total) — свойство centered_tss.

  4. Кол-во наблюдений / Number of observations — свойство nobs.

  5. Число степеней свободы модели / Model degrees of freedom — равно числу переменных модели (за исключением константы, если она присутствует — свойство df_model.

  6. Среднеквадратичная ошибка модели / Mean squared error the model — сумма квадратов, объясненная регрессией, деленная на число степеней свободы регрессии — свойство mse_model.

  7. Среднеквадратичная ошибка остатков / Mean squared error of the residuals — сумма квадратов остатков, деленная на остаточные степени свободы — свойство mse_resid.

  8. Общая среднеквадратичная ошибка / Total mean squared error — общая сумма квадратов, деленная на количество наблюдений — свойство mse_total.

Также имеется модуль statsmodels.stats.anova.anova_lm, который позволяет получить результаты ДАРМ (нескольких типов — 1, 2, 3):

# тип 1
print('The type of Anova test: 1')
display(sm.stats.anova_lm(result_linear_ols, typ=1))

# тип 2
print('The type of Anova test: 2')
display(sm.stats.anova_lm(result_linear_ols, typ=2))

# тип 3
print('The type of Anova test: 3')
display(sm.stats.anova_lm(result_linear_ols, typ=3))

На мой взгляд, форма таблица результатов statsmodels.stats.anova.anova_lm не вполне удобна, поэтому сформируем ее самостоятельно, для чего создадим пользовательскую функцию ANOVA_table_regression_model:

# Пользовательская функция
def ANOVA_table_regression_model(model_fit):
    n = int(model_fit.nobs)
    p = int(model_fit.df_model)
    SSR = model_fit.ess
    SSE = model_fit.ssr
    SST = model_fit.centered_tss

    result = pd.DataFrame({
        'sources_of_variation': ('regression (SSR)', 'deviation from regression (SSE)', 'total (SST)'),
        'sum_of_squares': (SSR, SSE, SST),
        'degrees_of_freedom': (p, n-p-1, n-1)})
    result['squared_error'] = result['sum_of_squares'] / result['degrees_of_freedom']
    R2 = 1 - result.loc[1, 'sum_of_squares'] / result.loc[2, 'sum_of_squares']
    F_calc_adequacy = result.loc[2, 'squared_error'] / result.loc[1, 'squared_error']
    F_calc_determ_check = result.loc[0, 'squared_error'] / result.loc[1, 'squared_error']
    result['F-ratio'] = (F_calc_determ_check, F_calc_adequacy, '')
    
    return result

result = ANOVA_table_regression_model(result_linear_ols)
display(result)
print(f"R2 = 1 - SSE/SST = {1 - result.loc[1, 'sum_of_squares'] / result.loc[2, 'sum_of_squares']}")
print(f"F_calc_adequacy = MST / MSE = {result.loc[2, 'squared_error'] / result.loc[1, 'squared_error']}")
print(f"F_calc_determ_check = MSR / MSE = {result.loc[0, 'squared_error'] / result.loc[1, 'squared_error']}")

ДАРМ позволяет визуализировать вариацию:

fig, axes = plt.subplots(figsize=(210/INCH, 297/INCH/1.5))
axes.pie(
    (result.loc[0, 'sum_of_squares'], result.loc[1, 'sum_of_squares']), 
    labels=(result.loc[0, 'sources_of_variation'], result.loc[1, 'sources_of_variation']),
    autopct='%.1f%%',
    startangle=60)
plt.show()

На основании данных ДАРМ мы рассчитали ряд показателей (R2, Fcalc-ad и Fcalc-det), которые будут использоваться в дальнейшем.

3. Анализ остатков (проверка нормальности распределения остатков и гипотезы о равенстве нулю среднего значения остатков)

Проверка нормальности распределения остатков — один их важнейших этапов анализа регрессионной модели. Требование нормальности распределения остатков не требуется для отыскания параметров модели, но необходимо в дальнейшем для проверки статистических гипотез с использованием критериев Фишера и Стьюдента (проверка адекватности модели, значимости коэффициента детерминации, значимости коэффициентов регрессии) и построения доверительных интервалов [5, с.122].

Остатки регрессионной модели:

print('Остатки регрессионной модели:n', result_linear_ols.resid, type(result_linear_ols.resid))
res_Y = np.array(result_linear_ols.resid)

statsmodels может выдавать различные преобразованные виды остатков (см. https://www.statsmodels.org/stable/generated/statsmodels.regression.linear_model.RegressionResults.resid_pearson.html, https://www.statsmodels.org/stable/generated/statsmodels.regression.linear_model.RegressionResults.wresid.html).

График остатков:

# Пользовательская функция
graph_scatterplot_sns(
    X, res_Y,
    Xmin=Xmin_graph, Xmax=Xmax_graph,
    Ymin=-3.0, Ymax=3.0,
    color='red',
    #title_figure=Task_Project,
    title_axes='Остатки линейной регрессионной модели', title_axes_fontsize=18,
    x_label=Variable_Name_X,
    y_label='ΔY = Y - Ycalc',
    s=75,
    file_name='graph/residuals_plot_sns.png')

Проверка нормальности распределения остатков:

# Пользовательская функция
graph_hist_boxplot_probplot_sns(
    data=res_Y,
    data_min=-2.5, data_max=2.5,
    graph_inclusion='bp',
    data_label='ΔY = Y - Ycalc',
    #title_figure=Task_Project,
    title_axes='Остатки линейной регрессионной модели', title_axes_fontsize=16,
    file_name='graph/residuals_hist_boxplot_probplot_sns.png')    

norm_distr_check(res_Y)

Вывод: большинство статистических тестов позволяют принять гипотезу о нормальности распределения остатков.

Проверка гипотезы о равенстве нулю среднего значения остатков — так как остатки имеют нормальное распределение, воспользуемся критерием Стьюдента (функция scipy.stats.ttest_1samp, https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.ttest_ind.html):

sps.ttest_1samp(res_Y, popmean=0)

Вывод: так как расчетный уровень значимости превышает заданный (0.05), то нулевая гипотеза о равенстве нулю остатков ПРИНИМАЕТСЯ.

4. Проверка адекватности модели

Суть проверки адекватности регрессионной модели заключается в сравнении полной дисперсии MST и остаточной дисперсии MSE — проверяется гипотеза о равенстве этих дисперсий по критерию Фишера. Если дисперсии различаются значимо, то модель считается адекватной. Более подробно про проверку адекватности регрессионной — см.[1, с.658], [2, с.49], [4, с.154].

Для проверки адекватности регрессионной модели создадим пользовательскую функцию regression_model_adequacy_check:

def regression_model_adequacy_check(
    model_fit,
    p_level: float=0.95,
    model_name=''):
    
    n = int(model_fit.nobs)
    p = int(model_fit.df_model)    # Число степеней свободы регрессии, равно числу переменных модели (за исключением константы, если она присутствует)
    
    SST = model_fit.centered_tss    # SST (Sum of Squared Total)
    dfT = n-1
    MST = SST / dfT

    SSE = model_fit.ssr    # SSE (Sum of Squared Error)
    dfE = n - p - 1
    MSE = SSE / dfE
    
    F_calc = MST / MSE
    F_table = sci.stats.f.ppf(p_level, dfT, dfE, loc=0, scale=1)
    a_calc = 1 - sci.stats.f.cdf(F_calc, dfT, dfE, loc=0, scale=1)
    conclusion_model_adequacy_check = 'adequacy' if F_calc >= F_table else 'adequacy'
    
    # формируем результат            
    result = pd.DataFrame({
        'SST': (SST),
        'SSE': (SSE),
        'dfT': (dfT),
        'dfE': (dfE),
        'MST': (MST),
        'MSE': (MSE),
        'p_level': (p_level),
        'a_level': (a_level),
        'F_calc': (F_calc),
        'F_table': (F_table),
        'F_calc >= F_table': (F_calc >= F_table),
        'a_calc': (a_calc),
        'a_calc <= a_level': (a_calc <= a_level),
        'adequacy_check': (conclusion_model_adequacy_check),
        },
        index=[model_name]
        )
    
    return result

regression_model_adequacy_check(result_linear_ols, p_level=0.95, model_name='linear_ols')

Вывод: модель является АДЕКВАТНОЙ.

5. Коэффициент детерминации и проверка его значимости

Различают несколько видов коэффициента детерминации:

  1. Собственно обычный коэффициент детерминации:

Его значение может быть получено как свойство rsquared модели.

  1. Скорректированный (adjusted) коэффициент детерминации — используется для того, чтобы была возможность сравнивать модели с разным числом признаков так, чтобы число регрессоров (признаков) не влияло на статистику R2, при его расчете используются несмещённые оценки дисперсий:

Его значение может быть получено как свойство rsquared_adj модели.

  1. Обобщённый (extended) коэффициент детерминации — используется для сравнения моделей регрессии со свободным членом и без него, а также для сравнения между собой регрессий, построенных с помощью различных методов: МНК, обобщённого метода наименьших квадратов (ОМНК), условного метода наименьших квадратов (УМНК), обобщённо-условного метода наименьших квадратов (ОУМНК). В данном разборе ПЛРМ рассматривать этот коэффициент мы не будем.

Более подробно с теорией вопроса можно ознакомиться, например: http://www.machinelearning.ru/wiki/index.php?title=Коэффициент_детерминации), а также в [7].

Значения коэффициента детерминации и скорректированного коэффициента детерминации, извлеченные с помощью свойств rsquared и rsquared_adj модели.

print('R2 =', result_linear_ols.rsquared)
print('R2_adj =', result_linear_ols.rsquared_adj)

Значимость коэффициента детерминации можно проверить по критерию Фишера [3, с.201-203; 8, с.83].

Расчетное значение статистики критерия Фишера может быть получено с помощью свойства fvalue модели:

print(f"result_linear_ols.fvalue = {result_linear_ols.fvalue}")

Расчетный уровень значимости при проверке гипотезы по критерию Фишера может быть получено с помощью свойства f_pvalue модели:

print(f"result_linear_ols.f_pvalue = {result_linear_ols.f_pvalue}")

Можно рассчитать уровень значимости самостоятельно (так сказать, для лучшего понимания и общей демонстрации возможностей) — для этого воспользуемся библиотекой scipy, модулем распределения Фишера scipy.stats.f, свойством cdf (функция распределения):

df1 = int(result_linear_ols.df_model)
df2 = int(result_linear_ols.nobs - result_linear_ols.df_model - 1)
F_calc = result_linear_ols.fvalue
a_calc = 1 - sci.stats.f.cdf(F_calc, df1, df2, loc=0, scale=1)
print(a_calc)

Как видим, результаты совпадают.

Табличное значение статистики критерия Фишера получить с помощью Regression Results нельзя. Рассчитаем его самостоятельно — для этого воспользуемся библиотекой scipy, модулем распределения Стьюдента scipy.stats.f, свойством ppf (процентные точки):

F_table = sci.stats.f.ppf(p_level, df1, df2, loc=0, scale=1)
print(F_table)

Для удобства создадим пользовательскую функцию determination_coef_check для проверки значимости коэффициента детерминации, которая объединяет все вышеперечисленные расчеты:

# Пользовательская функция
def determination_coef_check(
    model_fit,
    p_level: float=0.95):
    
    a_level = 1 - p_level
    
    R2 = model_fit.rsquared
    R2_adj = model_fit.rsquared_adj
    n = model_fit.nobs    # объем выборки
    p = model_fit.df_model    # Model degrees of freedom. The number of regressors p. Does not include the constant if one is present.
    
    F_calc = R2 / (1 - R2) * (n-p-1)/p
    df1 = int(p)
    df2 = int(n-p-1)
    F_table = sci.stats.f.ppf(p_level, df1, df2, loc=0, scale=1)
    a_calc = 1 - sci.stats.f.cdf(F_calc, df1, df2, loc=0, scale=1)
    conclusion_determ_coef_sign = 'significance' if F_calc >= F_table else 'not significance'
        
    # формируем результат            
    result = pd.DataFrame({
        'notation': ('R2'),
        'coef_value (R)': (sqrt(R2)),
        'coef_value_squared (R2)': (R2),
        'p_level': (p_level),
        'a_level': (a_level),
        'F_calc': (F_calc),
        'df1': (df1),
        'df2': (df2),
        'F_table': (F_table),
        'F_calc >= F_table': (F_calc >= F_table),
        'a_calc': (a_calc),
        'a_calc <= a_level': (a_calc <= a_level),
        'significance_check': (conclusion_determ_coef_sign),
        'conf_int_low': (''),
        'conf_int_high': ('')
        },
        index=['Coef. of determination'])
    return result

determination_coef_check(
    result_linear_ols,
    p_level=0.95)

Вывод: коэффициент детерминации ЗНАЧИМ.

6. Коэффициенты регрессии и проверка их значимости

Ранее мы уже извлекли коэффициенты регрессии как параметры модели b0 и b1 (как свойство params модели). Также можно получить их значения, как свойство bse модели:

print(b0, b1)
print(result_linear_ols.bse, type(result_linear_ols.bse))

Значимость коэффициентов регрессии можно проверить по критерию Стьюдента [3, с.203-212; 8, с.78].

Расчетные значения статистики критерия Стьюдента могут быть получены с помощью свойства tvalues модели:

print(f"result_linear_ols.tvalues = n{result_linear_ols.tvalues}")

Расчетные значения уровня значимости при проверке гипотезы по критерию Стьюдента могут быть получены с помощью свойства pvalues модели:

print(f"result_linear_ols.pvalues = n{result_linear_ols.pvalues}")

Доверительные интервалы для коэффициентов регрессии могут быть получены с помощью свойства conf_int модели:

print(result_linear_ols.conf_int(), 'n')

Можно рассчитать уровень значимости самостоятельно (как ранее для критерия Фишера — для лучшего понимания и общей демонстрации возможностей) — для этого воспользуемся библиотекой scipy, модулем распределения Стьюдента scipy.stats.t, свойством cdf (функция распределения):

t_calc = result_linear_ols.tvalues
df = int(result_linear_ols.nobs - result_linear_ols.df_model - 1)
a_calc = 2*(1-sci.stats.t.cdf(abs(t_calc), df, loc=0, scale=1))
print(a_calc)

Как видим, результаты совпадают.

Табличные значения статистики критерия Стьюдента получить с помощью Regression Results нельзя. Рассчитаем их самостоятельно — для этого воспользуемся библиотекой scipy, модулем распределения Стьюдента scipy.stats.t, свойством ppf (процентные точки):

t_table = sci.stats.t.ppf((1 + p_level)/2 , df)
print(t_table)

Для удобства создадим пользовательскую функцию regression_coef_check для проверки значимости коэффициентов регрессии, которая объединяет все вышеперечисленные расчеты:

def regression_coef_check(
    model_fit,
    notation_coef: list='',
    p_level: float=0.95):
    
    a_level = 1 - p_level
    
    # параметры модели (коэффициенты регрессии)
    model_params = model_fit.params
    # стандартные ошибки коэффициентов регрессии
    model_bse = model_fit.bse
    # проверка гипотезы о значимости регрессии
    t_calc = abs(model_params) / model_bse
    n = model_fit.nobs    # объем выборки
    p = model_fit.df_model    # Model degrees of freedom. The number of regressors p. Does not include the constant if one is present.
    df = int(n - p - 1)
    t_table = sci.stats.t.ppf((1 + p_level)/2 , df)
    a_calc = 2*(1-sci.stats.t.cdf(t_calc, df, loc=0, scale=1))
    conclusion_ = ['significance' if elem else 'not significance' for elem in (t_calc >= t_table).values]
        
    # доверительный интервал коэффициента регрессии
    conf_int_low = model_params - t_table*model_bse
    conf_int_high = model_params + t_table*model_bse
    
    # формируем результат            
    result = pd.DataFrame({
        'notation': (notation_coef),
        'coef_value': (model_params),
        'std_err': (model_bse),
        'p_level': (p_level),
        'a_level': (a_level),
        't_calc': (t_calc),
        'df': (df),
        't_table': (t_table),
        't_calc >= t_table': (t_calc >= t_table),
        'a_calc': (a_calc),
        'a_calc <= a_level': (a_calc <= a_level),
        'significance_check': (conclusion_),
        'conf_int_low': (conf_int_low),
        'conf_int_high': (conf_int_high),
        })
    
    return result

regression_coef_check(
    result_linear_ols,
    notation_coef=['b0', 'b1'],
    p_level=0.95)

Вывод: коэффициенты регрессии b0 и b1 ЗНАЧИМЫ.

7. Проверка гетероскедастичности

Для проверка гетероскедастичности statsmodels предлагает нам следующие инструменты:

  • тест Голдфелда-Квандта (https://www.statsmodels.org/stable/generated/statsmodels.stats.diagnostic.het_goldfeldquandt.html#statsmodels.stats.diagnostic.het_goldfeldquandt) — теорию см. [8, с.178], также https://ru.wikipedia.org/wiki/Тест_Голдфелда_—_Куандта.

  • тест Бриша-Пэгана (Breush-Pagan test) (https://www.statsmodels.org/stable/generated/statsmodels.stats.diagnostic.het_breuschpagan.html#statsmodels.stats.diagnostic.het_breuschpagan) — теорию см.[8, с.179], также https://en.wikipedia.org/wiki/Breusch–Pagan_test.

  • тест Уайта (White test) (https://www.statsmodels.org/stable/generated/statsmodels.stats.diagnostic.het_white.html#statsmodels.stats.diagnostic.het_white) — теорию см.[8, с.177], а также https://ru.wikipedia.org/wiki/Тест_Уайта.

    Тест Голдфелда-Квандта (Goldfeld–Quandt test)

# тест Голдфелда-Квандта (Goldfeld–Quandt test)
test = sms.het_goldfeldquandt(result_linear_ols.resid, result_linear_ols.model.exog)
test_result = lzip(['F_calc', 'p_calc'], test)    # распаковка результатов теста
# расчетное значение статистики F-критерия
F_calc_tuple = test_result[0]
F_calc = F_calc_tuple[1]
print(f"Расчетное значение статистики F-критерия: F_calc = {round(F_calc, DecPlace)}")
# расчетный уровень значимости
p_calc_tuple = test_result[1]
p_calc = p_calc_tuple[1]
print(f"Расчетное значение доверительной вероятности: p_calc = {round(p_calc, DecPlace)}")
#a_calc = 1 - p_value
#print(f"Расчетное значение уровня значимости: a_calc = 1 - p_value = {round(a_calc, DecPlace)}")
# вывод
if p_calc < a_level:
    conclusion_GQ_test = f"Так как p_calc = {round(p_calc, DecPlace)} < a_level = {round(a_level, DecPlace)}" + 
        ", то дисперсии в подвыборках отличаются значимо, т.е. гипотеза о наличии гетероскедастичности ПРИНИМАЕТСЯ"
else:
    conclusion_GQ_test = f"Так как p_calc = {round(p_calc, DecPlace)} >= a_level = {round(a_level, DecPlace)}" + 
        ", то дисперсии в подвыборках отличаются незначимо, т.е. гипотеза о наличии гетероскедастичности ОТВЕРГАЕТСЯ"
print(conclusion_GQ_test)

Для удобства создадим пользовательскую функцию Goldfeld_Quandt_test:

def Goldfeld_Quandt_test(
    model_fit,
    p_level: float=0.95,
    model_name=''):
    
    a_level = 1 - p_level
    
    # реализация теста
    test = sms.het_goldfeldquandt(model_fit.resid, model_fit.model.exog)
    test_result = lzip(['F_statistic', 'p_calc'], test)    # распаковка результатов теста
    # расчетное значение статистики F-критерия
    F_calc_tuple = test_result[0]
    F_statistic = F_calc_tuple[1]
    # расчетный уровень значимости
    p_calc_tuple = test_result[1]
    p_calc = p_calc_tuple[1]
    # вывод
    conclusion_test = 'heteroscedasticity' if p_calc < a_level else 'not heteroscedasticity'
    
    result = pd.DataFrame({
        'test': ('Goldfeld–Quandt test'),
        'p_level': (p_level),
        'a_level': (a_level),
        'F_statistic': (F_statistic),
        'p_calc': (p_calc),
        'p_calc < a_level': (p_calc < a_level),
        'heteroscedasticity_check': (conclusion_test)
        },
        index=[model_name])
    
    return result

Goldfeld_Quandt_test(result_linear_ols, p_level=0.95, model_name='linear_ols')

Тест Бриша-Пэгана (Breush-Pagan test)

# тест Бриша-Пэгана (Breush-Pagan test)
name = ["Lagrange multiplier statistic", "p-value", "f-value", "f p-value"]
test = sms.het_breuschpagan(result_linear_ols.resid, result_linear_ols.model.exog)
lzip(name, test)

Для удобства создадим пользовательскую функцию Breush_Pagan_test:

def Breush_Pagan_test(
    model_fit,
    p_level: float=0.95,
    model_name=''):
    
    a_level = 1 - p_level
    
    # реализация теста
    test = sms.het_breuschpagan(model_fit.resid, model_fit.model.exog)
    name = ['Lagrange_multiplier_statistic', 'p_calc_LM', 'F_statistic', 'p_calc']
    test_result = lzip(name, test)    # распаковка результатов теста
    # расчетное значение статистики теста множителей Лагранжа
    LM_calc_tuple = test_result[0]
    Lagrange_multiplier_statistic = LM_calc_tuple[1]
    # расчетный уровень значимости статистики теста множителей Лагранжа
    p_calc_LM_tuple = test_result[1]
    p_calc_LM = p_calc_LM_tuple[1]
    # расчетное значение F-статистики гипотезы о том, что дисперсия ошибки не зависит от x
    F_calc_tuple = test_result[2]
    F_statistic = F_calc_tuple[1]
    # расчетный уровень значимости F-статистики
    p_calc_tuple = test_result[3]
    p_calc = p_calc_tuple[1]
    # вывод
    conclusion_test = 'heteroscedasticity' if p_calc < a_level else 'not heteroscedasticity'

    # вывод
    conclusion_test = 'heteroscedasticity' if p_calc < a_level else 'not heteroscedasticity'
    
    result = pd.DataFrame({
        'test': ('Breush-Pagan test'),
        'p_level': (p_level),
        'a_level': (a_level),
        'Lagrange_multiplier_statistic': (Lagrange_multiplier_statistic),
        'p_calc_LM': (p_calc_LM),
        'p_calc_LM < a_level': (p_calc_LM < a_level),
        'F_statistic': (F_statistic),
        'p_calc': (p_calc),
        'p_calc < a_level': (p_calc < a_level),
        'heteroscedasticity_check': (conclusion_test)
        },
        index=[model_name])
    
    return result

Breush_Pagan_test(result_linear_ols, p_level=0.95, model_name='linear_ols')

Тест Уайта (White test)

# тест Уайта (White test)
name = ["Lagrange multiplier statistic", "p-value", "f-value", "f p-value"]
test = sms.het_white(result_linear_ols.resid, result_linear_ols.model.exog)
lzip(name, test)

Для удобства создадим пользовательскую функцию White_test:

def White_test(
    model_fit,
    p_level: float=0.95,
    model_name=''):
    
    a_level = 1 - p_level
    
    # реализация теста
    test = sms.het_white(model_fit.resid, model_fit.model.exog)
    name = ['Lagrange_multiplier_statistic', 'p_calc_LM', 'F_statistic', 'p_calc']
    test_result = lzip(name, test)    # распаковка результатов теста
    # расчетное значение статистики теста множителей Лагранжа
    LM_calc_tuple = test_result[0]
    Lagrange_multiplier_statistic = LM_calc_tuple[1]
    # расчетный уровень значимости статистики теста множителей Лагранжа
    p_calc_LM_tuple = test_result[1]
    p_calc_LM = p_calc_LM_tuple[1]
    # расчетное значение F-статистики гипотезы о том, что дисперсия ошибки не зависит от x
    F_calc_tuple = test_result[2]
    F_statistic = F_calc_tuple[1]
    # расчетный уровень значимости F-статистики
    p_calc_tuple = test_result[3]
    p_calc = p_calc_tuple[1]
    # вывод
    conclusion_test = 'heteroscedasticity' if p_calc < a_level else 'not heteroscedasticity'

    # вывод
    conclusion_test = 'heteroscedasticity' if p_calc < a_level else 'not heteroscedasticity'
    
    result = pd.DataFrame({
        'test': ('White test'),
        'p_level': (p_level),
        'a_level': (a_level),
        'Lagrange_multiplier_statistic': (Lagrange_multiplier_statistic),
        'p_calc_LM': (p_calc_LM),
        'p_calc_LM < a_level': (p_calc_LM < a_level),
        'F_statistic': (F_statistic),
        'p_calc': (p_calc),
        'p_calc < a_level': (p_calc < a_level),
        'heteroscedasticity_check': (conclusion_test)
        },
        index=[model_name])
    
    return result

White_test(result_linear_ols, p_level=0.95, model_name='linear_ols')

Объединим результаты всех тестов гетероскедастичность в один DataFrame:

Goldfeld_Quandt_test_df = Goldfeld_Quandt_test(result_linear_ols, p_level=0.95, model_name='linear_ols')
Breush_Pagan_test_df = Breush_Pagan_test(result_linear_ols, p_level=0.95, model_name='linear_ols')
White_test_df = White_test(result_linear_ols, p_level=0.95, model_name='linear_ols')

heteroscedasticity_tests_df = pd.concat([Breush_Pagan_test_df, White_test_df, Goldfeld_Quandt_test_df])
display(heteroscedasticity_tests_df)

Выводы

Итак, мы провели статистический анализ регрессионной модели и установили:

  • исходные данные имеют нормальное распределение;

  • между переменными имеется весьма сильная корреляционная связь;

  • регрессионная модель хорошо аппроксимирует фактические данные;

  • остатки модели имеют нормальное распределение;

  • регрессионная модель адекватна по критерию Фишера;

  • коэффициент детерминации значим по критеию Фишера;

  • коэффициенты регрессии значимы по критерию Стьюдента;

  • гетероскедастичность отсутствует.

Применительно к рассматриваемой задаче выполнять проверку автокорреляции не имеет особого смысла из-за особенностей исходных данных (результаты замеров прочности бетона на разных участках здания).

Про статистический анализ регрессионных моделей с помощью statsmodels— см. еще https://www.statsmodels.org/stable/examples/notebooks/generated/regression_diagnostics.html.

Доверительные интервалы регрессионной модели

Для регрессионных моделей определяют доверительные интервалы двух видов [3, с.184-192; 4, с.172; 8, с.205-209]:

  1. Доверительный интервал средних значений переменной Y.

  2. Доверительный интервал индивидуальных значений переменной Y.

При этом размер доверительного интервала для индивидуальных значений больше, чем для средних значений.

Доверительные интервалы регрессионных моделей (ДИРМ) могут быть найдены разными способами:

  • непосредственно путем расчетов по формулам (см., например, https://habr.com/ru/post/558158/);

  • с использованием инструментария библиотеки statsmodels (см., например, https://www.stackfinder.ru/questions/17559408/confidence-and-prediction-intervals-with-statsmodels).

Разбререм более подробно способ с использованием библиотеки statsmodels. Прежде всего, с помощью свойства summary_table класса statsmodels.stats.outliers_influence.OLSInfluence (https://www.statsmodels.org/stable/generated/statsmodels.stats.outliers_influence.OLSInfluence.html?highlight=olsinfluence) мы можем получить таблицу данных, содержащую необходимую нам информацию:

  • Dep Var Population — фактические значения переменной Y;

  • Predicted Value — предсказанные значения переменной Y по по регрессионной модели;

  • Std Error Mean Predict — среднеквадратическая ошибка предсказанного среднего;

  • Mean ci 95% low и Mean ci 95% upp — границы доверительного интервала средних значений переменной Y;

  • Predict ci 95% low и Predict ci 95% upp — границы доверительного интервала индивидуальных значений переменной Y;

  • Residual — остатки регрессионной модели;

  • Std Error Residual — среднеквадратическая ошибка остатков;

  • Student Residual — стьюдентизированные остатки (подробнее см. http://statistica.ru/glossary/general/studentizirovannie-ostatki/);

  • Cook’s D — Расстояние Кука (Cook’s distance) — оценивает эффект от удаления одного (рассматриваемого) наблюдения; наблюдение считается выбросом, если Di > 4/n (более подробно — см.https://translated.turbopages.org/proxy_u/en-ru.ru.f584ceb5-63296427-aded8f31-74722d776562/https/en.wikipedia.org/wiki/Cook’s_distance, http://www.machinelearning.ru/wiki/index.php?title=Расстояние_Кука).

from statsmodels.stats.outliers_influence import summary_table
st, data, ss2 = summary_table(result_linear_ols, alpha=0.05)
print(st, 'n', type(st))

В нашем случае критическое значение расстояния Кука равно:

print(f'D_crit = 4/n = {4/result_linear_ols.nobs}')

то есть выбросов, смещающих оценки коэффициентов регрессии, не наблюдается.

Мы получили данные как класс statsmodels.iolib.table.SimpleTable. Свойство data преобразует данные в список. Далее для удобства работы преобразуем данные в DataFrame:

  st_data_df = pd.DataFrame(st.data)

Будем использовать данный DataFrame в дальнейшем, несколько преобразуем его:

  • изменим наименование столбцов (с цифр на названия показателей из таблицы summary_table)

  • удалим строки с текстовыми значениями

  • изменим индекс

  • добавим новый столбец — значения переменной X

  • отсортируем по возрастанию значений переменной X (это необходимо, чтобы графики границ доверительных интервалов выглядели как линии)

st_df = st_data_df.copy()
# изменим наименования столбцов
str = st_df.iloc[0,0:] + ' ' + st_df.iloc[1,0:]
st_df = st_df.rename(str, axis='columns')
# удалим строки 0, 1
st_df = st_df.drop([0,1])
# изменим индекс
st_df = st_df.set_index(np.arange(0, result_linear_ols.nobs))
# добавим новый столбец - значения переменной X
st_df.insert(1, 'X', X)
# отсортируем по возрастанию значений переменной X
st_df = st_df.sort_values(by='X')

display(st_df)

С помощью полученных данных мы можем построить график регрессионной модели с доверительными интервалами:

# создание рисунка (Figure) и области рисования (Axes)
fig, axes = plt.subplots(figsize=(297/INCH, 210/INCH))
# заголовок рисунка (Figure)
title_figure = Task_Project
fig.suptitle(title_figure, fontsize = 16)
# заголовок области рисования (Axes)
title_axes = 'Линейная регрессионная модель'
axes.set_title(title_axes, fontsize = 14)
# фактические данные
sns.scatterplot(
    x=st_df['X'], y=st_df['Dep Var Population'],
    label='фактические данные',
    s=50,
    color='red',
    ax=axes)
# график регрессионной модели
label_legend_regr_model=f'линейная регрессия Y = {b0:.3f} + {b1:.4f}*X'
sns.lineplot(
    x=st_df['X'], y=st_df['Predicted Value'],
    label=label_legend_regr_model,
    color='blue',
    ax=axes)
# доверительный интервал средних значений переменной Y
Mean_ci_low = st_df['Mean ci 95% low']
plt.plot(
    st_df['X'], Mean_ci_low,
    color='magenta', linestyle='--', linewidth=1,
    label='доверительный интервал средних значений Y')
Mean_ci_upp = st_df['Mean ci 95% upp']
plt.plot(
    st_df['X'], Mean_ci_upp,
    color='magenta', linestyle='--', linewidth=1)
# доверительный интервал индивидуальных значений переменной Y
Predict_ci_low = st_df['Predict ci 95% low']
plt.plot(
    st_df['X'], Predict_ci_low,
    color='orange', linestyle='-.', linewidth=2,
    label='доверительный интервал индивидуальных значений Y')
Predict_ci_upp = st_df['Predict ci 95% upp']
plt.plot(
    st_df['X'], Predict_ci_upp,
    color='orange', linestyle='-.', linewidth=2)

axes.set_xlabel(Variable_Name_X)
axes.set_ylabel(Variable_Name_Y)
axes.legend(prop={'size': 12})
plt.show()

Однако, мы получили данные о границах доверительных интервалов регрессионной модели только в пределах области фактических значений переменной X. Как быть, если мы хотим распространить прогноз за пределы этой области?

Прогнозирование

Под прогнозированием мы в данном случае будем понимать определение значений переменной Y и доверительных интервалов для ее средних и индивидуальных значений при заданном X. По сути, нам предстоит построить аналог рассмотренной выше таблицы summary_table, только с другими значениями X, причем эти значения могут выходить за пределы тех значений, которые использовались нами для построения регрессии.

Методика расчета доверительных интервалов регрессионных моделей разобрана в статье «Python, корреляция и регрессия: часть 4» (https://habr.com/ru/post/558158/), всем рекомендую ознакомиться.

Найти прогнозные значения Y не представляет труда, так как ранее мы уже формализовали модель в виде лямбда-функции, а вот для построения доверительных интервалов придется выполнить расчеты по формулам. Для этого создадим пользовательскую функцию regression_pair_predict, которая в случае парной регрессии (pair regression) для заданного значения X возвращает:

  • прогнозируемое по регрессионной модели значение y_calc

  • доверительный интервал [y_calc_mean_ci_low, y_calc_mean_ci_upp] средних значений переменной Y

  • доверительный интервал [y_calc_predict_ci_low, y_calc_predict_ci_upp] индивидуальных значений переменной Y

Алгоритм расчета доверительных интервалов для множественной регрессии (multiple regression) отличается и в данном обзоре не рассматривается (рассмотрим в дальнейшем).

Про прогнозирование с помощью регрессионных моделей — см.также:

  • https://www.statsmodels.org/stable/generated/statsmodels.regression.linear_model.RegressionResults.predict.html?highlight=predict#statsmodels.regression.linear_model.RegressionResults.predict

  • How to Make Predictions Using Regression Model in Statsmodels

  • https://www.statsmodels.org/stable/examples/notebooks/generated/predict.html

def regression_pair_predict(
    x_in,
    model_fit,
    regression_model,
    p_level: float=0.95):
    
    a_level = 1 - p_level
    
    X = pd.DataFrame(model_fit.model.exog)[1].values    # найти лучшее решение
    Y = model_fit.model.endog
    
    # вспомогательные величины
    n = int(result_linear_ols.nobs)
    SSE = model_fit.ssr    # SSE (Sum of Squared Error)
    dfE = n - p - 1
    MSE = SSE / dfE    # остаточная дисперсия
    
    Xmean = np.mean(X)
    SST_X = np.sum([(X[i] - Xmean)**2 for i in range(0, n)])
    
    t_table = sci.stats.t.ppf((1 + p_level)/2 , dfE)
    S2_y_calc_mean = MSE * (1/n + (x_in - Xmean)**2 / SST_X)
    S2_y_calc_predict = MSE * (1 + 1/n + (x_in - Xmean)**2 / SST_X)
        
    # прогнозируемое значение переменной Y
    y_calc=regression_model(x_in)
    # доверительный интервал средних значений переменной Y
    y_calc_mean_ci_low = y_calc - t_table*sqrt(S2_y_calc_mean)
    y_calc_mean_ci_upp = y_calc + t_table*sqrt(S2_y_calc_mean)
    # доверительный интервал индивидуальных значений переменной Y
    y_calc_predict_ci_low = y_calc - t_table*sqrt(S2_y_calc_predict)
    y_calc_predict_ci_upp = y_calc + t_table*sqrt(S2_y_calc_predict)
    
    result = y_calc, y_calc_mean_ci_low, y_calc_mean_ci_upp, y_calc_predict_ci_low, y_calc_predict_ci_upp
    
    return result

Сравним результаты расчета доверительных интервалов разными способами — с использованием функции regression_pair_predict и средствами statsmodels, для этого сформируем DaraFrame с новыми данными:

regression_pair_predict_df = pd.DataFrame(
    [regression_pair_predict(elem, result_linear_ols, regression_model=Y_calc) for elem in st_df['X'].values],
    columns=['y_calc', 'y_calc_mean_ci_low', 'y_calc_mean_ci_upp', 'y_calc_predict_ci_low', 'y_calc_predict_ci_upp'])
regression_pair_predict_df.insert(0, 'X', st_df['X'].values)
display(regression_pair_predict_df)

Видим, что результаты расчетов идентичны, следовательно мы можем использовать функцию regression_pair_predict для прогнозирования.

def graph_regression_pair_predict_plot_sns(
    model_fit,
    regression_model_in,
    Xmin=None, Xmax=None, Nx=10,
    Ymin_graph=None, Ymax_graph=None,
    title_figure=None, title_figure_fontsize=18,
    title_axes=None, title_axes_fontsize=16,
    x_label=None,
    y_label=None,
    label_fontsize=14, tick_fontsize=12, 
    label_legend_regr_model='', label_legend_fontsize=12,
    s=50, linewidth_regr_model=2,
    graph_size=(297/INCH, 210/INCH),
    result_output=True,
    file_name=None):
    
    # фактические данные
    X = pd.DataFrame(model_fit.model.exog)[1].values    # найти лучшее решение
    Y = model_fit.model.endog
    X = np.array(X)
    Y = np.array(Y)
    
    # границы
    if not(Xmin) and not(Xmax):
        Xmin=min(X)
        Xmax=max(X)
        Xmin_graph=min(X)*0.99
        Xmax_graph=max(X)*1.01
    else:
        Xmin_graph=Xmin
        Xmax_graph=Xmax
    
    if not(Ymin_graph) and not(Ymax_graph):
        Ymin_graph=min(Y)*0.99
        Ymax_graph=max(Y)*1.01       
    
    # формируем DataFrame данных
    Xcalc = np.linspace(Xmin, Xmax, num=Nx)
    Ycalc = regression_model_in(Xcalc)
    
    result_df = pd.DataFrame(
        [regression_pair_predict(elem, model_fit, regression_model=regression_model_in) for elem in Xcalc],
        columns=['y_calc', 'y_calc_mean_ci_low', 'y_calc_mean_ci_upp', 'y_calc_predict_ci_low', 'y_calc_predict_ci_upp'])
    result_df.insert(0, 'x_calc', Xcalc)
            
    # заголовки графика
    fig, axes = plt.subplots(figsize=graph_size)
    fig.suptitle(title_figure, fontsize = title_figure_fontsize)
    axes.set_title(title_axes, fontsize = title_axes_fontsize)
    
    # фактические данные
    sns.scatterplot(
        x=X, y=Y,
        label='фактические данные',
        s=s,
        color='red',
        ax=axes)
    
    # график регрессионной модели
    sns.lineplot(
        x=Xcalc, y=Ycalc,
        color='blue',
        linewidth=linewidth_regr_model,
        legend=True,
        label=label_legend_regr_model,
        ax=axes)
    
    # доверительный интервал средних значений переменной Y
    Mean_ci_low = result_df['y_calc_mean_ci_low']
    plt.plot(
        result_df['x_calc'], Mean_ci_low,
        color='magenta', linestyle='--', linewidth=1,
        label='доверительный интервал средних значений Y')
    
    Mean_ci_upp = result_df['y_calc_mean_ci_upp']
    plt.plot(
        result_df['x_calc'], Mean_ci_upp,
        color='magenta', linestyle='--', linewidth=1)
    
    # доверительный интервал индивидуальных значений переменной Y
    Predict_ci_low = result_df['y_calc_predict_ci_low']
    plt.plot(
        result_df['x_calc'], Predict_ci_low,
        color='orange', linestyle='-.', linewidth=2,
        label='доверительный интервал индивидуальных значений Y')
    
    Predict_ci_upp = result_df['y_calc_predict_ci_upp']
    plt.plot(
        result_df['x_calc'], Predict_ci_upp,
        color='orange', linestyle='-.', linewidth=2)
    
        
    axes.set_xlim(Xmin_graph, Xmax_graph)
    axes.set_ylim(Ymin_graph, Ymax_graph)        
    axes.set_xlabel(x_label, fontsize = label_fontsize)
    axes.set_ylabel(y_label, fontsize = label_fontsize)
    axes.tick_params(labelsize = tick_fontsize)
    #axes.tick_params(labelsize = tick_fontsize)
    axes.legend(prop={'size': label_legend_fontsize})
        
    plt.show()
    if file_name:
        fig.savefig(file_name, orientation = "portrait", dpi = 300)
        
    if result_output:
        return result_df
    else:
        return

graph_regression_pair_predict_plot_sns(
    model_fit=result_linear_ols,
    regression_model_in=Y_calc,
    Xmin=Xmin_graph-300, Xmax=Xmax_graph+200, Nx=25,
    Ymin_graph=Ymin_graph-5, Ymax_graph=Ymax_graph+5,
    title_figure=Task_Project, title_figure_fontsize=16,
    title_axes='Линейная регрессионная модель', title_axes_fontsize=14,
    x_label=Variable_Name_X,
    y_label=Variable_Name_Y,
    label_legend_regr_model=f'линейная регрессия Y = {b0:.3f} + {b1:.4f}*X',
    s=50,
    result_output=True,
    file_name='graph/regression_plot_lin.png')

Выводы и рекомендации

Исследована зависимость показаний ультразвукового прибора «ПУЛЬСАР-2.1» (X) и результатов замера прочности бетона (методом отрыва со скалыванием) склерометром ИПС-МГ4.03 (Y).

Между переменными имеется весьма сильная линейная корреляционная связь. Получена регрессионная модель:

Y = b0 + b1∙X = -21.3741 + 0.0129∙X

Модель хорошо аппроксимирует фактические данные, является адекватной, значимой и может использоваться для предсказания прочности бетона.

Также построен график прогноза с доверительными интервалами.

ИТОГИ

Итак, мы рассмотрели все этапы регрессионного анализа в случае простой линейной регрессии (simple linear regression) с использованием библиотеки statsmodels на конкретном практическом примере; подробно остановились на статистическом анализа модели с проверкой гипотез; также предложен ряд пользовательских функций, облегчающих работу исследователя и уменьшающих размер программного кода.

Конечно, мы разобрали далеко не все вопросы анализа регрессионных моделей и возможности библиотеки statsmodels применительно к simple linear regression, в частности статистики влияния (Influence Statistics), инструмент Leverage, анализ стьюдентизированных остатков и пр. — это темы для отдельных обзоров.

Исходный код находится в моем репозитории на GitHub.

Надеюсь, данный обзор поможет специалистам DataScience в работе.

Понравилась статья? Поделить с друзьями:
  • Сколько можно допустить ошибок при сдаче экзамена пдд
  • Служба политики диагностики ошибка 1079
  • Службы компонента database engine ошибка при установке
  • Сколько можно допустить ошибок при сдаче экзамена гибдд
  • Служба политики диагностики не запускается ошибка 5