Наиболее распространенные виды ошибок при прогнозировании

Точность прогноза

Точность прогноза, требуемая для решения конкретной задачи, оказывает большое влияние на прогнозирующую систему. Ошибка прогноза зависит от используемой системы прогноза.

Чем больше ресурсов имеет такая система, тем больше шансов получить более точный прогноз. Однако прогнозирование не может полностью уничтожить риски при принятии решений. Поэтому всегда учитывается возможная ошибка прогнозирования.

Точность прогноза характеризуется ошибкой прогноза.

Наиболее распространенные виды ошибок:

  • Средняя ошибка (СО). Она вычисляется простым усреднением ошибок на каждом шаге. Недостаток этого вида ошибки — положительные и отрицательные ошибки аннулируют друг друга.
  • Средняя абсолютная ошибка (САО). Она рассчитывается как среднее абсолютных ошибок. Если она равна нулю, то мы имеем совершенный прогноз. В сравнении со средней квадратической ошибкой, эта мера «не придает слишком большого значения» выбросам.
  • Сумма квадратов ошибок (SSE), среднеквадратическая ошибка. Она вычисляется как сумма (или среднее) квадратов ошибок. Это наиболее часто используемая оценка точности прогноза.
  • Относительная ошибка (ОО). Предыдущие меры использовали действительные значения ошибок. Относительная ошибка выражает качество подгонки в терминах относительных ошибок.

Виды прогнозов

Прогноз может быть краткосрочным, среднесрочным и долгосрочным.

Краткосрочный прогноз представляет собой прогноз на несколько шагов вперед, т.е. осуществляется построение прогноза не более чем на 3% от объема наблюдений или на 1-3 шага вперед.

Среднесрочный прогноз — это прогноз на 3-5% от объема наблюдений, но не более 7-12 шагов вперед; также под этим типом прогноза понимают прогноз на один или половину сезонного цикла. Для построения краткосрочных и среднесрочных прогнозов вполне подходят статистические методы.

Долгосрочный прогноз — это прогноз более чем на 5% от объема наблюдений.

При построении данного типа прогнозов статистические методы практически не используются, кроме случаев очень «хороших» рядов, для которых прогноз можно просто «нарисовать».

До сих пор мы рассматривали аспекты прогнозирования, так или иначе связанные с процессом принятия решения. Существуют и другие факторы, которые необходимо учитывать при прогнозировании.

Задача 1. Известно, что анализируемый процесс относительно стабилен во времени, изменения происходят медленно, процесс не зависит от внешних факторов.

Задача 2. Анализируемый процесс нестабилен и очень сильно зависит от внешних факторов.

Решение первой задачи должно быть сосредоточено на использовании большого количества ретроспективных данных. При решении второй задачи особое внимание следует обратить на оценки специалиста в предметной области, эксперта, чтобы иметь возможность отразить в прогнозирующей модели все необходимые внешние факторы, а также уделить время для сбора данных по этим факторам (сбор внешних данных часто намного сложнее сбора внутренних данных информационной системы). Доступность данных, на основе которых будет осуществляться прогнозирование, — важный фактор построения прогнозной модели. Для возможности выполнения качественного прогноза данные должны быть представительными, точными и достоверными.

Методы прогнозирования

Методы Data Mining, при помощи которых решаются задачи прогнозирования, будут рассмотрены во втором разделе курса. Среди распространенных методов Data Mining, используемых для прогнозирования, отметим нейронные сети и линейную регрессию.

Выбор метода прогнозирования зависит от многих факторов, в том числе от параметров прогнозирования. Выбор метода следует производить с учетом всех специфических особенностей набора ретроспективных данных и целей, с которыми он строится.

Программное обеспечение Data Mining, используемое для прогнозирования, должно обеспечивать пользователя точным и достоверным прогнозом. Однако получение такого прогноза зависит не только от программного обеспечения и методов, заложенных в его основу, но также и от других факторов, среди которых полнота и достоверность исходных данных, своевременность и оперативность их пополнения, квалификация пользователя.

Ошибка
прогнозирования
 –
апостериорная величина отклонения
прогноза от действительного будущего
состояния объекта.

Следует
учитывать, что каждая страна имеет не
только свои модели развития, но и свои
методики и способы получения социологической
информации*.

Считается,
что любая закономерность установлена,
если вероятность ее существования
составляет более 95%.

Опыт
показывает
,
что ни один из способов сам по себе не
обеспечивает высокую точность
прогноза. 100% достоверных прогнозов
не существует! Так как часто
прогнозируются очень сложные системы,
окруженные сложным фоном. Человек (как
более простая система) не может
прогнозировать на 100% более сложную
систему. Прогнозы в лучшем случае
достоверны на 80%.

Но
не учитывать любые, даже плохие прогнозы
нельзя.

Наиболее
хорошие результаты дает комплексное прогнозирование
(сочетание нескольких способов).

Статистика
по достоверности:

v
экономические прогнозы оправдываются
примерно на: 100% месячные; на 50% трехмесячные;
на 20% годовые.

v
краткосрочные прогнозы по солнечной
активности (СА) на сегодняшний день
достоверны на 70%.

v
по погоде на сегодняшний день прогнозы
достоверны на 70%.

v
по землетрясениям прогнозы достоверны
на 52%.

«Эффект
Эдипа»*, существующий в прогнозировании,
говорит, что целенаправленными решениями
и действиями (управлением) прогноз может
«самоосуществляться» или «саморазрушаться».

Точность
и достоверность прогнозов зависит от
заведомо возможных ошибок: ошибки
исходной информации, ошибки фона, ошибки
самого эксперта (исполнителя).

34. Сущность, цели и задачи оперативного планирования

Оперативное
планир-е

– завершающая часть всей системы
планирования на п/п. Его цель –
конкретизация плановых заданий на
конкретный промежуток времени, контроль
их выполнения и регулирование хода
произв-ва.

Ф-ии
оперативного планир-я:

1)оперативно-календарн.
планир-е;

2)оперативн.
управление ходом произв-ва (диспетчеризация).

В
зав-ти от того, в какой сфере и по какому
виду экон. деят-ти предприятия выделяют
операт. планир-е, его вкл-т в различные
подсистемы планир-я п/п.

Содержание
оперативного планир-я заключ-ся в
разраб-ке программ и планов на квартал,
месяц, декаду, сутки, смену для различных
структ. подразделений в зав-ти от
поставленных задач на этапе тактич.
планир-я.

Осн.
задача операт. планир-я – обеспечение
ритмичной и взаимосвяз. работы всех
подразделений и служб п/п для вып-ния
плановых заданий в установленные сроки
при исп-нии всех видов ресурсов.

В
отличие от тактич. планир-я оперативное
помимо разраб-ки планов, вкл-т и орг-цию
его непосредственного вып-ния. Операт.
планир-е должно базироваться на
технологически обоснованных прогрессивных
нормах и нормативах, а также предусматривать
применение соврем. средств научно-технич.
прогресса.

Орг-ция
опреац. планир-я способствует повышению
эф-ти работы п/п в целом за счет сокращения
и ликвидации простоев, повышению
производ-ти труда.

35. Оперативно-календарное планирование

—это
часть оперативного планир-я, которая
вкл-т разраб-ку конкретных производственных
заданий для п/п в целом и его структ.
подразделений.

Плановые
задания рассчитываются на основе норм
и нормативов, договорн. обязательств,
гос.заказа и с учетом особенностей и
условий их практической реализации.

Осн.
задачи операт. календ. планир-я
:

1)планирование
и доведение до непосредственных
исполнителей оперативных плановых
заданий исходя из годовых и квартальных
объемов продукции;

2)разраб-ка
оперативно-календ. нормативов;

3)эффективное
исп-ние имеющихся ресурсов;

4)обеспечение
ритмичной работы всех подразделений;

5)планир-е
подготовки произв-ва на последующий
месяц;

6)координация
действий всех подразделений для
согласования действий по соотношению
операционных заданий;

7)корректировка
операционного плана в случае изменения
внешних и др. факторов.

Оперативно-календ
планир-е проводится в 3 этапа:

1
– объемное планирование с установлением
плановых месячных заданий для всех
структ. подразделений по всем направлениям
осн. и вспомогат. произв-ва;

2
– составление кал/пл на день/сутки;

3
– доведение плановых заданий до
непосредственных исполнителей, как
правило, имеет форму суточного или
сменного задания(наряд), которое должно
вкл-ть: объем работ/услуг в натур.
выражении, числ-ть персонала, трудозатраты,
затраты ресурсов.

В
целом операц. планир-е осущ-ся как на
общем ур-не п/п, так и на ур-не отдельных
подразделений, а оперативно-календ.
планир-е – внутри этих подразделений.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #

Ошибка прогнозирования: виды, формулы, примеры

Ошибка прогнозирования — это такая величина, которая показывает, как сильно прогнозное значение отклонилось от фактического. Она используется для расчета точности прогнозирования, что в свою очередь помогает нам оценивать как точно и корректно мы сформировали прогноз. В данной статье я расскажу про основные процентные «ошибки прогнозирования» с кратким описанием и формулой для расчета. А в конце статьи я приведу общий пример расчётов в Excel. Напомню, что в своих расчетах я в основном использую ошибку WAPE или MAD-Mean Ratio, о которой подробно я рассказал в статье про точность прогнозирования, здесь она также будет упомянута.

В каждой формуле буквой Ф обозначено фактическое значение, а буквой П — прогнозное. Каждая ошибка прогнозирования (кроме последней!), может использоваться для нахождения общей точности прогнозирования некоторого списка позиций, по типу того, что изображен ниже (либо для любого другого подобной детализации):

Алгоритм для нахождения любой из ошибок прогнозирования для такого списка примерно одинаковый: сначала находим ошибку прогнозирования по одной позиции, а затем рассчитываем общую. Итак, основные ошибки прогнозирования!


MPE — Mean Percent Error

MPE — средняя процентная ошибка прогнозирования. Основная проблема данной ошибки заключается в том, что в нестабильном числовом ряду с большими выбросами любое незначительное колебание факта или прогноза может значительно поменять показатель ошибки и, как следствие, точности прогнозирования. Помимо этого, ошибка является несимметричной: одинаковые отклонения в плюс и в минус по-разному влияют на показатель ошибки.

Ошибка прогнозирования MPE

  1. Для каждой позиции рассчитывается ошибка прогноза (из факта вычитается прогноз) — Error
  2. Для каждой позиции рассчитывается процентная ошибка прогноза (ошибка прогноза делится на фактический показатель) — Percent Error
  3. Находится среднее арифметическое всех процентных ошибок прогноза (процентные ошибки суммируются и делятся на количество) — Mean Percent Error

MAPE — Mean Absolute Percent Error

MAPE — средняя абсолютная процентная ошибка прогнозирования. Основная проблема данной ошибки такая же, как и у MPE — нестабильность.

Ошибка прогнозирования MAPE

  1. Для каждой позиции рассчитывается абсолютная ошибка прогноза (прогноз вычитается из факта по модулю) — Absolute Error
  2. Для каждой позиции рассчитывается абсолютная процентная ошибка прогноза (абсолютная ошибка прогноза делится на фактический показатель) — Absolute Percent Error
  3. Находится среднее арифметическое всех абсолютных процентных ошибок прогноза (абсолютные процентные ошибки суммируются и делятся на количество) — Mean Absolute Percent Error

Вместо среднего арифметического всех абсолютных процентных ошибок прогноза можно использовать медиану числового ряда (MdAPE — Median Absolute Percent Error), она наиболее устойчива к выбросам.


WMAPE / MAD-Mean Ratio / WAPE — Weighted Absolute Percent Error

WAPE — взвешенная абсолютная процентная ошибка прогнозирования. Одна из «лучших ошибок» для расчета точности прогнозирования. Часто называется как MAD-Mean Ratio, то есть отношение MAD (Mean Absolute Deviation — среднее абсолютное отклонение/ошибка) к Mean (среднее арифметическое). После упрощения дроби получается искомая формула WAPE, которая очень проста в понимании:

Ошибка прогнозирования WAPE MAD-Mean Ratio

  1. Для каждой позиции рассчитывается абсолютная ошибка прогноза (прогноз вычитается из факта, по модулю) — Absolute Error
  2. Находится сумма всех фактов по всем позициям  (общий фактический объем)
  3. Сумма всех абсолютных ошибок делится на сумму всех фактов — WAPE

Данная ошибка прогнозирования является симметричной и наименее чувствительна к искажениям числового ряда.

Рекомендуется к использованию при расчете точности прогнозирования. Более подробно читать здесь.


RMSE (as %) / nRMSE — Root Mean Square Error

RMSE — среднеквадратичная ошибка прогнозирования. Примерно такая же проблема, как и в MPE и MAPE: так как каждое отклонение возводится в квадрат, любое небольшое отклонение может значительно повлиять на показатель ошибки. Стоит отметить, что существует также ошибка MSE, из которой RMSE как раз и получается путем извлечения корня. Но так как MSE дает расчетные единицы измерения в квадрате, то использовать данную ошибку будет немного неправильно.

Ошибка прогнозирования RMSE

  1. Для каждой позиции рассчитывается квадрат отклонений (разница между фактом и прогнозом, возведенная в квадрат) — Square Error
  2. Затем рассчитывается среднее арифметическое (сумма квадратов отклонений, деленное на количество) — MSE — Mean Square Error
  3. Извлекаем корень из полученного результат — RMSE
  4. Для перевода в процентную или в «нормализованную» среднеквадратичную ошибку необходимо:
    1. Разделить на разницу между максимальным и минимальным значением показателей
    2. Разделить на разницу между третьим и первым квартилем значений показателей
    3. Разделить на среднее арифметическое значений показателей (наиболее часто встречающийся вариант)

MASE — Mean Absolute Scaled Error

MASE — средняя абсолютная масштабированная ошибка прогнозирования. Согласно Википедии, является очень хорошим вариантом для расчета точности, так как сама ошибка не зависит от масштабов данных и является симметричной: то есть положительные и отрицательные отклонения от факта рассматриваются в равной степени.

Важно! Если предыдущие ошибки прогнозирования мы могли использовать для нахождения точности прогнозирования некого списка номенклатур, где каждой из которых соответствует фактическое и прогнозное значение (как было в примере в начале статьи), то данная ошибка для этого не предназначена: MASE используется для расчета точности прогнозирования одной единственной позиции, основываясь на предыдущих показателях факта и прогноза, и чем больше этих показателей, тем более точно мы сможем рассчитать показатель точности. Вероятно, из-за этого ошибка не получила широкого распространения.

Здесь данная формула представлена исключительно для ознакомления и не рекомендуется к использованию.

Суть формулы заключается в нахождении среднего арифметического всех масштабированных ошибок, что при упрощении даст нам следующую конечную формулу:

Ошибка прогнозирования MASE

Также, хочу отметить, что существует ошибка RMMSE (Root Mean Square Scaled Error — Среднеквадратичная масштабированная ошибка), которая примерно похожа на MASE, с теми же преимуществами и недостатками.


Это основные ошибки прогнозирования, которые могут использоваться для расчета точности прогнозирования. Но не все! Их очень много и, возможно, чуть позже я добавлю еще немного информации о некоторых из них. А примеры расчетов уже описанных ошибок прогнозирования будут выложены через некоторое время, пока что я подготавливаю пример, ожидайте.

Об авторе

HeinzBr

Автор статей и создатель сайта SHTEM.RU

Основной задачей при управлении запасами является определение объема пополнения, то есть, сколько необходимо заказать поставщику. При расчете этого объема используется несколько параметров — сколько будет продано в будущем, за какое время происходит пополнение, какие остатки у нас на складе и какое количество уже заказано у поставщика. То, насколько правильно мы определим эти параметры, будет влиять на то, будет ли достаточно товара на складе или его будет слишком много. Но наибольшее влияние на эффективность управления запасами влияет то, насколько точен будет прогноз. Многие считают, что это вообще основной вопрос в управлении запасами. Действительно, точность прогнозирования очень важный параметр. Поэтому важно понимать, как его оценивать. Это важно и для выявления причин дефицитов или неликвидов, и при выборе  программных продуктов для прогнозирования продаж и управления запасами.

В данной статье я представила несколько формул для расчета точности прогноза и ошибки прогнозирования. Кроме этого, вы сможете скачать файлы с примерами расчетов этого показателя.

Статистические методы

Для оценки прогноза продаж используются статистические оценки Оценка ошибки прогнозирования временного ряда. Самый простой показатель – отклонение факта от прогноза в количественном выражении.

В практике рассчитывают ошибку прогнозирования по каждой отдельной позиции, а также рассчитывают среднюю ошибку прогнозирования. Следующие распространенные показатели ошибки относятся именно  к показателям средних ошибок прогнозирования.

К ним относятся:

MAPE – средняя абсолютная ошибка в процентах

                                                                                         

где Z(t) – фактическое значение временного ряда, а   – прогнозное.

Данная оценка применяется для временных рядов, фактические значения которых значительно больше 1. Например, оценки ошибки прогнозирования энергопотребления почти во всех статьях приводятся как значения MAPE. 

Если же фактические значения временного ряда близки к 0, то в знаменателе окажется очень маленькое число, что сделает значение MAPE близким к бесконечности – это не совсем корректно. Например, фактическая цена РСВ = 0.01 руб/МВт.ч, a прогнозная = 10 руб/МВт.ч, тогда MAPE = (0.01 – 10)/0.01 = 999%, хотя в действительности мы не так уж сильно ошиблись, всего на 10 руб/МВт.ч. Для рядов, содержащих значения близкие к нулю, применяют следующую оценку ошибки прогноза.

MAE – средняя абсолютная ошибка

                                                                                                  .

Для оценки ошибки прогнозирования цен РСВ и индикатора БР корректнее использовать MAE.

После того, как получены значения для MAPE и/или MAE, то в работах обычно пишут: «Прогнозирование временного ряда энергопотребления с часовым разрешение проводилось на интервале с 01.01.2001 до 31.12.2001 (общее количество отсчетов N ~ 8500). Для данного прогноза значение MAPE = 1.5%». При этом, просматривая статьи, можно сложить общее впечатление об ошибки прогнозирования энергопотребления, для которого MAPE обычно колеблется от 1 до 5%; или ошибки прогнозирования цен на электроэнергию, для которого MAPE колеблется от 5 до 15% в зависимости от периода и рынка. Получив значение MAPE для собственного прогноза, вы можете оценить, насколько здорово у вас получается прогнозировать.

Кроме указанных методов иногда используют другие оценки ошибки, менее популярные, но также применимые. Подробнее об этих оценках ошибки прогноза читайте указанные статьи в Википедии.

ME – средняя ошибка

                                                                                                    

Встречается еще другое название этого показателя — Bias (англ. – смещение) демонстрирует величину отклонения, а также — в какую сторону прогноз продаж отклоняется от фактической потребности. Этот индикатор показывает, был ли прогноз оптимистичным или пессимистичным. То есть, отрицательное значение Bias говорит о том, что прогноз был завышен (реальная потребность оказалась ниже), и, наоборот, положительное значение о том, что прогноз был занижен. Цифровое значение показателя определяет величину отклонения (смещения).

MSE – среднеквадратичная ошибка

.

RMSE – квадратный корень из среднеквадратичной ошибки

.

.

SD – стандартное отклонение

                                                                                                                            

где ME – есть средняя ошибка, определенная по формуле выше.

Примечание. Примеры расчетов данных показателей представлены в файле Excel, который можно скачать, оставив электронный адрес в форме ниже. Скачать пример расчета в Excel >>>

Связь точности и ошибки прогнозирования

В начале этого обсуждения разберемся с определениями.

Ошибка прогноза — апостериорная величина отклонения прогноза от действительного состояния объекта. Если говорить о прогнозе продаж, то это показатель отклонения фактических продаж от прогноза.

Точность прогнозирования есть понятие прямо противоположное ошибке прогнозирования. Если ошибка прогнозирования велика, то точность мала и наоборот, если ошибка прогнозирования мала, то точность велика. По сути дела оценка ошибки прогноза MAPE есть обратная величина для точности прогнозирования — зависимость здесь простая.

Точность прогноза в % = 100% – MAPE, встречается еще название этого показателя Forecast Accuracy. Вы практически не найдете материалов о прогнозировании, в которых приведены оценки именно точности прогноза, хотя с точки зрения здравого маркетинга корректней говорить именно о высокой точности. В рекламных статьях всегда будет написано о высокой точности. Показатель точности прогноза выражается в процентах:

  • Если точность прогноза равна 100%, то выбранная модель описывает фактические значения на 100%, т.е. очень точно. Нужно сразу оговориться, что такого показателя никогда не будет, основное свойство прогноза в том, что он всегда ошибочен.
  • Если 0% или отрицательное число, то совсем не описывает, и данной модели доверять не стоит.

Выбрать подходящую модель прогноза можно с помощью расчета показателя точность прогноза. Модель прогноза, у которой показатель точность прогноза будет ближе к 100%, с большей вероятностью сделает более точный прогноз. Такую модель можно назвать оптимальной для выбранного временного ряда.  Говоря о высокой точности, мы говорим о низкой ошибки прогноза и в этой области недопонимания быть не должно. Не имеет значения, что именно вы будете отслеживать, но важно, чтобы вы сравнивали модели прогнозирования или целевые показатели по одному показателю – ошибка прогноза или точность прогнозирования.

Ранее я использовала оценку MAPE, до тех пор пока не встретила формулу, которую рекомендует Валерий Разгуляев

Примечание. Примеры расчетов данных показателей представлены в файле Excel, который можно скачать, оставив электронный адрес в форме. Скачать пример расчета в Excel >>>

Оценка ошибки прогноза – формула Валерия Разгуляева (сайт http://upravlenie-zapasami.ru/)

Одной из самых используемых формул оценки ошибки прогнозирования является следующая формула:

                                                                                                                 

где: P – это прогноз, а S – факт за тот же месяц. Однако у этой формулы есть серьезное ограничение — как оценить ошибку, если факт равен нулю? Возможный ответ, что в таком случае D = 100% – который означает, что мы полностью ошиблись. Однако простой пример показывает, что такой ответ — не верен:

вариант

прогноз

факт

ошибка прогноза

№1

4

0

100%

№2

4

1

300%

№3

1

4

75%

Оказывается, что в варианте развития событий №2, когда мы лучше угадали спрос, чем в варианте №1, ошибка по данной формуле оказалась – больше. То есть ошиблась уже сама формула. Есть и другая проблема, если мы посмотрим на варианты №2 и №3, то увидим, что имеем дело с зеркальной ситуацией в прогнозе и факте, а ошибка при этом отличается – в разы!.. То есть при такой оценке ошибки прогноза нам лучше его заведомо делать менее точным, занижая показатель – тогда ошибка будет меньше!.. Хотя понятно, что чем точнее будет прогноз – тем лучше будет и закупка. Поэтому для расчёта ошибки Валерий Разгуляев рекомендует использовать следующую формулу:

                                                                                                       

В таком случае для тех же примеров ошибка рассчитается иначе:

вариант

прогноз

факт

ошибка прогноза

№1

4

0

100%

№2

4

1

75%

№3

1

4

75%

Как мы видим, в варианте №1 ошибка становится равной 100%, причём это уже – не наше предположение, а чистый расчёт, который можно доверить машине. Зеркальные же варианты №2 и №3 – имеют и одинаковую ошибку, причём эта ошибка меньше ошибки самого плохого варианта №1. Единственная ситуация, когда данная формула не сможет дать однозначный ответ – это равенство знаменателя нулю. Но максимум из прогноза и факта равен нулю, только когда они оба равны нулю. В таком случае получается, что мы спрогнозировали отсутствие спроса, и его, действительно, не было – то есть ошибка тоже равна нулю – мы сделали совершенно точное предсказание.   

Визуальный метод – графический

Визуальный метод состоит в том, что мы на график выводим значение прогнозной модели и факта продаж по тем моделям, которые хотим сравнить. Далее  сравниваем визуально, насколько прогнозная модель близка к фактическим продажам. Давайте рассмотрим на примере. В таблице представлены две прогнозные модели, а также фактические продажи по этому товару за тот же период. Для наглядности мы также рассчитали ошибку прогнозирования по обеим моделям.  

                                               

По графикам очевидно, что модель 2 описывает лучше продажи этого товара. Оценка ошибки прогнозирования тоже это показывает – 65% и 31% ошибка прогнозирования по модели 1 и модели 2 соответственно.

                                                               

                                                                

Недостатком данного метода является то, что небольшую разницу между моделями сложно выявить — разницу в несколько процентов сложно оценить по диаграмме. Однако эти несколько процентов могут существенно улучшить качество прогнозирования и планирования пополнения запасов в целом.  

Использование формул ошибки прогнозирования на практике

Практический аспект оценки ошибки прогнозирования я вывела отдельным пунктом. Это связано с тем, что все статистические методы расчета показателя ошибки прогнозирования рассчитывают то, насколько мы ошиблись в прогнозе в количественных показателях. Давайте теперь обсудим, насколько такой показатель будет полезен в вопросах управления запасами. Дело в том, что основная цель управления запасами  — обеспечить продажи, спрос наших клиентов. И, в конечном счете, максимизировать доход и прибыль компании. А эти показатели оцениваются как раз  в стоимостном выражении. Таким образом, нам важно при оценке ошибки прогнозирования понимать какой вклад каждая позиция внесла в объем продаж в стоимостном выражении. Когда мы оцениваем ошибку прогнозирования в количественном выражении мы предполагаем, что каждый товар имеет одинаковый вес в общем объеме продаж, но на самом деле это не так – есть очень дорогие товары, есть товары, которые продаются в большом количестве, наша группа А, а есть не очень дорогие товары, есть товары которые вносят небольшой вклад в объем продаж. Другими словами большая ошибка прогнозирования по товарам группы А будет нам «стоить» дороже, чем низкая ошибка прогнозирования по товарам группы С, например. Для того, чтобы наша оценка ошибки прогнозирования была корректной, релевантной целям управления запасами, нам необходимо оценивать ошибку прогнозирования по всем товарам или по отдельной группе не по средними показателями, а средневзвешенными с учетом прогноза и факта в стоимостном выражении.

Пример расчета такой оценки Вы сможете увидеть в файле Excel.

Примечание. Примеры расчетов данных показателей представлены в файле Excel, который можно скачать, оставив электронный адрес в форме. Скачать пример расчета в Excel >>>

При этом нужно помнить, что для оценки ошибки прогнозирования по отдельным позициям мы рассчитываем по количеству, но вот если нам важно понять в целом ошибку прогнозирования по компании, например, для оценки модели, которую используем, то нам нужно рассчитывать не среднюю оценку по всем товарам, а средневзвешенную с учетом стоимостной оценки. Оценку можно брать по ценам себестоимости или ценам продажи, это не играет большой роли, главное, эти же цены (тип цен) использовать при всех расчетах.  

Для чего используется ошибка прогнозирования

В первую очередь, оценка ошибки прогнозирования нам необходима для оценки того, насколько мы ошибаемся при планировании продаж, а значит при планировании поставок товаров. Если мы все время прогнозируем продажи значительно больше, чем потом фактически продаем, то вероятнее всего у нас будет излишки товаров, и это невыгодно компании. В случае, когда мы ошибаемся в обратную сторону – прогнозируем продажи меньше чем фактические продажи, с большой вероятностью у нас будут дефициты и компания не дополучит прибыль. В этом случае ошибка прогнозирования служит индикатором качества планирования и качества управления запасами.

Индикатором того, что повышение эффективности возможно за счет улучшения качества прогнозирования. За счет чего можно улучшить качество прогнозирования мы не будем здесь рассматривать, но одним из вариантов является поиск другой модели прогнозирования, изменения параметров расчета, но вот насколько новая модель будет лучше, как раз поможет показатель ошибки прогнозирования или точности прогноза. Сравнение этих показателей по нескольким моделям поможет определить ту модель, которая дает лучше результат.

В идеальном случае, мы можем так подбирать модель для каждой отдельной позиции. В этом случае мы будем рассчитывать прогноз по разным товарам по разным моделям, по тем, которые дают наилучший вариант именно для конкретного товара.

Также этот показатель можно использовать при выборе автоматизированного инструмента для прогнозирования спроса и управления запасами. Вы можете сделать тестовые расчеты прогноза в предлагаемой программе и сравнить ошибку прогнозирования полученного прогноза с той, которая есть у вашей существующей модели. Если у предлагаемого инструмента ошибка прогнозирования меньше. Значит, этот инструмент можно рассматривать для применения в компании. Кроме этого, показатель точности прогноза или ошибки прогнозирования можно использовать как KPI сотрудников, которые отвечают за подготовку прогноза продаж или менеджеров по закупкам, в том случае, если они рассчитывают прогноз будущих продаж при расчете заказа.

Примечание. Примеры расчетов данных показателей представлены в файле Excel, который можно скачать, оставив электронный адрес в форме. Скачать пример расчета в Excel >>>

Если вы хотите повысить эффективность управления запасами и увеличить оборачиваемость товарных запасов, предлагаю изучить мастер-класс «Как увеличить оборачиваемость товарных запасов».

Источник: сайт http://uppravuk.net/  

Сергей Смирнов, Маркетолог, Руководитель отдела развития и лицензирования Bayer.


Вместо предисловия

Соотношение между фактическими продажами и прогнозом можно описать достаточно стандартной формулой: Факт = Прогноз -/+ %(ошибка). Величина допустимой ошибки должна быть оговорена заранее, как и причины появления такой ошибки прогнозирования. На деле же получается, что величина данной ошибки может варьировать в очень широком диапазоне. Далее я постараюсь описать наиболее частые причины возникновения подобных ошибок.

Стратегия и тактика

Наиболее часто ошибки возникают тогда, когда ещё до составления прогноза были неправильно (или в полном объёме) использованы предпосылки (assumptions) для его составления. Выбор неправильной техники прогнозирования также относится к наиболее распространённым ошибкам. Вот основные виды ошибок, с которыми мне приходилось сталкиваться на практике, при прогнозировании продаж и бюджетов различных продуктов и бизнес-подразделений. Я сознательно не буду касаться ошибок, связанных с крупными изменениями в политической или экономической жизни. Обычно эти предпосылки качественно отражаются в PEST анализе бизнес- или маркетингового плана, а количественно — при непосредственном бюджетировании, в разделах “upsides & downsides”. Я же предлагаю сконцентрироваться на ошибках, возникающих на тактическом/операционном уровне.

Неправильные предпосылки: динамика рынка

Вот далеко не полный список «популярных» ошибок при прогнозировании роста (или падения) рынка:

    Неправильный «перевод» динамики из рублей в евро/доллары и наоборот. Очень часто бюджет препарата строится в «валюте компании», а отчёт о продажах, на основании которого составляется прогноз – в «валюте страны», т.е.в рублях. При переводе динамики рынка из одной валюты в другую очень легко переоценить или недооценить динамику рынка. Это становится особенно важным при «фиксации» рынка в рублях, например, в сегменте госзакупок. Не добавляет ясности при прогнозировании дополнительное использование компанией «внутреннего» или «контроллингового» курса пересчёта. Причина возникновения таких ошибок кроется в прямом копировании практики прогнозов в странах со свободно-конвертируемой и стабильной валютой, с низким уровнем инфляции.Недооценка скорости выхода новых препаратов/генериков на рынок. При этом (в зависимости от жизненного цикла как рынка, так и препаратов) может наблюдаться значительное расхождение динамики рынка в SKU (или в днях лечения) и в деньгах, что увеличивает риск ошибки. Здесь причина часто кроется в недостаточном взаимодействии с регуляторным (или медицинским) отделом компании.

    Злоупотребление использования CAGR на слишком новых (или быстро устаревающих) рынках. CAGR – очень полезный инструмент прогнозирования, но имеет целый ряд недостатков. Главный из них: CAGR всегда показывает «среднюю температуру по больнице»; им очень легко манипулировать, выбирая тот или иной временной промежуток. CAGR «умело» сглаживает пики и падения, оперируя лишь начальными и конечными данными продаж.

    Неправильные предпосылки: доля рынка

    Здесь типичная ошибка всего одна, но она состоит она из множества факторов. Эта ошибка — в определении причин (драйверов) роста препарата. Причин таких (согласно матрице Ансоффа) существует всего четыре:

      Появление (рекрутинг) новых пациентов за счёт лучшей диагностики;Появление новых показаний (или off-label использование), использование в комбинированной терапииУвеличение приверженности (комплаентности) в лечении текущих пациентовПереключение с других препаратов.Очень часто эти причины не учитываются и возникают забавные парадоксы: либо сумма долей рынка препаратов становиться более 100%, либо развитие рынка перестаёт соответствовать тенденциям/стандартам в лечении того или иного заболевания. Существуют разные способы устранения таких ошибок (мнение экспертов, экстраполяция международных данных и т.п.), но самые лучшее средства здесь – логика и отличное знание своего рынка.

      Неправильная техника прогнозирования: слишком простая модель

      Для целого ряда сегментов (например, для инновационных онкологических и орфанных препаратов) простой «плоский» прогноз с несколькими простыми предпосылками работает плохо. Именно для таких рынков и придумали сложные пациентские модели, часто требующие значительной адаптации и доводки для наших рынков. Для этого часто стали использоваться динамические модели с обратной связью, позволяющие значительно выйти за «2-D» ограничения MS Excel (в простых электронных таблицах при этом возникает циклическая ссылка). Такое моделирование требует значительных усилий по сбору необходимых допущений и предпосылок, но это с лихвой окупается точным, понятным прогнозом и отсутствием последующих завышенных ожиданий со стороны руководства.

      Неправильная техника прогнозирования: слишком сложная модель

      Очевидно также и обратное: если есть упрощение модели, то также часто встречается и её ненужное усложнение. При выводе на рынок 8-го генерика строить сложную пациентскую модель явно нет необходимости. Предпосылки о занятии «z% от лидирующего продукта» или «у% от рынка к 201х году при росте а, в и с% первые три года» будет более чем достаточно.

      Безусловно, в рамках такой короткой статьи невозможно коснуться целого ряда специфических ошибок, возникающих при прогнозировании. Тем не менее, хотелось бы ещё раз подчеркнуть: избежать этих ошибок помогут здравый смысл и знание своего рынка в сочетании с владением основных методов прогнозирования и статистики. Всё остальное лежит, скорее, в области искусства, чем науки.


      Мы будем благодарны за Ваше мнение относительно размещенных материалов и с удовольствием разместим Ваши комментарии к соответствующим статьям/видео, а также ответим Вам лично.Ваши комментарии, статьи и видеоматериалы Вы можете присылать нам по адресу pharmaschool@comcon-2.com.

      Как оценить качество прогнозирования

      Прогнозирование показателей экономической деятельности — неотъемлемая составляющая экономического процесса. Существует множество методов прогнозирования, таких как экспертные оценки, экстраполирование, модели временных рядов, экономические системы и т. д. В этой связи возникает вопрос об оценке качества прогнозов, в том числе полученных различными способами. Также актуальным является вопрос: каким образом оценить качество прогноза до его разработки, не имея сравнительных результатов? В статье поговорим о традиционных методах оценки качества прогнозирования и важности правильного выбора.

      Традиционные методы оценки качества прогнозирования

      Вначале расскажем про традиционные методы оценки качества прогнозирования, которыми пользуются многие менеджеры и аналитики.

      Самая популярная и общедоступная «троица» показателей представлена ниже:

      • средняя абсолютная процентная ошибка (MAPE):

      Средняя абсолютная процентная ошибка MAPE

      • средняя абсолютная ошибка (MAE):

      Средняя абсолютная ошибка MAE

      • средняя квадратичная ошибка (RMSE):

      Средняя квадратичная ошибка RMSE

      Как правило, все останавливаются на MAPE (это средняя абсолютная процентная ошибка), потому что эта формула наиболее наглядна и понятна. В связи с простотой в понимании и удобством ее любит менеджмент, но в ней есть и нюансы, когда, например, фактические продажи меньше планируемых. Теоретически любого менеджера можно загнать в тупик, задав вопрос — какая, например, будет ошибка, если продать ноль единиц товара вместо планируемых десяти единиц?

      Ошибки прогнозирования в разных условиях

      Разные ошибки прогнозирования для бизнеса не являются равнозначными

      Перепрогноз может приводить к:

      • замораживанию средств и потере альтернативного дохода;
      • излишку запасов и, как следствие, списанию и распродажам;
      • низкой оборачиваемости и кассовому разрыву.

      Недопрогноз ведет к:

      • упущенным продажам и марже;
      • низкому уровню сервиса и, соответственно, штрафам и вероятности потерять клиентов;
      • непониманию реального спроса.

      Разный знак ошибки — совершенно разное влияние на бизнес. Как эти знаки отражаются в ошибках? Если смотреть на среднюю абсолютную процентную ошибку (MAPE), то в перепрогнозировании ошибка скачет от 0% до бесконечности, а при недопрогнозе — от 0% до 100%. То есть мы получаем некое ассиметричное представление о том, что происходит с нашим бизнесом. При этом влияние на среднюю ошибку является равнозначным, то есть мы никак не учитываем ухудшение самого факта перепрогноза или недопрогноза.

      Коварный ноль

      Ноль может быть как в прогнозе, так и в продаже. Что с ним делать?

      В средней абсолютной процентной ошибке (MAPE) деление на ноль не удается. Мы вынуждены выбрасывать эту ошибку или ставить 100% ошибку, что обычно и делается.

      Что касается прогноза в ноль — ошибка также всегда равна там единице. Можно ли составить полное представление о бизнесе по этой ошибке? Скорее всего, нет.

      То же самое со средней ошибкой — она не отражает знак ошибки, никак не реагирует на нулевые крайние случаи.

      Традиционные методы оценки не всегда эффективны

      Рассмотрим причины, по которым традиционные методы оценки качества прогнозирования не всегда являются эффективными. Вышеуказанные методы обладают следующими качествами:

      • робастностью — насколько ошибка устойчива при небольшом изменении — насколько она подскакивает/падает и насколько, в целом, отражает состояние бизнеса;
      • обобщенностью — насколько сильно происходит усреднение ошибки — сможем ли мы составить по средней абсолютной ошибке представление о том, что происходит попозиционно (скорее всего, нет);
      • симметричностью — насколько наша ошибка для разных знаков является значимой.

      Свойства традиционных методов оценки качества прогнозирования

      Как мы видим, все три вида ошибок имеют свои плюсы и минусы, но каждый раз вы склонны идти на некий компромисс, выбирая какое-то оптимальное решение.

      Альтернативные методы оценки

      На самом деле, этими тремя способами оценки не ограничиваются — есть и другие варианты. Мы выбрали два наиболее популярных:

      • симметричная оценка качества (SMAPE):

      Симметричная оценка качества SMAPE

      Она, в какой-то мере, нивелирует асимметрию, которая есть в MAPE. Но есть и существенный минус — она содержит знаменательный прогноз, поэтому, угадывая нулевые продажи при прогнозировании, можно манипулировать качеством прогноза. И, в целом, SMAPE ведет к некоторому завышению прогноза, который можно смоделировать и понять;

      • взвешенная абсолютная процентная ошибка прогнозирования (WAPE):

      Взвешенная абсолютная процентная ошибка прогнозирования WAPE

      Это другая альтернатива, которая, как нам кажется, является оптимальной для оценок и неким идеальным компромиссом между сложностью интерпретации и результатом. Ее плюс заключается в том, что вы получаете больше вес по позициям — чем больше позиция продается, тем ее значимость является выше.

      Стоит отметить, что не всегда бо’льшие продажи — это лучше для бизнеса, так как существует ряд позиций, которые обладают низкой маржинальностью, и, возможно, стоит взвешивать не только по количеству продаж, но и по другим показателям.

      Кроме рассмотренных, есть довольно большое количество более сложных формул. Мы все время экспериментируем, находим новые варианты, но их объединяет следующее — они очень сложны для интерпретации, то есть невозможно, посчитав формулу, вывести одно сводное число, которое даст определенность и возможность принять решение. И в этом состоит основной вызов в#nbsp;прогнозировании и оценке его качества.

      Почему для нас эта тема актуальна?

      Команда Reshape Analytics обладает широким спектром компетенций:

      • Мы проводим стратегический data-driven аудит эффективности текущей системы управления цепочкой поставок и выработка рекомендаций по ее улучшению.
      • Производим анализ качества управления запасами и прогнозирование целевой эффективности внедрения аналитических решений.
      • Помогаем разработать и согласовать техническое задание на внедрение систем прогнозирования и планирования.
      • Разрабатываем технологические решения для упрощения интеграции с системами прогнозирования и планирования.
      • Внедряем системы прогнозирования и планирования цепей поставок.

      Мы можем помочь Вам разобраться во всех этих хитросплетениях и добиться максимально качественных данных для прогнозирования с помощью аналитических платформ и решений: Loginom, NOVO BI, Optimacros, Alteryx, AnyLogistix и другие.

      Оставьте заявку на бесплатную консультацию, и наши специалисты помогут Вам подобрать оптимальное решение для ваших задач.

      Ошибки прогнозирования

      Ошибки при прогнозировании выявляются сравнением прогнозных и фактических данных. В качестве измерителя точности прогноза используются следующие характеристики:

      1) среднее отклонение (или средняя ошибка), определяемое по формуле

      среднее отклонение

      где Yi – фактическая величина;
      Fi – прогнозируемая величина; n – объем выборки.

      2) среднеквадратическое отклонение ошибок (s), рассчитывается по формуле:

      среднеквадратическое отклонение ошибок

      Среднеквадратичное отклонение используется для установления доверительных интервалов (или нижнего и верхнего контрольного уровня) изменения случайной величины. При условии, что ошибки образуют нормальное распределение, можно вычислить с определенной вероятностью доверительные пределы изменения прогнозируемой величины. Так, 95%-ный доверительный интервал рассчитывается как F±1,96s. Тогда фактическое значение (Y) будет находиться в следующих границах:

      F −1,96s ≤Y ≤ F +1,96s. (5.11)

      Рассмотрим пример определения доверительных интервалов изменения прогнозируемой

      случайной величины.

      Таблица 5.6. Данные расчета ошибки прогнозирования

      Данные расчета ошибки прогнозирования

      Согласно прогнозу в один из дней (например, 7-й день из табл. 5.3) посетят больницу 30 пациентов. Исходя из характеристик выборки, 95%-ный доверительный интервал будет следующим:  Y = 30 ± 1,96 × 4,03 = 30 ± 7,9 = 22,1 ÷ 37,9.
      Итак, можно быть на 95% уверенным в том, что в этот день число пациентов может составить от 22 до 38 чел.

      Возможно, вам будет интересно также:

      Точность прогноза

      Точность прогноза, требуемая для решения конкретной задачи, оказывает большое влияние на прогнозирующую систему. Ошибка прогноза зависит от используемой системы прогноза.

      Чем больше ресурсов имеет такая система, тем больше шансов получить более точный прогноз. Однако прогнозирование не может полностью уничтожить риски при принятии решений. Поэтому всегда учитывается возможная ошибка прогнозирования.

      Точность прогноза характеризуется ошибкой прогноза.

      Наиболее распространенные виды ошибок:

      • Средняя ошибка (СО). Она вычисляется простым усреднением ошибок на каждом шаге. Недостаток этого вида ошибки — положительные и отрицательные ошибки аннулируют друг друга.
      • Средняя абсолютная ошибка (САО). Она рассчитывается как среднее абсолютных ошибок. Если она равна нулю, то мы имеем совершенный прогноз. В сравнении со средней квадратической ошибкой, эта мера «не придает слишком большого значения» выбросам.
      • Сумма квадратов ошибок (SSE), среднеквадратическая ошибка. Она вычисляется как сумма (или среднее) квадратов ошибок. Это наиболее часто используемая оценка точности прогноза.
      • Относительная ошибка (ОО). Предыдущие меры использовали действительные значения ошибок. Относительная ошибка выражает качество подгонки в терминах относительных ошибок.

      Виды прогнозов

      Прогноз может быть краткосрочным, среднесрочным и долгосрочным.

      Краткосрочный прогноз представляет собой прогноз на несколько шагов вперед, т.е. осуществляется построение прогноза не более чем на 3% от объема наблюдений или на 1-3 шага вперед.

      Среднесрочный прогноз — это прогноз на 3-5% от объема наблюдений, но не более 7-12 шагов вперед; также под этим типом прогноза понимают прогноз на один или половину сезонного цикла. Для построения краткосрочных и среднесрочных прогнозов вполне подходят статистические методы.

      Долгосрочный прогноз — это прогноз более чем на 5% от объема наблюдений.

      При построении данного типа прогнозов статистические методы практически не используются, кроме случаев очень «хороших» рядов, для которых прогноз можно просто «нарисовать».

      До сих пор мы рассматривали аспекты прогнозирования, так или иначе связанные с процессом принятия решения. Существуют и другие факторы, которые необходимо учитывать при прогнозировании.

      Задача 1. Известно, что анализируемый процесс относительно стабилен во времени, изменения происходят медленно, процесс не зависит от внешних факторов.

      Задача 2. Анализируемый процесс нестабилен и очень сильно зависит от внешних факторов.

      Решение первой задачи должно быть сосредоточено на использовании большого количества ретроспективных данных. При решении второй задачи особое внимание следует обратить на оценки специалиста в предметной области, эксперта, чтобы иметь возможность отразить в прогнозирующей модели все необходимые внешние факторы, а также уделить время для сбора данных по этим факторам (сбор внешних данных часто намного сложнее сбора внутренних данных информационной системы). Доступность данных, на основе которых будет осуществляться прогнозирование, — важный фактор построения прогнозной модели. Для возможности выполнения качественного прогноза данные должны быть представительными, точными и достоверными.

      Методы прогнозирования

      Методы Data Mining, при помощи которых решаются задачи прогнозирования, будут рассмотрены во втором разделе курса. Среди распространенных методов Data Mining, используемых для прогнозирования, отметим нейронные сети и линейную регрессию.

      Выбор метода прогнозирования зависит от многих факторов, в том числе от параметров прогнозирования. Выбор метода следует производить с учетом всех специфических особенностей набора ретроспективных данных и целей, с которыми он строится.

      Программное обеспечение Data Mining, используемое для прогнозирования, должно обеспечивать пользователя точным и достоверным прогнозом. Однако получение такого прогноза зависит не только от программного обеспечения и методов, заложенных в его основу, но также и от других факторов, среди которых полнота и достоверность исходных данных, своевременность и оперативность их пополнения, квалификация пользователя.

      Ошибка прогнозирования: виды, формулы, примеры

      Ошибка прогнозирования — это такая величина, которая показывает, как сильно прогнозное значение отклонилось от фактического. Она используется для расчета точности прогнозирования, что в свою очередь помогает нам оценивать как точно и корректно мы сформировали прогноз. В данной статье я расскажу про основные процентные «ошибки прогнозирования» с кратким описанием и формулой для расчета. А в конце статьи я приведу общий пример расчётов в Excel. Напомню, что в своих расчетах я в основном использую ошибку WAPE или MAD-Mean Ratio, о которой подробно я рассказал в статье про точность прогнозирования, здесь она также будет упомянута.

      В каждой формуле буквой Ф обозначено фактическое значение, а буквой П — прогнозное. Каждая ошибка прогнозирования (кроме последней!), может использоваться для нахождения общей точности прогнозирования некоторого списка позиций, по типу того, что изображен ниже (либо для любого другого подобной детализации):

      Алгоритм для нахождения любой из ошибок прогнозирования для такого списка примерно одинаковый: сначала находим ошибку прогнозирования по одной позиции, а затем рассчитываем общую. Итак, основные ошибки прогнозирования!


      MPE — Mean Percent Error

      MPE — средняя процентная ошибка прогнозирования. Основная проблема данной ошибки заключается в том, что в нестабильном числовом ряду с большими выбросами любое незначительное колебание факта или прогноза может значительно поменять показатель ошибки и, как следствие, точности прогнозирования. Помимо этого, ошибка является несимметричной: одинаковые отклонения в плюс и в минус по-разному влияют на показатель ошибки.

      Ошибка прогнозирования MPE

      1. Для каждой позиции рассчитывается ошибка прогноза (из факта вычитается прогноз) — Error
      2. Для каждой позиции рассчитывается процентная ошибка прогноза (ошибка прогноза делится на фактический показатель) — Percent Error
      3. Находится среднее арифметическое всех процентных ошибок прогноза (процентные ошибки суммируются и делятся на количество) — Mean Percent Error

      MAPE — Mean Absolute Percent Error

      MAPE — средняя абсолютная процентная ошибка прогнозирования. Основная проблема данной ошибки такая же, как и у MPE — нестабильность.

      Ошибка прогнозирования MAPE

      1. Для каждой позиции рассчитывается абсолютная ошибка прогноза (прогноз вычитается из факта по модулю) — Absolute Error
      2. Для каждой позиции рассчитывается абсолютная процентная ошибка прогноза (абсолютная ошибка прогноза делится на фактический показатель) — Absolute Percent Error
      3. Находится среднее арифметическое всех абсолютных процентных ошибок прогноза (абсолютные процентные ошибки суммируются и делятся на количество) — Mean Absolute Percent Error

      Вместо среднего арифметического всех абсолютных процентных ошибок прогноза можно использовать медиану числового ряда (MdAPE — Median Absolute Percent Error), она наиболее устойчива к выбросам.


      WMAPE / MAD-Mean Ratio / WAPE — Weighted Absolute Percent Error

      WAPE — взвешенная абсолютная процентная ошибка прогнозирования. Одна из «лучших ошибок» для расчета точности прогнозирования. Часто называется как MAD-Mean Ratio, то есть отношение MAD (Mean Absolute Deviation — среднее абсолютное отклонение/ошибка) к Mean (среднее арифметическое). После упрощения дроби получается искомая формула WAPE, которая очень проста в понимании:

      Ошибка прогнозирования WAPE MAD-Mean Ratio

      1. Для каждой позиции рассчитывается абсолютная ошибка прогноза (прогноз вычитается из факта, по модулю) — Absolute Error
      2. Находится сумма всех фактов по всем позициям  (общий фактический объем)
      3. Сумма всех абсолютных ошибок делится на сумму всех фактов — WAPE

      Данная ошибка прогнозирования является симметричной и наименее чувствительна к искажениям числового ряда.

      Рекомендуется к использованию при расчете точности прогнозирования. Более подробно читать здесь.


      RMSE (as %) / nRMSE — Root Mean Square Error

      RMSE — среднеквадратичная ошибка прогнозирования. Примерно такая же проблема, как и в MPE и MAPE: так как каждое отклонение возводится в квадрат, любое небольшое отклонение может значительно повлиять на показатель ошибки. Стоит отметить, что существует также ошибка MSE, из которой RMSE как раз и получается путем извлечения корня. Но так как MSE дает расчетные единицы измерения в квадрате, то использовать данную ошибку будет немного неправильно.

      Ошибка прогнозирования RMSE

      1. Для каждой позиции рассчитывается квадрат отклонений (разница между фактом и прогнозом, возведенная в квадрат) — Square Error
      2. Затем рассчитывается среднее арифметическое (сумма квадратов отклонений, деленное на количество) — MSE — Mean Square Error
      3. Извлекаем корень из полученного результат — RMSE
      4. Для перевода в процентную или в «нормализованную» среднеквадратичную ошибку необходимо:
        1. Разделить на разницу между максимальным и минимальным значением показателей
        2. Разделить на разницу между третьим и первым квартилем значений показателей
        3. Разделить на среднее арифметическое значений показателей (наиболее часто встречающийся вариант)

      MASE — Mean Absolute Scaled Error

      MASE — средняя абсолютная масштабированная ошибка прогнозирования. Согласно Википедии, является очень хорошим вариантом для расчета точности, так как сама ошибка не зависит от масштабов данных и является симметричной: то есть положительные и отрицательные отклонения от факта рассматриваются в равной степени.

      Важно! Если предыдущие ошибки прогнозирования мы могли использовать для нахождения точности прогнозирования некого списка номенклатур, где каждой из которых соответствует фактическое и прогнозное значение (как было в примере в начале статьи), то данная ошибка для этого не предназначена: MASE используется для расчета точности прогнозирования одной единственной позиции, основываясь на предыдущих показателях факта и прогноза, и чем больше этих показателей, тем более точно мы сможем рассчитать показатель точности. Вероятно, из-за этого ошибка не получила широкого распространения.

      Здесь данная формула представлена исключительно для ознакомления и не рекомендуется к использованию.

      Суть формулы заключается в нахождении среднего арифметического всех масштабированных ошибок, что при упрощении даст нам следующую конечную формулу:

      Ошибка прогнозирования MASE

      Также, хочу отметить, что существует ошибка RMMSE (Root Mean Square Scaled Error — Среднеквадратичная масштабированная ошибка), которая примерно похожа на MASE, с теми же преимуществами и недостатками.


      Это основные ошибки прогнозирования, которые могут использоваться для расчета точности прогнозирования. Но не все! Их очень много и, возможно, чуть позже я добавлю еще немного информации о некоторых из них. А примеры расчетов уже описанных ошибок прогнозирования будут выложены через некоторое время, пока что я подготавливаю пример, ожидайте.

      Об авторе

      HeinzBr

      Автор статей и создатель сайта SHTEM.RU

      Мы можем улучшить качество прогнозирования, уменьшая время, необходимое на реализацию решения, для которого реализуется прогноз, и, следовательно, уменьшив при этом горизонт и ошибку прогнозирования.

      При выборе интервала прогнозирования следует выбирать между двумя рисками: вовремя не определить изменения в анализируемом процессе и высокой стоимостью прогноза. При длительном интервале прогнозирования возникает риск не идентифицировать изменения, произошедшие в процессе, при коротком — возрастают издержки на прогнозирование.

      При выборе интервала необходимо также учитывать стабильность анализируемого процесса и стоимость проведения прогноза.

      Точность прогноза

      Точность прогноза, требуемая для решения конкретной задачи, оказывает большое влияние на прогнозирующую систему. Ошибка прогноза зависит от используемой системы прогноза.

      Чем больше ресурсов имеет такая система, тем больше шансов получить более точный прогноз. Однако прогнозирование не может полностью уничтожить риски при принятии решений. Поэтому всегда учитывается возможная ошибка прогнозирования.

      Точность прогноза характеризуется ошибкой прогноза.

      Наиболее распространенные виды ошибок:

      Средняя ошибка (СО). Она вычисляется простым усреднением ошибок на каждом шаге. Недостаток этого вида ошибки — положительные и отрицательные ошибки аннулируют друг друга.

      Средняя абсолютная ошибка (САО). Она рассчитывается как среднее абсолютных ошибок. Если она равна нулю, то мы имеем совершенный прогноз. В сравнении со средней квадратической ошибкой, эта мера «не придает слишком большого значения» выбросам.

      Сумма квадратов ошибок (SSE), среднеквадратическая ошибка. Она вычисляется как сумма (или среднее) квадратов ошибок. Это наиболее часто используемая оценка точности прогноза.

      Относительная ошибка (ОО). Предыдущие меры использовали действительные значения ошибок. Относительная ошибка выражает качество подгонки в терминах относительных ошибок.

      Виды прогнозов

      Прогноз может быть краткосрочным, среднесрочным и долгосрочным.

      Краткосрочный прогноз представляет собой прогноз на несколько шагов вперед, т.е. осуществляется построение прогноза не более чем на 3% от объема наблюдений или на 1-3 шага вперед.

      Среднесрочный прогноз — это прогноз на 3-5% от объема наблюдений, но не более 7-12 шагов вперед; также под этим типом прогноза понимают прогноз на один или половину сезонного цикла. Для построения краткосрочных и среднесрочных прогнозов вполне подходят статистические методы.

      Как оценить качество прогнозирования

      Прогнозирование показателей экономической деятельности — неотъемлемая составляющая экономического процесса. Существует множество методов прогнозирования, таких как экспертные оценки, экстраполирование, модели временных рядов, экономические системы и т. д. В этой связи возникает вопрос об оценке качества прогнозов, в том числе полученных различными способами. Также актуальным является вопрос: каким образом оценить качество прогноза до его разработки, не имея сравнительных результатов? В статье поговорим о традиционных методах оценки качества прогнозирования и важности правильного выбора.

      Традиционные методы оценки качества прогнозирования

      Вначале расскажем про традиционные методы оценки качества прогнозирования, которыми пользуются многие менеджеры и аналитики.

      Самая популярная и общедоступная «троица» показателей представлена ниже:

      • средняя абсолютная процентная ошибка (MAPE):

      Средняя абсолютная процентная ошибка MAPE

      • средняя абсолютная ошибка (MAE):

      Средняя абсолютная ошибка MAE

      • средняя квадратичная ошибка (RMSE):

      Средняя квадратичная ошибка RMSE

      Как правило, все останавливаются на MAPE (это средняя абсолютная процентная ошибка), потому что эта формула наиболее наглядна и понятна. В связи с простотой в понимании и удобством ее любит менеджмент, но в ней есть и нюансы, когда, например, фактические продажи меньше планируемых. Теоретически любого менеджера можно загнать в тупик, задав вопрос — какая, например, будет ошибка, если продать ноль единиц товара вместо планируемых десяти единиц?

      Ошибки прогнозирования в разных условиях

      Разные ошибки прогнозирования для бизнеса не являются равнозначными

      Перепрогноз может приводить к:

      • замораживанию средств и потере альтернативного дохода;
      • излишку запасов и, как следствие, списанию и распродажам;
      • низкой оборачиваемости и кассовому разрыву.

      Недопрогноз ведет к:

      • упущенным продажам и марже;
      • низкому уровню сервиса и, соответственно, штрафам и вероятности потерять клиентов;
      • непониманию реального спроса.

      Разный знак ошибки — совершенно разное влияние на бизнес. Как эти знаки отражаются в ошибках? Если смотреть на среднюю абсолютную процентную ошибку (MAPE), то в перепрогнозировании ошибка скачет от 0% до бесконечности, а при недопрогнозе — от 0% до 100%. То есть мы получаем некое ассиметричное представление о том, что происходит с нашим бизнесом. При этом влияние на среднюю ошибку является равнозначным, то есть мы никак не учитываем ухудшение самого факта перепрогноза или недопрогноза.

      Коварный ноль

      Ноль может быть как в прогнозе, так и в продаже. Что с ним делать?

      В средней абсолютной процентной ошибке (MAPE) деление на ноль не удается. Мы вынуждены выбрасывать эту ошибку или ставить 100% ошибку, что обычно и делается.

      Что касается прогноза в ноль — ошибка также всегда равна там единице. Можно ли составить полное представление о бизнесе по этой ошибке? Скорее всего, нет.

      То же самое со средней ошибкой — она не отражает знак ошибки, никак не реагирует на нулевые крайние случаи.

      Традиционные методы оценки не всегда эффективны

      Рассмотрим причины, по которым традиционные методы оценки качества прогнозирования не всегда являются эффективными. Вышеуказанные методы обладают следующими качествами:

      • робастностью — насколько ошибка устойчива при небольшом изменении — насколько она подскакивает/падает и насколько, в целом, отражает состояние бизнеса;
      • обобщенностью — насколько сильно происходит усреднение ошибки — сможем ли мы составить по средней абсолютной ошибке представление о том, что происходит попозиционно (скорее всего, нет);
      • симметричностью — насколько наша ошибка для разных знаков является значимой.

      Свойства традиционных методов оценки качества прогнозирования

      Как мы видим, все три вида ошибок имеют свои плюсы и минусы, но каждый раз вы склонны идти на некий компромисс, выбирая какое-то оптимальное решение.

      Альтернативные методы оценки

      На самом деле, этими тремя способами оценки не ограничиваются — есть и другие варианты. Мы выбрали два наиболее популярных:

      • симметричная оценка качества (SMAPE):

      Симметричная оценка качества SMAPE

      Она, в какой-то мере, нивелирует асимметрию, которая есть в MAPE. Но есть и существенный минус — она содержит знаменательный прогноз, поэтому, угадывая нулевые продажи при прогнозировании, можно манипулировать качеством прогноза. И, в целом, SMAPE ведет к некоторому завышению прогноза, который можно смоделировать и понять;

      • взвешенная абсолютная процентная ошибка прогнозирования (WAPE):

      Взвешенная абсолютная процентная ошибка прогнозирования WAPE

      Это другая альтернатива, которая, как нам кажется, является оптимальной для оценок и неким идеальным компромиссом между сложностью интерпретации и результатом. Ее плюс заключается в том, что вы получаете больше вес по позициям — чем больше позиция продается, тем ее значимость является выше.

      Стоит отметить, что не всегда бо’льшие продажи — это лучше для бизнеса, так как существует ряд позиций, которые обладают низкой маржинальностью, и, возможно, стоит взвешивать не только по количеству продаж, но и по другим показателям.

      Кроме рассмотренных, есть довольно большое количество более сложных формул. Мы все время экспериментируем, находим новые варианты, но их объединяет следующее — они очень сложны для интерпретации, то есть невозможно, посчитав формулу, вывести одно сводное число, которое даст определенность и возможность принять решение. И в этом состоит основной вызов в#nbsp;прогнозировании и оценке его качества.

      Почему для нас эта тема актуальна?

      Команда Reshape Analytics обладает широким спектром компетенций:

      • Мы проводим стратегический data-driven аудит эффективности текущей системы управления цепочкой поставок и выработка рекомендаций по ее улучшению.
      • Производим анализ качества управления запасами и прогнозирование целевой эффективности внедрения аналитических решений.
      • Помогаем разработать и согласовать техническое задание на внедрение систем прогнозирования и планирования.
      • Разрабатываем технологические решения для упрощения интеграции с системами прогнозирования и планирования.
      • Внедряем системы прогнозирования и планирования цепей поставок.

      Мы можем помочь Вам разобраться во всех этих хитросплетениях и добиться максимально качественных данных для прогнозирования с помощью аналитических платформ и решений: Loginom, NOVO BI, Optimacros, Alteryx, AnyLogistix и другие.

      Оставьте заявку на бесплатную консультацию, и наши специалисты помогут Вам подобрать оптимальное решение для ваших задач.

      Понравилась статья? Поделить с друзьями:
    • Наиболее привлекательнее какая ошибка
    • Найди и исправь ошибки запоздалый ручей
    • Наиболее правильнее какая ошибка
    • Найди и исправь ошибки жизнь жираф щука
    • Найди и исправь ошибки еловый лес сумрачный