Прогнозирование спроса, часть 2: оцениваем качество прогноза

В этой серии статей эксперты «ТерраЛинк» рассказывают о нюансах прогнозирования спроса – от выстраивания процессов до выбора IBP-решения. Сегодня разбираем понятие точности прогноза и метрики для его оценки. Первая часть про процессы – здесь.

Что влияет на точность прогнозирования спроса

Разберем основные факторы, влияющие на точность построения прогноза:

• Прогнозы более точны при больших объемах продаж: если продается всего одна или две единицы товара в день, то даже случайное изменение объема продаж на одну единицу приведет к большой процентной ошибке прогноза. В то же время большие объемы позволяют нивелировать случайные колебания.

• Точность прогнозирования повышается с уровнем агрегирования: при агрегировании по SKU или по времени проявляется тот же эффект, когда большие объемы гасят влияние случайных колебаний. Это означает, что точность прогноза на уровне группы товаров или на регионы, или на каналы продаж выше, чем при анализе отдельных SKU у конкретных клиентов. Аналогичным образом, точность прогноза, сделанного на ежемесячной или еженедельной, а не ежедневной основе, обычно значительно выше.

• Краткосрочные прогнозы более точны, чем долгосрочные: более длительный горизонт прогнозирования значительно повышает вероятность того, что на будущий спрос повлияют еще неизвестные нам изменения.

• Прогнозирование проще в стабильном бизнесе: всегда легче добиться хорошей точности прогноза для “зрелых” продуктов со стабильным спросом, чем для новых. Прогнозирование в сфере быстрой моды сложнее, чем в бакалее.

• Детальная работа с исключениями. Она предполагает выделение товаров или ситуаций, где точность прогноза критически важна. Например, это могут быть скоропортящиеся продукты, требующие особого внимания, чтобы избежать потерь. Дополнительного контроля также требуют новые виды промоакций, введение новых продуктов.

• Классификация продуктов в зависимости от их важности и предсказуемости, которая помогает управлять большими объемами данных с разным «типом поведения». Например, классификация продуктов на основе стоимости продаж (классификация ABC) отражает экономическое воздействие, и частоты продаж (классификация XYZ) коррелируются с более точным прогнозированием:
  — Для продуктов с высокой стоимостью и частотой продаж высокая точность прогноза вполне реальна, а последствия отклонений значительны, поэтому порог исключений должен быть низким, а реакция на ошибки прогноза - быстрой.
  — Для продуктов с низкой частотой продаж бизнес должен быть более терпимым к ошибкам прогнозирования, а пороги исключений должны быть установлены адекватным образом.

Все эти факторы в совокупности создают сложную и многогранную картину, делая сравнение точности прогнозов между компаниями или продуктами одной компании крайне затруднительным. Поэтому при анализе и интерпретации прогнозов важно учитывать все эти аспекты и стремиться к пониманию контекста, в котором они были получены.

Как оценивать качество прогнозирования

Качественные прогнозы снижают уровень неопределенности, а показатели прогнозирования можно и нужно использовать для мониторинга эффективности и выявления аномалий. Но для начала важно проанализировать, насколько качественны прогнозы или есть ли возможность для повышения точности прогнозов. Ниже небольшой чек-лист:

Учитывает ли прогноз систематические колебания спроса? Это может быть сезонность, например, повышение спроса на чай в зимнее время, или явные колебания спроса в зависимости от дня недели. Хорошая система прогнозирования, применяющая автоматическую оптимизацию моделей прогнозирования, должна быть способна выявлять подобные систематические закономерности без ручного вмешательства.

Точно ли прогноз отражает влияние заранее известных событий? Внутренние бизнес-решения, такие как рекламные акции, изменение цен и ассортимента, оказывают непосредственное влияние на спрос. Если эти запланированные изменения не отражаются в вашем прогнозе, то необходимо исправить процесс планирования, прежде чем приступать к решению проблемы точности прогноза.

Как оценивается влияние промо-акций и других внутренних факторов? Используются ли в формуле прогнозирования все имеющиеся данные, такие как тип акции, маркетинговые мероприятия, ценовые скидки, выкладки в магазине?

Учитываются ли внешние факторы, влияющие на спрос? Часть из них известна заранее, например, праздники или местные фестивали. Разовые события обычно требуют ручного планирования, это работа с исключениями. Но для повторяющихся событий (например, Пасха), по которым имеются данные за прошлые периоды, прогнозирование может быть автоматизировано. Некоторые внешние факторы, естественно, застают врасплох, например, первый снег или продукт, получивший широкую известность в социальных сетях. Но даже если информация становится доступной только после принятия важных бизнес-решений, важно использовать ее для очистки данных, чтобы избежать ошибок в будущих прогнозах.

Если спрос меняется необъяснимым образом или на него влияют факторы, информация о которых не поступает достаточно рано, чтобы учесть в прогнозе, то нужно найти способы сделать процесс менее зависимым от точности прогноза.

Измеряем точность прогнозирования: метрики и рекомендации

В зависимости от выбранной метрики, уровня агрегирования и горизонта прогнозирования можно получить совершенно разные результаты точности прогноза для одного и того же набора данных.

Метрики точности прогнозирования

Чтобы уметь анализировать прогнозы и отслеживать развитие точности прогнозов во времени, необходимо понимать основные характеристики наиболее часто используемых метрик точности.

Большинство метрик точности являются вариациями следующих трех:

1. Forecast Bias — разница/отклонение между прогнозом и продажами. Если прогноз завышает продажи, отклонение прогноза считается положительным. Если прогноз занижает продажи, отклонение прогноза считается отрицательным. Если разделить общий прогноз на общий объем продаж - результат более 100% означает, что вы завышаете прогноз, а если результат менее 100% — что вы занижаете прогноз.

   Во многих случаях полезно знать, является ли спрос систематически завышенным или заниженным. Например, даже если небольшое отклонение прогноза не окажет заметного влияния на пополнение запасов в магазинах, оно может привести к пере- или недопоставкам на центральном складе или в распределительных центрах, если подобная систематическая ошибка касается многих магазинов.

   Предостережение: если вы рассматриваете совокупность нескольких товаров или длительные периоды времени, метрика отклонения не дает вам много информации о качестве детальных прогнозов. Метрика смещения говорит только о том, был ли общий прогноз хорошим или нет и может легко замаскировать очень большие ошибки.

   Метрика говорит о том, систематически ли завышены или занижены прогнозы. Другие метрики этого не говорят.

2. Среднее абсолютное отклонение (MAD) — показывает, насколько велика в среднем ошибка в вашем прогнозе. Однако, поскольку метрика MAD дает среднюю ошибку в единицах, она не очень удобна для сравнения. Средняя ошибка в 1 000 единиц может быть очень большой, если рассматривать товар, который продается всего 5 000 единиц за период, но незначительной для товара, который продается 100 000 единиц за то же время.

   MAD измеряет ошибку прогноза в единицах. Ее можно использовать, например, для сравнения результатов различных моделей прогнозирования, применяемых к одному и тому же продукту. Однако метрика MAD не подходит для сравнения различных наборов данных.

3. Средняя абсолютная процентная ошибка (MAPE) схожа с метрикой MAD, но выражает ошибку прогноза по отношению к объему продаж. По сути, она показывает, на сколько процентов в среднем отклоняются ваши прогнозы.

   Поскольку при расчете MAPE всем элементам, будь то продукты или временные периоды, придается одинаковый вес, он быстро дает очень большой процент ошибок. Типичной проблемой при использовании метрики MAPE, например, на уровне дня являются продажи, равные нулю, что делает невозможным расчет показателя MAPE.

   MAPE лучше подходит для сравнения, поскольку ошибка прогноза ставится в зависимость от объема продаж. Однако, поскольку всем продуктам присваивается одинаковый вес, он может давать очень высокие значения ошибки, если в выборке много медленно продающихся товаров.

4. Средняя взвешенная абсолютная процентная ошибка (WMAPE) схожа с метрикой MAPE, но учитывает вес позиции, тем самым нивелирует ошибку малых отклонений прогноза от факта в абсолюте. С одной стороны, имеет смысл придать больший вес продуктам с более высокими продажами, но с другой стороны, так можно упустить из виду недостаточно эффективные медленные продукты.

   При использовании WMAPE, взвешенного по объему, большее значение придается высоким продажам. Недостатком этого метода является то, что даже очень высокие ошибки прогноза для медленно продающихся товаров могут остаться незамеченными.

Рекомендации по правильной интерпретации показателей погрешности и точности

Значение ошибки (WMAPE, MAPE) должна стремиться к 0%.

Точность прогноза равна «1 минус значение ошибки».

Точность прогноза должна стремиться в 100%.

Как выбрать горизонт планирования для измерения точности прогноза

Формула точности прогноза должна соответствовать соответствующим уровням агрегирования и соответствующему горизонту планирования.

В случае прогнозов для производителя, использующего еженедельные или более длительные циклы планирования, целесообразно измерять точность на уровне недели.

Если рассматривать продуктовый магазин, получающий шесть поставок в неделю, где прослеживается четкая зависимость продаж от дней недели, то приоритетным является отслеживание точности ежедневных прогнозов, особенно для товаров с коротким сроком годности.

Какую использовать версию прогноза?

С увеличением горизонта прогнозирования его точность снижается. Обычно прогнозы рассчитываются на несколько месяцев вперёд и затем обновляются, например, еженедельно. Таким образом, для каждой недели обычно создаётся несколько прогнозов с различными временными интервалами. Точность прогноза должна повышаться по мере приближения к прогнозируемой неделе, что означает, что выбор версии прогноза существенно влияет на оценку его точности.

Версия прогноза, которая должна использоваться для оценки точности, соответствует временному интервалу принятия важных бизнес-решений. Временным интервалом обычно является время ожидания товара, карантина, или сроками производства. И если производство в Москве, а продажи во Владивостоке, то провал продаж во Владивостоке надо соотносить с прогнозом для плана производства в Москве, которое было за 5-7 недель до момента продаж.

Как контролировать точность прогноза?

Важно учитывать, что ни одна метрика прогнозирования не является универсальной и лучшей, чем другая. Каждая формула точности и погрешности имеет свою интерпретацию. Как пишут Том Чиверс и Дэвид Чиверс в книге «Цифры врут. Как не дать статистике обмануть себя»:

"Каждый день медиа пишут о сенсационных открытиях и шокирующих результатах исследований. Но не всем им можно верить: статистические погрешности, намеренные фальсификации и не очевидные огрехи никто не отменял.

Из-за пандемии COVID-19 человечество было вынуждено пройти ускоренный курс статистики: теперь мы неплохо разбираемся в графиках, кое-что слышали о нормальном распределении и знакомы с ошибкой выжившего. Но нам еще многое предстоит узнать: как работают математические модели? Чем отличаются абсолютные и относительные риски? О чем говорят рейтинги? Что такое ошибка техасского стрелка? Научный журналист Том Чиверс и преподаватель экономики в Даремском университете Дэвид Чиверс на примерах громких заголовков ковидного времени показывают, как не дать себя обмануть с помощью чисел".

Вывод

Из всего сказанного в предыдущих частях статьи мы приходим к выводу, что система прогнозирования в компании должна:

1. Быть достаточно прозрачной, чтобы специалисты по планированию спроса могли понять, как был сформирован тот или иной прогноз;

2. Позволять специалистам по планированию спроса контролировать процесс расчета прогнозов и влиять на него в исключительных случаях.
   1-й и 2-й пункты – это человеческий фактор: для их выполнения нужны квалифицированные специалисты.

3. Использовать различные инструменты для увеличения точности прогнозов;

4. Быть в значительной степени автоматизированной: сама сможет искать исключения, повторяющиеся события, узкие места, где прогноз не работает, а также обрабатывать большие объемы информации и учитывать множество факторов быстрее и точнее, чем в ручном формате.

Планируете автоматизировать прогнозирование спроса? Мы готовы обсудить ваши задачи и поделиться экспертизой