Онлайн-сервис: акции приписывали себе рост, который был сезонным

Что было

Сервис проводил одиннадцать акций в год. Каждая отчитывалась одинаково: продажи в дни акции выросли на столько-то процентов относительно предыдущей недели.

Такой отчёт нельзя оспорить и нельзя проверить. Он не отвечает на главный вопрос: а сколько бы продали без акции? Если акция совпадает с сезонным подъёмом, она присваивает себе чужой рост.

Что сделали

Построили модель, где сезонность, цена, рекламные расходы, активность конкурентов и промоакции — отдельные факторы. Модель оценивает вклад каждого при прочих равных.

Картина изменилась. Осенняя акция, которая показывала прирост 29%, дала чистых 3%: она совпадала с началом учебного года, когда спрос растёт сам. С учётом раздаваемой скидки — прямой убыток.

Летняя акция, наоборот, выглядела скромно — 21% наблюдаемого роста, — но пришлась на спад, и её чистый вклад оказался 18%.

Посчитали каждую акцию с учётом стоимости скидки. Пять из одиннадцати оказались прибыльными, три — около нуля, три — убыточными.

Чего не вышло

Долгосрочный эффект акций на привычки покупателей модель не измеряет: она видит недели, а не годы. Гипотеза, что частые скидки приучают ждать распродажу, осталась гипотезой, хотя данные косвенно её поддерживают.

Результат

Убыточные акции отменили, две переставили на другие даты — ближе к спаду, где они работают. За год маржа выросла на 14% при сопоставимой выручке. Отчёты по акциям теперь содержат чистый вклад, а не разницу с прошлой неделей.