Рост продуктовых метрик != рост бизнес-метрик.
Часто наблюдается ситуация, когда команды выкатывают новые фичи, продуктовые метрики положительно прокрашиваются на АБ-тестах, но прироста в ARPU или среднем чеке нет. Почему так может происходить?:
1) Размытие эффекта в воронке: Улучшение на определенном этапе пользовательского пути нивелируется на последующих этапах.
Например, в foodtech-сервисе улучшили ранжирование выдачи в поиске, тем самым повысили кликабельность карточки товара и добавление в корзину. Но между кликом и покупкой еще много факторов, которые оказывают влияние на принятие решения о покупке: процесс изучения товаров и цен, стоимость и длительность доставки, процесс чекаута и etc.
2) Механизм каннибализации:
Каннибализация - ситуация, когда улучшение одного показателя (применимо также к сегменту или сценарию) приводит к ухудшению другого, в результате чего общий эффект остается нейтральным или даже негативным.
Например, снизили ставку за показ рекламы, стал доступен больший пул рекламных объявлений, увеличился CTR, тк из расширенного пула проще подобрать релевантное, но более дешевое рекламное объявление, ставка за показ снижается. По итогу доход на пользователя осталась на том же уровне.
3) Влияние внешней среды:
От фичи можно получить положительный эффект, но после раскатки ввиду внешних причин можно словить нисходящий график бизнес-метрик (вправо-вниз). Здесь особенно чувствителен финтех, где сильное влияние на бизнес-метрики оказывают политика центробанков и волатильность на рынках финансовых активов.
Например, в банковском приложении провели успешный тест по представленности кредитных продуктов в поиске, раскатили, но совпали тайминги с увеличением процентной ставки и графики кол-ва заявок и утилей полетели вниз, хотя сама фича была ок, которая повысила конверсию.
4) Низкая чувствительность бизнес-метрик: Чувствительность - это способность метрики улавливать изменения в продукте с минимальной выборкой и длительностью, показывая стат. значимый эффект.
На практике проявляется, когда в продуктовых метриках есть стат значимое изменение, а в бизнес-метриках есть небольшое изменение, но не стат значимо, и чтобы его задетектировать необходим больший размер выборки. В данном случае важно опираться на продуктовую прокси метрику, которая напрямую коррелирует с бизнес-метрикой.
5) Временной лаг: Бизнес-эффект проявляется значительно позже продуктовых изменений. Наиболее часто проявляется в фичах на этапе активации продукта. Например, новый онбординг или новая посадочная, растет конверсия в регистрацию или % прохождения онбординга, но новый пользователь только спустя определенное время начнет платить после того как осознает ценность от продукта.
6) Фокус на метриках тщеславия: Наверно самый опасный случай, тк случается от непонимания того, что улучшается в продукте и как изменение может быть связано с PnL. Примеры метрик тщеславия: кол-во установок, кол-во открытий приложения, кол-во реакций или лайков.
1) Размытие эффекта в воронке: Улучшение на определенном этапе пользовательского пути нивелируется на последующих этапах.
Например, в foodtech-сервисе улучшили ранжирование выдачи в поиске, тем самым повысили кликабельность карточки товара и добавление в корзину. Но между кликом и покупкой еще много факторов, которые оказывают влияние на принятие решения о покупке: процесс изучения товаров и цен, стоимость и длительность доставки, процесс чекаута и etc.
2) Механизм каннибализации:
Каннибализация - ситуация, когда улучшение одного показателя (применимо также к сегменту или сценарию) приводит к ухудшению другого, в результате чего общий эффект остается нейтральным или даже негативным.
Например, снизили ставку за показ рекламы, стал доступен больший пул рекламных объявлений, увеличился CTR, тк из расширенного пула проще подобрать релевантное, но более дешевое рекламное объявление, ставка за показ снижается. По итогу доход на пользователя осталась на том же уровне.
3) Влияние внешней среды:
От фичи можно получить положительный эффект, но после раскатки ввиду внешних причин можно словить нисходящий график бизнес-метрик (вправо-вниз). Здесь особенно чувствителен финтех, где сильное влияние на бизнес-метрики оказывают политика центробанков и волатильность на рынках финансовых активов.
Например, в банковском приложении провели успешный тест по представленности кредитных продуктов в поиске, раскатили, но совпали тайминги с увеличением процентной ставки и графики кол-ва заявок и утилей полетели вниз, хотя сама фича была ок, которая повысила конверсию.
4) Низкая чувствительность бизнес-метрик: Чувствительность - это способность метрики улавливать изменения в продукте с минимальной выборкой и длительностью, показывая стат. значимый эффект.
На практике проявляется, когда в продуктовых метриках есть стат значимое изменение, а в бизнес-метриках есть небольшое изменение, но не стат значимо, и чтобы его задетектировать необходим больший размер выборки. В данном случае важно опираться на продуктовую прокси метрику, которая напрямую коррелирует с бизнес-метрикой.
5) Временной лаг: Бизнес-эффект проявляется значительно позже продуктовых изменений. Наиболее часто проявляется в фичах на этапе активации продукта. Например, новый онбординг или новая посадочная, растет конверсия в регистрацию или % прохождения онбординга, но новый пользователь только спустя определенное время начнет платить после того как осознает ценность от продукта.
6) Фокус на метриках тщеславия: Наверно самый опасный случай, тк случается от непонимания того, что улучшается в продукте и как изменение может быть связано с PnL. Примеры метрик тщеславия: кол-во установок, кол-во открытий приложения, кол-во реакций или лайков.
MetricSense
