EKSPERYMENTY MONETYZACYJNE · SIMPLE
Udowodnić uplift — a następnie skalować dźwignię.
Autor: Andrei VolkRola w firmie: Product Lead, CRM & Lifecycle · Simple · 2022–2026
Użyć holdoutu, aby oddzielić przyrostowy wzrost subskrypcji od atrybucji, a potem skalować to, co działa.
Wybrany wynik: +8% relatywnie · przyrostowy uplift
Zakładałem, że emaile retargetingowe mogą zwiększyć liczbę subskrypcji po onboardingu. Pierwsze pytanie brzmiało: jaka część tej konwersji jest rzeczywiście przyrostowa?
Zaprojektowałem eksperyment holdout 50/50 na około 20 000 użytkowników. Z włączonym retargetingiem konwersja do subskrypcji wyniosła 8,40%, wobec 7,77% bez sekwencji — statystycznie istotny relatywny uplift 8%. Około 95% subskrypcji z retargetingu pojawiało się pierwszego dnia, co pomogło ukształtować kolejne iteracje.
- konwersja do subskrypcji
- 7,77% → 8,40%
- przyrostowy uplift
- +8% relatywnie
- użytkowników w holdoucie
- ~20 tys.
Następnie skalować to, co zadziałało.
W serii eksperymentów retargeting stał się jedną z najmocniejszych dźwigni monetyzacji bezpośrednio po onboardingu. Udział subskrypcji przypisywanych CRM wzrósł z około 4% do ponad 10% — niemal trzykrotnie. Holdout dał nam pewność, że kanał tworzył wartość przyrostową, a nie tylko przypisywał sobie konwersje, które wydarzyłyby się gdzie indziej.