← Wszystkie notatki

Prośba o ocenę, którą spieprzyłem koncertowo

Sławek Łukjanow · · Nie jednym promptem · odcinek 12 · Read in English

"Beznadzieja! To dramatycznie spieprzyłem te założenia. To jeszcze miesiąc poczekamy na pierwszą prośbę o ocenę 😢"

Tak podsumowałem własny pomysł, kiedy Claude sprawdził, jak naprawdę działa funkcja, którą zatwierdziłem niewiele wcześniej. Nie chodziło o skomplikowaną synchronizację ani nowy tryb aplikacji. Chodziło o małe okienko z prośbą o ocenę w sklepie.

Zakupomat umiał już o nią prosić. Kod był w aplikacji, wersja trafiła do sklepów, warunki były rozsądne. Tylko że 23 października, tydzień po wydaniu 1.7.0, nadal nie było odnotowanej ani jednej prośby.

I im dokładniej sprawdzaliśmy warunki, tym mniej byłem zadowolony z własnych decyzji.

Nie chciałem przeszkadzać

Pod koniec września App Store miał jedną ocenę Zakupomatu, a Google Play nie pokazywał żadnej. W aplikacji w ogóle nie było proszenia o gwiazdki. Uznałem, że pora to zmienić, ale bez wyskakującego okienka przy pierwszym uruchomieniu. Sam takich okienek nie lubię, więc dlaczego miałbym je fundować innym?

Wybraliśmy moment po udanych zakupach. Ktoś skończył korzystać z listy, zobaczył gratulacje, zamknął je - dopiero wtedy aplikacja mogła poprosić o ocenę. Systemowym okienkiem Apple albo Google, bez własnej ankiety po drodze.

Do tego kilka zabezpieczeń. Co najmniej trzy zakończone zakupy na tym telefonie. Co najmniej tydzień od pierwszego uruchomienia wersji, która umie prosić. Najwyżej jedna prośba na wersję i nie częściej niż co 90 dni.

Każdy warunek umiałem uzasadnić. Trzy zakupy, żeby człowiek miał co oceniać. Tydzień, żeby zdążył się oswoić. Rzadkie przypominanie, żeby nie irytować. Liczenie na telefonie, żeby nowy domownik nie dostał pytania tylko dlatego, że reszta rodziny od miesięcy korzysta z aplikacji.

Przeczytane osobno brzmią całkiem dobrze, prawda? Ja też tak pomyślałem.

Czterdzieści jeden rodzin. I zero próśb

Kiedy wróciliśmy do tematu, panel pokazywał 41 rodzin z co najmniej trzema zakupami. Czyli jest komu pokazać pytanie! Tylko że według ówczesnego sprawdzenia żadna z tych rodzin nie korzystała jeszcze z nowej wersji.

Aktualizacje rozchodzą się straaaaasznie wolno. Ja mam nowy build, testuję go od razu i w głowie już wszyscy go mają. A ludzie mają własne życie. Aplikacja działa, zakupy da się zrobić, po co myśleć o aktualizacji?

To był pierwszy problem. Drugi okazał się jeszcze lepszy.

Pamiętałem, że sprawdzamy historię zakupów rodziny. Napisałem mniej więcej, że przecież na danym telefonie wiemy, czy rodzina już robiła zakupy. Claude zajrzał do kodu i okazało się, że... nie tak to zatwierdziłem 😂

Panel liczył zakupy rodziny na serwerze. A aplikacja miała osobny licznik na telefonie. Zwiększała go tylko wtedy, gdy właśnie ten telefon zakończył zakupy. Historia sprzed dodania tej funkcji się nie liczyła.

Te 41 rodzin nie oznaczało więc 41 telefonów gotowych do pokazania pytania. Porównywałem dwie różne rzeczy i dopiero czytanie kodu mi to uświadomiło. Tydzień wystarczył, żebym zapomniał szczegół własnej decyzji.

Użytkownik musiał dopiero zacząć zasługiwać

Prawdziwa ścieżka wyglądała tak: najpierw aktualizacja, potem pierwsze uruchomienie nowej wersji, potem trzy zakupy zakończone na tym samym telefonie. Do tego co najmniej tydzień od pierwszego uruchomienia.

Jeżeli ktoś kończy zakupy raz w tygodniu, zebranie trzech nowych zakupów może zająć około trzech tygodni. Tydzień czekania biegnie równolegle, ale przecież wcześniej trzeba jeszcze dostać aktualizację. A jeśli jedna osoba dopisuje produkty, a druga zamyka zakupy, telefon tej pierwszej w ogóle nie zbiera punktów do mojego wspaniałego warunku.

Rodzina mogła używać Zakupomatu od miesięcy. Dla lokalnego licznika była początkująca.

Nie zepsułem samego wyświetlania okienka. Zepsułem drogę, która miała do niego prowadzić. Test pojedynczego warunku mógł przejść bez problemu. Potrzebowałem wcześniej przejść całą historię normalnego użytkownika i zapytać: kiedy on rzeczywiście dojdzie do końca?

Poprawka też musi dotrzeć na telefon

24 października zmieniliśmy decyzję. Zamiast trzech nowych zakupów na tym telefonie liczą się dwa zakupy rodziny z całej jej historii, bez zakupów próbnych. Bez dodatkowego tygodnia czekania. Prośba nadal może pojawić się po udanych zakupach na telefonie, na którym ktoś właśnie je zakończył.

Świadomie przyjąłem kompromis, który wcześniej odrzuciłem: nowy domownik w rodzinie z historią może dostać pytanie już po swoich pierwszych zakupach. Uznałem, że to mniejszy problem niż czekanie tygodniami na efekt.

Próg przychodzi teraz z serwera. Można go zmienić bez wydawania kolejnej aplikacji. Dodaliśmy też możliwość zlecenia ponownej prośby dla wskazanej rodziny, nadal przy zakończeniu udanych zakupów.

Tylko że nowego sposobu sterowania nie da się dosłać staremu kodowi samą zmianą na serwerze. Obsługa weszła do aplikacji od 1.9.0. Kto miał starszą wersję, nadal liczył po staremu. Poprawiając problem z powolnymi aktualizacjami, musiałem... poczekać na kolejną aktualizację.

I właśnie to powinienem był przewidzieć wcześniej.

O co poprosiłbym agenta dzisiaj

Nie tylko o implementację warunków. Poprosiłbym o przejście całej drogi na kilku zwykłych przykładach: rodzina kupująca raz w tygodniu, dwie osoby kończące zakupy na zmianę, ktoś aktualizujący aplikację dopiero po miesiącu. Ile czasu minie od wydania do pierwszej możliwej prośby?

I wcześniej przygotowałbym mechanizm aktywacji z serwera. Kod może już docierać na telefony, a funkcję włączę, kiedy będę gotowy. Progi, które prawdopodobnie trzeba będzie stroić, też nie muszą być na stałe zaszyte w aplikacji.

To nie znaczy, że każda drobnostka potrzebuje rozbudowanego systemu flag. Tutaj wystarczył próg w odpowiedzi serwera i obsługa po stronie telefonu. Chodzi o to, żeby przed wydaniem zdecydować, czym chcę móc sterować później.

Agent pomagał przygotować tę funkcję. Ale warunki zatwierdziłem ja. Nie będę teraz udawał, że winny jest Claude, bo mogłem wcześniej poprosić go o sprawdzenie skutku całej kombinacji.

Czy oceny w końcu ruszyły?

Sprawdziłem w bazie 15 listopada. Pierwsza prośba poszła 24 października, w dniu zmiany, z wersji 1.9.0. Od tamtej pory aplikacja wywołała ją 81 razy w 63 rodzinach: 63 razy na iPhone'ach i 18 razy na Androidzie. Nie liczę tu kont demo dla recenzentów sklepów. Przez wcześniejszy tydzień z poprzednimi warunkami: zero.

Z ocenami jest skromniej. Pod koniec września polski App Store pokazywał jedną ocenę. 15 listopada pokazuje cztery, wszystkie na pięć gwiazdek. W Google Play nadal zero, ale tam szanse są dużo mniejsze, bo z Zakupomatu na Androidzie korzysta niewiele osób.

Czyli z 81 próśb mam mniej więcej trzy nowe oceny w App Store. I nawet nie wiem na pewno, czy wszystkie przyszły właśnie z tego okienka.

Jest jeszcze jedna granica pomiaru. Nasz licznik rejestruje wywołanie prośby. Nie potwierdza, że człowiek zobaczył okienko ani że wystawił ocenę. O faktycznym pokazaniu decyduje sklep, zgodnie z własnymi ograniczeniami. Opisują to Apple i Google. Nawet poprawnie działający kod nie daje mi więc pewności, że przybyła jedna szansa na gwiazdki.

Ale niezależnie od wyniku lekcja już została. W aplikacji mobilnej "wydane" jest początkiem drogi do użytkownika. A kilka rozsądnych warunków potrafi tę drogę wydłużyć tak, że sam autor się zdziwi.


Co to znaczy dla Twojego zespołu: przed wydaniem policzcie czas do pierwszego realnego efektu, uwzględniając aktualizację i wszystkie warunki razem. Ustalcie też, które decyzje będziecie mogli zmienić z serwera, a które znów wyślą Was do sklepów. W ANSLAN pomagamy przygotowywać systemy i sposób pracy z agentami AI tak, żeby takie pytania padały przed implementacją.

Zakupomat jest darmowy i bez reklam. Oceniać go można, chociaż trochę utrudniłem dotarcie do tej propozycji 😉