Persony AI zamiast respondentów: kiedy synthetic users zmyślają różnice między segmentami klientów?

Persony wygenerowane przez model językowy potrafią brzmieć przekonująco już po kilku sekundach. „Marek, 42 lata, właściciel firmy instalacyjnej z Radomia, nie ufa abonamentom i przed zakupem dzwoni do znajomego”. Jest wiek, zawód, lokalizacja, obawa i zachowanie zakupowe. Problem polega na tym, że żaden Marek nie musiał istnieć, a jego nieufność wobec abonamentów może być wyłącznie statystycznym skojarzeniem modelu.

Synthetic users, czyli wirtualni respondenci odgrywający określone segmenty klientów, są przydatni podczas przygotowywania badania. Pomagają sprawdzić pytania, znaleźć możliwe obiekcje i wygenerować hipotezy. Zaczynają jednak szkodzić, gdy zespół traktuje ich wypowiedzi jak dowód, że trzy segmenty rynku rzeczywiście różnią się potrzebami, skłonnością do zapłaty albo sposobem podejmowania decyzji.

Model nie prowadzi rozmowy z reprezentantem segmentu. Przewiduje kolejne słowa na podstawie instrukcji, danych treningowych i kontekstu. Jeżeli w poleceniu znajdzie się „osoba 55+, mieszkająca w małej miejscowości”, system może automatycznie dopisać niechęć do aplikacji, potrzebę kontaktu telefonicznego i obawę przed płatnościami online. Otrzymujemy spójną personę, ale niekoniecznie prawdziwą różnicę rynkową.

Skąd biorą się różnice, których nie ma wśród klientów?

Najczęstszy błąd pojawia się jeszcze przed pierwszą odpowiedzią. Badacz tworzy segmenty za pomocą cech demograficznych, a następnie prosi model, aby „realistycznie” odegrał każdą grupę. Model dostaje więc zadanie nie tylko udzielenia odpowiedzi, lecz także wyprodukowania widocznych różnic między personami.

Gdy opis segmentów brzmi:

• studentka z Warszawy, 23 lata,
• właściciel małego sklepu z miasta powiatowego, 47 lat,
• emerytka ze wsi, 68 lat,

model wie, że odpowiedzi nie powinny być identyczne. Zaczyna wzmacniać cechy łatwe do skojarzenia z wiekiem, miejscem zamieszkania i zawodem. Studentka oczekuje aplikacji, przedsiębiorca oszczędności czasu, a emerytka infolinii i prostych instrukcji. Taki wynik dobrze wygląda na slajdzie, lecz często jest stereotypowym rozpisaniem briefu, a nie odtworzeniem zachowań klientów.

Badania nad symulowaniem respondentów pokazują, że modele potrafią uzyskiwać rozkłady zbliżone do ludzkich w jednych pytaniach, a wyraźnie chybiać w innych. Trafność zależy od tematu, konstrukcji promptu, modelu, języka oraz ilości danych przekazanych w profilu. Nie ma jednego współczynnika, który pozwala powiedzieć: „syntetyczna próba jest zgodna z ludźmi w 85 procentach”.

Szczególnie ryzykowne są trzy mechanizmy.

Pierwszy to nadmierna zgodność wewnętrzna. Prawdziwy klient bywa niespójny. Deklaruje, że wybiera najtańszą ofertę, po czym kupuje droższy wariant, ponieważ zna markę. Narzeka na nadmiar funkcji, ale podczas zakupu porównuje liczbę opcji. Model częściej buduje personę logiczną: skoro oszczędna, to oszczędna w każdej odpowiedzi.

Drugi to błąd społecznej aprobaty. W eksperymentach z kwestionariuszami osobowości odpowiedzi modeli przesuwały się w stronę cech uznawanych za pożądane. W jednym z badań zmiana w odpowiedziach GPT-4 osiągnęła równowartość 1,20 odchylenia standardowego wyników ludzi, a w przypadku Llama 3 — 0,98 odchylenia standardowego. To duży efekt. Model rozpoznający, że jest oceniany, zaczyna prezentować „lepszą wersję respondenta”.

Trzeci to regresja do typowej odpowiedzi. Synthetic users rzadziej wybierają stanowiska nieporządne, ambiwalentne albo trudne do uzasadnienia. W porównaniu przeprowadzonym w badaniu B2B 98 procent syntetycznych respondentów wybrało tę samą umiarkowaną ocenę zadowolenia z wynagrodzenia, podczas gdy odpowiedzi ludzi rozciągały się od niezadowolenia do wysokiej satysfakcji. W pytaniu o równowagę między pracą a życiem identyczną odpowiedź wskazało 100 procent person AI, lecz tylko 45 procent ludzi.

To właśnie w takich wynikach powstają fikcyjne segmenty: jedna grupa jest konsekwentnie ostrożna, druga nowoczesna, trzecia wrażliwa na cenę. Na prawdziwej próbie różnice mogą się skurczyć, odwrócić albo zniknąć.

Do czego synthetic users nadają się w praktyce?

Persony AI mają sens wtedy, gdy wynik nie jest jeszcze traktowany jako wiedza o rynku. Najlepiej sprawdzają się przed właściwym badaniem, a nie zamiast niego.

Można użyć ich do:

• wyszukania niejasnych pytań w ankiecie,
• przygotowania listy możliwych obiekcji wobec produktu,
• przećwiczenia scenariusza wywiadu,
• znalezienia brakujących wariantów odpowiedzi,
• wygenerowania hipotez do sprawdzenia z ludźmi,
• wstępnego porównania kilku wersji komunikatu,
• przygotowania moderatora do rozmowy z trudnym respondentem.

Przykład: zespół projektujący panel dla mikroprzedsiębiorców może poprosić kilkanaście person o wykonanie zadania „znajdź fakturę, której termin płatności minął”. Jeżeli modele wielokrotnie pytają o filtr „po terminie”, jest to sensowna hipoteza projektowa. Nie jest to jeszcze dowód, że przedsiębiorcy potrzebują takiego filtra. Dowodem będzie obserwacja rzeczywistych użytkowników albo analiza zachowania w działającym produkcie.

Granica zastosowania przebiega tam, gdzie wynik ma uruchomić kosztowną lub trudną do odwrócenia decyzję. Nie należy opierać wyłącznie na synthetic users:

• wyboru segmentu docelowego,
• prognozy popytu,
• ustalania ceny,
• rezygnacji z funkcji produktu,
• oceny gotowości do zakupu,
• podziału budżetu reklamowego,
• decyzji o wejściu na nowy rynek,
• wniosków dotyczących grup wrażliwych lub wykluczonych.

Persona AI może powiedzieć, że właściciel małej firmy zaakceptuje abonament 149 zł miesięcznie. Nie płaci jednak tych 149 zł. Nie musi tłumaczyć wydatku wspólnikowi, nie porównuje faktury z kosztami ZUS i nie ryzykuje utraty płynności. Deklaracja syntetycznego klienta nie zawiera realnego kosztu decyzji.

W praktyce sensowny proces ma dwa poziomy. Najpierw przeprowadza się tanią rundę syntetyczną: od 20 do 50 rozmów wygenerowanych w kilku wariantach promptu. Następnie wybiera się wyłącznie hipotezy, które powtarzają się mimo zmian modelu, kolejności pytań i sposobu opisania persony. Dopiero te hipotezy trafiają do ludzi.

W badaniu jakościowym pierwsza runda licząca 5–8 rzeczywistych rozmów na istotny segment zwykle wystarcza, aby sprawdzić, czy motyw wskazany przez AI w ogóle występuje i jakim językiem opisują go klienci. Nie wystarcza natomiast do wyliczania udziału procentowego potrzeb. Zdanie „sześć z ośmiu osób wspomniało o cenie” opisuje badaną ósemkę, a nie cały polski rynek.

Jak sprawdzić, czy model właśnie wymyślił segmentację?

Najpierw trzeba odebrać modelowi możliwość zgadywania, jakiej odpowiedzi oczekuje badacz. Nie należy nazywać segmentów „tradycjonaliści”, „łowcy okazji” czy „cyfrowi entuzjaści”. Takie etykiety zawierają już tezę. Lepszy profil składa się z obserwowalnych informacji: częstotliwości zakupu, używanego urządzenia, wartości ostatniej transakcji, czasu korzystania z produktu i kanału pozyskania.

Następnie warto wykonać test ślepej persony. Model dostaje dwa profile różniące się wyłącznie cechą, która według zespołu dzieli klientów, na przykład wiekiem. Pozostałe dane pozostają identyczne. Jeżeli zmiana wieku z 29 na 59 lat automatycznie zmienia preferowany kanał kontaktu, stosunek do automatyzacji, budżet i poziom zaufania, model prawdopodobnie odtwarza kulturowy stereotyp.

Drugi krok to test odwrócenia cech. Należy przypisać starszej personie intensywne korzystanie z aplikacji mobilnych, a młodszej obsługę zamówień przez telefon. Jeżeli odpowiedzi nadal układają się głównie według wieku, oznacza to, że model ignoruje dane behawioralne na rzecz prostszej narracji demograficznej.

Trzeci krok to stabilność wyniku. Tę samą serię pytań należy uruchomić:

• co najmniej 20 razy,
• w dwóch różnych modelach,
• przy dwóch wersjach promptu,
• ze zmienioną kolejnością pytań,
• bez nazw segmentów,
• z temperaturą niską i podwyższoną, o ile narzędzie udostępnia ten parametr.

Jeżeli różnica między segmentami pojawia się tylko w jednym modelu albo znika po przestawieniu pytań, nie powinna trafić do rekomendacji biznesowej. To artefakt konfiguracji, nie stabilny wniosek.

Czwarty krok to porównanie z minimalną próbą ludzką. Przy wyniku ilościowym trzeba wcześniej ustalić tolerowany błąd. Jeżeli AI przewiduje, że wariant A wybierze 58 procent klientów, a wariant B — 42 procent, przewaga 16 punktów procentowych wygląda wyraźnie. Przy próbie 100 prawdziwych osób margines błędu dla wyniku zbliżonego do 50 procent wynosi jednak około ±9,8 punktu procentowego przy poziomie ufności 95 procent. Do precyzyjnego potwierdzenia niewielkiej przewagi potrzebna jest więc większa próba, a nie większa liczba syntetycznych person.

Trzeba też pilnować danych wejściowych. Jeżeli persona powstaje z transkrypcji rozmów, danych CRM albo historii zgłoszeń, zespół powinien ustalić podstawę prawną przetwarzania, ograniczyć zakres danych i usunąć informacje, które nie są potrzebne. Wpisanie do publicznego narzędzia historii zakupów, stanowiska, problemów zdrowotnych i cytatów z rozmowy nie staje się bezpieczne tylko dlatego, że system na końcu generuje fikcyjne imię. Dane źródłowe nadal mogą być danymi osobowymi.

Niedogodność jest prosta: rzetelna walidacja synthetic users odbiera część ich szybkości. Trzeba wersjonować prompty, zapisywać model i datę uruchomienia, porównywać rozkłady oraz organizować badanie kontrolne z ludźmi. Jeżeli zespół tego nie robi, oszczędza czas wyłącznie na etapie zbierania odpowiedzi, a później płaci za błędne decyzje produktowe.

Synthetic users najlepiej traktować jak narzędzie do rozszerzania pola pytań. Nie są tańszym panelem badawczym ani cyfrową reprezentacją polskich konsumentów. Więcej informacji na: https://toniemarketing.pl

FAQ

Czy synthetic users mogą całkowicie zastąpić respondentów?
Nie. Mogą zastąpić część pracy przygotowawczej, na przykład testowanie scenariusza i generowanie hipotez, ale nie potwierdzają popytu, zachowań ani gotowości do zapłaty.

Ilu syntetycznych respondentów należy wygenerować?
Do sprawdzenia stabilności hipotezy rozsądnym minimum jest 20–50 uruchomień w kilku wariantach promptu. Generowanie 1000 odpowiedzi z jednego modelu nie zwiększa reprezentatywności, ponieważ nadal są to warianty tego samego mechanizmu.

Czy szczegółowa persona daje bardziej wiarygodne odpowiedzi?
Nie zawsze. Większa liczba cech może poprawić spójność wypowiedzi, ale jednocześnie zwiększa ryzyko, że model zbuduje stereotypową historię. Najcenniejsze są dane behawioralne, a nie rozbudowana biografia.

Czy można mierzyć procenty na syntetycznej próbie?
Można mierzyć rozkład odpowiedzi modelu, ale nie wolno przedstawiać go jako udziału klientów na rynku. Wynik „62 procent person wybrało wariant A” mówi o zachowaniu konfiguracji modelu, nie o 62 procentach Polaków.

Jak rozpoznać zmyśloną różnicę między segmentami?
Należy usunąć nazwy segmentów, zamienić cechy demograficzne między personami, zmienić model i kolejność pytań. Różnica, która po tych zmianach znika albo odwraca kierunek, nie nadaje się do rekomendacji.

Jaki błąd usunąć w pierwszej kolejności?
Najpierw trzeba przestać opisywać persony etykietami zawierającymi gotowy wniosek. Zamiast „oszczędny tradycjonalista 50+” należy podać neutralne fakty: liczbę zakupów, średnią wartość koszyka, używane kanały i historię kontaktu. Dopiero potem można sprawdzić wynik na minimum 5–8 prawdziwych osobach z każdego ważnego segmentu.