Jak sprawdzić, czy asystent AI na stronie firmy działa dobrze?

Asystent AI na stronie firmy łatwo uruchomić, a trudno ocenić. Większość właścicieli sprawdza go pięcioma pytaniami zadanymi "na szybko" i uznaje, że działa. Problem pojawia się później, gdy klient dostaje błędną informację albo rozmowa utyka bez wyjścia. Ten poradnik pokazuje, jak zrobić ocenę, która mówi coś konkretnego.

Krok 1. Zbierz pytania, które naprawdę padają

Zacznij od maili, rozmów telefonicznych i formularzy z ostatnich trzech miesięcy. Wypisz pytania tak, jak zostały zadane, bez poprawiania ich języka. Dodaj kilka trudnych przypadków: reklamację, prośbę o rabat, pytanie o coś, czego firma nie oferuje. Zestaw powinien mieć od 30 do 50 pozycji.

Krok 2. Zapisz oczekiwaną odpowiedź

Dla każdego pytania napisz, co powinno się w odpowiedzi znaleźć i czego w niej być nie może. Przykład: "Odpowiedź zawiera czas realizacji z oferty. Nie podaje ceny, jeśli cena zależy od zakresu." Bez takiego wzorca każda odpowiedź wydaje się "w porządku", a to nie jest kryterium.

Krok 3. Uruchom test i oceń wyniki

Zadaj każde pytanie asystentowi i oznacz odpowiedź jako poprawną, częściowo poprawną albo błędną. Zanotuj też, czy asystent przekazał sprawę człowiekowi, jeśli powinien. Osobno oznacz odpowiedzi zmyślone, czyli podające informacje, których nie ma w źródłach.

Krok 4. Policz sześć wskaźników

1. Poprawność - odsetek odpowiedzi oznaczonych jako poprawne.
2. Zmyślenia - odsetek odpowiedzi z informacjami spoza źródeł. Cel to zero.
3. Eskalacja - odsetek trudnych przypadków przekazanych człowiekowi.
4. Kompletność - odsetek pytań, na które asystent w ogóle odpowiedział, bez zbywania.
5. Czas do odpowiedzi - mierzony na stronie, na wersji mobilnej.
6. Odciążenie zespołu - ile zgłoszeń zamknięto bez udziału człowieka, porównane z wartością sprzed wdrożenia.

Zapisz wyniki w arkuszu z datą. Pierwszy pomiar jest punktem odniesienia, a nie wyrokiem.

Krok 5. Popraw i powtórz

Najczęstsze przyczyny słabych wyników to niekompletne źródła, brak reguł eskalacji i zbyt ogólne instrukcje. Napraw najpierw błędy, które dotyczą najczęstszych pytań, a dopiero potem egzotyczne przypadki. Po zmianie powtórz cały test. Poprawka jednego pytania może popsuć inne.

Jeśli chcesz, żebyśmy przygotowali zestaw testowy i wskaźniki dla twojej strony, opisz w zapytaniu, jakie pytania dostajecie najczęściej. Zaczniemy od tego.