Zmierzcie punkt wyjścia, zanim ruszy pilotaż AI

Po trzech miesiącach pilotażu AI, który przygotowuje szkice odpowiedzi dla klientów, komitet sterujący zadaje oczywiste pytanie: czy to oszczędza czas? Zespół wierzy, że tak. Ludzie, którzy z narzędzia korzystają, mówią, że przeważnie pomaga. Raport dostawcy pokazuje tysiące wygenerowanych szkiców. Nikt nie potrafi powiedzieć, ile trwała odpowiedź przed pilotażem, ile trzeba było poprawiać ani ile reklamacji wracało — bo nikt tego nie zmierzył, zanim pilotaż wystartował.

Pilotaż zostaje przedłużony o kolejny kwartał. Tak kończą pilotaże, których nie da się ocenić.

Dlaczego to się powtarza

Pomiar stanu obecnego wygląda na zwłokę. Budżet zatwierdzony, narzędzie gotowe, ludzie pełni entuzjazmu, a dwa tygodnie liczenia, jak praca wygląda dziś, wyglądają na biurokrację. Pilotaż więc rusza, a punkt odniesienia przepada w tej samej chwili: kiedy ludzie zaczynają używać narzędzia, dawnego sposobu pracy nie ma już czego mierzyć.

Rachunek przychodzi później, gdy decyzję o skalowaniu trzeba podjąć na wrażeniach.

Jak psują się pilotaże bez pomiaru

Raportuje się aktywność zamiast efektu. Zapytania, szkice, aktywni użytkownicy. To pokazuje, że narzędzie jest używane, a nie że praca jest lepsza albo tańsza. Narzędzie może być intensywnie używane i niczego nie zmieniać — albo pracę spowalniać.

Liczy się zaoszczędzony czas, a nie dołożony. Pisanie szkicu przyspiesza. Przegląd, poprawki i obsługa przypadków, w których szkic był zły, się wydłużają. Bez pomiaru obu stron wynik netto jest zgadywaniem, i to zwykle hojnym.

Entuzjazm zastępuje dowód. Do pilotażu zgłaszają się ci, którym narzędzie się podoba. Ich opinia jest prawdziwa, ale nie jest reprezentatywna dla ludzi, których poprosi się o korzystanie z niego w następnej kolejności.

Jakość dryfuje niezauważona. Jeśli nikt wcześniej nie zapisał odsetka błędów, reklamacji czy poprawek, niewielki spadek wygląda potem na nic. Część kosztów AI przychodzi jako odrobinę gorszy wynik, a nie jako widoczna awaria.

Punkt odniesienia przesuwa się w trakcie. Sezonowość, nowy produkt, zmiany w obsadzie. Bez pomiaru z porównywalnego okresu każda z tych rzeczy może sprawić, że pilotaż wypadnie lepiej albo gorzej, niż jest naprawdę.

Co mierzyć i ile wystarczy

Nie program pomiarowy. Dwie do czterech liczb, wybranych przed startem i mierzonych przez kilka tygodni zwykłej pracy.

Czas na jednostkę pracy, od początku do końca. Nie sam krok pisania, tylko całość: od wpłynięcia sprawy do jej zamknięcia, z przeglądem i poprawkami. Jeśli mierzenie wszystkiego jest niepraktyczne, weźcie próbkę; dwadzieścia uczciwie zmierzonych przypadków jest wartych więcej niż tysiąc oszacowanych.

Sygnał jakości, któremu firma już ufa. Poprawki, zwroty, reklamacje, korekty recenzenta — cokolwiek już istnieje. Jeśli nic nie istnieje, zdefiniujcie coś przed startem i pogódźcie się z tym, że będzie niedoskonałe.

Jak mocno zmieniany jest wynik AI. Gdy pilotaż już działa, śledźcie, jak bardzo edytowane są szkice. Duże poprawki to najczytelniejszy sygnał, że narzędzie zabiera czas, zamiast go oszczędzać — piszemy o tym także w tekście o agentach AI.

Przypadki, z którymi narzędzie sobie nie radzi. Policzcie je i policzcie czas, który zajmują. To tam pilotaż, który dobrze wygląda w średniej, po cichu przegrywa.

Potem ustalcie na piśmie, zanim pojawią się jakiekolwiek wyniki, jaki rezultat oznacza skalowanie, jaki korektę, a jaki zatrzymanie. Warunek zatrzymania spisany wcześnie to jedyny, którego ktokolwiek potem używa. Pasuje to do krótkich odcinków opisanych w tekście jak kupować doradztwo, żeby musiało zadziałać: każdy odcinek kończy się decyzją, a decyzja potrzebuje czegoś, z czym można porównać.

Dlaczego to część pilotażu, a nie wstęp do niego

Działający pilotaż to jedna z rzeczy, które robi VUCALE, a pomiar punktu wyjścia jest jego pierwszym tygodniem, nie opcjonalną przedmową. Pilotaż, którego nie da się z niczym porównać, daje opinię. Pilotaż z punktem odniesienia daje decyzję — czasem także taką, że w tym procesie narzędzie nie jest warte zachodu. To całkiem dobry wynik sześciu tygodni pracy.

Test na dziś

Wybierzcie narzędzie albo pilotaż AI, którym Wasza firma najbardziej się teraz ekscytuje. Zadajcie osobie odpowiedzialnej dwa pytania: ile ta praca trwała wcześniej i po czym za trzy miesiące poznamy, że jest lepiej?

Jeśli pierwsza odpowiedź to liczba z pomiaru, jesteście w dobrym położeniu. Jeśli szacunek — wciąż jest czas na pomiar, o ile narzędzie nie weszło jeszcze do codziennej pracy. Jeśli pilotaż już ruszył, znajdźcie zespół albo okres, w którym go nie używano, i zmierzcie właśnie to. Zgrubny punkt odniesienia zebrany teraz jest wart więcej niż precyzyjny, którego nikt nie zebrał.