Jak zbudować fabrykę agentów: pętla etap po etapie

Fabryka agentów nie jest szybszą wersją dzisiejszego obiegu pracy, tylko tym samym obiegiem zamkniętym w pętlę, w której każdy etap zostawia zapis, a człowiek przechodzi od wykonywania pracy do trzech punktów decyzji: zatwierdza opis sprawy, potwierdza sprawdzenie i zgadza się na wydanie.
Wszystko pomiędzy przygotowują agenci. Firma, która przeniesie stary obieg jeden do jednego, tylko z agentem w miejscu człowieka, dostanie więcej wyników, ale nie lepsze wyniki.
Ten wzór przyszedł z wytwarzania oprogramowania i tam jest najbardziej dojrzały. Pokażemy go jednak na procesie, który ma prawie każda firma handlowa: obsłudze reklamacji. Dlaczego takie pętle wyjdą poza IT, opisaliśmy w tekście o fabrykach agentów poza działem IT.
Stary obieg w jednym akapicie
Klasyczny cykl wytwarzania oprogramowania (SDLC) to sztafeta ludzi. Analityk zbiera wymagania, architekt projektuje, programista pisze, drugi przegląda, tester testuje, administrator wdraża. Reklamacje działają tak samo. Biuro obsługi przyjmuje zgłoszenie, magazyn sprawdza wydanie, handlowiec ocenia klienta, księgowość wystawia korektę, ktoś odpisuje. Między każdą parą jest przekazanie: mail, notatka, rozmowa przy kawie. Wiedza o tym, dlaczego tę sprawę rozstrzygnięto tak, a nie inaczej, zostaje w głowach.
Ten model działał, bo najdroższy był czas ludzi, a przekazania były ceną współpracy. W fabryce najtańsze staje się wykonanie, a najdroższa uwaga człowieka. To odwraca logikę całego obiegu.
Pętla w ośmiu etapach
1. Wejście → 2. Triage → 3. Opis sprawy → 4. Wykonanie → 5. Recenzja
[człowiek ↓
zatwierdza] 6. Sprawdzenie
[człowiek potwierdza]
↓
↑ ← ← ← ← ← ← ← 8. Monitoring ← ← ← ← ← ← ← ← 7. Wydanie [człowiek]
Nad pętlą pracuje koordynator. To agent, który odbiera wyzwalacz, rozpoznaje, na którym etapie jest sprawa, i uruchamia właściwego agenta z właściwym modelem i kontekstem. Tańszy model do sortowania, mocniejszy do opisu, a do recenzji ten, który najlepiej wypadł na waszych sprawach testowych.
1. Wejście: praca przychodzi w jednym miejscu
Reklamacja z maila, z formularza, z telefonu i od handlowca trafia do jednej kolejki. Fabryka, do której praca wpada sześcioma drzwiami, nie wie, co ma na stole, i nie da się w niej zmierzyć ani czasu, ani kosztu. Bez tego etapu połowa spraw omija pętlę i nie zostawia śladu.
2. Triage: najtańsza oszczędność w całej pętli
Agent czyta zgłoszenie, odtwarza sprawę z systemów (zamówienie, wydanie, faktura, historia klienta) i odkłada ją do jednego z trzech koszy. Gotowe do wykonania: brak towaru potwierdzony w dokumencie wydania, kwota mała. Niejasne, potrzebny opis: uszkodzenie bez zdjęć, spór o warunki. Odstawione, potrzebny człowiek: kluczowy klient, sprawa sądowa, decyzja handlowa. Najbardziej doświadczeni ludzie dostają sprawy już posortowane. Bez triage agent wykonawczy dostaje niejasne zadanie i sprawnie rozwiązuje nie ten problem.
3. Opis sprawy: tu decyduje się jakość całej pętli
Dla spraw niejasnych agent przygotowuje krótki opis: co się stało według dokumentów, co mówi umowa i polityka reklamacyjna, jaką decyzję proponuje i dlaczego. W oprogramowaniu odpowiada temu opis produktowy i techniczny przed napisaniem kodu. Człowiek czyta, poprawia i zatwierdza, zanim cokolwiek zostanie wykonane.
To punkt kontroli o największej dźwigni. Poprawienie zdania w opisie kosztuje minutę. Wycofanie wystawionej korekty i przeprosiny u klienta kosztują dzień. Bez tego etapu człowiek ogląda gotowy wynik i próbuje zgadnąć, co agent chciał zrobić.
4. Wykonanie: najmniej ciekawy etap
Agent przygotowuje to, co wynika z zatwierdzonego opisu: projekt korekty, zlecenie odbioru towaru, odpowiedź do klienta. Wszyscy chcą zaczynać od tego etapu, bo tu widać efekt. To błąd. Jeśli wejście, triage i opis działają, wykonanie jest najbardziej przewidywalną częścią pętli. Jeśli nie działają, szybki agent wykonawczy produkuje rzeczy, które ludzie potem odrzucają.
5. Recenzja: etap, który uczy się sam
Drugi agent sprawdza wynik, zanim zobaczy go człowiek: czy korekta zgadza się z opisem, czy odpowiedź nie obiecuje więcej, niż pozwala polityka, czy ton pasuje do klienta. Ma przed sobą zatwierdzony opis, więc ocenia wynik względem zamiaru, nie tylko względem szablonu.
Do tego dochodzi pętla zewnętrzna. Inny agent zbiera uwagi, które ludzie zostawiają przy zatwierdzaniu, i co jakiś czas proponuje zmianę instrukcji recenzenta. Ta propozycja to zwykła zmiana do akceptacji przez człowieka. Konwencje zespołu nie muszą być spisane z góry w dokumencie, którego nikt nie czyta. Narastają w instrukcji z każdą uwagą. Bez tego etapu człowiek co tydzień powtarza te same pięć poprawek.
6. Sprawdzenie: człowiek potwierdza, zamiast odtwarzać
Agent sprawdza wynik w prawdziwych systemach: czy kwota korekty zgadza się z fakturą, czy zlecenie odbioru trafiło do przewoźnika, czy stan magazynu się zgadza. Do sprawy dołącza dowody. W oprogramowaniu agent na tym etapie uruchamia aplikację, przechodzi ścieżkę użytkownika i nagrywa ją. Dla człowieka zmienia się charakter pracy: zamiast samemu sprawdzać pięć systemów, ogląda zestawienie z dowodami i mówi „tak” albo „nie”.
7. Wydanie: decyzja, która zostaje przy człowieku
Człowiek akceptuje i wysyła: korekta idzie do klienta, odpowiedź wychodzi, zwrot pieniędzy rusza. To moment, w którym ryzyko przechodzi z firmy na klienta albo odwrotnie. Ktoś musi się pod tym podpisać. Agent przygotowuje, sprawdza i proponuje. Człowiek decyduje i odpowiada.
8. Monitoring: pętla się zamyka
Agent obserwuje, co dzieje się po zamknięciu sprawy. Czy klient wrócił z tym samym. Czy ten sam produkt albo ten sam przewoźnik pojawia się w reklamacjach częściej niż zwykle. Gdy widzi wzór, sam zakłada zgłoszenie, które wraca na wejście, tym razem do zakupów albo do działu jakości. Bez tego etapu fabryka jest linią, która sprawnie obsługuje skutki. Z nim zaczyna pokazywać przyczyny.
Druga pętla: fabryka, która ulepsza fabrykę
Nad pętlą spraw działa druga, mniej widoczna. Agent obserwator ocenia każdy przebieg: ile kosztował, ile razy człowiek musiał coś poprawić, czy sprawa wróciła. Na tej podstawie proponuje zmiany w samej fabryce: inny model w triage, dokładniejszą instrukcję opisu, nową regułę dla recenzenta.
Żeby było to bezpieczne, definicja fabryki musi być zapisana jak kod: z historią wersji, z możliwością cofnięcia złej zmiany i porównania nowej wersji na stałym zestawie spraw testowych. Ten zapis powinien leżeć u was, o czym pisaliśmy w tekście o tym, czyja jest fabryka agentów. Zmiana w fabryce przechodzi tę samą drogę co sprawa: propozycja, recenzja, akceptacja człowieka. Fabryka, która sama zmienia swoje instrukcje bez zgody człowieka, po trzech miesiącach robi rzeczy, których nikt nie rozumie.
Stary obieg a fabryka
| Wymiar | Sztafeta ludzi | Fabryka agentów |
|---|---|---|
| Kształt | liniowe przekazania | pętla, w której monitoring zasila wejście |
| Gdzie patrzy człowiek | na gotowy wynik | na opis przed wykonaniem i na dowody po sprawdzeniu |
| Najdroższy zasób | czas ludzi | uwaga człowieka w punktach decyzji |
| Wiedza zespołu | w głowach i w nieaktualnej instrukcji | w instrukcjach agentów, z historią zmian |
| Kontrola | wyrywkowa, gdy ktoś ma czas | każda sprawa, z dowodami |
| Doskonalenie | spotkanie raz na kwartał | ocena każdego przebiegu i propozycje zmian |
| Praca w toku | w skrzynkach poszczególnych osób | jawna, w jednej kolejce |
| Odpowiedzialność za decyzję | człowiek | nadal człowiek |
Ostatni wiersz jest najważniejszy. Zasady, polityka, zatwierdzenie opisu i decyzja o wydaniu zostają przy ludziach. Zmienia się wszystko pomiędzy.
Gdzie fabryka szkodzi
Automatyczne wykonanie spraw, które tylko wyglądają na proste. „Brak jednej sztuki, wystaw korektę” brzmi jak zadanie dla agenta. Dopóki nie okaże się, że ten klient ma w umowie inne warunki albo że brak to trzeci w tym miesiącu i sprawa jest dla handlowca. Zaczynajcie od spraw, w których błąd jest tani i od razu widoczny.
Pomijanie opisu, bo agent i tak szybko działa. Szybkie wykonanie bez zatwierdzonego opisu to najdroższy sposób na odkrycie, że wszyscy rozumieli sprawę inaczej.
Samodoskonalenie bez hamulca. Zmiana w fabryce bez akceptacji człowieka to dryf, nie postęp.
Fabryka bez ludzi. Zespół, któremu powiecie, że fabryka ma go zastąpić, odejdzie albo przestanie poprawiać instrukcje, zanim fabryka zacznie działać. Ludzie, którzy znają najtrudniejsze sprawy, najszybciej polubią budowanie fabryki, jeśli dostaną je jako większą odpowiedzialność, a nie jako wyrok.
Po czym poznać, że fabryka działa
| Metryka próżności | Metryka wyniku |
|---|---|
| liczba odpowiedzi przygotowanych przez agentów | ile razy człowiek dotknął jednej sprawy od wejścia do wydania (ma spadać) |
| liczba zużytych tokenów | koszt jednej zamkniętej sprawy i jego trend miesiąc do miesiąca |
| liczba uruchomionych agentów | odsetek spraw, które przeszły przez pętlę bez poprawek po akceptacji |
| „agenci obsługują większość reklamacji” | czas od zgłoszenia do decyzji i odsetek spraw, które wracają |
| w oprogramowaniu: liczba linii kodu od agentów | w oprogramowaniu: cztery miary DORA, czyli czas od zmiany do produkcji, częstotliwość wdrożeń, odsetek nieudanych wdrożeń i czas przywrócenia działania |
Ocena jakości przez drugi model może być uzupełnieniem. Jeśli jednak rośnie liczba spraw, które wracają, żadna ocena modelu nie przykryje tego, że fabryka pracuje gorzej. Liczby mają sens tylko względem stanu sprzed zmiany, dlatego punkt wyjścia mierzy się przed pierwszym agentem, jak w tekście o mierzeniu punktu wyjścia.
Kolejność budowy
Najważniejsza zasada: każdy krok daje działający system. Możecie zatrzymać się po dowolnym i nadal macie coś, co przynosi wartość. To jest pilotaż w tygodniach, nie program na rok, z tego samego powodu, który opisaliśmy w tekście o sześciu tygodniach oprogramowania.
- Triage. Agent sortuje przychodzące reklamacje do trzech koszy i dla oczywistych spraw przygotowuje pierwszą wersję rozwiązania. Efekt: ludzie przestają tracić godziny na rozpoznawanie, co właściwie przyszło.
- Opisy. Dla spraw niejasnych agent przygotowuje opis z proponowaną decyzją, a człowiek go zatwierdza. Efekt: trudniejsze sprawy wchodzą do pętli, zamiast czekać w skrzynce.
- Recenzja z pętlą uczenia. Każdy wynik ma pierwszy przegląd, zanim zobaczy go człowiek, a uwagi ludzi trafiają do instrukcji.
- Sprawdzenie w systemach. Agent sprawdza liczby i dołącza dowody. Człowiek potwierdza, zamiast odtwarzać.
- Połączenie i pomiar. Koordynator spina etapy, monitoring zasila wejście, obserwator ocenia przebiegi. Dopiero teraz zaczyna działać druga pętla.
Po każdym kroku jest prawdziwa decyzja: idziemy dalej, zmieniamy kierunek albo zostajemy tu, gdzie jesteśmy. Ta decyzja należy do ludzi, którzy ponoszą koszt zmiany, a nie do slajdu ze statusem, o czym pisaliśmy w tekście o komitecie sterującym. A gdy pętla działa w jednym zespole, przeniesienie jej do następnego jest osobnym projektem, jak w tekście o skalowaniu po pilotażu.
Ostatni krok to przekazanie. Definicja pętli, instrukcje i oceny powinny leżeć w waszym repozytorium i być prowadzone przez wasz zespół, a nie przez tych, którzy fabrykę zbudowali. Tak wygląda sposób pracy VUCALE: ustawić, zbudować, przekazać.
Test na ten tydzień
Weźcie ostatnie dwadzieścia reklamacji albo zgłoszeń z waszego systemu i ręcznie, w arkuszu, przypiszcie każde do jednego z trzech koszy triage. Jeśli więcej niż połowa trafia do kosza „niejasne”, pierwszym agentem w waszej fabryce nie powinien być ten, który wykonuje, tylko ten, który pisze opisy.
Zostaje decyzja. Możecie dać zespołowi agenta, który szybciej wykonuje, i patrzeć, jak rośnie kolejka do sprawdzenia. Albo możecie zbudować pętlę, w której ludzie przestają wykonywać i przeglądać wszystko, a zaczynają zatwierdzać to, co naprawdę wymaga ich osądu.
- agenci AI
- fabryka agentów
- proces
- pilotaż
- SDLC