Audyt AI - efektem jest krótsza lista procesów

Kontekst

Niemal każdy projekt AI, do którego jestem zapraszany, został wybrany jeszcze przed moim przyjściem. Ktoś zobaczył demo, ktoś inny usłyszał, że konkurencja „robi AI”, a budżet pojawił się, zanim ktokolwiek zobaczył, jak naprawdę wykonywana jest praca.

To dziwny sposób wydawania pieniędzy. Nikt nie kupuje maszyny na halę produkcyjną bez wcześniejszego zmierzenia tej hali.

Ten opis jest modelem audytu, a nie historią jednego klienta. Pokazuje, jak prowadzę taką analizę i co po niej zostaje. Liczby w przykładzie są ilustracyjne. Rzeczywista jest metoda.

Problem: decyzja zapada przed analizą

Najczęściej nie zawodzi technologia. Zespół wybiera proces, który dobrze wygląda na slajdzie, pracuje nad nim przez cztery miesiące i kończy z pilotażem używanym przez trzy osoby z uprzejmości. Firma wyciąga z tego wniosek, że „AI u nas nie działa”. To najdroższy skutek, bo często w tym samym budynku są dwa inne procesy, które zwróciłyby się w kwartał.

Trzy rzeczy idą źle i wszystkie zostają przesądzone w pierwszym tygodniu.

Wybrany proces ma małą skalę. Zadanie wykonywane jedenaście razy w miesiącu nie zwróci sześciu tygodni pracy inżynierskiej, niezależnie od tego, jak bardzo jest irytujące. Kiedy sam wykonujesz dane zadanie, jego uciążliwość łatwo pomylić z częstotliwością. To nie jest to samo.

Wybrany proces nie toleruje błędów. Wszystko, co dotyczy wypływu pieniędzy z firmy, zobowiązań prawnych albo porad medycznych, wymaga akceptacji człowieka. Jeśli człowiek i tak musi przeczytać każdy wynik, automatyzujesz pisanie, ale zostawiasz większość kosztu.

Nikt nie ustalił, jak wygląda sukces. Bez liczby zdefiniowanej przed rozpoczęciem prac projekt kończy się spotkaniem, podczas którego każdy opisuje ten sam pilotaż inaczej.

Audyt ma wyłapać wszystkie trzy problemy przed wystawieniem faktury za wdrożenie.

Czym jest audyt

Pięć dni. Nie warsztat i nie prezentacja o aktualnym stanie AI.

Dzień pierwszy i drugi: obserwuję pracę. Rozmawiam z ludźmi, którzy rzeczywiście wykonują zadanie, a nie tylko z managerami, którzy je opisują. To ważniejsze, niż brzmi. W każdej firmie opisany proces różni się od prawdziwego, a właśnie w tej różnicy automatyzacja zadziała albo polegnie. Prawdziwy proces ma prywatny arkusz utrzymywany przez jedną osobę, krok dodany po reklamacji klienta z 2019 roku i człowieka, do którego wszyscy po cichu kierują trudne przypadki.

Dzień trzeci: liczę. Ile razy w miesiącu proces się odbywa, jak długo trwa pojedyncze wykonanie, ile kosztuje błąd i kto go naprawia. Jeśli nikt nie zna wolumenu, to już jest wniosek z audytu. Wolę poświęcić dzień na wyciągnięcie danych z systemu zgłoszeń niż budować na czyimś przypuszczeniu.

Dzień czwarty: wyceniam. Wywołania modeli, integracje, bieżące utrzymanie, którego zwykle nie ma w budżecie, oraz obsługę błędów. Agent uruchamiany tysiąc razy w miesiącu przy sześcioprocentowym odsetku błędów wymaga obsłużenia sześćdziesięciu wyjątków. Czas osoby, która się nimi zajmie, należy do kosztorysu.

Dzień piąty: zapisuję wynik. Rezultatem jest dokument, nie rozmowa. Musi być zrozumiały także dla dyrektora finansowego, którego nie było na żadnym spotkaniu.

Cztery pytania do każdego procesu

Każdy rozważany proces dostaje te same cztery pytania. Jedna zła odpowiedź może wystarczyć, żeby go odrzucić.

Jak często to się dzieje?

Wolumen jest podstawą rachunku ekonomicznego. Najpierw chcę znać liczbę wykonań w miesiącu, dopiero potem resztę.

Ile kosztuje pomyłka?

Nie pytam, czy dokładność jest ważna, bo każdy odpowie, że tak. Pytam, co konkretnie dzieje się dalej, gdy wynik jest błędny, kto to zauważa i ile czasu zajmuje naprawa. Błędny opis produktu można poprawić w pięć minut. Błędna kwota na fakturze ma inne konsekwencje.

Czy dane wejściowe pozwalają ocenić wynik?

Jeśli dwie doświadczone osoby w firmie nie zgadzają się co do poprawnej odpowiedzi, model językowy tego nie rozstrzygnie. To nie problem modelu, tylko niezdefiniowanego procesu. Automatyzacja jedynie przyspieszy spór.

Kto będzie właścicielem po uruchomieniu?

Każda automatyzacja jest systemem, który kiedyś się zepsuje. Jeśli w tym polu nie ma nazwiska, projekt już ma zaplanowaną cichą śmierć za sześć miesięcy.

Lista „nie automatyzować”

To tutaj audyt zarabia na siebie i właśnie tej części klienci zwykle najmniej się spodziewają.

Z ośmiu do dwunastu rozważanych procesów zazwyczaj rekomenduję wdrożenie dwóch albo trzech. Pozostałe opisuję wraz z powodem odrzucenia. Pomysł odrzucony bez uzasadnienia wróci przy okazji następnej konferencji.

Powody zwykle się powtarzają. Niektóre procesy są zbyt rzadkie, żeby pokryć koszt wdrożenia. W innych człowiek i tak czyta każdy wynik, więc oszczędzamy kliknięcia, ale nie zmieniamy kosztu. Czasem lepiej naprawić sam proces. Widziałem ścieżki akceptacji, w których uczciwą rekomendacją było usunięcie dwóch kroków. To nic nie kosztuje i działa od razu. Bywają też zadania obsługiwane przez gotowe narzędzie za 40 dolarów miesięcznie, którego firma nie powinna odtwarzać w gorszej wersji.

To pełnoprawna rekomendacja i daję ją często. Częścią audytu jest wskazanie, kiedy nie warto mnie zatrudniać do budowy.

Przykładowy przebieg

Żeby pokazać rachunek na konkretnym przykładzie, przyjmijmy średnią firmę usługową. Poniższe liczby pokazują sposób liczenia i nie pochodzą z jednego zlecenia.

Z wywiadów wynika jedenaście procesów. Cztery odpadają przez zbyt małą skalę: zdarzają się kilka razy w miesiącu i nie zwrócą wdrożenia. Dwa odpadają przez niską tolerancję błędów, bo dotyczą umów z klientami, a prawnik i tak musi przeczytać wynik. Jeden ma gotowe rozwiązanie pudełkowe. Jeden okazuje się zwykłym problemem procesowym w przebraniu AI: wystarczy usunąć podwójne przepisywanie danych między dwoma niepołączonymi systemami.

Zostają trzy. Najbardziej oczywisty zwrot daje proces dokumentowy, w którym pracownicy czterysta razy w miesiącu przepisują dane z PDF-ów dostawców do systemu wewnętrznego. Ma dużą skalę, ustrukturyzowany wynik i błędy możliwe do wykrycia regułą walidacyjną zamiast przez człowieka. Dwa pozostałe projekty ustawiam za nim w kolejce.

Trzy finansowane projekty z jedenastu pomysłów to dobry wynik. Finansowanie wszystkich jedenastu jest prostą drogą do cmentarza pilotaży.

Co dostajesz

Uporządkowaną mapę szans z nakładem pracy i oczekiwanym zwrotem dla każdej pozycji, dzięki czemu kolejność wynika z liczb. Pisemną listę procesów, których nie należy automatyzować, wraz z uzasadnieniem. Decyzję „budować czy kupić” dla każdego procesu, który przeszedł selekcję. Kosztorys obejmujący utrzymanie, a nie tylko wdrożenie. Oraz jeden miernik sukcesu dla każdego projektu, uzgodniony przed napisaniem pierwszej linii kodu.

Potem możesz zlecić budowę mnie, innej firmie albo niczego nie wdrażać. Mapa należy do Ciebie w każdym wariancie. Firma, która zdecyduje się w tym roku niczego nie budować, nadal może oszczędzić więcej, niż kosztował audyt.

Co to pokazuje

Dlaczego zaczynam od procesu, a nie od technologii? Bo model nigdy nie był najtrudniejszą częścią. Najtrudniej wybrać właściwy proces, a to pytanie biznesowe. Odpowiedź znajduje się ze stoperem i arkuszem kalkulacyjnym, zanim ktokolwiek otworzy edytor kodu.

Coraz mocniej wierzę, że najlepszym sygnałem jakości konsultanta AI jest to, jak szybko potrafi powiedzieć, że czegoś nie należy budować. Każdy umie zgodzić się na dostępny budżet.