Z okopów
Nie pytaj AI, czy wykonało pracę. Sprawdź ją samodzielnie.
Zbudowałem system AI, który sprawdza sam siebie. Brzmi jak ostateczne zabezpieczenie: jedno AI wykonuje pracę, drugie pilnuje, czy zrobiło ją dobrze. A potem ten weryfikator któregoś razu oznajmił mi z pełnym przekonaniem, że pewien zbiór ma kilkadziesiąt elementów. Sprawdziłem realny plik — nie było tam nic. Nie kilka plików mniej. Nie połowa. Zero.
Wniosek jest nieintuicyjny, ale od tamtej pory traktuję go jak żelazną zasadę: jedynym wiarygodnym arbitrem nie jest raport AI o swojej pracy. Jest nim sprawdzenie samego artefaktu — pliku, outputu albo liczby. Jeśli kiedykolwiek pomyślałeś „skąd mam wiedzieć, że to AI nie ściemnia?", to masz tu całą odpowiedź w jednym zdaniu: nie pytaj AI, czy wykonało pracę — sprawdź ją samodzielnie.
W jednym zdaniu raport AI o własnej pracy to nie dowód. Dowód to artefakt, który możesz zobaczyć i policzyć.
Co się stało: weryfikator powiedział „kilkadziesiąt", było zero
Nasz system ma wbudowaną zasadę: zanim uzna zadanie za zrobione, druga warstwa ma to potwierdzić. Tego dnia probe, czyli taki wewnętrzny kontroler, raportował, że pewna pula danych jest pełna. Konkretna liczba, konkretny ton, zero wahania. Problem w tym, że ta pula była pusta. Weryfikator nie pomylił się o włos. Wymyślił całą zawartość, której nie było.
I to jest sedno, którego długo nie chciałem przyjąć. Skoro nawet warstwa, której jedynym zadaniem jest sprawdzanie, potrafi zawyżać, to żaden raport AI o własnej robocie nie jest dowodem. Jest opinią. Czasem trafną, czasem nie, ale zawsze wypowiedzianą tym samym pewnym głosem.
Dlaczego nie wystarczy zapytać AI „czy zrobiłeś?"
Bo AI odpowie „tak" równie gładko, kiedy zrobiło, jak i kiedy nie zrobiło. Model nie ma wbudowanego sygnału „tu nie jestem pewny" w samym tonie wypowiedzi. Brzmi tak samo kompetentnie w obu przypadkach. Pewność w głosie to nie to samo co prawda na dysku.
Nazywam to prosto: raport to obietnica, artefakt to fakt. Obietnica bywa wygodna, bo jest natychmiastowa, nie trzeba nic otwierać. Ale wygodne nie znaczy prawdziwe. Kiedy decyzja zależy od tego, czy coś naprawdę się wydarzyło, liczy się tylko jedno: czy artefakt istnieje i czy się zgadza.
Co z tym zrobiłem
Wpisałem to w fundament systemu jako regułę, nie jako dobrą radę na boku. Zanim cokolwiek zostanie uznane za zrobione, sprawdzamy realny artefakt: odpalamy rzecz jeszcze raz, otwieramy plik, liczymy elementy. Nie ufamy deklaracji, nawet jeśli pochodzi od warstwy stworzonej po to, żeby weryfikować.
Co ciekawe, ta zasada tnie w obie strony. Tak samo nie ufam, gdy system mówi „zrobione", jak i gdy mówi „tu nic nie ma, nie da się". Jedno zawyża sukces, drugie zawyża problem. Lekarstwo jest to samo: zejść do realnego artefaktu i zobaczyć na własne oczy.
Co to znaczy dla Ciebie jako decydenta
Jeśli wpuszczasz AI do swojej firmy, to jest praktyczny nawyk wart więcej niż dziesięć obietnic dostawcy. Nie odbieraj pracy AI po jego własnym raporcie. Odbieraj ją po efekcie.
- Mail miał wyjść? Sprawdź, czy jest w wysłanych, a nie czy asystent napisał „wysłałem".
- Zestawienie ma się zgadzać z fakturą? Porównaj liczbę z liczbą, a nie z podsumowaniem.
- Plik miał powstać? Otwórz go, zamiast wierzyć w „gotowe".
Brzmi banalnie, dopóki nie zobaczysz, jak pewnym tonem AI potrafi opisać coś, czego nie ma. Dobre narzędzie nie obraża się o tę kontrolę, tylko samo ją sobie narzuca. Właśnie dlatego nasz cyfrowy bliźniak biznesowy jest budowany metodą, w której AI nie zalicza zadania na słowo, tylko sprawdza realny wynik, zanim powie, że skończył.
Cała lekcja mieści się w jednym zdaniu: nie pytaj AI, czy wykonało pracę — sprawdź ją samodzielnie. To ono oddziela narzędzie, któremu możesz zaufać w firmie, od takiego, które tylko ładnie raportuje.
Chcesz AI, które sprawdza robotę, zanim powie „gotowe"?
System 10h+ buduję metodą bez zmyślania: zna Twoją firmę, pisze w Twoim stylu i nie zalicza zadań na słowo. Zobacz, jak to działa u Ciebie.