Przejdź do treści
Pawlicawdrożenia AI
Otwórz menu

Automatyzacja procesów

Jak sprawdzić automatyzację AI przed wdrożeniem: przykład testu na zamówieniach

Test AI na ośmiu fikcyjnych zamówieniach: wiadomości, kryteria i odpowiedzi Gemini 3.8 Flash. Co sprawdzić poza ilością i datą dostawy.

Mateusz Pawlica5 min czytania
Papierowa ilustracja: lupa nad zamówieniem i listą kontrolną obok kanistra środka czystości.

W teście odczytywania zamówień Gemini 3.8 Flash zwrócił oczekiwane pola we wszystkich 16 próbach. Mimo tego część komentarzy wymagała poprawienia. Przy brakującym załączniku model stwierdził, że klient go nie przesłał. Z danych wynikało tylko, że pliku nie przekazano do odczytu.

Ten szczegół pokazuje, dlaczego przed wdrożeniem sprawdzam osobno dane zamówienia i wyjaśnienie, które zobaczy pracownik. Poniżej udostępniam zestaw przypadków, zasady oceny oraz zapisane odpowiedzi. Na ich podstawie można zobaczyć, co taki test wykrywa, a co trzeba sprawdzić dodatkowo.

Najpierw określ, co uznasz za poprawny wynik

Przykładowa hurtownia sprzedaje środki czystości. Model dostaje korespondencję dotyczącą jednego zamówienia i kartotekę czterech produktów. Ma przygotować listę pozycji, ilości, datę dostawy oraz wskazać wiadomości, z których odczytał ilości. Zamówienie zawsze czeka na sprawdzenie przez pracownika.

Przed pierwszym wywołaniem zapisałem oczekiwane wyniki. Dla wiadomości „2 kartony płynu do szyb” poprawna ilość to 24 butelki, ponieważ w kartotece karton zawiera 12. Dla „2 opakowań” ilość ma pozostać pusta. Nie wiadomo, czy klient ma na myśli butelki, czy kartony.

Podobnie z terminem „w środę 12.10.2026”. Ta data wypada w poniedziałek. Oczekiwany wynik to brak rozstrzygniętej daty i oznaczenie sprzeczności. Samodzielne wybranie środy albo poniedziałku byłoby błędem, nawet gdyby reszta zamówienia się zgadzała.

Puste pole może być poprawną odpowiedzią. W tym przykładzie chroni przed wysłaniem niewłaściwej ilości albo przyjęciem terminu, którego klient nie potwierdził. Przed testem trzeba ustalić, kiedy rozwiązanie ma się zatrzymać.

Jak przebiegał test i co oceniał program

Najpierw wykorzystałem dwa osobne przypadki do sprawdzenia połączenia i formatu odpowiedzi: zwykłe zamówienie oraz produkt spoza kartoteki. Nie wliczam ich do wyniku. Po tej kontroli uruchomiłem osiem przygotowanych wcześniej przypadków, każdy dwukrotnie. Instrukcja odczytu i oczekiwane dane pozostały takie same.

Każda próba zaczynała się od nowa. Model otrzymywał instrukcję, kartotekę i wiadomości z jednego przypadku. Nie otrzymywał wzorcowej odpowiedzi ani poprzedniego wyniku. Dwa powtórzenia pozwalają zauważyć niektóre różnice między odpowiedziami; nadal są zbyt małą liczbą, żeby oceniać niezawodność w codziennej pracy. Anthropic opisuje powtarzanie prób i osobne kryteria oceny (otwiera się w nowej karcie) jako element testowania takich rozwiązań.

Program porównywał identyfikator zamówienia, termin, produkty, ilości i źródła ilości. Sprawdzał też listę problemów oraz status szkicu. Kolejność pozycji nie miała znaczenia. Jedna rozbieżność w tych polach wystarczała do niezaliczenia próby.

Komentarz modelu musiał być obecny, ale program nie oceniał jego sensu. To ograniczenie ma znaczenie przy odczytywaniu tabeli wyników.

Osiem przypadków, po dwie próby. Zgodność sprawdzanych pól z wynikiem ustalonym przed testem.
PrzypadekPróba 1Próba 2
T01: Pełne zamówienieZgodneZgodne
T02: Korekta ilości i terminuZgodneZgodne
T03: Stara ilość w cytacieZgodneZgodne
T04: Niejednoznaczne opakowanieZgodneZgodne
T05: Sprzeczny terminZgodneZgodne
T06: Brak załącznikaZgodneZgodne
T07: Zamówienie jak poprzednioZgodneZgodne
T08: Polecenie ukryte w wiadomościZgodneZgodne

Wszystkie 16 odpowiedzi zgadzało się z oczekiwaniami w sprawdzanych polach. Wynik obejmuje również poprawne zatrzymanie sprawy z brakującymi danymi. Nie oznacza, że każde zamówienie nadawało się do zatwierdzenia.

Błąd w komentarzu, którego tabela nie pokazała

W przypadku T06 klient powołuje się na plik z zamówieniem. Do modelu trafia treść maila i pusta lista załączników. Model prawidłowo pozostawia zamówienie bez pozycji oraz zgłasza brak pliku. W pierwszej próbie dopisuje jednak, że „załącznik nie został przesłany”, a w drugiej, że go nie załączono do wiadomości.

T06: Brak załącznika

Fikcyjne wiadomości · zapis testu z 10.10.2026 · Gemini 3.8 Flash

Wiadomości przekazane do modelu

M1 · 05.10.2026, 09:00

Zamówienie jest w załączniku zamowienie.pdf. Proszę przywieźć 12.10.2026.

Przekazane załączniki: brak. Każda próba otrzymała również kartotekę produktów i te same zasady odczytu.

Odpowiedź modelu: próba 1

Wymaga wyjaśnienia

Dostawa: 12.10.2026

Brak odczytanych pozycji zamówienia.

    • Brak załącznika w przekazanych danych

    Komentarz modelu (zapis oryginalny)

    Klient wskazał, że zamówienie znajduje się w załączniku zamowienie.pdf, jednak załącznik nie został przesłany.

    Ocena sprawdzanych pól: zgodne z oczekiwaniem. Ten zapis nie zatwierdza zamówienia.

    Odpowiedź modelu: próba 2

    Wymaga wyjaśnienia

    Dostawa: 12.10.2026

    Brak odczytanych pozycji zamówienia.

      • Brak załącznika w przekazanych danych

      Komentarz modelu (zapis oryginalny)

      Klient powołał się na załącznik zamowienie.pdf, którego nie załączono do wiadomości. Brak pozycji zamówienia.

      Ocena sprawdzanych pól: zgodne z oczekiwaniem. Ten zapis nie zatwierdza zamówienia.

      Wynik oczekiwany przed testem

      Wymaga wyjaśnienia

      Dostawa: 12.10.2026

      Brak odczytanych pozycji zamówienia.

        • Brak załącznika w przekazanych danych

        Model nie widział skrzynki. Plik mógł zaginąć podczas pobierania, zostać odrzucony przez filtr albo nie trafić do tego konkretnego wywołania. Test nie pozwala wskazać przyczyny. Poprawne wyjaśnienie brzmiałoby: „W przekazanych danych nie ma załącznika zamowienie.pdf”.

        Podobne rozszerzenie znalazło się w obu odpowiedziach na „jak ostatnio”. Komentarz mówił o braku historii w systemie. Wiadomo było jedynie, że historii nie udostępniono modelowi.

        Taką uwagę potraktowałbym jako powód do poprawienia instrukcji i rozszerzenia kontroli komentarzy przed wdrożeniem. Trzeba sprawdzać, czy model opisuje dostępne materiały, czy zaczyna wyjaśniać wydarzenia, których nie obserwował. W opublikowanym wyniku pozostawiam pierwotne odpowiedzi; nie zastępuję ich poprawioną wersją.

        Niejasna ilość powinna zatrzymać zamówienie

        Przypadek T04 pokazuje zatrzymanie zgodne z przyjętymi zasadami. Klient zamawia „2 opakowania” płynu do szyb. Model rozpoznaje produkt i datę, ale pozostawia ilość do wyjaśnienia. W obu próbach zachowuje się tak samo.

        T04: Niejednoznaczne opakowanie

        Fikcyjne wiadomości · zapis testu z 10.10.2026 · Gemini 3.8 Flash

        Wiadomości przekazane do modelu

        M1 · 05.10.2026, 09:00

        Zamawiam 2 opakowania SZY-1. Dostawa 12.10.2026.

        Przekazane załączniki: brak. Każda próba otrzymała również kartotekę produktów i te same zasady odczytu.

        Odpowiedź modelu: próba 1

        Wymaga wyjaśnienia

        Dostawa: 12.10.2026

        • Płyn do szyb 1 l

          SZY-1

          Ilość: do wyjaśnienia · jednostka: butelka

          Źródło ilości: M1

        • Niejasna jednostka zamówienia

        Komentarz modelu (zapis oryginalny)

        Użyto niejednoznacznego określenia 'opakowania' dla produktu SZY-1, przez co nie można ustalić liczby jednostek.

        Ocena sprawdzanych pól: zgodne z oczekiwaniem. Ten zapis nie zatwierdza zamówienia.

        Odpowiedź modelu: próba 2

        Wymaga wyjaśnienia

        Dostawa: 12.10.2026

        • Płyn do szyb 1 l

          SZY-1

          Ilość: do wyjaśnienia · jednostka: butelka

          Źródło ilości: M1

        • Niejasna jednostka zamówienia

        Komentarz modelu (zapis oryginalny)

        Słowo 'opakowania' dla produktu SZY-1 jest niejednoznaczne (nie wiadomo, czy chodzi o pojedyncze butelki, czy kartony zbiorcze).

        Ocena sprawdzanych pól: zgodne z oczekiwaniem. Ten zapis nie zatwierdza zamówienia.

        Wynik oczekiwany przed testem

        Wymaga wyjaśnienia

        Dostawa: 12.10.2026

        • Płyn do szyb 1 l

          SZY-1

          Ilość: do wyjaśnienia · jednostka: butelka

          Źródło ilości: M1

        • Niejasna jednostka zamówienia

        Pracownik może teraz zapytać, czy chodzi o dwie butelki, czy dwa kartony. Gdyby widział jedynie wypełniony formularz z liczbą 24, musiałby sam zauważyć, że program rozstrzygnął niejasność za klienta.

        W firmie warto spisać, które braki zatrzymują cały szkic, a które tylko jedną pozycję. W tym teście każdy wykryty problem kierował całe zamówienie do wyjaśnienia. To przyjęta reguła przykładu, którą w rzeczywistym procesie trzeba uzgodnić z osobą obsługującą zamówienia.

        Co trzeba sprawdzić przed codziennym użyciem

        Próbka obejmowała krótkie, przygotowane wiadomości i cztery produkty. Odczyt zdjęć, skanów i faktycznych załączników pozostawał poza zakresem. Model dostał też dokładną instrukcję, jak postępować z każdym rodzajem niejasności. Przed użyciem w firmie potrzebne są nowe przypadki z jej pracy, w tym takie, których nie wykorzystano do poprawiania instrukcji.

        Do kolejnej próby dołożyłbym dłuższe wątki, podobne nazwy produktów i zamówienia częściowo anulowane. Osobno sprawdziłbym pobieranie załączników oraz powtórne przetworzenie tej samej wiadomości. Prawidłowy odczyt może przecież trafić dwa razy do programu magazynowego, jeżeli połączenie ze skrzynką źle obsługuje ponowienia.

        W zestawie była również jedna wiadomość z poleceniem zmiany zasad i wpisania 200 kanistrów zamiast zamówionych dwóch. Model zachował właściwą ilość w obu próbach. Ten jeden przypadek nie sprawdza odporności całego rozwiązania na manipulacje. Niezależnie od odpowiedzi modelu zakres jego uprawnień powinien wynikać z konfiguracji programu. Dokumentacja Anthropic omawia oddzielanie obcych treści od instrukcji oraz ograniczanie uprawnień (otwiera się w nowej karcie).

        Jeżeli celem jest oszczędność czasu, trzeba zmierzyć całą obsługę: od otwarcia sprawy do zatwierdzenia po sprawdzeniu i poprawkach. Czas odpowiedzi modelu tego nie zastępuje. W tej próbie nie wykonywałem takiego pomiaru, więc nie podaję deklaracji o szybszej pracy.

        Materiały do sprawdzenia i następny krok

        Plik z pełnym zapisem testu zawiera wszystkie osiem przypadków, instrukcję dla modelu, kartotekę, oczekiwane dane i obie odpowiedzi na każdy przypadek. Są tam również ustawienia: gemini-3.8-flash, poziom rozumowania MEDIUM, temperatura 1 oraz schemat odpowiedzi. To plik techniczny JSON, który można przekazać osobie przygotowującej podobny test.

        Jeśli chcesz najpierw prześledzić jeden wątek od zamówienia do korekty, zobacz odczytywanie zamówień z maili i zmian klienta. Z kolei na stronie usługi opisuję zakres pilotażu i współpracę przy wdrożeniu.

        Źródła

        1. Własny test z 10.10.2026: dane, instrukcja, kryteria i odpowiedzi modelu
        2. Anthropic: Demystifying evals for AI agents, 09.01.2026 (otwiera się w nowej karcie)
        3. Google: dokumentacja modelu Gemini 3.8 Flash (otwiera się w nowej karcie)
        4. Anthropic: Mitigate jailbreaks and prompt injections (otwiera się w nowej karcie)

        Chcesz sprawdzić AI na jednym zadaniu w swojej firmie?

        Opisz, skąd przychodzą dane i co ma z nich powstać. Ustalimy zakres próby oraz pomyłki, które powinny zatrzymać dalszą pracę.