
W teście odczytywania zamówień Gemini 3.8 Flash zwrócił oczekiwane pola we wszystkich 16 próbach. Mimo tego część komentarzy wymagała poprawienia. Przy brakującym załączniku model stwierdził, że klient go nie przesłał. Z danych wynikało tylko, że pliku nie przekazano do odczytu.
Ten szczegół pokazuje, dlaczego przed wdrożeniem sprawdzam osobno dane zamówienia i wyjaśnienie, które zobaczy pracownik. Poniżej udostępniam zestaw przypadków, zasady oceny oraz zapisane odpowiedzi. Na ich podstawie można zobaczyć, co taki test wykrywa, a co trzeba sprawdzić dodatkowo.
Najpierw określ, co uznasz za poprawny wynik
Przykładowa hurtownia sprzedaje środki czystości. Model dostaje korespondencję dotyczącą jednego zamówienia i kartotekę czterech produktów. Ma przygotować listę pozycji, ilości, datę dostawy oraz wskazać wiadomości, z których odczytał ilości. Zamówienie zawsze czeka na sprawdzenie przez pracownika.
Przed pierwszym wywołaniem zapisałem oczekiwane wyniki. Dla wiadomości „2 kartony płynu do szyb” poprawna ilość to 24 butelki, ponieważ w kartotece karton zawiera 12. Dla „2 opakowań” ilość ma pozostać pusta. Nie wiadomo, czy klient ma na myśli butelki, czy kartony.
Podobnie z terminem „w środę 12.10.2026”. Ta data wypada w poniedziałek. Oczekiwany wynik to brak rozstrzygniętej daty i oznaczenie sprzeczności. Samodzielne wybranie środy albo poniedziałku byłoby błędem, nawet gdyby reszta zamówienia się zgadzała.
Puste pole może być poprawną odpowiedzią. W tym przykładzie chroni przed wysłaniem niewłaściwej ilości albo przyjęciem terminu, którego klient nie potwierdził. Przed testem trzeba ustalić, kiedy rozwiązanie ma się zatrzymać.
Jak przebiegał test i co oceniał program
Najpierw wykorzystałem dwa osobne przypadki do sprawdzenia połączenia i formatu odpowiedzi: zwykłe zamówienie oraz produkt spoza kartoteki. Nie wliczam ich do wyniku. Po tej kontroli uruchomiłem osiem przygotowanych wcześniej przypadków, każdy dwukrotnie. Instrukcja odczytu i oczekiwane dane pozostały takie same.
Każda próba zaczynała się od nowa. Model otrzymywał instrukcję, kartotekę i wiadomości z jednego przypadku. Nie otrzymywał wzorcowej odpowiedzi ani poprzedniego wyniku. Dwa powtórzenia pozwalają zauważyć niektóre różnice między odpowiedziami; nadal są zbyt małą liczbą, żeby oceniać niezawodność w codziennej pracy. Anthropic opisuje powtarzanie prób i osobne kryteria oceny (otwiera się w nowej karcie) jako element testowania takich rozwiązań.
Program porównywał identyfikator zamówienia, termin, produkty, ilości i źródła ilości. Sprawdzał też listę problemów oraz status szkicu. Kolejność pozycji nie miała znaczenia. Jedna rozbieżność w tych polach wystarczała do niezaliczenia próby.
Komentarz modelu musiał być obecny, ale program nie oceniał jego sensu. To ograniczenie ma znaczenie przy odczytywaniu tabeli wyników.
| Przypadek | Próba 1 | Próba 2 |
|---|---|---|
| T01: Pełne zamówienie | Zgodne | Zgodne |
| T02: Korekta ilości i terminu | Zgodne | Zgodne |
| T03: Stara ilość w cytacie | Zgodne | Zgodne |
| T04: Niejednoznaczne opakowanie | Zgodne | Zgodne |
| T05: Sprzeczny termin | Zgodne | Zgodne |
| T06: Brak załącznika | Zgodne | Zgodne |
| T07: Zamówienie jak poprzednio | Zgodne | Zgodne |
| T08: Polecenie ukryte w wiadomości | Zgodne | Zgodne |
Wszystkie 16 odpowiedzi zgadzało się z oczekiwaniami w sprawdzanych polach. Wynik obejmuje również poprawne zatrzymanie sprawy z brakującymi danymi. Nie oznacza, że każde zamówienie nadawało się do zatwierdzenia.
Błąd w komentarzu, którego tabela nie pokazała
W przypadku T06 klient powołuje się na plik z zamówieniem. Do modelu trafia treść maila i pusta lista załączników. Model prawidłowo pozostawia zamówienie bez pozycji oraz zgłasza brak pliku. W pierwszej próbie dopisuje jednak, że „załącznik nie został przesłany”, a w drugiej, że go nie załączono do wiadomości.
T06: Brak załącznika
Fikcyjne wiadomości · zapis testu z 10.10.2026 · Gemini 3.8 Flash
Wiadomości przekazane do modelu
Przekazane załączniki: brak. Każda próba otrzymała również kartotekę produktów i te same zasady odczytu.
Odpowiedź modelu: próba 1
Wymaga wyjaśnienia
Dostawa: 12.10.2026
Brak odczytanych pozycji zamówienia.
- Brak załącznika w przekazanych danych
Komentarz modelu (zapis oryginalny)
Klient wskazał, że zamówienie znajduje się w załączniku zamowienie.pdf, jednak załącznik nie został przesłany.
Ocena sprawdzanych pól: zgodne z oczekiwaniem. Ten zapis nie zatwierdza zamówienia.
Odpowiedź modelu: próba 2
Wymaga wyjaśnienia
Dostawa: 12.10.2026
Brak odczytanych pozycji zamówienia.
- Brak załącznika w przekazanych danych
Komentarz modelu (zapis oryginalny)
Klient powołał się na załącznik zamowienie.pdf, którego nie załączono do wiadomości. Brak pozycji zamówienia.
Ocena sprawdzanych pól: zgodne z oczekiwaniem. Ten zapis nie zatwierdza zamówienia.
Wynik oczekiwany przed testem
Wymaga wyjaśnienia
Dostawa: 12.10.2026
Brak odczytanych pozycji zamówienia.
- Brak załącznika w przekazanych danych
Model nie widział skrzynki. Plik mógł zaginąć podczas pobierania, zostać odrzucony przez filtr albo nie trafić do tego konkretnego wywołania. Test nie pozwala wskazać przyczyny. Poprawne wyjaśnienie brzmiałoby: „W przekazanych danych nie ma załącznika zamowienie.pdf”.
Podobne rozszerzenie znalazło się w obu odpowiedziach na „jak ostatnio”. Komentarz mówił o braku historii w systemie. Wiadomo było jedynie, że historii nie udostępniono modelowi.
Taką uwagę potraktowałbym jako powód do poprawienia instrukcji i rozszerzenia kontroli komentarzy przed wdrożeniem. Trzeba sprawdzać, czy model opisuje dostępne materiały, czy zaczyna wyjaśniać wydarzenia, których nie obserwował. W opublikowanym wyniku pozostawiam pierwotne odpowiedzi; nie zastępuję ich poprawioną wersją.
Niejasna ilość powinna zatrzymać zamówienie
Przypadek T04 pokazuje zatrzymanie zgodne z przyjętymi zasadami. Klient zamawia „2 opakowania” płynu do szyb. Model rozpoznaje produkt i datę, ale pozostawia ilość do wyjaśnienia. W obu próbach zachowuje się tak samo.
T04: Niejednoznaczne opakowanie
Fikcyjne wiadomości · zapis testu z 10.10.2026 · Gemini 3.8 Flash
Wiadomości przekazane do modelu
Przekazane załączniki: brak. Każda próba otrzymała również kartotekę produktów i te same zasady odczytu.
Odpowiedź modelu: próba 1
Wymaga wyjaśnienia
Dostawa: 12.10.2026
Płyn do szyb 1 l
SZY-1
Ilość: do wyjaśnienia · jednostka: butelka
Źródło ilości: M1
- Niejasna jednostka zamówienia
Komentarz modelu (zapis oryginalny)
Użyto niejednoznacznego określenia 'opakowania' dla produktu SZY-1, przez co nie można ustalić liczby jednostek.
Ocena sprawdzanych pól: zgodne z oczekiwaniem. Ten zapis nie zatwierdza zamówienia.
Odpowiedź modelu: próba 2
Wymaga wyjaśnienia
Dostawa: 12.10.2026
Płyn do szyb 1 l
SZY-1
Ilość: do wyjaśnienia · jednostka: butelka
Źródło ilości: M1
- Niejasna jednostka zamówienia
Komentarz modelu (zapis oryginalny)
Słowo 'opakowania' dla produktu SZY-1 jest niejednoznaczne (nie wiadomo, czy chodzi o pojedyncze butelki, czy kartony zbiorcze).
Ocena sprawdzanych pól: zgodne z oczekiwaniem. Ten zapis nie zatwierdza zamówienia.
Wynik oczekiwany przed testem
Wymaga wyjaśnienia
Dostawa: 12.10.2026
Płyn do szyb 1 l
SZY-1
Ilość: do wyjaśnienia · jednostka: butelka
Źródło ilości: M1
- Niejasna jednostka zamówienia
Pracownik może teraz zapytać, czy chodzi o dwie butelki, czy dwa kartony. Gdyby widział jedynie wypełniony formularz z liczbą 24, musiałby sam zauważyć, że program rozstrzygnął niejasność za klienta.
W firmie warto spisać, które braki zatrzymują cały szkic, a które tylko jedną pozycję. W tym teście każdy wykryty problem kierował całe zamówienie do wyjaśnienia. To przyjęta reguła przykładu, którą w rzeczywistym procesie trzeba uzgodnić z osobą obsługującą zamówienia.
Co trzeba sprawdzić przed codziennym użyciem
Próbka obejmowała krótkie, przygotowane wiadomości i cztery produkty. Odczyt zdjęć, skanów i faktycznych załączników pozostawał poza zakresem. Model dostał też dokładną instrukcję, jak postępować z każdym rodzajem niejasności. Przed użyciem w firmie potrzebne są nowe przypadki z jej pracy, w tym takie, których nie wykorzystano do poprawiania instrukcji.
Do kolejnej próby dołożyłbym dłuższe wątki, podobne nazwy produktów i zamówienia częściowo anulowane. Osobno sprawdziłbym pobieranie załączników oraz powtórne przetworzenie tej samej wiadomości. Prawidłowy odczyt może przecież trafić dwa razy do programu magazynowego, jeżeli połączenie ze skrzynką źle obsługuje ponowienia.
W zestawie była również jedna wiadomość z poleceniem zmiany zasad i wpisania 200 kanistrów zamiast zamówionych dwóch. Model zachował właściwą ilość w obu próbach. Ten jeden przypadek nie sprawdza odporności całego rozwiązania na manipulacje. Niezależnie od odpowiedzi modelu zakres jego uprawnień powinien wynikać z konfiguracji programu. Dokumentacja Anthropic omawia oddzielanie obcych treści od instrukcji oraz ograniczanie uprawnień (otwiera się w nowej karcie).
Jeżeli celem jest oszczędność czasu, trzeba zmierzyć całą obsługę: od otwarcia sprawy do zatwierdzenia po sprawdzeniu i poprawkach. Czas odpowiedzi modelu tego nie zastępuje. W tej próbie nie wykonywałem takiego pomiaru, więc nie podaję deklaracji o szybszej pracy.
Materiały do sprawdzenia i następny krok
Plik z pełnym zapisem testu zawiera wszystkie osiem przypadków, instrukcję dla modelu, kartotekę, oczekiwane dane i obie odpowiedzi na każdy przypadek. Są tam również ustawienia: gemini-3.8-flash, poziom rozumowania MEDIUM, temperatura 1 oraz schemat odpowiedzi. To plik techniczny JSON, który można przekazać osobie przygotowującej podobny test.
Jeśli chcesz najpierw prześledzić jeden wątek od zamówienia do korekty, zobacz odczytywanie zamówień z maili i zmian klienta. Z kolei na stronie usługi opisuję zakres pilotażu i współpracę przy wdrożeniu.
Źródła
- Własny test z 10.10.2026: dane, instrukcja, kryteria i odpowiedzi modelu
- Anthropic: Demystifying evals for AI agents, 09.01.2026 (otwiera się w nowej karcie)
- Google: dokumentacja modelu Gemini 3.8 Flash (otwiera się w nowej karcie)
- Anthropic: Mitigate jailbreaks and prompt injections (otwiera się w nowej karcie)


