Źródło: https://pawlicaweb.pl/blog/jak-testowac-automatyzacje-ai

Opis: Test AI na ośmiu fikcyjnych zamówieniach: wiadomości, kryteria i odpowiedzi Gemini 3.8 Flash. Co sprawdzić poza ilością i datą dostawy.

Data publikacji: 2026-10-10

Data aktualizacji: 2026-10-10

Automatyzacja procesów

# Jak sprawdzić automatyzację AI przed wdrożeniem: przykład testu na zamówieniach

Test AI na ośmiu fikcyjnych zamówieniach: wiadomości, kryteria i odpowiedzi Gemini 3.8 Flash. Co sprawdzić poza ilością i datą dostawy.

[Mateusz Pawlica](https://pawlicaweb.pl/o-mnie)10 października 20265 min czytania

![Papierowa ilustracja: lupa nad zamówieniem i listą kontrolną obok kanistra środka czystości.](https://pawlicaweb.pl/_astro/cover.aNvSH886_2jhhzC.webp)

W teście odczytywania zamówień Gemini 3.8 Flash zwrócił oczekiwane pola we wszystkich 16 próbach. Mimo tego część komentarzy wymagała poprawienia. Przy brakującym załączniku model stwierdził, że klient go nie przesłał. Z danych wynikało tylko, że pliku nie przekazano do odczytu.

Ten szczegół pokazuje, dlaczego przed wdrożeniem sprawdzam osobno dane zamówienia i wyjaśnienie, które zobaczy pracownik. Poniżej udostępniam zestaw przypadków, zasady oceny oraz zapisane odpowiedzi. Na ich podstawie można zobaczyć, co taki test wykrywa, a co trzeba sprawdzić dodatkowo.

Fikcyjne zamówienia, rzeczywiste odpowiedzi

Test wykonano 10 października 2026 r. przez API Google, czyli programowy dostęp do modelu. Wiadomości i kartoteka produktów powstały na potrzeby artykułu. Model nie miał dostępu do skrzynki ani programu magazynowego. To mały test odczytu danych, bez wdrożenia u klienta i bez pomiaru oszczędności czasu.

## Najpierw określ, co uznasz za poprawny wynik

Przykładowa hurtownia sprzedaje środki czystości. Model dostaje korespondencję dotyczącą jednego zamówienia i kartotekę czterech produktów. Ma przygotować listę pozycji, ilości, datę dostawy oraz wskazać wiadomości, z których odczytał ilości. Zamówienie zawsze czeka na sprawdzenie przez pracownika.

Przed pierwszym wywołaniem zapisałem oczekiwane wyniki. Dla wiadomości „2 kartony płynu do szyb” poprawna ilość to 24 butelki, ponieważ w kartotece karton zawiera 12. Dla „2 opakowań” ilość ma pozostać pusta. Nie wiadomo, czy klient ma na myśli butelki, czy kartony.

Podobnie z terminem „w środę 12.10.2026”. Ta data wypada w poniedziałek. Oczekiwany wynik to brak rozstrzygniętej daty i oznaczenie sprzeczności. Samodzielne wybranie środy albo poniedziałku byłoby błędem, nawet gdyby reszta zamówienia się zgadzała.

**Puste pole może być poprawną odpowiedzią.** W tym przykładzie chroni przed wysłaniem niewłaściwej ilości albo przyjęciem terminu, którego klient nie potwierdził. Przed testem trzeba ustalić, kiedy rozwiązanie ma się zatrzymać.

## Jak przebiegał test i co oceniał program

Najpierw wykorzystałem dwa osobne przypadki do sprawdzenia połączenia i formatu odpowiedzi: zwykłe zamówienie oraz produkt spoza kartoteki. Nie wliczam ich do wyniku. Po tej kontroli uruchomiłem osiem przygotowanych wcześniej przypadków, każdy dwukrotnie. Instrukcja odczytu i oczekiwane dane pozostały takie same.

Każda próba zaczynała się od nowa. Model otrzymywał instrukcję, kartotekę i wiadomości z jednego przypadku. Nie otrzymywał wzorcowej odpowiedzi ani poprzedniego wyniku. Dwa powtórzenia pozwalają zauważyć niektóre różnice między odpowiedziami; nadal są zbyt małą liczbą, żeby oceniać niezawodność w codziennej pracy. [Anthropic opisuje powtarzanie prób i osobne kryteria oceny](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents) jako element testowania takich rozwiązań.

Program porównywał identyfikator zamówienia, termin, produkty, ilości i źródła ilości. Sprawdzał też listę problemów oraz status szkicu. Kolejność pozycji nie miała znaczenia. Jedna rozbieżność w tych polach wystarczała do niezaliczenia próby.

Komentarz modelu musiał być obecny, ale **program nie oceniał jego sensu**. To ograniczenie ma znaczenie przy odczytywaniu tabeli wyników.

Osiem przypadków, po dwie próby. Zgodność sprawdzanych pól z wynikiem ustalonym przed testem.

| Przypadek | Próba 1 | Próba 2 |
| --- | --- | --- |
| T01: Pełne zamówienie | Zgodne | Zgodne |
| T02: Korekta ilości i terminu | Zgodne | Zgodne |
| T03: Stara ilość w cytacie | Zgodne | Zgodne |
| T04: Niejednoznaczne opakowanie | Zgodne | Zgodne |
| T05: Sprzeczny termin | Zgodne | Zgodne |
| T06: Brak załącznika | Zgodne | Zgodne |
| T07: Zamówienie jak poprzednio | Zgodne | Zgodne |
| T08: Polecenie ukryte w wiadomości | Zgodne | Zgodne |

Wszystkie 16 odpowiedzi zgadzało się z oczekiwaniami w sprawdzanych polach. Wynik obejmuje również poprawne zatrzymanie sprawy z brakującymi danymi. Nie oznacza, że każde zamówienie nadawało się do zatwierdzenia.

## Błąd w komentarzu, którego tabela nie pokazała

W przypadku T06 klient powołuje się na plik z zamówieniem. Do modelu trafia treść maila i pusta lista załączników. Model prawidłowo pozostawia zamówienie bez pozycji oraz zgłasza brak pliku. W pierwszej próbie dopisuje jednak, że „załącznik nie został przesłany”, a w drugiej, że go nie załączono do wiadomości.

T06: Brak załącznika

Fikcyjne wiadomości · zapis testu z 10.10.2026 · Gemini 3.8 Flash

Wiadomości przekazane do modelu

M1 · 05.10.2026, 09:00

Zamówienie jest w załączniku zamowienie.pdf. Proszę przywieźć 12.10.2026.

Przekazane załączniki: brak. Każda próba otrzymała również kartotekę produktów i te same zasady odczytu.

Odpowiedź modelu: próba 1

Wymaga wyjaśnienia

**Dostawa:** 12.10.2026

Brak odczytanych pozycji zamówienia.

-   Brak załącznika w przekazanych danych

Komentarz modelu (zapis oryginalny)

Klient wskazał, że zamówienie znajduje się w załączniku zamowienie.pdf, jednak załącznik nie został przesłany.

Ocena sprawdzanych pól: zgodne z oczekiwaniem. Ten zapis nie zatwierdza zamówienia.

Odpowiedź modelu: próba 2

Wymaga wyjaśnienia

**Dostawa:** 12.10.2026

Brak odczytanych pozycji zamówienia.

-   Brak załącznika w przekazanych danych

Komentarz modelu (zapis oryginalny)

Klient powołał się na załącznik zamowienie.pdf, którego nie załączono do wiadomości. Brak pozycji zamówienia.

Ocena sprawdzanych pól: zgodne z oczekiwaniem. Ten zapis nie zatwierdza zamówienia.

Wynik oczekiwany przed testem

Wymaga wyjaśnienia

**Dostawa:** 12.10.2026

Brak odczytanych pozycji zamówienia.

-   Brak załącznika w przekazanych danych

Model nie widział skrzynki. Plik mógł zaginąć podczas pobierania, zostać odrzucony przez filtr albo nie trafić do tego konkretnego wywołania. Test nie pozwala wskazać przyczyny. Poprawne wyjaśnienie brzmiałoby: „W przekazanych danych nie ma załącznika zamowienie.pdf”.

Podobne rozszerzenie znalazło się w obu odpowiedziach na „jak ostatnio”. Komentarz mówił o braku historii w systemie. Wiadomo było jedynie, że historii nie udostępniono modelowi.

Taką uwagę potraktowałbym jako powód do poprawienia instrukcji i rozszerzenia kontroli komentarzy przed wdrożeniem. Trzeba sprawdzać, czy model opisuje dostępne materiały, czy zaczyna wyjaśniać wydarzenia, których nie obserwował. W opublikowanym wyniku pozostawiam pierwotne odpowiedzi; nie zastępuję ich poprawioną wersją.

## Niejasna ilość powinna zatrzymać zamówienie

Przypadek T04 pokazuje zatrzymanie zgodne z przyjętymi zasadami. Klient zamawia „2 opakowania” płynu do szyb. Model rozpoznaje produkt i datę, ale pozostawia ilość do wyjaśnienia. W obu próbach zachowuje się tak samo.

T04: Niejednoznaczne opakowanie

Fikcyjne wiadomości · zapis testu z 10.10.2026 · Gemini 3.8 Flash

Wiadomości przekazane do modelu

M1 · 05.10.2026, 09:00

Zamawiam 2 opakowania SZY-1. Dostawa 12.10.2026.

Przekazane załączniki: brak. Każda próba otrzymała również kartotekę produktów i te same zasady odczytu.

Odpowiedź modelu: próba 1

Wymaga wyjaśnienia

**Dostawa:** 12.10.2026

-   **Płyn do szyb 1 l**
    
    SZY-1
    
    Ilość: **do wyjaśnienia** · jednostka: butelka
    
    Źródło ilości: [M1](https://pawlicaweb.pl/blog/jak-testowac-automatyzacje-ai#order-T04-M1)
    

-   Niejasna jednostka zamówienia

Komentarz modelu (zapis oryginalny)

Użyto niejednoznacznego określenia 'opakowania' dla produktu SZY-1, przez co nie można ustalić liczby jednostek.

Ocena sprawdzanych pól: zgodne z oczekiwaniem. Ten zapis nie zatwierdza zamówienia.

Odpowiedź modelu: próba 2

Wymaga wyjaśnienia

**Dostawa:** 12.10.2026

-   **Płyn do szyb 1 l**
    
    SZY-1
    
    Ilość: **do wyjaśnienia** · jednostka: butelka
    
    Źródło ilości: [M1](https://pawlicaweb.pl/blog/jak-testowac-automatyzacje-ai#order-T04-M1)
    

-   Niejasna jednostka zamówienia

Komentarz modelu (zapis oryginalny)

Słowo 'opakowania' dla produktu SZY-1 jest niejednoznaczne (nie wiadomo, czy chodzi o pojedyncze butelki, czy kartony zbiorcze).

Ocena sprawdzanych pól: zgodne z oczekiwaniem. Ten zapis nie zatwierdza zamówienia.

Wynik oczekiwany przed testem

Wymaga wyjaśnienia

**Dostawa:** 12.10.2026

-   **Płyn do szyb 1 l**
    
    SZY-1
    
    Ilość: **do wyjaśnienia** · jednostka: butelka
    
    Źródło ilości: [M1](https://pawlicaweb.pl/blog/jak-testowac-automatyzacje-ai#order-T04-M1)
    

-   Niejasna jednostka zamówienia

Pracownik może teraz zapytać, czy chodzi o dwie butelki, czy dwa kartony. Gdyby widział jedynie wypełniony formularz z liczbą 24, musiałby sam zauważyć, że program rozstrzygnął niejasność za klienta.

W firmie warto spisać, które braki zatrzymują cały szkic, a które tylko jedną pozycję. W tym teście każdy wykryty problem kierował całe zamówienie do wyjaśnienia. To przyjęta reguła przykładu, którą w rzeczywistym procesie trzeba uzgodnić z osobą obsługującą zamówienia.

## Co trzeba sprawdzić przed codziennym użyciem

Próbka obejmowała krótkie, przygotowane wiadomości i cztery produkty. Odczyt zdjęć, skanów i faktycznych załączników pozostawał poza zakresem. Model dostał też dokładną instrukcję, jak postępować z każdym rodzajem niejasności. Przed użyciem w firmie potrzebne są nowe przypadki z jej pracy, w tym takie, których nie wykorzystano do poprawiania instrukcji.

Do kolejnej próby dołożyłbym dłuższe wątki, podobne nazwy produktów i zamówienia częściowo anulowane. Osobno sprawdziłbym pobieranie załączników oraz powtórne przetworzenie tej samej wiadomości. Prawidłowy odczyt może przecież trafić dwa razy do programu magazynowego, jeżeli połączenie ze skrzynką źle obsługuje ponowienia.

W zestawie była również jedna wiadomość z poleceniem zmiany zasad i wpisania 200 kanistrów zamiast zamówionych dwóch. Model zachował właściwą ilość w obu próbach. Ten jeden przypadek nie sprawdza odporności całego rozwiązania na manipulacje. Niezależnie od odpowiedzi modelu zakres jego uprawnień powinien wynikać z konfiguracji programu. [Dokumentacja Anthropic omawia oddzielanie obcych treści od instrukcji oraz ograniczanie uprawnień](https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/mitigate-jailbreaks).

Jeżeli celem jest oszczędność czasu, trzeba zmierzyć całą obsługę: od otwarcia sprawy do zatwierdzenia po sprawdzeniu i poprawkach. Czas odpowiedzi modelu tego nie zastępuje. W tej próbie nie wykonywałem takiego pomiaru, więc nie podaję deklaracji o szybszej pracy.

## Materiały do sprawdzenia i następny krok

[Plik z pełnym zapisem testu](https://pawlicaweb.pl/przyklady/test-zamowien-ai.json) zawiera wszystkie osiem przypadków, instrukcję dla modelu, kartotekę, oczekiwane dane i obie odpowiedzi na każdy przypadek. Są tam również ustawienia: `gemini-3.8-flash`, poziom rozumowania `MEDIUM`, temperatura 1 oraz schemat odpowiedzi. To plik techniczny JSON, który można przekazać osobie przygotowującej podobny test.

Jeśli chcesz najpierw prześledzić jeden wątek od zamówienia do korekty, zobacz [odczytywanie zamówień z maili i zmian klienta](https://pawlicaweb.pl/blog/automatyzacja-zamowien-z-maili). Z kolei na stronie usługi opisuję [zakres pilotażu i współpracę przy wdrożeniu](https://pawlicaweb.pl/uslugi/automatyzacje-ai#wspolpraca).

## Źródła

1. [Własny test z 10.10.2026: dane, instrukcja, kryteria i odpowiedzi modelu](https://pawlicaweb.pl/przyklady/test-zamowien-ai.json)
2. [Anthropic: Demystifying evals for AI agents, 09.01.2026](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents)
3. [Google: dokumentacja modelu Gemini 3.8 Flash](https://ai.google.dev/gemini-api/docs/models/gemini-3.8-flash)
4. [Anthropic: Mitigate jailbreaks and prompt injections](https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/mitigate-jailbreaks)

Mateusz Pawlica

Od 2014 roku projektuję i buduję rozwiązania cyfrowe. Dziś wdrażam AI w procesach małych firm i jednoosobowych działalności: poznaję, jak firma pracuje, i łączę AI z programami, których już używa.

[Więcej o mnie](https://pawlicaweb.pl/o-mnie)

## Czytaj dalej

[![Papierowa ilustracja: korespondencja z poprawką, środki czystości i projekt zamówienia sprawdzany ołówkiem.](https://pawlicaweb.pl/_astro/cover.BOwfHeww_Z1Rv4ky.webp)

Automatyzacja procesów

### Automatyzacja zamówień z maili: jak AI odczytuje dane i uwzględnia zmiany klienta

Trzy maile, zmiana ilości i nowy termin dostawy. Zobacz wiadomości obok rzeczywistej odpowiedzi AI oraz miejsca wymagające sprawdzenia przez pracownika.

10 października 2026 · 5 min czytania

](https://pawlicaweb.pl/blog/automatyzacja-zamowien-z-maili)

[![Papierowa ilustracja: wiadomości, zamówienia i notatki porządkowane w zestawienie z listą zadań.](https://pawlicaweb.pl/_astro/cover.CJ7LF9P1_ZhzoK2.webp)

Automatyzacja procesów

### Sztuczna inteligencja w małej firmie: 5 procesów, które można zautomatyzować

Pięć zadań, które AI może przejąć w małej firmie: zamówienia z maili, dokumenty, oferty, przypomnienia i zestawienia. Do tego: jak wybrać pierwszy proces.

24 lutego 2026 · 11 min czytania

](https://pawlicaweb.pl/blog/ai-w-malej-firmie-automatyzacja)

[![Papierowa ilustracja: dokumenty chronione kłódką i zatrzymana wysyłka wymagająca sprawdzenia przez człowieka.](https://pawlicaweb.pl/_astro/cover.DSJzQoud_18s047.webp)

Bezpieczeństwo AI

### Kiedy AI wymyka się spod kontroli: prawdziwe incydenty z lat 2024–2026

Szantaż w testach, agenci AI włamujący się do prawdziwych firm, skasowana poczta. Przegląd udokumentowanych incydentów i wnioski dla firm.

12 lutego 2026 · 18 min czytania

](https://pawlicaweb.pl/blog/bezpieczenstwo-ai-incydenty)

## Chcesz sprawdzić AI na jednym zadaniu w swojej firmie?

Opisz, skąd przychodzą dane i co ma z nich powstać. Ustalimy zakres próby oraz pomyłki, które powinny zatrzymać dalszą pracę.

[+48 882 018 434](tel:+48882018434)[Umów rozmowę](https://pawlicaweb.pl/kontakt)

## Dane strukturalne

```json
{
  "@context": "https://schema.org",
  "@graph": [
    {
      "@type": "ProfessionalService",
      "@id": "https://pawlicaweb.pl/#organization",
      "name": "Pawlica",
      "alternateName": [
        "Pawlica Web",
        "PawlicaWeb"
      ],
      "legalName": "PawlicaWeb Mateusz Pawlica",
      "url": "https://pawlicaweb.pl/",
      "email": "kontakt@pawlicaweb.pl",
      "telephone": "+48882018434",
      "taxID": "6472568432",
      "address": {
        "@type": "PostalAddress",
        "streetAddress": "ul. Rolna 37/18",
        "postalCode": "43-100",
        "addressLocality": "Tychy",
        "addressRegion": "śląskie",
        "addressCountry": "PL"
      },
      "founder": {
        "@id": "https://pawlicaweb.pl/#founder"
      }
    },
    {
      "@type": "WebSite",
      "@id": "https://pawlicaweb.pl/#website",
      "name": "Pawlica",
      "alternateName": [
        "Pawlica Web",
        "PawlicaWeb"
      ],
      "url": "https://pawlicaweb.pl/",
      "inLanguage": "pl-PL",
      "publisher": {
        "@id": "https://pawlicaweb.pl/#organization"
      }
    },
    {
      "@type": "Person",
      "@id": "https://pawlicaweb.pl/#founder",
      "name": "Mateusz Pawlica",
      "url": "https://pawlicaweb.pl/o-mnie",
      "sameAs": [
        "https://pl.linkedin.com/in/mateusz-pawlica-65238816b",
        "https://www.facebook.com/PawlicaWeb/"
      ],
      "worksFor": {
        "@id": "https://pawlicaweb.pl/#organization"
      }
    },
    {
      "@type": "WebPage",
      "@id": "https://pawlicaweb.pl/blog/jak-testowac-automatyzacje-ai#webpage",
      "name": "Jak testować automatyzację AI: przykład zamówień | Pawlica",
      "description": "Test AI na ośmiu fikcyjnych zamówieniach: wiadomości, kryteria i odpowiedzi Gemini 3.8 Flash. Co sprawdzić poza ilością i datą dostawy.",
      "url": "https://pawlicaweb.pl/blog/jak-testowac-automatyzacje-ai",
      "inLanguage": "pl-PL",
      "isPartOf": {
        "@id": "https://pawlicaweb.pl/#website"
      },
      "publisher": {
        "@id": "https://pawlicaweb.pl/#organization"
      },
      "mainEntity": {
        "@id": "https://pawlicaweb.pl/blog/jak-testowac-automatyzacje-ai#article"
      },
      "breadcrumb": {
        "@id": "https://pawlicaweb.pl/blog/jak-testowac-automatyzacje-ai#breadcrumb"
      }
    },
    {
      "@type": "Blog",
      "@id": "https://pawlicaweb.pl/blog#blog",
      "name": "Blog Pawlica",
      "description": "Wpisy o AI, automatyzacji i realizacjach.",
      "url": "https://pawlicaweb.pl/blog",
      "inLanguage": "pl-PL",
      "publisher": {
        "@id": "https://pawlicaweb.pl/#organization"
      },
      "blogPost": [],
      "isPartOf": {
        "@id": "https://pawlicaweb.pl/#website"
      }
    },
    {
      "@type": "BlogPosting",
      "@id": "https://pawlicaweb.pl/blog/jak-testowac-automatyzacje-ai#article",
      "headline": "Jak sprawdzić automatyzację AI przed wdrożeniem: przykład testu na zamówieniach",
      "description": "Test AI na ośmiu fikcyjnych zamówieniach: wiadomości, kryteria i odpowiedzi Gemini 3.8 Flash. Co sprawdzić poza ilością i datą dostawy.",
      "url": "https://pawlicaweb.pl/blog/jak-testowac-automatyzacje-ai",
      "mainEntityOfPage": {
        "@id": "https://pawlicaweb.pl/blog/jak-testowac-automatyzacje-ai#webpage"
      },
      "datePublished": "2026-10-10",
      "dateModified": "2026-10-10",
      "articleSection": "Automatyzacja procesów",
      "inLanguage": "pl-PL",
      "image": "https://pawlicaweb.pl/_astro/cover.aNvSH886_29stia.jpg",
      "wordCount": 1000,
      "author": {
        "@id": "https://pawlicaweb.pl/#founder"
      },
      "publisher": {
        "@id": "https://pawlicaweb.pl/#organization"
      },
      "isPartOf": {
        "@id": "https://pawlicaweb.pl/blog#blog"
      }
    },
    {
      "@type": "BreadcrumbList",
      "itemListElement": [
        {
          "@type": "ListItem",
          "position": 1,
          "name": "Strona główna",
          "item": "https://pawlicaweb.pl/"
        },
        {
          "@type": "ListItem",
          "position": 2,
          "name": "Blog",
          "item": "https://pawlicaweb.pl/blog"
        },
        {
          "@type": "ListItem",
          "position": 3,
          "name": "Jak sprawdzić automatyzację AI przed wdrożeniem: przykład testu na zamówieniach",
          "item": "https://pawlicaweb.pl/blog/jak-testowac-automatyzacje-ai"
        }
      ],
      "@id": "https://pawlicaweb.pl/blog/jak-testowac-automatyzacje-ai#breadcrumb"
    }
  ]
}
```
