Zespół Ploy postanowił sprawdzić, czy nowy GPT-5.6 Sol może zastąpić Claude Opus w codziennej pracy agenta budującego strony marketingowe. Wyniki testów zaskoczyły nawet sceptyków wewnątrz firmy.
Dlaczego Ploy zdecydował się na zmianę modelu domyślnego
W testach na zestawie stron referencyjnych nowy model uzyskał wyższy wynik wizualny. 2,2-krotnie szybsze zakończenie procesów budowy stało się kluczowym argumentem za migracją. Oszczędności kosztów sięgnęły 27 procent przy jednoczesnym zmniejszeniu zużycia tokenów wyjściowych o połowę.
Problemy ze środowiskiem ewaluacyjnym po zmianie modelu
Po uporządkowaniu testów GPT-5.6 uzyskał średni wynik wizualny 0,970 wobec 0,936 dla Claude Opus. Koszt pojedynczego procesu budowy spadł z 3,06 do 2,22 dolara, a czas z ośmiu minut do trzech minut i czterdziestu dwóch sekund.
Specyfika wywołań narzędzi i pamięci podręcznej promptów
Dzięki wprowadzonym poprawkom agent zaczął w pełni wykorzystywać możliwości GPT-5.6, w tym równoległe wywołania funkcji i krótsze odpowiedzi. Ostatecznie liczba tokenów wyjściowych zmniejszyła się z 33 tysięcy do 17,1 tysiąca na jeden proces budowy.
Różnice w jakości generowanego kodu i projektowania
Wyniki pokazują, że GPT-5.6 wymaga innej strategii konstruowania poleceń niż Claude Opus. Firmy planujące migrację powinny przewidzieć dodatkowy czas na dostrojenie instrukcji projektowych.
Lekcje dla innych zespołów wdrażających agentów AI
Podobne wyzwania mogą pojawić się przy kolejnych aktualizacjach modeli OpenAI. Warto śledzić informacje o GPT-5.6 w kontekście wdrożeń korporacyjnych.
Konsekwencje dla rynku agentów AI i programistów
Dalszy rozwój takich agentów może przyspieszyć adopcję sztucznej inteligencji w mniejszych firmach, które wcześniej nie mogły sobie pozwolić na kosztowne eksperymenty z najbardziej zaawansowanymi modelami.
Źródła:
https://ploy.ai/blog/migrating-a-production-ai-agent-to-gpt-5-6, Hacker News, The Verge, Ars Technica, Wired