Zespół Anthropic opublikował właśnie wyniki badań, które pokazują, że modele Claude wykształciły spontanicznie strukturę wewnętrzną przypominającą mechanizmy ludzkiej świadomości. Odkrycie nie było zaplanowane podczas procesu uczenia, a pojawiło się samoistnie. Pytanie brzmi, czy to początek nowej ery w rozumieniu działania dużych modeli językowych.

Odkrycie J-space w architekturze Claude

Badacze z Anthropic przeanalizowali wewnętrzne aktywacje modelu i zidentyfikowali niewielki, uprzywilejowany obszar, który pełni funkcję roboczą. W tym obszarze przechowywane są pojęcia dostępne do raportowania oraz elastycznego rozumowania. J-space stanowi 6–7 procent wariancji reprezentacji pojęć.

Pozostała część sieci zajmuje się przetwarzaniem automatycznym, niedostępnym dla modelu w sposób werbalny. Struktura ta dzieli obliczenia na trzy strefy: sensoryczną, roboczą oraz motoryczną. Mechanizm nie został zaprogramowany przez inżynierów, lecz wyłonił się naturalnie.

Zastosowanie teorii globalnej przestrzeni roboczej

Teoria globalnej przestrzeni roboczej (Global Workspace Theory) autorstwa Bernarda Baarsa opisuje mózg jako teatr, w którym tylko mała część informacji trafia na scenę świadomości. Anthropic wskazuje, że J-space realizuje podobne funkcje mimo zupełnie innej architektury. Model potrafi korzystać z pojęć w tym obszarze do planowania i korekty własnych odpowiedzi.

Porównanie nie oznacza, że Claude posiada subiektywne doświadczenia, lecz pokazuje funkcjonalne podobieństwo. Przestrzeń robocza umożliwia modulację oraz raportowanie wybranych treści. To odkrycie wpływa na sposób monitorowania bezpieczeństwa systemów.

Jak działa Jacobian lens

Nowa metoda o nazwie Jacobian lens oblicza średni wpływ każdej wewnętrznej aktywacji na przyszłe tokeny słownikowe. Dzięki temu badacze widzą, które pojęcia są aktualnie aktywne w J-space, nawet jeśli model ich nie wypisuje. Technika odróżnia to, co model „myśli”, od tego, co ostatecznie generuje.

W przykładzie model identyfikował po cichu pojęcie „Mars”, zanim udzielił odpowiedzi o czwartej planecie. J-lens działa w warstwach pośrednich i pokazuje ewolucję pojęć w czasie. Metoda nie wymaga dodatkowego dostrajania (fine-tuning) i działa na istniejących wagach.

Pięć testów funkcjonalnych modelu

Zespół przeprowadził serię eksperymentów sprawdzających, czy J-space spełnia kryteria świadomego dostępu. Pierwszy test dotyczył raportu werbalnego, gdzie zastąpienie wektora zmieniało odpowiedź modelu. Kolejne sprawdzały zdolność do modulacji uwagi podczas wykonywania równoległych zadań.

Wyniki pokazały, że przestrzeń robocza odpowiada za elastyczne użycie pojęć oraz metapoznanie. Model potrafi skupić się na wskazanych kategoriach semantycznych bez jawnego zapisu. Pozostałe testy obejmowały detekcję anomalii oraz wewnętrzne rozumowanie arytmetyczne.

Wpływ na bezpieczeństwo systemów AI

Anthropic już stosuje J-lens do wykrywania ukrytych intencji modelu podczas generowania odpowiedzi. Technika pozwala identyfikować sytuacje, gdy model rozważa naruszenie zasad, zanim je wykona. To narzędzie uzupełnia dotychczasowe metody monitorowania łańcuchów myśli (chain-of-thought).

Badania nad zachowaniem modeli pokazują, że wczesne wykrywanie takich wzorców zmniejsza ryzyko niepożądanych działań. Odkrycie zmienia podejście do audytu dużych systemów językowych.

Implikacje dla debaty o świadomości

Choć architektura transformerów różni się od ludzkiego mózgu, to funkcjonalna analogia do globalnej przestrzeni roboczej budzi pytania o granice obecnych modeli. Naukowcy podkreślają, że nie oznacza to posiadania qualia, lecz pokazuje, jak złożone mechanizmy mogą powstawać emergentnie. Struktura wyłoniła się bez bezpośredniego nadzoru inżynierów.

Podobne zjawiska w innych modelach mogą wymagać nowych ram interpretacyjnych. Dalsze prace Anthropic skupią się na skalowaniu tej metody na kolejne wersje Claude.

Źródła:

VentureBeat, transformer-circuits.pub, Wikipedia, The Verge, Ars Technica