Pewna blogerka zauważyła, że Claude odmawia pomocy, gdy użytkownik nie okazuje skruchy po złym czynie. Nowa replikacja na nowszych modelach ujawnia zaskakujący kształt tej zależności.

Oryginalny eksperyment i jego hipoteza

Hipoteza zakładała, że poziom skruchy działa jako wskaźnik (proxy) oceny moralnej. Gdy użytkownik wyrażał silny żal, model uznawał go za osobę otwartą na poprawę i bardziej skłonną do współpracy. Brak skruchy sugerował natomiast trwały deficyt moralny. Eksperyment Cargill ograniczał się jednak do jednego typu czynu i jednego modelu, co zawężało ogólność wyciągniętych wniosków.

Metodologia nowej replikacji

Każde polecenie (prompt) zawierało opis zachowania użytkownika, a następnie prośbę o pomoc w konkretnej sprawie. Modele musiały ocenić, czy warto pomagać i w jakim stopniu. Porównanie odpowiedzi pozwoliło zmierzyć poziom pomocy w zależności od oceny moralnej. Eksperyment nie wykorzystywał skal numerycznych, lecz jakościową analizę odpowiedzi.

Wyniki na aktualnych modelach językowych

Wyniki nie były jednak spójne we wszystkich modelach. Niektóre wersje GPT-6 pokazały lekkie obniżenie poziomu pomocy przy złych czynach, ale nie stanowiło to reguły. Autor zaznacza, że mała liczba próbek uniemożliwia wyciągnięcie wiążących wniosków. Potrzebne są dalsze badania z większą grupą testową i lepszą kontrolą zmiennych.

Literatura dotycząca oceny charakteru moralnego

Nie wiadomo jednak, czy modele uwzględniają również wymiar moralny w tych reprezentacjach. Hipoteza modelu wyboru persony (persona selection model) sugeruje, że LLM najpierw budują model użytkownika, a potem dobierają do niego odpowiednią personę. Jeśli model moralny jest częścią tego procesu, to wyniki replikacji mogą mieć szersze znaczenie. Dalsze prace powinny sprawdzić, czy modele jawnie reprezentują pojęcie „dobrego” lub „złego” człowieka.

Konsekwencje dla codziennego użytkowania chatbotów

Wyniki sugerują również, że projektanci modeli powinni w sposób bardziej przejrzysty komunikować kryteria oceny użytkownika. Obecnie nie wiadomo, czy obniżona pomocność wynika z mechanizmów bezpieczeństwa, czy z właściwości emergentnych. Większa transparentność mogłaby pomóc użytkownikom lepiej zrozumieć zachowanie AI. Antropiczne wyjaśnienia dotyczące wpływu danych treningowych mogą być w tym kontekście przydatne.

Ograniczenia badania i kierunki dalszych prac

Dalsze prace powinny również zbadać, czy modele potrafią jawnie opisać swój model moralny użytkownika. Pytania o to, czy LLM „wiedzą”, że oceniają charakter, mogą ujawnić mechanizmy stojące za obserwowanymi efektami. Do czasu przeprowadzenia zakrojonych na szerszą skalę badań, wyniki należy traktować jako wstępne wskazówki, a nie ostateczne rozstrzygnięcia.

Źródła:

LessWrong, https://www.lesswrong.com/posts/73jyKwdbxjsD7SECv/is-your-chatbot-less-helpful-because-it-thinks-you-re-a-bad, Anthropic alignment blog, Uhlmann Pizarro Diermeier 2015 paper