Artykuł komentuje najnowsze badania Anthropic opublikowane 27 marca 2025 r.
Najnowsza publikacja Anthropic dotycząca interpretowalności dużych modeli językowych (LLM) otwiera fascynujący wgląd w mechanizmy pracy zaawansowanych systemów AI, takich jak Claude. Jako firma specjalizująca się w inteligentnych asystentach biznesowych, z dużym zainteresowaniem śledzimy te odkrycia, które potwierdzają kierunek, w którym rozwijamy nasze produkty, w tym system Virtual WorkMate.
Uniwersalny język myśli
Jednym z najbardziej intrygujących odkryć zespołu Anthropic jest istnienie wspólnej przestrzeni pojęciowej między różnymi językami. Badacze odkryli, że model Claude wykorzystuje wewnętrzne reprezentacje pojęć niezależne od konkretnego języka, co umożliwia mu efektywne tłumaczenie i przełączanie się między językami.
Jest to szczególnie interesujące z perspektywy naszego podejścia do przetwarzania wiedzy w Virtual WorkMate. W naszym systemie zaimplementowaliśmy wielopoziomową architekturę przetwarzania, gdzie abstrakcyjne koncepty są reprezentowane na poziomie niezależnym od konkretnego formatowania czy terminologii branżowej. Dopiero na kolejnych etapach przetwarzania te uniwersalne reprezentacje są tłumaczone na język specyficzny dla danej branży, np. energetyki czy petrochemii.
Ta analogia między odkryciami Anthropic a naszą architekturą potwierdza, że kierunek rozwoju, w którym podążamy, jest zgodny z naturalnym sposobem, w jaki zaawansowane modele AI przetwarzają informacje.
Planowanie z wyprzedzeniem
Anthropic wykazało, że Claude – mimo generowania tekstu słowo po słowie – faktycznie planuje z wyprzedzeniem. Widać to doskonale na przykładzie tworzenia wierszy, gdzie model „myśli” o słowach rymujących się zanim jeszcze zacznie pisać linijkę.
W Virtual WorkMate zastosowaliśmy podobne podejście, które nazywamy „orkiestracją wieloetapową”. Nasz system nie działa w jednym, statycznym kroku przetwarzania, ale planuje proces w wielu iteracjach – zbiera dane, udoskonala swoje zrozumienie problemu i adaptuje się do informacji zwrotnej. Ta technologia WML (WorkMate Language) opiera się na podobnej zasadzie co mechanizmy opisane przez badaczy Anthropic – zamiast reagować tylko na bieżący kontekst, system patrzy perspektywicznie i planuje kolejne etapy.
Wewnętrzne obwody myślowe
Anthropic wprowadziło pojęcie „obwodów” (circuits) wewnątrz modelu – ścieżek przetwarzania informacji, które transformują słowa wejściowe w wyjściowe. Odkrycie tych struktur pozwala lepiej zrozumieć, jak model dochodzi do określonych wniosków.
Takie podejście jest zbieżne z naszą koncepcją agentów specjalistycznych w Virtual WorkMate. Zamiast polegać na monolitycznym modelu, nasz system wykorzystuje współpracujące ze sobą wyspecjalizowane jednostki, które komunikują się za pomocą ustrukturyzowanego języka. Te zróżnicowane „obwody myślowe” – od szeroko zakrojonych Orkiestratorów Wsparcia po wąsko wyspecjalizowanych Ekspertów Pliku – tworzą dynamiczną sieć przetwarzania, zdolną do rozwiązywania złożonych problemów biznesowych.
Mechanizmy unikania halucynacji
Szczególnie interesujące są odkrycia Anthropic dotyczące wewnętrznych mechanizmów Claude zapobiegających halucynacjom. Badacze wykryli, że domyślnym zachowaniem modelu jest odmowa odpowiedzi w przypadku niepewności, a odpowiadanie następuje tylko wtedy, gdy aktywowany jest mechanizm „znanych odpowiedzi”.
W kontekście systemów biznesowych, takich jak Virtual WorkMate, niezawodność i wiarygodność to kluczowe wartości. Dlatego w naszym rozwiązaniu zaimplementowaliśmy wielopoziomowe mechanizmy weryfikacji informacji:
- Specjalizacja agentów – każdy agent działa tylko w swoim obszarze kompetencji
- Kontrola uprawnień – agenci mogą komunikować się tylko w ramach swoich uprawnień
- Precyzyjna komunikacja – ustrukturyzowany język komunikacji między agentami zapobiega niejednoznacznościom
Złożone obliczenia i rozumowanie
Odkrycia dotyczące sposobu, w jaki Claude wykonuje obliczenia matematyczne, są fascynujące. Model nie wykorzystuje prostego algorytmu, ale równoległe ścieżki przetwarzania – jedną dla przybliżonego wyniku, drugą dla precyzyjnego obliczenia ostatniej cyfry.
W Virtual WorkMate podobnie zastosowaliśmy podejście oparte na współpracy różnych „modułów myślowych”. Na przykład, w procesie tworzenia dokumentacji przetargowej, system jednocześnie analizuje wymagania techniczne, aspekty prawne i dane rynkowe. Te równoległe procesy są następnie integrowane przez agentów nadzorujących, podobnie jak w opisanym przez Anthropic mechanizmie łączenia różnych ścieżek rozumowania.
Implikacje dla przyszłości AI w biznesie
Badania Anthropic nad interpretowalnością modeli LLM mają ogromne znaczenie dla rozwoju systemów AI w środowisku biznesowym. Lepsze zrozumienie wewnętrznych mechanizmów pracy modeli pozwala na:
- Zwiększenie niezawodności systemów AI
- Poprawę mechanizmów weryfikacji i kontroli
- Lepsze dostosowanie do specyficznych wymagań biznesowych
- Efektywniejszą współpracę między człowiekiem a sztuczną inteligencją
W BIAP od dawna wierzymy, że przyszłość AI w biznesie należy do systemów, które nie są czarnymi skrzynkami, ale których działanie może być zrozumiane i dostosowane do konkretnych potrzeb. Dlatego Virtual WorkMate został zaprojektowany jako system modułowy, z jasno określonymi rolami poszczególnych komponentów i przejrzystymi ścieżkami komunikacji.
Badania Anthropic potwierdzają, że kierunek, w którym rozwijamy nasze technologie, jest zgodny z najnowszymi odkryciami w dziedzinie AI. Interpretacja wewnętrznych mechanizmów zaawansowanych modeli językowych pozwala nam lepiej zrozumieć, jak projektować inteligentne systemy biznesowe, które są nie tylko skuteczne, ale również godne zaufania.
Adam Rybski
Dyrektor Pionu Inteligentnych Technologii
BIAP Sp. z o.o.