Wyszukiwanie wektorowe stało się standardem w systemach RAG, ale w złożonych środowiskach korporacyjnych często zawodzi. Struktura połączeń między faktami zostaje spłaszczona, a model traci możliwość poprawnego wnioskowania wieloetapowego.

Problem utraty kontekstu w wyszukiwaniu wektorowym

Standardowe podejście RAG dzieli dokumenty na fragmenty, osadza je w bazie wektorowej i zwraca wyniki na podstawie podobieństwa cosinusowego. Relacje strukturalne znikają podczas dzielenia tekstu na fragmenty, co prowadzi do utraty informacji o hierarchii i zależnościach. W rezultacie model otrzymuje luźne fragmenty tekstu bez jasnego obrazu powiązań między nimi. W środowiskach korporacyjnych, gdzie dane tworzą gęstą sieć, takie uproszczenie powoduje poważne błędy. LLM próbuje samodzielnie odgadnąć brakujące połączenia i często halucynuje lub odpowiada „nie wiem”, mimo że wszystkie potrzebne informacje znajdują się w systemie. Przykłady obejmują analizę ryzyka w łańcuchu dostaw czy wykrywanie niezgodności w raportach finansowych.

Hybrydowa architektura łącząca wektory z grafem

Rozwiązaniem jest przejście od płaskiego modelu RAG do architektury Graph RAG. Proces zaczyna się już na etapie wprowadzania danych, gdzie model lub narzędzie do rozpoznawania encji (NER) identyfikuje obiekty i relacje, a następnie łączy je z istniejącym grafem. Struktura budowana jest od razu zamiast rekonstruowania jej później z chaotycznych logów. Dane strukturalne trafiają do bazy grafowej, a osadzenia wektorowe przechowywane są jako właściwości wybranych węzłów. W fazie odzyskiwania informacji najpierw wykonywany jest skan wektorowy, który wskazuje punkty wejścia, a następnie następuje przejście po relacjach. Dzięki temu LLM otrzymuje nie tylko pasujące fragmenty, ale także uporządkowany kontekst powiązań.

Praktyczna implementacja z użyciem Neo4j i OpenAI

Referencyjna implementacja zakłada wykorzystanie istniejącego grafu dostawców i fabryk. Nowe zdarzenie ryzyka w formie tekstu jest przetwarzane, encje są wyodrębniane i łączone z odpowiednimi węzłami. Zapytanie Cypher łączy oba światy – najpierw znajduje węzeł zdarzenia poprzez podobieństwo wektorowe, a potem przechodzi do fabryk narażonych na ryzyko. Wynik zwracany do modelu zawiera konkretne pola, takie jak dostawca, fabryka i opis problemu. Model może więc udzielić precyzyjnej odpowiedzi zamiast ogólnego streszczenia. Takie podejście znacząco zmniejsza liczbę halucynacji przy pytaniach wymagających wnioskowania wieloetapowego.

Wyzwania opóźnień i spójności w środowisku produkcyjnym

Przeniesienie rozwiązania z etapu prototypu do produkcji wymaga kompromisów. Przechodzenie po grafie jest droższe obliczeniowo niż zwykłe wyszukiwanie wektorowe i może zwiększać czas odpowiedzi. Optymalizacja indeksów grafowych oraz ograniczenie głębokości przeszukiwania stają się kluczowe dla utrzymania akceptowalnych opóźnień. Dodatkowo trzeba zadbać o aktualizację grafu przy napływie nowych danych, aby uniknąć niespójności między strukturą a osadzeniami wektorowymi. Firmy stosujące to podejście raportują konieczność monitorowania zarówno jakości odzyskiwania danych, jak i wydajności zapytań hybrydowych.

Zastosowania w branżach o silnie powiązanych danych

Graph RAG sprawdza się szczególnie tam, gdzie relacje mają bezpośredni wpływ na decyzje biznesowe. W łańcuchu dostaw pozwala śledzić wpływ opóźnień komponentów na konkretne zamówienia klientów. W obszarze zgodności (compliance) ułatwia łączenie regulacji z wewnętrznymi procedurami i raportami. Wykrywanie nadużyć zyskuje na kontekście dzięki możliwości szybkiego sprawdzania powiązań między transakcjami i podmiotami. W każdym z tych przypadków standardowe wyszukiwanie wektorowe nie wystarcza, ponieważ pomija jawne zależności. Hybrydowe rozwiązanie dostarcza modelowi strukturalny kontekst potrzebny do wyciągania trafnych wniosków.

Podsumowanie i kierunki dalszego rozwoju

Warto również rozważyć integrację z istniejącymi platformami testowania behawioralnego modeli oraz rozwiązań do zarządzania agentami. Kolejnym ciekawym kierunkiem jest połączenie z systemami zarządzania agentami AI.

Źródła:

VentureBeat, TechCrunch, The Verge, Ars Technica, Neo4j blog, OpenAI blog