Formularz został pomyślnie przesłany.
Więcej informacji można znaleźć w skrzynce pocztowej.
Zatrudnij nas
Zatrudnij nas
Zatrudnij nas 
O nas 
Technologie Portfolio
Zatrudnij nas 
Jeśli wypróbowałeś już chatbota LLM w pracy, znasz punkt krytyczny: brzmi pewnie, a potem ktoś pyta o szczegóły polityki, regułę produktu lub najnowszy proces wewnętrzny, a odpowiedź jest błędna lub niejasna. Twój zespół kończy się na podwójnym sprawdzaniu wszystkiego, przeszukiwaniu plików PDF i wiki oraz martwieniu się o to, kto właśnie widział co na czacie.
Chatbot RAG łączy LLM z zatwierdzoną wiedzą firmy w momencie zadawania pytania. Wyciąga odpowiednie fragmenty z dokumentów, używa ich jako podstawy odpowiedzi i może pokazać tekst źródłowy, aby ludzie mogli go zweryfikować. Reguły dostępu mogą być częścią konfiguracji, więc bot nie wyświetla wrażliwych treści niewłaściwym osobom.
W tym przewodniku wyjaśnię Definicja chatbota RAG, Jak działa Retrieval-Augmented Generation, gdzie najlepiej pasuje i jak go wdrożyć krok po kroku, w tym funkcje i kontrole bezpieczeństwa, których zespoły zwykle potrzebują w rzeczywistych środowiskach.
Chatbot RAG lub wyszukiwanie rozszerzone generowanie chatbot, to asystent czatu, który odpowiada, mając przed sobą dane użytkownika. Zanim odpowie, przeszukuje dokumenty, bazy danych lub interfejsy API w poszukiwaniu najistotniejszych fragmentów, a następnie LLM pisze odpowiedź, korzystając z wyciągniętego kontekstu. Kontrast jest prosty. Zwykły LLM odpowiada na podstawie tego, co pamięta (z wcześniej wprowadzonych danych). A RAG AI chatbot odpowiedzi po Sprawdza źródła, co ogranicza halucynacje i dodaje cytaty na poparcie swoich twierdzeń.
Aby zrozumieć Znaczenie chatbota RAG Bez żargonu, wyobraź sobie to. Poniedziałek rano. Rezerwujesz 9-godzinny lot na podróż dla klienta i (na pewno) chcesz działać szybko, więc wysyłasz wiadomość na czacie, aby sprawdzić, czy Twoja firma obejmuje ekonomię premium dla lotów powyżej 6 godzin. Podstawowy bot od razu odpowiada twierdząco. Rezerwujesz. Gotowe.
Dwa tygodnie później wniosek o zwrot kosztów zostaje odrzucony. Ponieważ, nie wiedząc o tym, polityka uległa zmianie w ostatnim kwartale, w którym dodano nowy etap zatwierdzania. Teraz masz do czynienia z wymianą zdań z działem finansowym, twój menedżer jest w to wciągnięty, a ty przekopujesz wiki, próbując udowodnić, jaka jest w ogóle zasada.
DEX Chatbot zasilany przez RAG radzi sobie z tym samym pytaniem, sprawdzając najpierw politykę podróży, cytując dokładną zasadę i porzucając link. Rezerwujesz właściwą rzecz lub najpierw uzyskujesz zgodę. Tak czy inaczej, nie ma później niespodzianki.
Różnice są łatwiejsze do zrozumienia, gdy przyjrzymy się typowym przykładom:
Zazwyczaj już po pierwszym tygodniu można stwierdzić, czy chatbot się przyjmie. Jeśli ludzie nie mogą zaufać odpowiedziom, przestają z nich korzystać. Jeśli nie mogą sprawdzić źródła, przestają jeszcze szybciej. RAG daje im coś solidnego, na czym mogą się oprzeć. Oto zwycięstwa, które widzę najczęściej, gdy to działa:
Zbudowaliśmy wiele systemów opartych na dokumentach dla zespołów wewnętrznych: polityki, bazy wiedzy, portale, cały ten bałagan. Wiemy więc, co psuje się jako pierwsze. Jeśli planujesz chatbota RAG dla konfiguracji korporacyjnej, są to funkcje, o które zespoły pytają najczęściej. Nie dlatego, że brzmią fajnie. Ponieważ ratują one sytuację, gdy pojawiają się prawdziwi użytkownicy.
Gdy bot udziela odpowiedzi bez wskazania źródła, ludzie wahają się, ponieważ nie mogą mu w pełni zaufać. Atrybucja źródła dodaje link lub notatkę do dokładnego dokumentu i sekcji, z której pochodzi odpowiedź. Kiedy więc ktoś zapyta: “Skąd to pochodzi?”, bot może wskazać potwierdzenie, zamiast zmuszać ludzi do przekopywania się przez wiki.
Niektóre pytania to wyszukiwanie słów kluczowych, takich jak błąd 0x801c03f3, numer części lub identyfikator polityki. Inne to po prostu sposób, w jaki ludzie mówią, na przykład: “Dlaczego to nie działa po aktualizacji?”. Wyszukiwanie hybrydowe obejmuje obie te funkcje. Uruchamia wyszukiwanie słów kluczowych (BM25) wraz z wyszukiwaniem wektorowym, dzięki czemu bot może dopasować dokładny ciąg znaków i nadal uchwycić intencję stojącą za pytaniem. Bez tego pojawiają się irytujące błędy. Pytasz o dokładny kod lub identyfikator, dokument ma ten dokładny kod, a bot nadal ściąga niewłaściwą stronę lub mówi, że nic nie znalazł.
Ludzie nie rozmawiają z botami tak, jak z wyszukiwarką. Piszą szybko, pomijają szczegóły i porzucają niejasne pytania. Przepisywanie zapytań naprawia to jeszcze przed rozpoczęciem wyszukiwania. Czyści literówki, uzupełnia brakujący kontekst tam, gdzie może, i zamienia niewyraźne pytanie w coś, co system może faktycznie wyszukać. W ten sposób można uniknąć Chatbot LLM RAG pobieranie niewłaściwego dokumentu od pierwszego kroku.
Wyszukiwanie rzadko zwraca jedno idealne dopasowanie. Daje ci stos wystarczająco bliskich. A model ma tendencję do chwytania pierwszej rzeczy, którą widzi i budowania wokół niej odpowiedzi. Ponowny ranking to naprawia. Pobiera najlepsze wyniki, ponownie je ocenia i umieszcza najlepsze z nich na pierwszym miejscu, zanim model zacznie pisać. Różnica jest oczywista w rzeczywistym użyciu. Otrzymujesz mniej dziwnych objazdów i mniej odpowiedzi opartych na niewłaściwym akapicie.
Większość dokumentów firmowych jest długa, a przydatna część rzadko znajduje się w pierwszym akapicie. Bez kompresji bot pobiera całe akapity, a odpowiedź zaczyna błądzić. Dzięki kompresji, bot redukuje źródło do kilku linijek, które faktycznie mają znaczenie dla pytania, a resztę pomija. Otrzymujesz więc czystszą odpowiedź.
Link do cytatu jest lepszy niż nic, ale nadal wysyła cię do gigantycznego pliku PDF i spędzasz pięć minut na szukaniu jednego zdania. Podglądy cytatów zmniejszają ten ból. Po najechaniu kursorem na cytat pojawia się Chatbot LLM RAG pokazuje dokładnie użyte linie. Można to sprawdzić w dwie sekundy i przejść dalej.
Prawdziwy czat to łańcuch, a nie pojedyncze pytanie. Pytasz o coś, otrzymujesz odpowiedź i kontynuujesz. Pamięć konwersacyjna utrzymuje bota w wątku, dzięki czemu rozumie on, do czego się odnosisz i może kontynuować bez resetowania. Bez niej bot zapomina, ty powtarzasz wszystko od nowa, a czat zaczyna przypominać formularz z dodatkowymi krokami.
Zespoły przechowują kluczowe informacje w tabelach, wykresach, zrzutach ekranu i zeskanowanych plikach PDF. Bot tekstowy nie może odczytać tych treści, więc może przegapić szczegóły, które decydują o odpowiedzi. Obsługa wielu formatów pozwala botowi odczytać te formaty i wykorzystać je w odpowiedzi. Ta funkcja ma znaczenie w instrukcjach i raportach finansowych, gdzie odpowiedź często znajduje się w jednej komórce tabeli.
Wykorzystanie chatbot wykorzystujący RAG musi przestrzegać zasad dostępu, tak samo jak każdy pracownik, w tym nieporządnych przypadków, w których jeden dokument ma sekcje otwarte i sekcje zastrzeżone. Jeśli zrobisz to źle, wdrożenie zostanie zablokowane. Zrób to dobrze, a ludzie będą mogli korzystać z czatu bez obawy, że wycieknie coś, czego nie powinno.
Niektóre środowiska wymagają ściślejszej kontroli integralności i nadużyć. Jednym z podejść, które widziałem w implementacji referencyjnej, jest dodanie warstwy blockchain do zarządzania. Może on przechowywać rekordy tylko w formie aplikacji, podczas gdy inteligentne kontrakty uruchamiają reguły zarządzania przy użyciu głosowania i konsensusu w celu egzekwowania reguł. Nie jest to jednak konieczne w przypadku każdego projektu. Rozważ to, gdy chcesz mieć silniejszą kontrolę nad tym, jak zawartość i uprawnienia zmieniają się w czasie.
Systemy RAG są atakowane w określony sposób. Wstrzykiwanie kodu i zatruta zawartość są powszechne. Można dodać monitorowanie, które przegląda dzienniki czatu pod kątem ryzykownych wzorców, skanuje dokumenty w poszukiwaniu oznak zatrucia i obserwuje przepływ danych pod kątem nietypowej aktywności. Jeśli coś wygląda nietypowo, jest to oznaczane flagą i kierowane na ścieżkę reakcji, taką jak blokowanie źródła, ostrzeganie bezpieczeństwa lub wymuszanie kroku weryfikacji.
Nie potrzebujesz wymyślnego powodu, aby to zbudować. Jeśli Twój zespół wciąż pyta o te same rzeczy, a odpowiedź jest już gdzieś zapisana, płacisz podatek od wyszukiwania. Bot, który może zacytować źródło, szybko zmniejsza ten ból. Zebrałem przypadki użycia, w których ta luka pojawia się najczęściej.
Tradycyjne chatboty zazwyczaj trzymają się ustalonego menu pytań. Jeśli wyjdą poza nie, utkną w martwym punkcie. Chatbot oparty na technologii RAG może wyszukiwać odpowiedzi w źródłach, z którymi się łączysz, dzięki czemu odpowiedzi są zgodne z tym, co faktycznie mówią Twoje dokumenty i systemy.
Wybierz najpierw jedną domenę, taką jak dokumenty pomocy technicznej, zasady wewnętrzne lub podręczniki IT. Zapisz najważniejsze pytania, które chcesz uwzględnić i zdefiniuj, co liczy się jako poprawna odpowiedź. Zdecyduj, co bot zrobi, gdy źródła nie obsługują odpowiedzi. Na przykład skieruje użytkownika do właściwej sekcji dokumentu lub zada dodatkowe pytanie, aby zawęzić zapytanie.
Zacznij od wymienienia wszystkich źródeł, od których oczekujesz Chatbot LLM RAG kto jest ich właścicielem, jak są aktualne i jakie są zasady dostępu. Następnie wyczyść rzeczy, które będą wymagały późniejszego wyszukiwania:
Jeśli zasady często się zmieniają, uzgodnij prostą regułę wersji, aby stare wersje robocze nie wygrywały. Ponadto przechowuj uprawnienia wraz z dokumentami i egzekwuj je za każdym razem, gdy bot pobiera zawartość.
Jakość wyszukiwania zależy od dwóch rzeczy: sposobu podziału treści i sposobu jej oznaczania. W przypadku polityk i procedur, podziel je według sekcji i nagłówków, tak aby pobrany tekst był czytelny sam w sobie. Dodaj niewielką zakładkę, aby nie przecinać reguły przez dwa fragmenty. Deduplikuj powtórzenia, aby skopiowane akapity nie zdominowały wyszukiwania. Po podzieleniu na fragmenty i oczyszczeniu, przepuść te bloki tekstu przez model osadzania, aby przekonwertować je na liczby wektorowe, co pozwoli później przeszukiwać bazę danych według znaczenia i kontekstu.
Dodaj metadane, na podstawie których będziesz później filtrować (tytuł, sekcja, data, zespół, region, produkt, wersja). Ustaw wyzwalacze ponownego indeksowania, takie jak aktualizacja dokumentu, nowa wersja lub zmiana uprawnień. W przypadku plików PDF i skanów uruchom wyodrębnianie tekstu i kontrole jakości, aby nie indeksować uszkodzonego tekstu.
Jak już wiesz, chatbot RAG potrzebuje kilku współpracujących ze sobą części:
Teraz masz prawdziwy wybór: wybrać gotową konfigurację lub zbudować własny stos.
Konfiguracja jednym kliknięciem pozwala szybko uzyskać wersję demonstracyjną. Sprawia to jednak, że późniejsze zmiany są bolesne. Stos, który kontrolujesz, daje ci pole do manewru. Na przykład interfejs użytkownika React z usługami Python za nim pozwala na wymianę dostawcy LLM lub warstwy pobierania bez przebudowywania wszystkiego.
W tym przypadku zalecam wybranie drugiej opcji, jeśli chcesz zachować kontrolę, gdy coś się zmieni.
Wyciek uprawnień to awaria, po której trudno się pozbierać. Na przykład, młodszy pracownik zadaje nieszkodliwie brzmiące pytanie dotyczące wynagrodzeń. The Chatbot zasilany przez RAG wyszukuje, pobiera linijkę z prywatnego folderu CEO i wrzuca ją na czat. Teraz jest to problem firmy.
Dlatego uprawnienia muszą być częścią wyszukiwania. Filtrowanie podczas pobierania przy użyciu list dostępu do dokumentów, członkostwa w grupach i znaczników metadanych. Uruchom te same kontrole ponownie, gdy użytkownik otworzy link źródłowy.
Zaplanuj również częściowy dostęp. Niektórzy użytkownicy mogą zobaczyć jedną sekcję dokumentu, ale nie inną, co wpływa na podział na fragmenty i metadane. Jeśli użytkownicy pytają o dokładne kody, identyfikatory lub numery polityk, wyszukiwanie hybrydowe (semantyczne plus słowo kluczowe) często działa lepiej niż samo osadzanie.
Po ustawieniu pobierania i uprawnień zdecyduj, co pojawi się w odpowiedzi. Ludzie chcą dwóch rzeczy: odpowiedzi i dowodu tuż pod nią.
Solidne ustawienie domyślne wygląda następująco:
Następnie należy ustawić regułę "no-guess". Jeśli to, co wyciągnął bot, nie odpowiada odpowiedzi, bot powinien to powiedzieć i albo zadać ukierunkowane pytanie uzupełniające, albo wysłać użytkownika do sekcji źródłowej.
Przed uruchomieniem przetestuj Chatbot zasilany przez RAG z prawdziwymi pytaniami od rzeczywistych użytkowników. Poszukaj słabych punktów, takich jak pobieranie niewłaściwej sekcji, pominięcie właściwego dokumentu lub odpowiedź wykraczająca poza to, co mówi źródło. Użyj tych ustaleń, aby dostosować rozmiar fragmentu, ustawienia wyszukiwania, filtry metadanych i podpowiedzi.
Uprość proces oceny, dzieląc go na dwie części. Najpierw sprawdź, czy wyszukiwanie znalazło właściwy fragment. Następnie sprawdź, czy odpowiedź mieści się w tym fragmencie. Śledź wskaźnik trafień, pokrycie cytatami i liczbę odpowiedzi wspieranych przez źródło, aby mierzyć postępy w czasie.
Dodaj kontrole wstrzykiwania podpowiedzi, rejestruj, kto o co pytał i zapisuj źródła używane dla każdej odpowiedzi. Jeśli Twoje środowisko jest bardziej narażone na ryzyko, uważaj na szkodliwe treści i dziwne przepływy danych, które wyglądają nietypowo. Redaguj sekrety i dane osobowe w razie potrzeby, ustaw jasne zasady przechowywania dzienników czatu i pobranych fragmentów oraz przechowuj dzienniki audytu, które pokazują użytkownika, pobrane źródła i ostateczną odpowiedź.
Wysyłaj w małych wydaniach. Zacznij od wersji pilotażowej, przeczytaj prawdziwe czaty, napraw to, co się psuje, a następnie poszerz dostęp. Po uruchomieniu nadaj nazwy właścicielom w celu aktualizacji zawartości, dostrojenia pobierania i zmian uprawnień. Bez właścicieli dokumenty zmieniają się, foldery są przenoszone, a bot powoli zaczyna udzielać odpowiedzi, którym ludzie przestają ufać.
Z mojego doświadczenia wynika, że mały pilot zwykle ląduje w ciągu 4 do 8 tygodni. To jedna domena, jeden przepływ czatu, który działa od końca do końca, źródła i cytaty oraz podstawowe kontrole dostępu. Wystarczająco dużo, aby udowodnić, że bot może odpowiedzieć i pokazać swoją pracę. Za mało, by przekształcić się w całe zadanie poboczne.
Szersze wdrożenie zajmuje zwykle od 10 do 16 tygodni. Ten dodatkowy czas potrzebny jest na pobranie danych z większej liczby typów źródeł, obsługę bardziej rygorystycznych uprawnień, dodanie monitorowania i dzienników oraz testowanie z niechlujnymi pytaniami, które ludzie faktycznie wpisują.
Drużyna zazwyczaj wygląda następująco:
Możesz także zatrudnić inżyniera bezpieczeństwa ML, gdy wstrzykiwanie promptów i zatruta zawartość stanowią realne ryzyko. Można też dodać umiejętności w zakresie blockchain, ale tylko wtedy, gdy częścią planu jest zarządzanie z zapisem tylko w formie aplikacji.
Po uruchomieniu chatbota RAG zespoły mogą osiągnąć wzrost produktywności o 41% i wzrost wykrywalności prób naruszenia o 20%. Całkiem nieźle.
Oczywiście, nie mogę obiecać, że zobaczysz te same liczby. Wyniki te pochodzą z konkretnych kompilacji, a szczegóły mają znaczenie. Przynajmniej nie przed sprawdzeniem zakresu. Punkt nadal pozostaje aktualny. Gdy bot odpowiada z zatwierdzonych źródeł, a zasady dostępu pozostają ścisłe, praca przyspiesza, a ryzykowne działania są szybciej wykrywane.
Jeśli chcesz sprawdzić, czy chatbot RAG pasuje do twojego zespołu, pokażemy ci Czym jest chatbot oparty na RAG, Podzielimy się podobnymi przypadkami, przeanalizujemy przypadki użycia i źródła danych oraz pomożemy zaprojektować kompilację, która pasuje do ograniczeń.
Może korzystać z dokumentów wewnętrznych, artykułów bazy wiedzy, stron wiki, treści pomocy technicznej i innych zatwierdzonych źródeł tekstu. Kluczem jest kontrola nad źródłami i regułami dostępu.
Typowym przykładem jest chatbot w wewnętrznym narzędziu do współpracy, w którym pracownicy proszą o podsumowania, wyodrębniają klauzule i porównują dokumenty, podczas gdy bot zwraca fragmenty źródłowe i egzekwuje limity przeglądania.
Nie zawsze. Wiele kompilacji wykorzystuje istniejące modele do osadzania i generowania, a następnie koncentruje wysiłki na przygotowaniu danych, jakości wyszukiwania, uprawnieniach i monitorowaniu.
Najczęstsze problemy obejmują pobieranie niewłaściwego fragmentu, brak kontekstu klucza i pozwolenie, by wstrzyknięcie monitu sterowało modelem. Pomagają w tym przeglądy bezpieczeństwa i monitorowanie, a także formaty odpowiedzi, które wskazują na tekst źródłowy.
