Le formulaire a été soumis avec succès.
Vous trouverez de plus amples informations dans votre boîte aux lettres.
Nous recruter Sélection de la langue
À propos 
Technologies Projets
Nous recruter 
Si vous avez déjà essayé un chatbot LLM au travail, vous connaissez le point de rupture : il semble confiant, puis quelqu'un demande un détail de politique, une règle de produit ou le dernier processus interne, et la réponse est erronée ou vague. Votre équipe finit par tout revérifier, par chercher dans les PDF et les wikis, et par s'inquiéter de savoir qui a vu quoi dans le chatbot.
Un chatbot RAG connecte un LLM à vos connaissances approuvées sur l'entreprise au moment de la question. Il extrait les bons passages de vos documents, les utilise comme base de la réponse et peut afficher le texte source pour que les gens puissent le vérifier. Les règles d'accès peuvent faire partie de la configuration, de sorte que le robot ne présente pas de contenu sensible à la mauvaise personne.
Dans ce guide, j'expliquerai les Définition du chatbot RAG, La génération augmentée par récupération, comment elle fonctionne, où elle s'adapte le mieux et comment la mettre en œuvre étape par étape, y compris les caractéristiques et les contrôles de sécurité dont les équipes ont généralement besoin dans des environnements réels.
Un chatbot RAG, ou récupération génération augmentée chatbot, LLM est un assistant de chat qui répond avec vos données sous les yeux. Avant de répondre, il recherche dans vos documents, bases de données ou API les éléments les plus pertinents, puis le LLM rédige la réponse à partir de ce contexte. Le contraste est simple. Un LLM simple répond en fonction de ce dont il se souvient (des données saisies précédemment). A Chatbot RAG AI réponses après il vérifie vos sources, ce qui réduit les hallucinations, et ajoute des citations à l'appui de ses affirmations.
Pour comprendre la Signification du chatbot RAG Sans jargon, imaginez ceci. Lundi matin. Vous réservez un vol de 9 heures pour un déplacement d'un client et (c'est sûr) vous voulez faire vite. Vous envoyez donc un message dans le chat pour vérifier si votre entreprise couvre la prime économie pour les vols de plus de 6 heures. Le bot de base répond immédiatement par l'affirmative. Vous réservez. C'est fait.
Deux semaines plus tard, votre demande de remboursement est rejetée. Car, à votre insu, la politique a changé au cours du dernier trimestre et une nouvelle étape d'approbation a été ajoutée. Vous avez maintenant un va-et-vient avec le service financier, votre responsable est mis à contribution et vous fouillez dans le wiki pour essayer de prouver ce qu'est la règle.
Chatbot alimenté par RAG répond à la même question en vérifiant d'abord la politique de voyage, en citant la règle exacte et en supprimant le lien. Vous réservez ce qu'il faut, ou vous obtenez d'abord l'approbation. Dans les deux cas, il n'y a pas de surprise par la suite.
Les différences sont plus faciles à saisir lorsque l'on examine des exemples courants :
On peut généralement savoir dès la première semaine si un chatbot va s'imposer. Si les gens n'ont pas confiance dans les réponses, ils cessent de les utiliser. S'ils ne peuvent pas vérifier la source, ils arrêtent encore plus vite. RAG leur donne quelque chose de solide sur lequel s'appuyer. Voici les gains que je constate le plus souvent lorsque le système fonctionne :
Nous avons construit de nombreux systèmes à forte documentation pour des équipes internes : politiques, bases de connaissances, portails, tout le bazar. Nous savons donc ce qui se casse en premier. Si vous prévoyez un chatbot RAG pour une entreprise, voici les fonctionnalités les plus demandées par les équipes. Non pas parce qu'elles ont l'air cool. Parce qu'elles vous sauvent la mise lorsque de vrais utilisateurs se présentent.
Lorsqu'un robot répond sans indiquer sa source, les gens hésitent parce qu'ils ne peuvent pas lui faire entièrement confiance. L'attribution de la source ajoute un lien ou une note vers le document et la section d'où provient la réponse. Ainsi, lorsque quelqu'un demande “D'où cela vient-il ?”, le robot peut indiquer le reçu au lieu d'obliger les gens à fouiller dans le wiki.
Certaines questions sont des chasses aux mots-clés comme l'erreur 0x801c03f3, un numéro de pièce ou un identifiant de politique. D'autres questions portent sur la façon dont les gens parlent, par exemple : “Pourquoi ce système ne fonctionne-t-il pas après la mise à jour ?” La recherche hybride couvre les deux. Elle exécute la recherche par mot-clé (BM25) en même temps que la recherche vectorielle, de sorte que le robot peut trouver la chaîne exacte tout en saisissant l'intention qui se cache derrière la question. Sans cela, vous obtiendrez des échecs ennuyeux. Vous demandez un code ou un identifiant exact, le document contient ce code exact, et le robot affiche toujours la mauvaise page ou dit qu'il n'a rien trouvé.
Les gens ne parlent pas aux robots comme ils parlent à une barre de recherche. Ils tapent vite, sautent des détails et laissent échapper des réponses vagues. La réécriture des requêtes corrige ces problèmes avant même que la recherche ne commence. Elle nettoie les fautes de frappe, complète le contexte manquant lorsqu'elle le peut et transforme une question floue en quelque chose que le système peut réellement rechercher. De cette façon, vous évitez les Chatbot LLM RAG saisir le mauvais document dès la première étape.
La recherche renvoie rarement une correspondance parfaite. Elle vous donne une pile de réponses assez proches. Et le modèle a tendance à s'emparer de la première chose qu'il voit et à construire la réponse autour d'elle. Le reclassement permet de remédier à cette situation. Il prend les meilleurs résultats, les classe à nouveau et place les meilleurs en premier avant que le modèle ne commence à écrire. La différence est évidente dans la pratique. Vous obtenez moins de détours bizarres et moins de réponses basées sur le mauvais paragraphe.
La plupart des documents d'entreprise sont longs, et la partie utile se trouve rarement dans le premier paragraphe. Sans la compression, le robot tire des paragraphes entiers et la réponse commence à s'égarer. Grâce à la compression, il réduit la source aux quelques lignes qui comptent réellement pour la question et laisse tomber le reste. Vous obtenez ainsi une réponse plus claire.
Un lien de citation est mieux que rien, mais il vous envoie toujours dans un PDF géant, et vous passez cinq minutes à chercher une phrase. Les aperçus de citations vous épargnent cette peine. Vous survolez la citation et l'aperçu Chatbot LLM RAG indique les lignes exactes qu'il a utilisées. Vous le vérifiez en deux secondes et vous passez à autre chose.
Le chat réel est une chaîne, pas une simple question. Vous demandez quelque chose, vous obtenez une réponse et vous continuez. La mémoire conversationnelle permet au robot de rester dans le fil, de comprendre ce à quoi vous faites référence et de continuer sans avoir à réinitialiser. Sans cette mémoire, le robot oublie, vous devez tout répéter et le chat commence à ressembler à un formulaire avec des étapes supplémentaires.
Les équipes conservent les informations clés dans des tableaux, des graphiques, des captures d'écran et des PDF scannés. Un robot textuel ne peut pas lire ce contenu et peut donc manquer le détail qui détermine la réponse. La prise en charge multimodale permet au robot de lire ces formats et de les utiliser dans la réponse. Cette fonctionnalité est importante pour les manuels et les rapports financiers, où la réponse se trouve souvent dans une cellule de tableau.
Le site chatbot utilisant RAG doit respecter vos règles d'accès, comme n'importe quel employé, y compris dans les cas compliqués où un document comporte des sections ouvertes et des sections restreintes. Si vous vous trompez, le déploiement est bloqué. Si vous le faites correctement, les gens peuvent utiliser le chat sans craindre qu'il ne déverse quelque chose qu'il ne devrait pas déverser.
Certains environnements nécessitent des contrôles plus stricts en matière d'intégrité et d'utilisation abusive. Une approche que j'ai vue dans une implémentation de référence consiste à ajouter une couche de blockchain pour la gouvernance. Elle peut stocker des enregistrements en annexe uniquement, tandis que des contrats intelligents exécutent des règles de gouvernance en utilisant le vote et le consensus pour l'application des règles. Mais vous n'avez pas besoin de cela pour chaque projet. Envisagez-la lorsque vous souhaitez renforcer les contrôles sur la façon dont le contenu et les autorisations changent au fil du temps.
Les systèmes RAG sont attaqués de manière spécifique. L'injection d'invites et le contenu empoisonné sont courants. Vous pouvez ajouter une surveillance qui examine les journaux de discussion pour y déceler des schémas risqués, qui analyse les documents pour y déceler des signes d'empoisonnement et qui surveille le flux de données pour y déceler une activité inhabituelle. Si quelque chose semble anormal, il le signale et l'achemine vers un chemin de réponse, comme bloquer la source, alerter la sécurité ou forcer une étape d'examen.
Vous n'avez pas besoin d'une raison particulière pour construire cela. Si votre équipe pose toujours les mêmes questions et que la réponse est déjà écrite quelque part, vous payez la taxe de recherche. Un robot capable de citer la source permet d'atténuer rapidement cette douleur. J'ai rassemblé les cas d'utilisation où cette lacune se manifeste le plus souvent.
Les chatbots traditionnels s'en tiennent généralement à un menu fixe de questions. S'ils en sortent, ils se bloquent. Un chatbot alimenté par RAG peut rechercher la réponse dans les sources que vous connectez, de sorte que les réponses correspondent à ce que disent réellement vos documents et vos systèmes.
Choisissez d'abord un domaine précis, comme les documents d'assistance, les politiques internes ou les manuels d'exécution IT. Rédigez les principales questions que vous souhaitez couvrir et définissez ce qui est considéré comme une réponse correcte. Décidez de ce que fait le robot lorsque les sources ne soutiennent pas une réponse. Par exemple, il oriente l'utilisateur vers la bonne section du document ou pose une question complémentaire pour préciser la demande.
Commencez par dresser la liste de toutes les sources que vous attendez de l Chatbot LLM RAG Il s'agit de savoir qui l'utilise, qui en est le propriétaire, à quel point il est à jour et quelles sont les règles d'accès. Nettoyez ensuite les éléments qui risquent de faire trébucher la recherche ultérieurement :
Si les politiques changent souvent, convenez d'une règle de version simple afin que les anciens projets ne continuent pas à gagner. De plus, les autorisations doivent être stockées avec les documents et appliquées chaque fois que le robot récupère du contenu.
La qualité de la recherche dépend de deux facteurs : la façon dont vous divisez le contenu et la façon dont vous l'étiquetez. Pour les politiques et les procédures, divisez le contenu en sections et en titres afin que le texte récupéré soit lisible en soi. Ajoutez un léger chevauchement afin de ne pas couper une règle en deux parties. Dédupliquez les répétitions afin que les paragraphes copiés ne dominent pas la recherche. Une fois le texte découpé et nettoyé, passez ces blocs de texte dans un modèle d'intégration pour les convertir en nombres vectoriels, ce qui permet à la base de données d'effectuer ultérieurement des recherches par sens et par contexte.
Ajoutez des métadonnées sur lesquelles vous filtrerez ultérieurement (titre, section, date, équipe, région, produit, version). Définissez des déclencheurs de réindexation, comme une mise à jour du document, une nouvelle version ou un changement d'autorisation. Pour les PDF et les numérisations, procédez à des extractions de texte et à des contrôles de qualité afin de ne pas indexer de texte erroné.
Comme vous le savez déjà, un chatbot RAG a besoin de plusieurs éléments qui fonctionnent ensemble :
Vous avez désormais le choix : opter pour une configuration prête à l'emploi ou créer votre propre pile.
Une installation en un seul clic vous permet d'obtenir rapidement une démo. Cependant, elle rend les changements plus difficiles par la suite. Une pile que vous contrôlez vous laisse une marge de manœuvre. Par exemple, une interface utilisateur React avec des services Python derrière elle vous permet de remplacer le fournisseur LLM ou la couche d'extraction sans tout reconstruire.
Dans ce cas, je vous recommande d'opter pour la deuxième option si vous souhaitez garder le contrôle lorsque les choses changent.
La fuite de permissions est un échec dont il est difficile de se remettre. Par exemple, un jeune employé pose une question anodine sur les salaires. L'employé Chatbot alimenté par RAG fait une recherche, prend une ligne dans le dossier privé du PDG et la dépose dans le chat. Il s'agit désormais d'un problème d'entreprise.
C'est pourquoi les autorisations doivent faire partie de la recherche. Filtrez pendant la recherche en utilisant les listes d'accès aux documents, l'appartenance à un groupe et les balises de métadonnées. Refaire les mêmes vérifications lorsque l'utilisateur ouvre un lien source.
Prévoyez également un accès partiel. Certains utilisateurs peuvent voir une section d'un document mais pas une autre, ce qui a une incidence sur le regroupement et les métadonnées. Si les utilisateurs demandent des codes, des identifiants ou des numéros de police exacts, la recherche hybride (sémantique et mot-clé) est souvent plus efficace que les enchâssements seuls.
Une fois la récupération et les autorisations définies, décidez de ce qui apparaît dans la réponse. Les gens veulent deux choses : la réponse et la preuve juste en dessous.
Un défaut solide ressemble à ceci :
Fixez ensuite la règle de non devinette. Si ce que le robot a tiré ne correspond pas à la réponse, le robot doit le dire et poser une question complémentaire ciblée ou renvoyer l'utilisateur à la section source.
Avant le lancement, testez le Chatbot alimenté par RAG avec de vraies questions d'utilisateurs réels. Recherchez les points faibles, par exemple lorsque la recherche aboutit à la mauvaise section, passe à côté du bon document ou que la réponse va au-delà de ce que dit la source. Utilisez ces résultats pour ajuster la taille des morceaux, les paramètres de recherche, les filtres de métadonnées et les messages-guides.
Simplifiez le processus d'évaluation en le divisant en deux parties. Tout d'abord, vérifiez si la recherche a permis de trouver le bon passage. Ensuite, vérifiez si la réponse est restée dans ce passage. Suivez le taux de réussite de la recherche, la couverture des citations et le nombre de réponses étayées par la source pour mesurer les progrès réalisés au fil du temps.
Ajoutez des contrôles pour l'injection d'invites, enregistrez qui a demandé quoi et sauvegardez les sources utilisées pour chaque réponse. Si votre environnement présente un risque plus élevé, surveillez les contenus nuisibles et les flux de données étranges qui semblent anormaux. Si nécessaire, expurgez les secrets et les données personnelles, définissez des règles claires de conservation des journaux de discussion et des bribes récupérées, et conservez des journaux d'audit indiquant l'utilisateur, les sources récupérées et la réponse finale.
Livrer par petites versions. Commencez par un projet pilote, lisez les discussions réelles, corrigez ce qui ne fonctionne pas, puis élargissez l'accès. Après le lancement, nommez des propriétaires pour les mises à jour de contenu, les réglages de récupération et les changements d'autorisation. Sans propriétaires, les documents changent, les dossiers se déplacent et le robot commence lentement à donner des réponses auxquelles les gens ne font plus confiance.
D'après mon expérience, un petit projet pilote aboutit généralement en 4 à 8 semaines. Il s'agit d'un domaine, d'un flux de discussion qui fonctionne de bout en bout, de sources et de citations, ainsi que de vérifications d'accès de base. Assez pour prouver que le robot peut répondre et montrer son travail. Pas assez pour que cela devienne une quête secondaire à part entière.
Un déploiement plus large prend généralement de 10 à 16 semaines. Ce temps supplémentaire est consacré à l'extraction d'un plus grand nombre de types de sources, à la gestion d'autorisations plus strictes, à l'ajout d'un suivi et de journaux, et aux tests avec les questions désordonnées que les gens tapent réellement.
L'équipe se présente généralement comme suit :
Vous pouvez également faire appel à un ingénieur en sécurité ML lorsque l'injection prompte et le contenu empoisonné constituent des risques réels. Ou ajouter des compétences en blockchain, mais seulement lorsque la gouvernance avec un enregistrement en annexe seulement fait partie du plan.
Lorsqu'un chatbot RAG est mis en service, les équipes peuvent obtenir un gain de productivité de 41% et un bond de 20% dans la détection des tentatives d'intrusion. C'est assez impressionnant.
Bien sûr, je ne peux pas vous promettre que vous obtiendrez les mêmes résultats. Ces résultats proviennent de constructions spécifiques, et les détails ont leur importance. Du moins, pas avant que nous ayons examiné votre champ d'application. L'idée reste la même. Lorsque le robot répond à partir de sources approuvées et que les règles d'accès restent strictes, le travail s'accélère et les activités à risque sont repérées plus rapidement.
Si vous souhaitez vérifier si un chatbot RAG convient à votre équipe, nous vous montrerons ce qu'est un chatbot basé sur RAG, Nous vous aiderons à concevoir une solution adaptée à vos contraintes en partageant des cas similaires, en examinant vos cas d'utilisation et vos sources de données.
Il peut utiliser des documents internes, des articles de la base de connaissances, des pages wiki, du contenu d'assistance et d'autres sources de texte que vous approuvez. L'essentiel est que vous contrôliez les sources et les règles d'accès.
Un exemple courant est celui d'un chatbot dans un outil de collaboration interne où les employés demandent des résumés, extraient des clauses et comparent des documents, tandis que le chatbot renvoie des extraits de source et impose des limites de visualisation.
Pas toujours. De nombreuses constructions utilisent des modèles existants pour l'intégration et la génération, puis concentrent leurs efforts sur la préparation des données, la qualité de l'extraction, les autorisations et la surveillance.
Les problèmes les plus fréquents sont la récupération du mauvais morceau, l'absence d'un contexte clé et le fait de laisser l'injection d'une invite diriger le modèle. Les contrôles de sécurité et la surveillance aident, ainsi que les formats de réponse qui renvoient au texte source.
