Voici ce qui se passe lorsque vous déployez un assistant d'IA au-dessus de votre base de connaissances interne :
Un nouvel ingénieur demande : "Comment configurer l'environnement de test ?"
L'IA recherche votre documentation, trouve trois documents pertinents, synthétise une réponse et la présente avec confiance. L'ingénieur suit les instructions. Les deux premières étapes fonctionnent. La troisième étape fait référence à un outil CLI qui a été supprimé il y a six mois. L'étape quatre décrit une configuration d'infrastructure qui a été remplacée au cours d'une migration que personne n'a documentée.
L'ingénieur est bloqué. Il envoie un message au canal de l'équipe. Quelqu'un dit : "Oh, ce document est vraiment vieux". L'IA ne le savait pas. Elle ne peut pas le savoir. Elle a simplement récupéré tout ce qu'elle a trouvé et l'a présenté comme une vérité.
C'est le comportement par défaut de tous les systèmes RAG, de tous les outils de recherche IA et de tous les assistants dotés de LLM que vous avez déjà utilisés pour des documents internes. Ils récupèrent tout. Ils ne font pas de distinction. Ils ne peuvent pas faire la différence entre ce qui est frais et ce qui est périmé.
Et cela détruit la confiance dans les outils d'IA plus rapidement que ces outils ne peuvent la construire.
Pourquoi les assistants d'IA sont aveugles à la qualité
Les grands modèles de langage et les systèmes de génération augmentée de recherche (RAG) fonctionnent en trouvant du texte sémantiquement pertinent pour une requête, puis en utilisant ce texte pour générer une réponse. La correspondance de la pertinence est généralement excellente. La recherche vectorielle et l'intégration sont réellement efficaces pour trouver du contenu en rapport avec une question.
Mais la pertinence n'est pas synonyme de fiabilité.
Un document écrit en 2023 sur votre processus de déploiement Kubernetes est très pertinent pour la question "comment puis-je déployer en production ?" Il est aussi complètement erroné si vous avez migré vers une plateforme différente en 2024. L'IA voit un texte pertinent. Elle ne voit pas un document périmé depuis 18 mois, avec des liens cassés et un lectorat nul.
La plupart des systèmes d'IA n'ont qu'un seul signal de classement : la similarité sémantique avec la requête. Ils ne vérifient pas :
- Quand ce document a-t-il été révisé pour la dernière fois ?
- Les liens qu'il contient sont-ils toujours valables ?
- Quelqu'un lit-il réellement ce document ?
- Le contenu a-t-il été signalé par les lecteurs comme étant obsolète ?
- S'agit-il d'un projet, d'une page archivée ou d'un document actuel ?
- Si le document existe en plusieurs langues, les traductions sont-elles à jour ?
En l'absence de ces signaux, l'IA effectue une recherche par mots clés avec des étapes supplémentaires. Une correspondance de mots clés impressionnante, certes, mais fondamentalement incapable de vous dire si la réponse qu'elle vous donne est basée sur un contenu digne de confiance.
Le problème de la confiance
Cette situation ne serait pas aussi dangereuse si les outils d'IA présentaient des réponses incertaines accompagnées de mises en garde appropriées. Mais ce n'est pas le cas. Ce n'est pas ainsi que fonctionnent les LLM. Ils génèrent des textes fluides et sûrs, que la source soit actuelle ou ancienne.
Un humain lisant un article de wiki pourrait remarquer qu'il semble daté. La mise en page est ancienne. Les captures d'écran montrent une interface utilisateur qui n'existe plus. Il y a un commentaire au bas de l'article qui dit "c'est dépassé". Un être humain peut faire preuve de discernement.
Une IA ne le peut pas. Elle lit le texte, le traite comme s'il était équivalent à n'importe quel autre texte et génère une réponse qui semble faire autorité. L'utilisateur, en particulier un nouvel employé qui ne sait pas à quoi ressemble le processus actuel, n'a aucune raison d'en douter.
**Plus l'IA a l'air sûre d'elle, plus le matériel source périmé est endommagé.
Ce dont l'IA a réellement besoin
Pour qu'un assistant d'IA puisse donner des réponses fiables à partir de votre base de connaissances, il a besoin de plus que de texte et d'enchâssements. Il a besoin de métadonnées qui lui indiquent quels documents méritent d'être utilisés comme sources. Plus précisément :
1. Score de fraîcheur
Un signal numérique qui représente l'état de santé actuel d'un document. Il ne s'agit pas de savoir quand il a été édité pour la dernière fois, ce n'est qu'une donnée. Un véritable score de fraîcheur combine l'état des révisions, la santé des liens, le lectorat, l'alignement de la traduction et la dérive contextuelle en un seul chiffre.
Lorsqu'un document obtient un score supérieur à un seuil (par exemple, 70 sur 100), il peut être utilisé comme source pour les réponses de l'IA. En dessous de ce seuil, il est exclu. Il n'y a pas d'exception.
Ce mécanisme unique élimine la catégorie d'erreurs d'IA la plus dangereuse : les réponses erronées basées sur des sources périmées.
2. Statut d'expiration
Ce document est-il en cours d'examen ou a-t-il expiré sans avoir été réapprouvé ? Un document expiré doit être fortement dépriorisé ou exclu, quelle que soit la pertinence de son contenu par rapport à la requête.
Dans Rasepi, les documents périmés sont signalés et leur score de fraîcheur diminue automatiquement. Un système d'intelligence artificielle interrogeant la base de connaissances peut voir ce statut et agir en conséquence.
3. Étiquettes de classification
Tous les documents n'ont pas la même utilité. Un brouillon ne doit pas être utilisé comme source. Un document archivé ne doit pas apparaître dans les réponses de l'IA. Un document interne ne doit pas apparaître dans les requêtes d'outils externes.
Les étiquettes de classification donnent à l'IA le contexte du type de document qu'elle examine :
- Publié. Actuel, approuvé, utilisable en toute sécurité
- Projet** Travail en cours, ne doit pas être cité
- En cours de révision** Expiration déclenchée, en attente de réapprobation
- Archivé. N'est plus actif, conservé pour référence uniquement
- Interne / Externe. Contrôle la portée de la visibilité
Lorsqu'un assistant IA traite une requête, il peut filtrer par classification avant même d'examiner la pertinence du contenu. Un projet de document qui correspond parfaitement à la requête ne devrait jamais être présenté comme une réponse.
4. Signaux au niveau de la langue
Si votre base de connaissances est multilingue, l'IA doit savoir si la version dont elle s'inspire est à jour. Une traduction française qui a trois mois de retard sur la source anglaise est techniquement pertinente en français, mais les informations peuvent être obsolètes.
Rasepi suit l'actualité au niveau de la langue. Chaque traduction a son propre score, basé sur le fait que les blocs sources ont changé depuis la dernière mise à jour de la traduction. Une IA interrogeant la base de connaissances française peut constater que la version française d'un document est périmée et qu'elle n'est pas non plus à jour :
- revenir à la source anglaise (qui est à jour)
- inclure un avertissement indiquant que la version française peut être périmée
- Exclure complètement le document
5. Signaux du lecteur
Si plusieurs lecteurs ont signalé qu'un document était périmé, ce signal devrait réduire le poids du document dans les réponses de l'IA. Les signaux de qualité provenant de la foule sont bruyants, mais ils sont précieux, en particulier lorsqu'ils sont combinés à d'autres mesures de fraîcheur.
Comment cela fonctionne-t-il en pratique ?
Voyons ce qui se passe lorsqu'un assistant d'IA interroge une base de connaissances Rasepi :
Query: "Quelle est notre procédure pour gérer un incident P1 à 2 heures du matin ?"
Étape 1 : Récupération avec filtrage Le système recherche des documents sémantiquement pertinents. Avant de classer les documents, il les filtre :
- les documents dont le score de fraîcheur est inférieur au seuil fixé
- les documents expirés qui n'ont pas été réapprouvés
- les brouillons et le contenu archivé
- les documents dont la version linguistique est périmée (si la requête est dans une langue non primaire).
Étape 2 : Classement pondéré en fonction de la fraîcheur Parmi les documents restants, ceux dont le score de fraîcheur est le plus élevé sont mieux classés. Un document ayant un score de 94 est plus important qu'un document ayant un score de 72, même si le document ayant un score de 72 a une similarité sémantique légèrement plus élevée.
Étape 3 : Génération de réponses. L'IA génère une réponse à partir des sources filtrées et classées par ordre de fraîcheur. Chaque source est citée avec son score de fraîcheur visible.
Étape 4 : Avertissements d'obsolescence. Si la meilleure source disponible a un score de fraîcheur limite, l'IA inclut un avertissement : _"Note : La source principale de cette réponse a été examinée pour la dernière fois il y a 60 jours. Vous voudrez peut-être vérifier auprès de l'équipe".
Comparez cela au comportement par défaut : trouver un texte pertinent, générer une réponse fiable et espérer que tout se passe bien.
Ce qui se passe lorsque vous ne faites pas cela
Les conséquences des systèmes d'IA fonctionnant sur des bases de connaissances non filtrées sont prévisibles et coûteuses :
**Le cas d'utilisation le plus courant de l'IA pour les documents internes est l'intégration. Les nouveaux employés, par définition, ne savent pas ce qui est à jour et ce qui est périmé. Ils font confiance à l'IA. L'IA fait confiance à tout. Les documents périmés sont servis en toute confiance.
**Si votre assistant IA fournit des conseils sur les processus réglementaires en utilisant des documents périmés, le conseil pourrait non seulement être erroné, mais aussi non conforme. Le fait de dire "l'IA m'a dit de le faire" ne tient pas la route en cas d'audit.
**Chaque fois que l'IA donne une mauvaise réponse, les utilisateurs lui font de moins en moins confiance. Après trois ou quatre mauvaises expériences, ils cessent de l'utiliser. L'investissement dans l'outil d'IA n'apporte aucune valeur parce que le contenu sous-jacent n'était pas digne de confiance.
**Lorsque les utilisateurs ne font plus confiance à la base de connaissances officielle (et à l'IA qui la complète), ils créent leur propre base de connaissances : messages Slack, notes personnelles, connaissances tribales partagées lors de réunions. La fragmentation que le wiki était censé prévenir se produit de toute façon, mais différemment.
La solution se trouve à la source, pas au niveau du modèle
Il est tentant de résoudre ce problème au niveau de l'intelligence artificielle : de meilleures invites, des pipelines RAG plus sophistiqués, des modèles affinés qui peuvent en quelque sorte détecter l'obsolescence à partir du texte seul. Ce n'est pas la bonne approche.
La solution se trouve à la source. Si vos documents contiennent des métadonnées riches et précises sur leur état actuel (score de fraîcheur, statut d'expiration, classification, alignement linguistique, signaux de lecture), alors tout système d'intelligence artificielle peut utiliser ces métadonnées pour prendre de meilleures décisions. Vous n'avez pas besoin d'un modèle plus intelligent. Vous avez besoin de documents plus intelligents.
C'est ce que propose Rasepi :
- Chaque document dispose d'un score de fraîcheur en direct** qui est mis à jour en permanence en fonction de la santé des liens, du lectorat, de l'état des évaluations, etc.
- Chaque document a une date d'expiration** qui déclenche une révision lorsqu'il arrive.
- Chaque document a une classification** (publié, brouillon, en cours de révision, archivé).
- Chaque version linguistique a son propre signal de fraîcheur**, de sorte que les traductions périmées sont détectées indépendamment.
- Les indicateurs de lecture et le suivi des références croisées** ajoutent des signaux de qualité supplémentaires.
Lorsqu'un système d'intelligence artificielle interroge la base de connaissances de Rasepi, toutes ces métadonnées sont disponibles. L'IA n'a pas besoin de deviner si un document est digne de confiance. Le document le lui dit.
Un point de départ pratique
Si vous disposez aujourd'hui d'un assistant d'IA fonctionnant sur votre base de connaissances, vous pouvez commencer à évaluer le problème en 30 minutes :
-
Posez à votre assistant d'IA 10 questions dont vous connaissez les réponses. Notez quelles réponses utilisent des sources périmées. Vous constaterez probablement qu'au moins 2 à 3 réponses sur 10 sont basées sur un contenu obsolète.
-
Vérifiez les documents sources. Pour chaque réponse donnée par l'IA, examinez le document source. Quand a-t-il été révisé pour la dernière fois ? Les liens sont-ils valables ? Feriez-vous confiance à ce document si vous le lisiez vous-même ?
-
**Trouvez votre document le plus ancien et le plus négligé qui apparaît encore dans les résultats de recherche. Posez à l'IA une question qui le ferait apparaître. L'IA l'utilise-t-elle ? Il est presque certain que oui.
-
**Estimez l'impact **Combien de requêtes votre assistant IA traite-t-il par jour ? Si 20 à 30 % des réponses sont basées sur du contenu périmé, quel est le coût en termes de perte de temps, de mauvaises décisions et de perte de confiance ?
La qualité des assistants d'IA dépend du contenu sur lequel ils s'appuient. À l'heure actuelle, la plupart d'entre eux traitent tous les documents de votre base de connaissances comme étant également valables. Ils récupèrent tout, le document qui a été revu hier et celui que personne n'a touché depuis deux ans, et les présentent tous avec la même confiance.
Ce n'est pas un problème de modèle. C'est un problème de qualité des données. Et la solution est simple : donnez à vos documents des métadonnées qui indiquent aux outils d'intelligence artificielle à quoi se fier.
Votre assistant d'intelligence artificielle ne devrait pas se fier à une réponse provenant d'un document que personne n'a revu depuis 18 mois. Avec les bons signaux, il ne le fera pas.**
Rasepi attribue à chaque document son propre score de confiance : fraîcheur, statut d'expiration, classification, alignement linguistique. Les outils d'IA interrogent la base de connaissances et obtiennent non seulement le contenu, mais aussi le contexte. Les sources fiables font surface. Les sources périmées ne le sont pas. C'est ainsi que devrait fonctionner la documentation alimentée par l'IA.