Ecco cosa succede quando si implementa un assistente AI sulla base di conoscenze interne:
Un nuovo ingegnere chiede: "Come faccio a impostare l'ambiente di staging?".
L'IA cerca nella documentazione, trova tre documenti pertinenti, sintetizza una risposta e la presenta con sicurezza. Il tecnico segue le istruzioni. I primi due passaggi funzionano. Il terzo passo fa riferimento a uno strumento CLI che è stato deprecato sei mesi fa. Il quarto passo descrive una configurazione dell'infrastruttura che è stata sostituita durante una migrazione che nessuno ha documentato.
Il tecnico è bloccato. Invia un messaggio al canale del team. Qualcuno dice: "Oh, quel documento è molto vecchio". L'intelligenza artificiale non lo sapeva. Non può saperlo. Ha semplicemente recuperato tutto ciò che ha trovato e lo ha presentato come verità.
**Questo è il comportamento predefinito di ogni sistema RAG, di ogni strumento di ricerca AI e di ogni assistente LLM che abbiate mai usato per i documenti interni. Recuperano tutto. Non fanno discriminazioni. Non sanno distinguere il fresco dallo stantio **.
E sta distruggendo la fiducia negli strumenti di IA più velocemente di quanto questi possano costruirla.
Perché gli assistenti AI sono ciechi di fronte alla qualità
I grandi modelli linguistici e i sistemi di retrieval-augmented generation (RAG) funzionano trovando il testo semanticamente rilevante per una query, quindi utilizzando quel testo per generare una risposta. La corrispondenza della pertinenza è di solito eccellente: la ricerca vettoriale e gli embeddings sono veramente bravi a trovare contenuti che si riferiscono a una domanda.
Ma la pertinenza non è sinonimo di affidabilità.
Un documento scritto nel 2023 sul vostro processo di implementazione di Kubernetes è altamente rilevante per la domanda "come faccio a distribuire in produzione?". È anche completamente sbagliato se si è migrati a una piattaforma diversa nel 2024. L'intelligenza artificiale vede un testo rilevante. Non vede un documento non aggiornato da 18 mesi, con link non funzionanti e zero lettori.
La maggior parte dei sistemi di intelligenza artificiale ha esattamente un segnale di ranking: la somiglianza semantica con la query. Tutto qui. Non controllano:
- Quando è stato revisionato l'ultima volta questo documento?
- I link al suo interno sono ancora validi?
- Qualcuno sta effettivamente leggendo questo documento?
- Il contenuto è stato segnalato dai lettori come obsoleto?
- Si tratta di una bozza, di una pagina archiviata o di un documento attuale?
- Se esiste in più lingue, le traduzioni sono aggiornate?
Senza questi segnali, l'intelligenza artificiale esegue la corrispondenza delle parole chiave con ulteriori passaggi. Una corrispondenza di parole chiave impressionante, certo, ma fondamentalmente incapace di dirvi se la risposta che sta dando è basata su contenuti di cui potete fidarvi.
Il problema della fiducia
Questo non sarebbe così pericoloso se gli strumenti di IA presentassero risposte incerte con avvertenze appropriate. Ma non lo fanno. Non è così che funzionano i LLM. Generano testi fluidi e sicuri, indipendentemente dal fatto che il materiale di partenza sia attuale o antico.
Un umano che legge un articolo wiki potrebbe notare che sembra datato. Il layout della pagina è vecchio. Le schermate mostrano un'interfaccia utente che non esiste più. C'è un commento in fondo che dice "questo è obsoleto". Un umano può applicare un giudizio.
Un'intelligenza artificiale non può farlo. Legge il testo, lo elabora come se fosse equivalente a qualsiasi altro testo e genera una risposta che sembra autorevole. L'utente, soprattutto un nuovo assunto che non conosce il processo attuale, non ha motivo di dubitare.
**Più l'IA suona sicura di sé, più il materiale di origine stantio viene danneggiato.
Ciò di cui l'IA ha effettivamente bisogno
Affinché un assistente AI fornisca risposte affidabili dalla vostra base di conoscenza, ha bisogno di qualcosa di più del testo e degli embeddings. Ha bisogno di metadati che gli indichino quali documenti vale la pena utilizzare come fonti. In particolare:
1. Punteggio di freschezza
Un segnale numerico che rappresenta lo stato di salute di un documento in questo momento. Non quando è stato modificato l'ultima volta: quello è solo un input. Un vero punteggio di freschezza combina lo stato delle recensioni, la salute dei link, la readership, l'allineamento della traduzione e la deriva contestuale in un unico numero.
Quando un documento ottiene un punteggio superiore a una soglia (ad esempio, 70 su 100), è idoneo a essere utilizzato come fonte per le risposte dell'intelligenza artificiale. Al di sotto di tale soglia, viene escluso. Non ci sono eccezioni.
Questo unico meccanismo elimina la classe più pericolosa di errori dell'intelligenza artificiale: risposte sbagliate basate su fonti obsolete.
2. Stato di scadenza
Il documento è in corso di revisione o è scaduto senza essere riapprovato? Un documento scaduto deve essere fortemente depotenziato o escluso del tutto, indipendentemente dalla rilevanza del suo contenuto per la richiesta.
In Rasepi, i documenti scaduti vengono segnalati e il loro punteggio di freschezza diminuisce automaticamente. Un sistema di intelligenza artificiale che interroga la base di conoscenza può vedere questo stato e agire di conseguenza.
3. Etichette di classificazione
Non tutti i documenti servono allo stesso scopo. Una bozza non dovrebbe essere usata come fonte. Un documento archiviato non dovrebbe comparire nelle risposte dell'AI. Un documento solo interno non dovrebbe comparire nelle query degli strumenti esterni.
Le etichette di classificazione forniscono all'intelligenza artificiale un contesto sul tipo di documento che sta esaminando:
- Pubblicato - attuale, approvato, sicuro da usare
- Draft - lavori in corso, non deve essere citato
- In corso di revisione - scadenza attivata, in attesa di riapprovazione
- Archiviato - non più attivo, conservato solo per riferimento
- Interno / Esterno - controlla l'ambito della visibilità
Quando un assistente AI elabora una query, può filtrare in base alla classificazione prima ancora di esaminare la rilevanza dei contenuti. Una bozza di documento che corrisponde perfettamente alla query non dovrebbe mai essere servita come risposta.
4. Segnali a livello di lingua
Se la base di conoscenza è multilingue, l'intelligenza artificiale deve sapere se la versione da cui attinge è aggiornata. Una traduzione francese che è tre mesi indietro rispetto alla fonte inglese è tecnicamente rilevante in francese, ma le informazioni potrebbero essere obsolete.
Rasepi tiene conto della freschezza a livello linguistico. Ogni traduzione ha un proprio punteggio che si basa sul fatto che i blocchi di origine sono cambiati dall'ultimo aggiornamento della traduzione. Un'intelligenza artificiale che interroga la base di conoscenza francese può vedere che la versione francese di un documento è obsoleta e quindi o:
- ritornare alla fonte inglese (che è aggiornata)
- Includere un'avvertenza sul fatto che la versione francese potrebbe essere obsoleta.
- Escludere completamente il documento
5. Segnali del lettore
Se più lettori hanno segnalato un documento come obsoleto, questo segnale dovrebbe ridurre il peso del documento nelle risposte dell'IA. I segnali di qualità raccolti dalla folla sono rumorosi, ma preziosi, soprattutto se combinati con altre metriche di freschezza.
Come funziona in pratica
Vediamo cosa succede quando un assistente AI interroga una base di conoscenza Rasepi:
Domanda: "Qual è il nostro processo per gestire un incidente P1 alle 2 di notte?".
**Fase 1 - Recupero con filtraggio ** Il sistema cerca i documenti semanticamente rilevanti. Prima di classificare, filtra:
- Documenti con un punteggio di freschezza inferiore alla soglia
- documenti scaduti che non sono stati riapprovati
- Bozze e contenuti archiviati
- Documenti la cui versione linguistica è obsoleta (se la query è in una lingua non primaria).
**Fase 2 - Classifica ponderata per la freschezza ** Tra i documenti rimanenti, quelli con punteggi di freschezza più elevati si posizionano più in alto. Un documento con punteggio 94 supera uno con punteggio 72, anche se il documento con punteggio 72 ha una somiglianza semantica leggermente superiore.
**L'intelligenza artificiale genera una risposta dalle fonti filtrate e classificate per freschezza. Ogni fonte è citata con il suo punteggio di freschezza visibile.
**Se la migliore fonte disponibile ha un punteggio di freschezza al limite, l'intelligenza artificiale include un'avvertenza: "Nota: la fonte principale per questa risposta è stata rivista l'ultima volta 60 giorni fa. Si consiglia di verificare con il team"_.
Confrontate questo con il comportamento predefinito: trovare il testo pertinente, generare una risposta sicura, sperare per il meglio.
Cosa succede quando non si fa così
Le conseguenze dei sistemi di intelligenza artificiale che operano su basi di conoscenza non filtrate sono prevedibili e costose:
**Il caso più comune di utilizzo dell'IA per i documenti interni è l'onboarding. I nuovi assunti, per definizione, non sanno cosa è attuale e cosa è obsoleto. Si fidano dell'IA. L'intelligenza artificiale si fida di tutto. I documenti obsoleti vengono serviti con fiducia.
**Se l'assistente AI fornisce indicazioni sui processi normativi utilizzando documenti obsoleti, il consiglio potrebbe non solo essere sbagliato, ma anche non conforme. "L'IA mi ha detto di farlo" non regge in caso di audit.
**Ogni volta che l'IA fornisce una risposta sbagliata, gli utenti si fidano un po' meno. Dopo tre o quattro esperienze negative, smettono di usarla. L'investimento in strumenti di IA non fornisce alcun valore perché il contenuto sottostante non era affidabile.
**Quando le persone perdono fiducia nella base di conoscenza ufficiale (e nell'IA costruita su di essa), ne creano una propria: Messaggi su Slack, note personali, conoscenze tribali condivise durante le riunioni. La frammentazione che il wiki avrebbe dovuto prevenire avviene comunque, ma in modo diverso.
La soluzione è alla fonte, non al modello
C'è la tentazione di risolvere questo problema a livello di intelligenza artificiale: suggerimenti migliori, pipeline RAG più sofisticate, modelli perfezionati che possano in qualche modo rilevare la stasi dal solo testo. È un approccio sbagliato.
La soluzione è alla fonte. Se i documenti contengono metadati ricchi e accurati sul loro stato attuale (punteggio di freschezza, stato di scadenza, classificazione, allineamento linguistico, segnali del lettore), qualsiasi sistema di intelligenza artificiale può utilizzare tali metadati per prendere decisioni migliori. Non serve un modello più intelligente. Servono documenti più intelligenti.
Questo è ciò che offre Rasepi:
- Ogni documento ha un punteggio di freschezza in tempo reale che si aggiorna continuamente in base alla salute dei link, ai lettori, allo stato delle recensioni e altro ancora.
- Ogni documento ha una data di scadenza che attiva la revisione quando arriva
- Ogni documento ha una classificazione (pubblicato, in bozza, in revisione, archiviato).
- Ogni versione linguistica ha un proprio segnale di freschezza per cui le traduzioni obsolete vengono rilevate in modo indipendente.
- I flag dei lettori e il tracciamento dei riferimenti incrociati** aggiungono ulteriori segnali di qualità.
Quando un sistema di intelligenza artificiale interroga la base di conoscenza di Rasepi, tutti questi metadati sono disponibili. L'intelligenza artificiale non deve indovinare se un documento è affidabile. È il documento a dirglielo.
Un punto di partenza pratico
Se oggi avete un assistente AI in esecuzione sulla vostra base di conoscenza, potete iniziare a valutare il problema in 30 minuti:
-
Fate all'assistente AI 10 domande di cui conoscete la risposta. Notate quali risposte utilizzano fonti obsolete. È probabile che almeno 2-3 su 10 si basino su contenuti obsoleti.
-
**Per ogni risposta fornita dall'intelligenza artificiale, esaminare il documento di origine. Quando è stato rivisto l'ultima volta? I link sono validi? Vi fidereste se lo leggeste voi stessi?
-
**Cercate il caso peggiore ** Trovate il vostro documento più vecchio e trascurato che compare ancora nei risultati di ricerca. Ponete all'IA una domanda che lo faccia emergere. L'IA lo usa? Quasi certamente sì.
-
**Quante query al giorno gestisce il vostro assistente AI? Se il 20-30% delle risposte si basa su contenuti obsoleti, qual è il costo in termini di tempo sprecato, decisioni sbagliate e perdita di fiducia?
Gli assistenti AI sono validi quanto i contenuti su cui si basano. Al momento, la maggior parte di essi considera ogni documento della vostra base di conoscenze come ugualmente valido. Recuperano tutto, il documento che è stato esaminato ieri e quello che nessuno ha toccato in due anni, e lo presentano con la stessa sicurezza.
Questo non è un problema di modello. È un problema di qualità dei dati. La soluzione è semplice: fornire ai documenti metadati che indichino agli strumenti di intelligenza artificiale di cosa fidarsi.
**Il vostro assistente AI non dovrebbe essere sicuro di una risposta ottenuta da un documento che nessuno ha esaminato in 18 mesi. Con i segnali giusti, non lo farà.
Rasepi fa sì che ogni documento abbia un proprio punteggio di fiducia: freschezza, stato di scadenza, classificazione, allineamento linguistico. Gli strumenti di intelligenza artificiale interrogano la base di conoscenza e ottengono non solo il contenuto, ma anche il contesto. Le fonti affidabili emergono. Quelle obsolete no. È così che dovrebbe funzionare la documentazione alimentata dall'intelligenza artificiale.
Guarda come funziona Rasepi con gli strumenti di intelligenza artificiale →