Eis o que acontece quando implementa um assistente de IA no topo da sua base de conhecimentos interna:
Um novo engenheiro pergunta: "Como é que configuro o ambiente de teste?"
A IA pesquisa a sua documentação, encontra três documentos relevantes, sintetiza uma resposta e apresenta-a com confiança. O engenheiro segue as instruções. Os dois primeiros passos funcionam. O terceiro passo faz referência a uma ferramenta CLI que foi descontinuada há seis meses. O quarto passo descreve uma configuração de infraestrutura que foi substituída durante uma migração que ninguém documentou.
O engenheiro está preso. Envia uma mensagem para o canal da equipa. Alguém diz: "Oh, esse documento é muito antigo". A IA não sabia disso. Não pode saber. Apenas foi buscar tudo o que encontrou e apresentou-o como verdade.
**Este é o comportamento por defeito de todos os sistemas RAG, de todas as ferramentas de pesquisa de IA e de todos os assistentes com LLM que já utilizou em documentos internos. Eles vão buscar tudo. Não fazem discriminações. Não conseguem distinguir o que é recente do que é obsoleto.
E isso está a destruir a confiança nas ferramentas de IA mais rapidamente do que essas ferramentas a conseguem construir.
Porque é que os assistentes de IA são cegos à qualidade
Os grandes modelos de linguagem e os sistemas de geração aumentada de recuperação (RAG) funcionam encontrando texto que é semanticamente relevante para uma consulta e, em seguida, utilizando esse texto para gerar uma resposta. A correspondência de relevância é normalmente excelente - a pesquisa vetorial e os embeddings são genuinamente bons a encontrar conteúdo relacionado com uma pergunta.
Mas relevância não é o mesmo que fiabilidade.
Um documento escrito em 2023 sobre o seu processo de implantação do Kubernetes é altamente relevante para a pergunta "como faço para implantar na produção?" Também é completamente errado se você migrou para uma plataforma diferente em 2024. A IA vê texto relevante. Ela não vê um documento que está 18 meses desatualizado, com links quebrados e zero leitores.
A maioria dos sistemas de IA tem exatamente um sinal de classificação: semelhança semântica com a consulta. É só isso. Não verificam:
- Quando é que este documento foi revisto pela última vez?
- As hiperligações nele contidas ainda são válidas?
- Alguém está realmente a ler este documento?
- O conteúdo foi assinalado pelos leitores como desatualizado?
- Trata-se de um rascunho, de uma página arquivada ou de um documento atual?
- Se este documento existir em várias línguas, as traduções estão actualizadas?
Sem estes sinais, a IA está a fazer a correspondência de palavras-chave com passos adicionais. Uma correspondência de palavras-chave impressionante, sim - mas fundamentalmente incapaz de lhe dizer se a resposta que está a dar se baseia em conteúdos em que pode confiar.
O problema da confiança
Isto não seria tão perigoso se as ferramentas de IA apresentassem respostas incertas com as devidas advertências. Mas não o fazem. Não é assim que os LLMs funcionam. Geram textos fluentes e confiantes, independentemente de o material de origem ser atual ou antigo.
Um ser humano que leia um artigo wiki pode reparar que parece datado. O layout da página é antigo. As capturas de ecrã mostram uma interface que já não existe. Há um comentário no final a dizer "isto está desatualizado". Um ser humano pode fazer juízos de valor.
Uma IA não pode. Lê o texto, processa-o como se fosse equivalente a qualquer outro texto e gera uma resposta que soa a autoridade. O utilizador - especialmente um recém-contratado que não sabe como é o processo atual - não tem motivos para duvidar.
**Quanto mais confiante a IA parecer, mais danos causa o material de origem obsoleto.
O que a IA realmente precisa
Para que um assistente de IA possa dar respostas fiáveis a partir da sua base de conhecimentos, precisa de mais do que texto e inserções. Precisa de metadados que lhe digam quais os documentos que vale a pena utilizar como fontes. Especificamente:
1. Pontuação de frescura
Um sinal numérico que representa o quão saudável um documento está neste momento. Não quando foi editado pela última vez - isso é apenas uma entrada. Uma verdadeira pontuação de frescura combina o estado da revisão, a saúde dos links, o número de leitores, o alinhamento da tradução e a deriva contextual num único número.
Quando um documento tem uma pontuação acima de um limite (digamos, 70 em 100), é elegível para ser utilizado como fonte de respostas de IA. Abaixo desse limiar, é excluído. Sem excepções.
Este mecanismo único elimina a classe mais perigosa de erros de IA: respostas erradas com confiança baseadas em fontes obsoletas.
2. Status de expiração
Este documento está atualmente dentro da sua janela de revisão, ou expirou sem nova aprovação? Um documento expirado deve ser fortemente despriorizado ou totalmente excluído, independentemente da relevância que o seu conteúdo possa ter para a consulta.
No Rasepi, os documentos expirados são assinalados e as suas pontuações de atualidade baixam automaticamente. Um sistema de IA que consulte a base de conhecimentos pode ver este estado e agir em conformidade.
3. Etiquetas de classificação
Nem todos os documentos têm o mesmo objetivo. Um rascunho não deve ser utilizado como fonte. Um documento arquivado não deve aparecer nas respostas de IA. Um documento apenas interno não deve aparecer em consultas de ferramentas externas.
As etiquetas de classificação dão à IA um contexto sobre o tipo de documento que está a analisar:
- Publicado - atual, aprovado, seguro para utilização
- Rascunho - trabalho em curso, não deve ser citado
- Em revisão** - expiração acionada, a aguardar reaprovação
- Arquivado** - já não está ativo, mantido apenas para referência
- Interno / Externo - controla o âmbito da visibilidade
Quando um assistente de IA processa uma consulta, pode filtrar por classificação antes mesmo de analisar a relevância do conteúdo. Um projeto de documento que corresponda perfeitamente à consulta nunca deve ser apresentado como resposta.
4. Sinais ao nível da língua
Se a sua base de conhecimentos for multilingue, a IA precisa de saber se a versão de onde está a ser retirada é atual. Uma tradução francesa com três meses de atraso em relação à fonte inglesa é tecnicamente relevante em francês, mas a informação pode estar desactualizada.
O Rasepi monitoriza a atualidade ao nível da língua. Cada tradução tem a sua própria pontuação com base na alteração dos blocos de origem desde a última atualização da tradução. Uma IA que consulte a base de conhecimentos em francês pode ver que a versão francesa de um documento está desactualizada e..:
- Recuar para a fonte inglesa (que é atual)
- Incluir uma advertência de que a versão francesa pode estar desactualizada
- Excluir totalmente o documento
5. Sinais do leitor
Se vários leitores tiverem assinalado um documento como desatualizado, esse sinal deve reduzir o peso do documento nas respostas da IA. Os sinais de qualidade de crowdsourcing são ruidosos, mas são valiosos, especialmente quando combinados com outras métricas de atualidade.
Como isto funciona na prática
Vamos ver o que acontece quando um assistente de IA consulta uma base de conhecimento Rasepi:
Query: "Qual é o nosso processo para lidar com um incidente P1 às 2 da manhã?"
**Passo 1 - Recuperação com filtragem: O sistema procura documentos semanticamente relevantes. Antes de classificar, filtra:
- Documentos com pontuação de frescura inferior ao limiar
- Documentos expirados que não tenham sido reaprovados
- Rascunhos e conteúdos arquivados
- Documentos cuja versão linguística é obsoleta (se a consulta estiver numa língua não primária)
**Entre os restantes documentos, aqueles com pontuações de frescura mais elevadas têm uma classificação mais elevada. Um documento com uma pontuação de 94 ultrapassa um com uma pontuação de 72, mesmo que o documento com pontuação de 72 tenha uma semelhança semântica ligeiramente superior.
**A IA gera uma resposta a partir das fontes filtradas e classificadas como frescas. Cada fonte é citada com a sua pontuação de frescura visível.
**Se a melhor fonte disponível tiver uma pontuação de frescura limítrofe, a IA inclui uma advertência: "Nota: A fonte principal desta resposta foi revista pela última vez há 60 dias. Pode querer verificar com a equipa."
Compare isto com o comportamento predefinido: encontrar texto relevante, gerar uma resposta confiante e esperar pelo melhor.
O que acontece quando não se faz isto
As consequências dos sistemas de IA que funcionam com bases de conhecimento não filtradas são previsíveis e dispendiosas:
**A utilização mais comum da IA para documentos internos é a integração. Os novos contratados, por definição, não sabem o que é atual e o que é obsoleto. Eles confiam na IA. A IA confia em tudo. Os documentos obsoletos são apresentados com confiança.
**Se o seu assistente de IA fornecer orientações sobre processos regulamentares utilizando documentos desactualizados, o conselho pode não estar apenas errado - pode não estar em conformidade. "A IA disse-me para o fazer" não se sustenta numa auditoria.
**Cada vez que a IA dá uma resposta errada, os utilizadores confiam um pouco menos nela. Após três ou quatro más experiências, deixam de a utilizar. O investimento em ferramentas de IA não tem qualquer valor porque o conteúdo subjacente não era fiável.
**Quando as pessoas perdem a confiança na base de conhecimentos oficial (e na IA construída em cima dela), criam a sua própria base de conhecimentos: Mensagens do Slack, notas pessoais, conhecimento tribal partilhado em reuniões. A fragmentação que o wiki deveria evitar acontece na mesma, mas de forma diferente.
A correção está na fonte, não no modelo
Há uma tentação de resolver isto na camada de IA - melhores prompts, pipelines RAG mais sofisticados, modelos ajustados que podem, de alguma forma, detetar a obsolescência apenas a partir do texto. Esta é a abordagem errada.
A solução está na fonte. Se os seus documentos contêm metadados ricos e precisos sobre o seu estado atual - pontuação de frescura, estado de expiração, classificação, alinhamento linguístico, sinais do leitor - então qualquer sistema de IA pode utilizar esses metadados para tomar melhores decisões. Não precisa de um modelo mais inteligente. Precisa de documentos mais inteligentes.
É isso que o Rasepi proporciona:
- Cada documento tem uma pontuação de frescura** que é actualizada continuamente com base na saúde da ligação, nos leitores, no estado da revisão e muito mais
- Cada documento tem uma data de expiração** que acciona a revisão quando chega
- Cada documento tem uma classificação** (publicado, rascunho, em revisão, arquivado)
- Cada versão linguística tem o seu próprio sinal de atualização** para que as traduções obsoletas sejam detectadas de forma independente
- As bandeiras de leitor e o rastreio de referências cruzadas** acrescentam sinais de qualidade adicionais
Quando um sistema de IA consulta a base de conhecimentos do Rasepi, todos estes metadados estão disponíveis. A IA não tem de adivinhar se um documento é fiável. O documento diz-lhe.
Um ponto de partida prático
Se tiver um assistente de IA a funcionar atualmente na sua base de conhecimentos, pode começar a avaliar o problema em 30 minutos:
-
Faça ao seu assistente de IA 10 perguntas para as quais sabe as respostas. Observe quais as respostas que utilizam fontes desactualizadas. É provável que encontre pelo menos 2-3 em cada 10 baseadas em conteúdos desactualizados.
-
Verifique os documentos de origem. Para cada resposta dada pela IA, consulte o documento de origem. Quando é que foi revisto pela última vez? As ligações são válidas? Confiarias nele se fosses tu a lê-lo?
-
**Encontre o seu documento mais antigo e negligenciado que ainda aparece nos resultados de pesquisa. Faça à IA uma pergunta que o faça aparecer. A IA usa-o? É quase certo que sim.
-
**Quantas consultas por dia é que o seu assistente de IA trata? Se 20-30% das respostas se basearem em conteúdos obsoletos, qual é o custo em termos de perda de tempo, decisões erradas e perda de confiança?
Os assistentes de IA são tão bons quanto o conteúdo em que se baseiam. Atualmente, a maioria deles trata todos os documentos da sua base de conhecimentos como igualmente válidos. Vão buscar tudo - o documento que foi revisto ontem e aquele em que ninguém tocou durante dois anos - e apresentam-no com a mesma confiança.
Isso não é um problema de modelo. É um problema de qualidade dos dados. E a solução é simples: fornecer metadados aos seus documentos que digam às ferramentas de IA em que confiar.
O seu assistente de IA não deve parecer confiante relativamente a uma resposta obtida a partir de um documento que ninguém reviu em 18 meses. Com os sinais corretos, não o fará.
O Rasepi faz com que cada documento tenha a sua própria pontuação de confiança - atualidade, estado de expiração, classificação, alinhamento linguístico. As ferramentas de IA consultam a base de conhecimentos e obtêm não só o conteúdo, mas também o contexto. As fontes fiáveis aparecem. As obsoletas não aparecem. É assim que a documentação baseada em IA deve funcionar.