So sieht es aus, wenn Sie einen KI-Assistenten auf Ihrer internen Wissensdatenbank einsetzen:
Ein neuer Ingenieur fragt: "Wie richte ich die Staging-Umgebung ein?"
Die KI durchsucht Ihre Dokumentation, findet drei relevante Dokumente, stellt eine Antwort zusammen und präsentiert sie mit Vertrauen. Der Techniker folgt den Anweisungen. Die ersten beiden Schritte funktionieren. Schritt drei verweist auf ein CLI-Tool, das seit sechs Monaten nicht mehr verwendet wird. Schritt vier beschreibt eine Infrastruktureinrichtung, die während einer Migration ersetzt wurde, die niemand dokumentiert hat.
Der Techniker kommt nicht weiter. Er wendet sich an den Teamkanal. Jemand sagt: "Oh, diese Dokumentation ist wirklich alt". Die KI hat das nicht gewusst. Sie kann es nicht wissen. Sie hat einfach alles geholt, was sie gefunden hat, und es als Wahrheit dargestellt.
**Dies ist das Standardverhalten jedes RAG-Systems, jedes KI-Suchwerkzeugs und jedes LLM-gestützten Assistenten, den Sie jemals für interne Dokumente verwendet haben. Sie holen sich alles. Sie machen keinen Unterschied. Sie können nicht zwischen frisch und alt unterscheiden.
Und sie zerstören das Vertrauen in KI-Tools schneller, als diese Tools es aufbauen können.
Warum KI-Assistenten blind für Qualität sind
Große Sprachmodelle und Retrieval-Augmented-Generating-Systeme (RAG) arbeiten, indem sie Text finden, der semantisch relevant für eine Anfrage ist, und dann diesen Text verwenden, um eine Antwort zu generieren. Der Relevanzabgleich ist in der Regel ausgezeichnet - Vektorsuche und Einbettungen sind wirklich gut darin, Inhalte zu finden, die sich auf eine Frage beziehen.
Aber Relevanz ist nicht dasselbe wie Zuverlässigkeit.
Ein im Jahr 2023 verfasstes Dokument über Ihren Kubernetes-Bereitstellungsprozess ist für die Frage "Wie stelle ich in der Produktion bereit?" höchst relevant. Es ist aber auch völlig falsch, wenn Sie im Jahr 2024 auf eine andere Plattform migriert haben. Die KI sieht relevanten Text. Sie sieht kein Dokument, das 18 Monate veraltet ist, kaputte Links enthält und von niemandem gelesen wird.
Die meisten KI-Systeme haben genau ein Ranking-Signal: semantische Ähnlichkeit mit der Suchanfrage. Das war's. Sie prüfen nicht:
- Wann wurde dieses Dokument zuletzt überprüft?
- Sind die Links darin noch gültig?
- Liest dieses Dokument überhaupt jemand?
- Wurde der Inhalt von Lesern als veraltet gekennzeichnet?
- Handelt es sich um einen Entwurf, eine archivierte Seite oder ein aktuelles Dokument?
- Falls das Dokument in mehreren Sprachen vorliegt, sind die Übersetzungen aktuell?
Ohne diese Signale führt die KI den Schlüsselwortabgleich mit zusätzlichen Schritten durch. Beeindruckende Stichwortsuche, ja - aber im Grunde nicht in der Lage, Ihnen zu sagen, ob die Antwort, die sie gibt, auf Inhalten basiert, denen Sie vertrauen können.
Das Vertrauensproblem
Dies wäre nicht so gefährlich, wenn KI-Tools unsichere Antworten mit entsprechenden Vorbehalten versehen würden. Das tun sie aber nicht. So funktionieren LLMs nicht. Sie erzeugen flüssige, vertrauenswürdige Texte, unabhängig davon, ob das Quellenmaterial aktuell oder alt ist.
Ein Mensch, der einen Wiki-Artikel liest, könnte feststellen, dass er veraltet aussieht. Das Seitenlayout ist veraltet. Die Bildschirmfotos zeigen eine Benutzeroberfläche, die nicht mehr existiert. Am Ende steht ein Kommentar, der besagt, dass die Seite veraltet ist. Ein Mensch kann ein Urteil fällen.
Eine KI kann das nicht. Sie liest den Text, verarbeitet ihn als gleichwertig mit jedem anderen Text und generiert eine Antwort, die verbindlich klingt. Der Benutzer - insbesondere ein neuer Mitarbeiter, der nicht weiß, wie der aktuelle Prozess aussieht - hat keinen Grund, daran zu zweifeln.
**Je sicherer die KI klingt, desto mehr Schaden richtet veraltetes Quellmaterial an.
Was die KI tatsächlich braucht
Damit ein KI-Assistent vertrauenswürdige Antworten aus Ihrer Wissensdatenbank geben kann, braucht er mehr als Text und Einbettungen. Sie braucht Metadaten, die ihr sagen, welche Dokumente es wert sind, als Quellen verwendet zu werden. Genauer gesagt:
1. Freshness-Wert
Ein numerisches Signal, das angibt, wie gesund ein Dokument im Moment ist. Nicht, wann es zuletzt bearbeitet wurde - das ist nur eine Eingabe. Ein echter Freshness-Score kombiniert den Status der Rezensionen, den Zustand der Links, die Leserschaft, das Alignment der Übersetzung und die kontextuelle Abweichung in einer einzigen Zahl.
Wenn ein Dokument über einem Schwellenwert (z. B. 70 von 100) liegt, kann es als Quelle für KI-Antworten verwendet werden. Liegt es unter diesem Schwellenwert, wird es ausgeschlossen. Keine Ausnahmen.
Dieser einzige Mechanismus eliminiert die gefährlichste Klasse von KI-Fehlern: mit Sicherheit falsche Antworten auf der Grundlage veralteter Quellen.
2. Verfallsstatus
Befindet sich das Dokument noch innerhalb des Prüfungszeitraums oder ist es bereits abgelaufen, ohne dass es erneut genehmigt wurde? Ein abgelaufenes Dokument sollte stark depriorisiert oder ganz ausgeschlossen werden, unabhängig davon, wie relevant sein Inhalt für die Anfrage ist.
In Rasepi werden abgelaufene Dokumente gekennzeichnet und ihre Aktualitätswerte sinken automatisch. Ein KI-System, das die Wissensdatenbank abfragt, kann diesen Status erkennen und entsprechend handeln.
3. Klassifizierungsetiketten
Nicht jedes Dokument dient demselben Zweck. Ein Entwurf sollte nicht als Quelle verwendet werden. Ein archiviertes Dokument sollte nicht in KI-Antworten auftauchen. Ein rein internes Dokument sollte nicht in Abfragen von externen Tools auftauchen.
Klassifizierungskennzeichnungen geben der KI Aufschluss darüber, um welche Art von Dokument es sich handelt:
- Veröffentlicht - aktuell, genehmigt, sicher zu verwenden
- Entwurf - in Arbeit, sollte nicht zitiert werden
- In Überarbeitung** - Auslaufdatum ausgelöst, wartet auf erneute Genehmigung
- Archiviert - nicht mehr aktiv, nur als Referenz aufbewahrt
- Intern / Extern - kontrolliert den Umfang der Sichtbarkeit
Wenn ein KI-Assistent eine Abfrage verarbeitet, kann er nach der Klassifizierung filtern, bevor er die Relevanz des Inhalts prüft. Ein Entwurfsdokument, das perfekt mit der Anfrage übereinstimmt, sollte niemals als Antwort angezeigt werden.
4. Signale auf Sprachebene
Wenn Ihre Wissensdatenbank mehrsprachig ist, muss die KI wissen, ob die Version, die sie abruft, aktuell ist. Eine französische Übersetzung, die drei Monate hinter der englischen Quelle zurückliegt, ist zwar technisch gesehen auf Französisch relevant, aber die Informationen könnten veraltet sein.
Rasepi verfolgt die Aktualität auf der Ebene der einzelnen Sprachen. Jede Übersetzung hat ihre eigene Punktzahl, die darauf basiert, ob sich die Quellblöcke seit der letzten Aktualisierung der Übersetzung geändert haben. Eine KI, die die französische Wissensdatenbank abfragt, kann erkennen, dass die französische Version eines Dokuments veraltet ist und entweder:
- Rückgriff auf die englische Quelle (die aktuell ist)
- eine Warnung einfügen, dass die französische Version veraltet sein könnte
- das Dokument ganz ausschließen
5. Leser-Signale
Wenn mehrere Leser ein Dokument als veraltet gekennzeichnet haben, sollte dieses Signal die Gewichtung des Dokuments in den KI-Antworten verringern. Qualitätssignale aus der Menge sind zwar verrauscht, aber sie sind wertvoll - vor allem in Kombination mit anderen Aktualitätskennzahlen.
Wie funktioniert das in der Praxis?
Gehen wir einmal durch, was passiert, wenn ein KI-Assistent eine Rasepi-Wissensdatenbank abfragt:
Abfrage: "Wie ist unser Prozess zur Behandlung eines P1-Vorfalls um 2 Uhr morgens?"
Schritt 1 - Abfrage mit Filterung: Das System sucht nach semantisch relevanten Dokumenten. Vor dem Ranking filtert es aus:
- Dokumente mit einem Freshness-Score unterhalb des Schwellenwerts
- Abgelaufene Dokumente, die nicht erneut genehmigt wurden
- Entwürfe und archivierte Inhalte
- Dokumente, deren Sprachversion veraltet ist (wenn die Abfrage in einer Nicht-Primärsprache erfolgt)
Schritt 2 - Freshness-gewichtetes Ranking Unter den verbleibenden Dokumenten werden die Dokumente mit höheren Freshness-Werten höher eingestuft. Ein Dokument mit einem Wert von 94 übertrifft ein Dokument mit einem Wert von 72, auch wenn das Dokument mit dem Wert 72 eine etwas höhere semantische Ähnlichkeit aufweist.
Schritt 3 - Generierung von Antworten Die KI generiert eine Antwort aus den gefilterten, nach Frischegrad bewerteten Quellen. Jede Quelle wird mit ihrem Freshness-Score sichtbar zitiert.
Schritt 4 - Staleness-Warnungen. Wenn die beste verfügbare Quelle einen grenzwertigen Aktualitätswert hat, fügt die KI einen Warnhinweis ein: "Hinweis: Die Hauptquelle für diese Antwort wurde zuletzt vor 60 Tagen überprüft. Sie sollten dies mit dem Team abklären."
Vergleichen Sie dies mit dem Standardverhalten: Relevanten Text finden, vertrauenswürdige Antwort generieren, auf das Beste hoffen.
Was passiert, wenn Sie dies nicht tun
Die Folgen von KI-Systemen, die auf ungefilterten Wissensdatenbanken arbeiten, sind vorhersehbar und teuer:
Verwirrung bei Neueinstellungen Der häufigste KI-Anwendungsfall für interne Dokumente ist das Onboarding. Neue Mitarbeiter wissen per Definition nicht, was aktuell ist und was veraltet. Sie vertrauen der KI. Die KI vertraut allem. Veraltete Dokumente werden vertrauensvoll zugestellt.
**Wenn Ihr KI-Assistent Anleitungen zu regulatorischen Prozessen unter Verwendung veralteter Dokumente gibt, könnte der Rat nicht nur falsch sein, sondern auch nicht den Vorschriften entsprechen. "Die KI hat es mir gesagt" ist bei einem Audit nicht haltbar.
Vertrauensverlust Jedes Mal, wenn die KI eine falsche Antwort gibt, sinkt das Vertrauen der Nutzer. Nach drei oder vier schlechten Erfahrungen hören sie auf, sie zu benutzen. Die Investition in KI-Tools ist wertlos, weil der zugrunde liegende Inhalt nicht vertrauenswürdig war.
Schattenwissen Wenn Menschen das Vertrauen in die offizielle Wissensbasis (und die darauf aufbauende KI) verlieren, erstellen sie ihre eigene: Slack-Nachrichten, persönliche Notizen, in Meetings geteiltes Stammeswissen. Die Fragmentierung, die das Wiki eigentlich verhindern sollte, findet trotzdem statt, nur anders.
Die Lösung liegt an der Quelle, nicht am Modell.
Die Versuchung ist groß, dieses Problem auf der Ebene der künstlichen Intelligenz zu lösen - bessere Prompts, ausgefeiltere RAG-Pipelines, fein abgestimmte Modelle, die allein anhand des Textes die Unbeständigkeit erkennen können. Das ist der falsche Ansatz.
Die Lösung liegt an der Quelle. Wenn Ihre Dokumente reichhaltige, genaue Metadaten über ihren aktuellen Zustand enthalten - Frischegrad, Verfallsstatus, Klassifizierung, Sprachausrichtung, Lesersignale - dann kann jedes KI-System diese Metadaten nutzen, um bessere Entscheidungen zu treffen. Sie brauchen kein schlaueres Modell. Sie brauchen intelligentere Dokumente.
Und genau das bietet Rasepi:
- Jedes Dokument verfügt über einen Live-Frische-Score, der auf der Grundlage der Linkqualität, der Leserschaft, des Überprüfungsstatus und anderer Faktoren kontinuierlich aktualisiert wird.
- Jedes Dokument hat ein Verfallsdatum, das eine Überprüfung auslöst, wenn es eintrifft
- Jedes Dokument hat eine Klassifizierung** (veröffentlicht, Entwurf, in Prüfung, archiviert)
- Jede Sprachversion hat ihr eigenes Aktualitätssignal**, so dass veraltete Übersetzungen unabhängig erkannt werden
- Leserkennzeichen und Querverweisverfolgung** liefern zusätzliche Qualitätssignale
Wenn ein KI-System die Wissensdatenbank von Rasepi abfragt, sind alle diese Metadaten verfügbar. Die KI muss nicht raten, ob ein Dokument vertrauenswürdig ist. Das Dokument sagt es ihr.
Ein praktischer Ansatzpunkt
Wenn Sie heute einen KI-Assistenten auf Ihrer Wissensdatenbank laufen lassen, können Sie innerhalb von 30 Minuten damit beginnen, das Problem zu bewerten:
-
Stellen Sie Ihrem KI-Assistenten 10 Fragen, auf die Sie die Antworten kennen. Notieren Sie, welche Antworten veraltete Quellen verwenden. Sie werden wahrscheinlich feststellen, dass mindestens 2-3 von 10 auf veralteten Inhalten basieren.
-
Prüfen Sie die Quelldokumente. Schauen Sie sich für jede Antwort, die die KI gegeben hat, das Quelldokument an. Wann wurde es zuletzt überprüft? Sind die Links gültig? Würden Sie dem Dokument vertrauen, wenn Sie es selbst lesen würden?
-
Suchen Sie nach dem schlimmsten Fall Suchen Sie Ihr ältestes, am meisten vernachlässigtes Dokument, das noch in den Suchergebnissen erscheint. Stellen Sie der KI eine Frage, die dieses Dokument zum Vorschein bringen würde. Verwendet die KI es? Das tut sie mit ziemlicher Sicherheit.
-
Schätzen Sie die Auswirkungen ab. Wie viele Anfragen bearbeitet Ihr KI-Assistent pro Tag? Wenn 20-30 % der Antworten auf veralteten Inhalten beruhen, wie hoch sind dann die Kosten in Form von verschwendeter Zeit, falschen Entscheidungen und verlorenem Vertrauen?
KI-Assistenten sind nur so gut wie die Inhalte, auf denen sie aufbauen. Momentan behandeln die meisten von ihnen jedes Dokument in Ihrer Wissensdatenbank als gleichwertig. Sie rufen alles ab - das Dokument, das gestern geprüft wurde, und das, das seit zwei Jahren niemand mehr angefasst hat - und präsentieren es mit dem gleichen Vertrauen.
Das ist kein Modellproblem. Es ist ein Problem der Datenqualität. Und die Lösung ist einfach: Geben Sie Ihren Dokumenten Metadaten, die den KI-Tools sagen, was sie glauben sollen.
Ihr KI-Assistent sollte nicht zuversichtlich klingen, wenn er eine Antwort aus einem Dokument erhält, das seit 18 Monaten von niemandem mehr geprüft wurde. Mit den richtigen Signalen wird er das nicht tun.
Mit Rasepi erhält jedes Dokument seinen eigenen Vertrauenswert - Aktualität, Verfallsstatus, Klassifizierung, Sprachausrichtung. KI-Tools fragen die Wissensbasis ab und erhalten nicht nur den Inhalt, sondern auch den Kontext. Vertrauenswürdige Quellen tauchen auf. Veraltete Quellen nicht. So sollte KI-gestützte Dokumentation funktionieren.