Ist das nicht einfach Halluzination?

Nein, und der Unterschied ist wichtig. Bei einer Halluzination erfindet das Modell einen Inhalt. Hier ist der Inhalt korrekt und jede Aussage sauber belegt — falsch ist die Buchführung darüber: wie viele Quellen die Seite anzeigt, ob ein Beleg noch existiert, wer sie geschrieben hat. Besseres Generieren behebt das nicht.

Warum fällt so etwas nicht auf?

Weil niemand jede Seite liest. Eine Wissensbasis wächst schneller, als man sie prüfen kann — das ist ihr Zweck. Und die Fehler sehen nicht aus wie Fehler: Eine Seite, die „3 Quellen“ anzeigt und zwei auflistet, wirkt vollständig, bis jemand nachzählt.

Wie prüft man eine Wissensbasis gegen sich selbst?

Man sucht Stellen, an denen dieselbe Tatsache mehrfach festgehalten ist, und vergleicht sie. Bei uns steht „welche Quellen trägt diese Seite“ an drei Stellen: in den Zitaten, in einer gespeicherten Zahl und in Verknüpfungszeilen. Stimmen die drei nicht überein, ist mindestens eine falsch — und die Zitate sind die einzige, die ein Leser selbst nachprüfen kann.

Wenn die Wissensbasis sich über sich selbst irrt

Stell dir vor, du sitzt im Mandantentermin. Auf deiner Wiki-Seite steht eine Aussage, die genau passt, und darunter: 3 Quellen. Jemand fragt, welche. Du klappst die Liste auf, und es sind zwei.

Nichts daran ist halluziniert. Der Text stimmt. Jede Aussage trägt ihre Fundstelle. Nur die Zahl daneben nicht.

Das ist ein Fehlermodus, den ein handgeschriebenes Wiki nicht hat — und über den in der ganzen Second-Brain-Diskussion nicht gesprochen wird. Wir haben ihn in unserem eigenen System gefunden, und dieser Text handelt davon, wie er entsteht und was daraus folgt.

Warum eine Maschine anders falsch liegt als ein Mensch

Wenn du eine Wissensbasis von Hand pflegst, sind deine Fehler langsam. Du vergisst eine Verknüpfung. Du legst eine Notiz an der falschen Stelle ab. Du merkst es Wochen später, weil du selbst durch deine Ablage gehst.

Eine maschinell gepflegte Basis macht andere Fehler. Sie schreibt schneller, als du lesen kannst — das ist ihr Sinn. Und weil niemand jede Seite prüft, bleibt eine falsche Angabe genau so lange stehen, bis sie jemandem im ungünstigsten Moment auffällt.

Entscheidend ist: Diese Fehler sehen nicht aus wie Fehler. Eine Halluzination erkennst du am Inhalt — eine Studie, die es nicht gibt, eine Zahl, die niemand je genannt hat. Was hier passiert, liegt eine Ebene tiefer. Der Inhalt ist in Ordnung. Die Buchführung über den Inhalt ist es nicht.

Vier Arten, wie eine Basis von sich selbst abdriftet

1. Sie zählt, was sie nicht nennen kann

In unserem System stand „welche Quellen trägt diese Seite" an drei getrennten Stellen: in der Zitatliste, aus der die Quellenangabe gerendert wird; in einer gespeicherten Zahl, die die Oberfläche anzeigt; und in Verknüpfungszeilen, aus denen berechnet wird, was „noch nicht im Wiki" ist.

Drei Register für dieselbe Tatsache, geschrieben von zwei Codepfaden mit unterschiedlichen Formeln. Nichts hielt sie gleich. Eine Seite zeigte drei Quellen bei zwei Verknüpfungen.

Die eine Richtung ist unscharf, die andere ist gefährlich: Steht die Zahl höher als die Zitate, behauptet die Seite Belege, die sie nicht aufzählen kann. Das ist genau die Erfindung, gegen die eine zitierte Wissensbasis antritt — nur entsteht sie nicht beim Schreiben, sondern beim Verwalten.

2. Sie belegt mit etwas, das du gelöscht hast

Löschst du eine Quelle aus deinem Bestand, verschwindet die Verknüpfung automatisch — die Datenbank räumt sie mit weg. Das Zitat auf der Wiki-Seite blieb stehen. Mit Titel, mit Adresse, mitgezählt.

Die Seite führte also einen Artikel als Beleg, den du bewusst entfernt hattest. Und weil der Verweis nirgendwo mehr hinführte, konnte man es nicht einmal nachprüfen, ohne im Datenbestand zu graben.

Beim Beheben zeigte sich, dass das Entfernen eines Zitats kein Löschen aus einer Liste ist. Die Prosa zitiert über die Position — „diese Aussage stützt sich auf Quelle Nummer zwei". Nimmt man Nummer eins heraus, rutscht Nummer drei auf Position zwei. Die Aussage bleibt wortgleich stehen, und der Beleg darunter ist ein anderer geworden. Ein Zitat zu entfernen heißt, jede spätere Marke neu zu nummerieren — sonst richtet das Aufräumen mehr Schaden an als der Fehler.

3. Sie hört still auf

Zwei von sieben Quellen in unserem Bestand hatten alle Prüfungen bestanden — Text vorhanden, Zusammenfassung vorhanden, nicht ausgeschlossen — und trotzdem gab es keine Wiki-Seite dazu. Keine Fehlermeldung. Kein Vermerk. Nichts.

Der Grund war banal und umso lehrreicher: Der Agent liest zu Beginn die Zusammenfassung der Quelle und ist angewiesen abzubrechen, wenn sie fehlt. Dieser Abbruch ist ein sauberer Durchlauf — keine Ausnahme, keine Zeitüberschreitung. Der Fehlermarker, den das System durchaus hatte, griff nur bei Abstürzen. Der Fall, der tatsächlich eintritt, hinterließ keine Spur.

Und auf der Wiki-Seite stand derweil: „4 Lesezeichen sind noch nicht in deinem Wiki. Pith baut sie automatisch." Ein Versprechen, das für diese beiden Quellen seit Wochen nicht eingelöst wurde, ohne dass das Produkt es bemerkte.

4. Sie schreibt dir zu, was die Maschine geschrieben hat

Unsere Versionshistorie hält fest, wer eine Seite geändert hat — Mensch, angebundene Anwendung oder das System selbst. Dreizehn von dreizehn Versionen waren dem Menschen zugeschrieben. Keine einzige der Maschine.

Die Ursache liegt tief in der Technik: Der Schreibvorgang läuft im Hintergrund, gestartet aus der Anfrage, mit der du etwas gespeichert hast — und erbt dabei deren Kontext. Der Kommentar im Code sagte sogar ausdrücklich, Hintergrundaufgaben setzten die Autorschaft nie. Sie setzen sie nicht. Sie erben sie.

Damit konnte die Historie die eine Frage nicht beantworten, für die es sie gibt: Was habe ich geschrieben, und was hat die Maschine geschrieben?

Was diese vier gemeinsam haben

Kein einziger dieser Fehler ist ein Generierungsfehler. Kein besseres Modell, kein besserer Prompt und kein größeres Kontextfenster hätte einen davon verhindert. Es sind Buchhaltungsfehler — an den Stellen, an denen ein System festhält, was es getan hat.

Und alle vier teilen eine Eigenschaft, die sie so zäh macht: Sie sind von außen unsichtbar. Die Seite liest sich gut. Die Quellen sehen plausibel aus. Man bemerkt sie erst, wenn man gezielt nachrechnet — oder wenn jemand im Termin nachfragt.

Das ist der Preis dafür, dass die Pflege an eine Maschine geht. Man bekommt eine Wissensbasis, die wächst, ohne dass man abends Karteikarten sortiert. Man verliert die beiläufige Kontrolle, die das Sortieren nebenbei mitgeliefert hat.

Was daraus folgt

Nicht „mehr dem Modell vertrauen". Auch nicht „wieder selbst pflegen" — dann ist man zurück bei dem Problem, das das zweite Gehirn nie gelöst hat.

Sondern: Eine maschinell gepflegte Wissensbasis braucht eine Prüfung gegen sich selbst. Das ist eine Anforderung an die Bauart, kein Zusatz.

Konkret heißt das dreierlei.

Redundanz nutzen statt fürchten. Dass dieselbe Tatsache an drei Stellen steht, ist kein Designfehler — es ist die Gelegenheit. Drei Aufzeichnungen, die übereinstimmen müssen, sind eine Prüfsumme. Weichen sie ab, ist mindestens eine falsch, und man weiß, wo man hinsehen muss.

Eine Wahrheit benennen. Beim Reparieren muss feststehen, welches Register gewinnt. Bei uns sind es die Zitate — weil sie das einzige sind, das ein Leser selbst nachprüfen kann. Eine gespeicherte Zahl kann man nicht kontrollieren; eine Quellenliste schon.

Scheitern sichtbar machen. Ein Vorgang, der nichts tut, muss sich davon unterscheiden lassen, dass er nichts tun sollte. Sonst sieht eine ausgefallene Quelle genauso aus wie eine bewusst übergangene — und die eine braucht deine Aufmerksamkeit, die andere nicht.

Warum wir das aufschreiben

Alle vier Befunde stammen aus unserem eigenen System. Sie sind behoben, und es gibt jetzt einen Bericht, der die Register vergleicht, und eine Reparatur, die sie angleicht.

Aber der eigentliche Punkt ist nicht, dass wir sie behoben haben. Er ist, dass sie überhaupt entstehen konnten — in einem System, das von Anfang an auf Belegbarkeit gebaut war, von Leuten, die genau darauf achten. Wer eine LLM-gepflegte Wissensbasis betreibt und noch nie gegen sie geprüft hat, hat diese Fehler vermutlich auch. Er weiß es nur nicht.

Eine Wissensbasis, die sich unfehlbar gibt, ist genau die, auf die du dich vor einem Mandanten nicht stützen kannst. Eine, die dir sagt, wo sie sich selbst widerspricht, ist es wert.