Wer pflegt eigentlich dein LLM-Wiki?

Nach drei Monaten sieht ein Wiki, das nur wächst, ungefähr so aus: vierzig Seiten, die Hälfte davon aus einer einzigen intensiven Lesewoche. Zwei Seiten über dasselbe Thema, eine mit dem Namen des Themas, eine mit der Überschrift des Artikels, aus dem sie entstand. Eine Quelle, die du längst gelöscht hast, steht noch unter einer Aussage. Und eine Seite über eine Richtlinie zitiert einen Text, den der Verlag im Juni umgeschrieben hat.

Keine dieser Seiten ist erfunden. Jede war am Tag ihrer Entstehung richtig belegt. Das Wiki ist trotzdem nicht mehr wahr.

Ein Wiki verrottet nicht an falschen Seiten, sondern an fehlender Pflege

Wir haben das an unserer eigenen Wissensbasis gesehen, nicht in der Theorie. Aus einem Artikel mit dem Titel „PostgreSQL for Everything" entstand eine Seite gleichen Namens — neben der Seite „PostgreSQL", die es schon gab. Alles, was danach zu PostgreSQL gelesen wurde, sammelte sich mal hier, mal dort. Das Wissen wuchs unter einer Schlagzeile statt unter dem Thema.

Solcher Verfall hat drei Formen, und keine davon fällt beim Lesen einer einzelnen Seite auf:

• Doppelungen. Zwei Seiten über ein Konzept, jede halb so gut belegt, wie eine es wäre.
• Verwaiste Belege. Du löschst eine Quelle, weil sie dich nicht überzeugt hat. Die Aussage, die sich auf sie stützte, bleibt stehen.
• Stille Änderungen. Die Quelle existiert noch, aber ihr Text ist ein anderer als der, den du gelesen hast. Das Zitat stimmt nicht mehr, und niemand hat es bemerkt.

Ein Modell, das Seiten schreibt, löst keines dieser Probleme. Es erzeugt sie in höherem Tempo.

Drei Arbeiten, die man auseinanderhalten muss

Wer von einem LLM-Wiki spricht, meint meistens das Aufbauen: Aus deinen Quellen entstehen Seiten mit Belegen. Das ist der Teil, den Sprachmodelle gut können und über den jede Demo handelt.

Daneben stehen zwei Arbeiten, die weniger vorzeigbar sind und über die Verlässlichkeit entscheiden:

1. Sortieren — entscheiden, was überhaupt hineinkommt.
2. Synchronisieren — nachziehen, was sich an den Quellen geändert hat.

Wir haben die drei getrennt, weil sie unterschiedliche Fragen beantworten, und weil sie unterschiedlich viel Urteil verlangen.

Sortieren: Du entscheidest, was hineinkommt

Ein Wiki, das jeden gelesenen Artikel aufnimmt, bildet deine Feeds ab, nicht dein Urteil. Die Auswahl ist die eigentliche Denkarbeit, und sie lässt sich nicht delegieren, ohne dass das Wiki aufhört, deins zu sein.

Deshalb gibt es bei Pith jeden Morgen um sechs eine Übersicht: die zwölf relevantesten Artikel des Vortags aus deinen Feeds, nach Themen gruppiert, zu jedem eine Zusammenfassung aus dem Artikel selbst. Pro Artikel entscheidest du, und zwar zwischen drei Möglichkeiten:

• Ins Wiki — die Quelle wird gespeichert, und aus ihrem vollständigen Text entstehen oder wachsen Seiten.
• Behalten — gespeichert und durchsuchbar, aber nicht Teil des Wikis.
• Überspringen — weg.

Aus der Morgenübersicht kommt nichts ins Wiki ohne das erste. Die Zusammenfassung selbst landet nie dort; sie hilft dir bei der Entscheidung, sie ist kein Beleg.

Über den Morgenblock setzt du eine Watchlist: Begriffe, deren Artikel immer erscheinen, egal wie das Modell ihre Relevanz einschätzt. Das klingt nach einer Kleinigkeit und war die erste Lektion der Woche. Als ein neues Modell namens Jev erschien, bewertete unser Relevanzmodell die ersten Artikel darüber mit 55 bis 82 Prozent — es kannte den Namen schlicht nicht, er war jünger als sein Wissen. Ohne Watchlist wären sie unter den zwölf Plätzen verschwunden.

Die Watchlist sucht nicht nach Buchstabenfolgen. „Jev" trifft nicht „Jevons", „NIS2" trifft auch „NIS-2" und „NIS 2", und „TypeSafe" als Firmenname trifft nicht das Allerweltswort „type-safe".

Synchronisieren: nur das, was sich geändert hat

Die meisten Werkzeuge, die ein Wiki aus Dokumenten bauen, lesen bei jedem Lauf alles neu. Das kostet Zeit und Geld, aber das eigentliche Problem ist ein anderes: Wer alles neu liest, sieht nicht, was sich geändert hat. Eine gelöschte Quelle fehlt einfach — der Anlass, eine Seite zu prüfen, verschwindet mit ihr.

Deshalb fragt ein Agent, der dein Wiki pflegt, bei uns zuerst: Was ist seit meinem letzten Lauf passiert? Die Antwort kommt mit einer Marke für den nächsten Lauf und nennt vier Dinge:

• neu gespeicherte Quellen, und ob sie schon im Wiki sind,
• Quellen, deren Text sich wesentlich geändert hat, mit einer Beschreibung, was sich geändert hat,
• gelöschte Quellen,
• Seiten, die geschrieben wurden.

Gelöschte Quellen hinterlassen dafür einen Vermerk. Das klingt banal und war es nicht: Vorher verschwand eine Löschung spurlos. Die Zitate wurden bereinigt, aber niemand konnte später fragen, welche Seite dadurch eine Aussage ohne Beleg behalten hatte.

Aufbauen, ohne zu überschreiben

In Pith schreiben zwei Agenten am selben Wiki: unser eigener, der neue Quellen einarbeitet, und deiner, wenn du dein KI-Werkzeug über MCP anbindest. Liest deiner eine Seite, und unserer schreibt sie eine Sekunde später neu, dann würde dein Agent beim Speichern eine Fassung überschreiben, die er nie gesehen hat.

Jede Seite hat deshalb eine Versionsnummer. Wer schreibt, nennt die Version, die er gelesen hat. Stimmt sie nicht mehr, wird der Schreibversuch abgelehnt — mit der aktuellen Nummer und der Anweisung, neu zu lesen, zusammenzuführen und dann zu schreiben. Verloren geht dabei nichts, und niemand gewinnt still.

Was ein Agent nie allein tun darf

Ein Agent, der ein Wiki pflegt, braucht Werkzeuge, die die Struktur verändern: zwei Seiten zusammenführen, eine umbenennen, eine entfernen. Genau hier liegt die Grenze zwischen Pflege und Schaden, und wir haben sie in die Werkzeuge gebaut statt in eine Anleitung, die man überlesen kann:

• Zusammenführen läuft zuerst als Probelauf. Er zeigt, wie viele Belege, Verweise und Verlinkungen wandern würden — und wie viele Versionen der aufgelösten Seite verloren gingen. Erst mit ausdrücklicher Freigabe wird er ausgeführt.
• Entfernen ist umkehrbar. Eine Seite wird ausgeblendet, nicht gelöscht; Geschichte und Belege bleiben.
• Eine Entscheidung pro Artikel. Ein Agent kann dir morgens vorschlagen, was ins Wiki gehört, mit einer Begründung pro Artikel, und das Freigegebene einzeln ausführen. „Rest überspringen" kann er nicht. Das ist deine Abkürzung, nicht seine.
• Keine Belege von außen. Jede Aussage im Wiki zitiert eine Quelle, die du gespeichert hast. Was das Modell sonst weiß, gehört nicht hinein.

Wie ein Pflegelauf aussieht

Die Reihenfolge ist als Anleitung hinterlegt, die dein KI-Werkzeug abrufen kann. Ein Lauf geht so:

1. Fragen, was sich seit der letzten Marke geändert hat.
2. Erst Löschungen und Änderungen, dann Neues. Hat eine gelöschte Quelle eine Aussage getragen, wird das gemeldet, nicht mit einer anderen Quelle zugedeckt. Hat sich eine Quelle geändert, auf der eine Seite beruht, wird die Quelle neu gelesen und die Seite mit Versionsschutz angepasst.
3. Neue Quellen einarbeiten: den Text lesen, nicht nur den Titel; erst im Index nachsehen, ob es das Konzept schon gibt, dann schreiben.
4. Doppelungen als Probelauf vorschlagen.
5. Berichten: was geändert wurde, was vorgeschlagen und nicht getan wurde, wo du gebraucht wirst.

Was wir dabei selbst gelernt haben

Eine Sache hat uns überrascht. Zu jedem Watchlist-Begriff schlägt ein Modell Schreibvarianten vor. Für „TypeSafe" nannte es beim ersten Versuch „Typesafe, Inc." und „Lightbend" — eine ältere Firma gleichen Namens und ihre Nachfolgerin. Die gemeinte Firma war jünger als das Wissen des Modells, also nahm es die bekannte. Mit diesen Varianten wäre jeder Artikel über Lightbend in deiner Morgenübersicht gelandet.

Die Varianten entstehen jetzt aus den Artikeln in deinen Feeds, die den Begriff enthalten, und das Modell gibt lieber keine Variante als eine geratene. Du siehst sie und kannst sie ändern.

Die Lehre gilt über diesen Fall hinaus: Ein Modell, das dein Wissen pflegt, soll sich an deine Quellen halten, nicht an sein Gedächtnis. Beim Schreiben von Seiten ist das selbstverständlich. Bei den kleinen Hilfsentscheidungen drumherum vergisst man es leicht.

Warum sich die Mühe lohnt

Ein Lese-Gedächtnis ist nur so viel wert wie das Vertrauen, das du ihm entgegenbringen kannst, wenn du daraus zitierst. Dieses Vertrauen entsteht nicht beim Aufbauen. Es entsteht an den unspektakulären Stellen: dass eine gelöschte Quelle bemerkt wird, dass eine geänderte Quelle nachgezogen wird, dass zwei Seiten über dasselbe zu einer werden — und dass nichts davon hinter deinem Rücken passiert.