Karpathys LLM-Wiki — mit Beleg in jeder Zeile
Ein LLM-Wiki ist nur so vertrauenswürdig wie seine Prüfung gegen die Quellen. Was beim Aufbau unserer Seiten zum EU-Recht schiefging, was wir geändert haben und welche falschen Daten die Belegprüfung abgefangen hat, bevor sie gespeichert wurden.
In short
Ein LLM-Wiki ist eine Sammlung von Seiten, die ein Sprachmodell aus deinen Quellen schreibt und aktuell hält, sodass Wissen einmal verdichtet wird, statt für jede Frage neu zusammengesucht zu werden. Vertrauenswürdig ist es nur so weit, wie die Prüfung reicht, die jeden Satz mit der zitierten Quelle abgleicht. In Pith nennt jeder Absatz eine gespeicherte Quelle, und eine Seite wird nur gespeichert, wenn die Belegprüfung keine unbelegte oder falsch belegte Aussage findet; veröffentlichte Seiten brauchen zusätzlich eine Freigabe durch einen Menschen.
Builds Pith

Ein LLM-Wiki ist eine Sammlung von Seiten, die ein Sprachmodell aus deinen Quellen schreibt und aktuell hält: Wissen wird einmal verdichtet, statt für jede Frage neu aus den Rohtexten zusammengesucht zu werden. Vertrauenswürdig ist es aber nur so weit, wie die Prüfung reicht, die jeden Satz mit der zitierten Quelle abgleicht. Das haben wir gelernt, als wir im Oktober und November 2026 in Pith Seiten zum EU-Recht aufgebaut haben. Das Modell schrieb vom ersten Tag an flüssige, plausible Seiten — und die Prüfung fand Daten, die auf sehr glaubwürdige Weise falsch waren.
Hier ist die ehrliche Fassung dieses Aufbaus: was schiefging, was wir geändert haben und wofür es weiterhin einen Menschen braucht.
Was ist ein LLM-Wiki?
Andrej Karpathy hat eine kurze Ideen-Datei veröffentlicht, die einen anderen Umgang mit Sprachmodellen und Dokumenten beschreibt. Statt für jede Frage Textstücke aus den Rohdateien zu holen, liest das Modell jede neue Quelle einmal und arbeitet sie in miteinander verlinkte Seiten ein: Es ergänzt bestehende Seiten, legt neue an und hält fest, wo eine neue Quelle einer alten Aussage widerspricht. Seine Kurzformel: „the wiki is a persistent, compounding artifact“ — das Wiki bleibt und wird mit jeder Quelle wertvoller.
Ausführlicher steht das in unserem Leitfaden zum LLM-Wiki, im Vergleich mit RAG und im Glossareintrag. Kurz gesagt: RAG antwortet und vergisst, ein LLM-Wiki schreibt auf und behält.
Pith ist ein Lese-Gedächtnis: Aus dem, was du speicherst, baut es ein LLM-Wiki. Eines fügen wir dem Muster hinzu, und zwar streng: Belege. Jeder Absatz nennt die gespeicherte Quelle, auf der er beruht, und eine Prüfung gleicht die Aussage mit dieser Quelle ab, bevor eine Seite gespeichert wird. Wie das an schwierigem Material aussieht, zeigt der Rest dieses Beitrags.
Warum ist EU-Recht ein harter Test?
Wir bauen öffentliche Seiten zu EU-Rechtsakten auf, die in der Compliance-Arbeit immer wieder auftauchen: NIS2, DORA, Cyber Resilience Act, eIDAS und weitere. Öffentlich sind sie noch nicht; jede wartet auf ihre Durchsicht.
Gesetzestexte sind ein guter Belastungstest für ein LLM-Wiki. Sie sind lang, die entscheidenden Sätze stecken tief in Artikeln und Absätzen, und viele Daten liegen dicht beieinander: Annahme, Veröffentlichung, Inkrafttreten, Geltungsbeginn. Eine Seite, die sie verwechselt, liest sich trotzdem einwandfrei.
Was ging beim ersten Aufbau schief?
Die erste Fassung sah fertig aus und war es nicht. Drei Probleme:
- Die Seiten erklärten das Warum, nicht das Was. Der Wiki-Agent sah nicht den ganzen Rechtsakt, sondern eine Zusammenfassung der ersten 8.000 Zeichen. In einem EU-Rechtsakt sind das die Erwägungsgründe, also die Begründung. Die Seiten erklärten deshalb gut, warum es ein Gesetz gibt, und sagten wenig darüber, wer betroffen ist, welche Pflichten gelten und ab wann — genau das, weswegen man eine solche Seite aufruft.
- Zwei Sprachen auf einer Seite. Ein Teil der Quellen ist englisch. In einem deutschen Workspace landeten dadurch englische Absätze auf deutschen Seiten.
- Ein Beleg ins Leere. Ein Belegverweis zeigte auf gar keine Quelle.
Halluziniert im üblichen Sinn war davon nichts. Jeder Satz stützte sich auf irgendetwas. Das Modell hatte nur den falschen Teil des Texts bekommen, und die Regeln waren zu locker.
Wie haben wir korrigiert, was das Modell liest?
Zuerst haben wir die Eingaben geändert, erst danach die Prompts:
- Artikel statt Erwägungsgründe. EU-Rechtsakte werden jetzt aus ihrem verfügenden Teil zusammengefasst, mit Artikelnummern. So kann eine Aussage auf einen bestimmten Artikel verweisen statt nur auf „die Richtlinie“.
- Eine Sprache pro Wiki. Das Wiki eines Workspace wird in einer Sprache geschrieben. Eine englische Quelle fließt auf Deutsch in eine deutsche Seite ein.
- Keine toten Verweise. Ein Belegverweis ohne Quelle wird entfernt, statt angezeigt zu werden.
Was macht die Neugliederung einer Seite?
Eine Wiki-Seite wächst Quelle für Quelle, und nach zehn Quellen liest sie sich wie zehn Nachträge. Für Seiten zu Regelwerken gibt es deshalb einen Schritt, der eine gewachsene Seite in eine feste Gliederung bringt: Überblick, wer betroffen ist, Pflichten, Meldepflichten, Fristen, Aufsicht und Sanktionen, Umsetzung in Deutschland.
Dabei
- führt er doppelte Aussagen zusammen, die aus verschiedenen Quellen kamen,
- hängt jeden Beleg an die Quelle, die den Sachverhalt tatsächlich nennt, nicht an eine, die das Thema nur streift,
- füllt dünne Abschnitte aus Passagen der Quellen, die die Seite schon zitiert — und aus nichts anderem,
- und speichert das Ergebnis nur, wenn die Belegprüfung keine unbelegte oder falsch belegte Aussage findet. Sonst bleibt die vorige Fassung stehen.
Auf die letzte Regel kommt es an. Eine Neugliederung, die eine Seite ordentlicher, aber weniger wahr macht, wird nicht gespeichert.
Was hat die Belegprüfung gefunden?
Zwei Beispiele aus dem echten Durchlauf.
Ein glaubwürdiges falsches Datum. Für NIS2 und DORA schlug ein Modell „in Kraft seit 27. Dezember 2022“ vor. Das Datum gibt es: An diesem Tag wurden beide Rechtsakte im Amtsblatt veröffentlicht. In Kraft getreten sind beide aber am 16. Januar 2023. Die Prüfung verglich die Aussage mit dem zitierten Text, markierte sie als falsch belegt, und sie wurde nicht gespeichert. Wer die Seite nur überfliegt, hätte das Datum sehr wahrscheinlich übernommen.
Eine ungenaue Wiedergabe. Auf der Seite zum Cyber Resilience Act hieß es, Sicherheitsupdates müssten „mindestens zehn Jahre lang bereitgestellt“ werden. So steht es nicht im Text. Art. 13(9) verlangt, dass jedes Sicherheitsupdate nach seiner Bereitstellung mindestens zehn Jahre lang verfügbar bleibt. Für einen Hersteller, der einen Supportzeitraum plant, ist das ein echter Unterschied. Der Satz wurde korrigiert.
Dafür ist eine Belegprüfung da: nicht um Unsinn zu finden, den man ohnehin sieht, sondern Sätze, die fast stimmen.
Was hat das Modell trotzdem übersehen?
Eine Prüfung kann nur beurteilen, was auf der Seite steht. Was fehlt, sagt sie nicht. Beim Durchlesen der CRA-Seite von Hand fiel auf, dass Art. 69(3) nicht vorkam: Die Meldepflichten gelten auch für Produkte, die vor dem 11. Dezember 2027 in Verkehr gebracht wurden. Kein Modellschritt hatte das bemerkt, weil kein Satz falsch war. Einer fehlte.
Die Durchsicht durch einen Menschen bleibt deshalb Teil des Ablaufs. Für die öffentlichen Seiten zum EU-Recht gilt eine einfache Regel: Eine Seite geht erst online, wenn wir sie gelesen und eine bestimmte Fassung freigegeben haben.
Warum sind lange Gesetzestexte an der Suche gescheitert?
Um einen dünnen Abschnitt zu füllen, muss die richtige Passage in einer langen Quelle gefunden werden. Bei Gesetzestexten ging das auf eine Weise schief, mit der wir nicht gerechnet hatten. Im eIDAS-Änderungsrechtsakt stand ein Artikel in einem einzigen riesigen Absatz: Änderungsrechtsakte fügen ganze neue Artikel in die Verordnung ein, die sie ändern, und der eingefügte Text kam als ein Block an. Eine Suche nach einer einzelnen Pflicht lieferte eine Passage über alles.
Die Lösung hat drei Teile: lange Absätze teilen, eingefügte Artikel in eigene Abschnitte trennen und jedem Abschnitt seine Artikelüberschrift voranstellen. Ein Abschnitt weiß jetzt, zu welchem Artikel er gehört, auch wenn er dessen vierter Teil ist.
Was kostet das?
Weniger als erwartet. Die belegten Felder für 21 Seiten zu füllen, kostete etwa 0,06 € an Modellaufrufen, fünf EU-Rechtsakte neu zu zerlegen etwa 0,014 €. Teuer ist nicht das Modell, sondern die Zeit, die ein Mensch mit der Durchsicht verbringt. Deshalb sollen die maschinellen Prüfungen so viel wie möglich finden, bevor jemand liest.
Was nehmen wir daraus mit?
Ein LLM-Wiki ist nur so vertrauenswürdig wie seine Prüfung gegen die Quellen. Flüssige Seiten sind billig; gut aussehende hat das Modell vom ersten Tag an geschrieben. Brauchbar wurden sie durch eine Regel — ein Satz wird nur gespeichert, wenn die zitierte Passage dasselbe sagt — und durch einen Menschen, der die Seite liest, bevor sie rausgeht.
Wer ein eigenes LLM-Wiki pflegt, in Pith oder anderswo, kann die Lehren übernehmen:
- dem Modell den Teil einer Quelle geben, in dem die Fakten stehen, nicht den, der zufällig zuerst kommt,
- jeden Beleg an der Passage festmachen, die den Sachverhalt nennt,
- jede Änderung gegen die Quellen prüfen, bevor sie die vorige Fassung ersetzt,
- und alles, was veröffentlicht wird, von einem Menschen freigeben lassen.
Wie das Wiki in Pith funktioniert, steht auf der Seite zum Wiki; warum wir bei den Belegen anfangen, in Jede Aussage nennt ihre Quelle. Die kuratierten EU-Termine stehen schon in unserem öffentlichen Fristenkalender, jeder mit Link auf die Stelle, die ihn nennt.
FAQ
Was ist ein LLM-Wiki?
Eine Sammlung verlinkter Seiten, die ein Sprachmodell aus den Quellen schreibt, die du sammelst, und mit jeder neuen Quelle erweitert. Beschrieben hat die Idee Andrej Karpathy in einer kurzen Ideen-Datei auf GitHub. Anders als bei der Suche zur Fragezeit wird das Ergebnis einmal aufgeschrieben und bleibt.
Was findet eine Belegprüfung, das beim Lesen durchrutscht?
Sätze, die fast stimmen. Bei unserem Aufbau schlug ein Modell vor, NIS2 und DORA seien „seit 27. Dezember 2022 in Kraft“. An diesem Tag wurden beide im Amtsblatt veröffentlicht; in Kraft getreten sind sie am 16. Januar 2023. Die Prüfung verglich die Aussage mit dem zitierten Text, markierte sie als falsch belegt, und sie wurde nicht gespeichert.
Macht eine Belegprüfung die Durchsicht durch einen Menschen überflüssig?
Nein. Eine Prüfung beurteilt, was auf einer Seite steht, nicht, was fehlt. Beim Durchlesen unserer Seite zum Cyber Resilience Act fiel auf, dass Art. 69(3) fehlte: Die Meldepflichten gelten auch für Produkte, die vor dem 11. Dezember 2027 in Verkehr gebracht wurden. Seiten, die wir veröffentlichen, gehen deshalb erst online, wenn wir eine bestimmte Fassung freigegeben haben.
Warum tun sich LLM-Wikis mit Gesetzestexten schwer?
Aus zwei Gründen, auf die wir gestoßen sind: Am Anfang eines EU-Rechtsakts stehen die Erwägungsgründe, ein Modell, das nur den Anfang liest, erfährt also, warum es das Gesetz gibt, aber nicht, was es verlangt. Und in Änderungsrechtsakten kann ein ganzer eingefügter Artikel in einem einzigen riesigen Absatz stehen, was die Suche aushebelt. Wir fassen deshalb aus den Artikeln zusammen und teilen lange Absätze, jeden Abschnitt mit seiner Artikelüberschrift davor.
Was kosten diese Prüfungen?
An Modellaufrufen wenig. Die belegten Felder für 21 Seiten zu füllen, kostete etwa 0,06 €, fünf EU-Rechtsakte neu zu zerlegen etwa 0,014 €. Teurer ist die Zeit, die ein Mensch mit der Durchsicht verbringt.