Leitfaden · LLM-Wiki oder RAG

LLM-Wiki oder RAG: eine Entscheidungshilfe

RAG beantwortet jede Frage, indem es zum Fragezeitpunkt passende Abschnitte aus deinen Rohdokumenten holt; ein LLM-Wiki lässt das Modell jede Quelle einmal lesen und in gepflegte Seiten einarbeiten, sodass Antworten aus einer bereits geschriebenen Synthese kommen. RAG passt für große, schnell wechselnde Dokumentbestände und einzelne Nachschlagefragen, ein LLM-Wiki für ein Fachgebiet, das du über Monate verfolgst und in dem Verständnis wachsen soll.

Von Stefan Hartmann · Aktualisiert

Was ist der Unterschied zwischen LLM-Wiki und RAG?

Beide lassen ein Sprachmodell mit Dokumenten arbeiten, auf denen es nicht trainiert wurde. Der Unterschied liegt darin, wann gedacht wird.

Bei Retrieval-Augmented Generation bleiben die Dokumente, wie sie sind. Stellst du eine Frage, durchsucht das System sie – meist über Vektor-Embeddings, manchmal zusätzlich über Stichwörter –, gibt die passendsten Passagen ans Modell, und das Modell formuliert eine Antwort. Jede Frage ist neue Arbeit.

Bei einem LLM-Wiki passiert die Arbeit, wenn eine Quelle ankommt. Das Modell liest sie und aktualisiert eine Reihe von Seiten: Es ergänzt die Themenseite, überarbeitet die Zusammenfassung, verknüpft verwandte Seiten und vermerkt, wo die Quelle dem Bisherigen widerspricht. Fragst du später, liest das Modell diese Seiten. Andrej Karpathy, der das Muster im April 2026 in einem Gist beschrieben hat, bringt den Gegensatz so auf den Punkt: Das Wissen wird einmal kompiliert und dann aktuell gehalten, statt bei jeder Anfrage neu hergeleitet zu werden.

Wie funktioniert RAG?

  1. Zerlegen: Jedes Dokument wird in Abschnitte von ein paar hundert Wörtern geteilt.
  2. Einbetten: Jeder Abschnitt wird als Vektor gespeichert.
  3. Abrufen: Bei einer Frage werden die Abschnitte geholt, die ihr am nächsten sind.
  4. Generieren: Das Modell schreibt aus diesen Abschnitten eine Antwort, im besten Fall mit Belegen.

Das skaliert gut: Ein Dokument hinzuzufügen ist billig, und der Index fasst Millionen Abschnitte. Schwach wird es bei Fragen, deren Antwort über viele Dokumente verteilt ist oder abgeglichen werden muss: Die Suche muss jedes Mal alle richtigen Bruchstücke finden, und das Modell muss unter Token-Budget verdichten, ohne sich zu erinnern, dass es das schon einmal getan hat. Widersprechen sich zwei Quellen, spiegelt eine RAG-Antwort meist den Abschnitt, der höher gerankt war.

Wie funktioniert ein LLM-Wiki?

  1. Einlesen: Das Modell liest eine neue Quelle vollständig.
  2. Einarbeiten: Es legt die Seiten an oder ergänzt sie, die die Quelle berührt – laut Karpathy können das 10 bis 15 Seiten sein.
  3. Index und Logbuch: Ein Seitenkatalog und ein chronologisches Protokoll halten das Wiki überschaubar.
  4. Fragen: Antworten kommen aus den Seiten, mit Belegen; gute Antworten werden zu neuen Seiten.
  5. Prüfen: Regelmäßig wird nach Widersprüchen, veralteten Aussagen, verwaisten Seiten und fehlenden Links gesucht.

Die Kosten wandern vom Fragezeitpunkt zum Einlesen. Eine Quelle hinzuzufügen ist teurer als sie einzubetten, weil das Modell liest und schreibt. Dafür ist die Verdichtung schon erledigt, wenn du fragst, sie ist für sich lesbar, und sie wird mit jeder Quelle besser.

LLM-Wiki und RAG im Direktvergleich

RAGLLM-Wiki
Wann verdichtet wirdBei jeder FrageEinmal, wenn eine Quelle kommt
Aufwand pro neuer QuelleGering (zerlegen, einbetten)Höher (das Modell liest und schreibt Seiten)
Aufwand pro FrageAbruf plus Generierung, jedes MalEin paar fertige Seiten lesen
Etwas zum Lesen ohne FrageNein – nur AntwortenJa – die Seiten selbst
Fragen über viele QuellenHängt davon ab, jedes Bruchstück zu findenAuf der Seite schon abgeglichen
WidersprücheMeist vom Ranking verdecktKönnen auf der Seite festgehalten werden
GrößenordnungMillionen AbschnitteHunderte bis Tausende Seiten funktionieren gut
AktualitätSofort nach dem IndexierenSo aktuell wie das letzte Einlesen
Typischer FehlerKontext fehlt, flache SyntheseEin früher Fehler wird eingebaut und wiederholt
NachvollziehbarkeitGefundener Abschnitt pro AntwortBelege auf jeder Seite, Rohquelle bleibt

Wann ist RAG die bessere Wahl?

  • Der Bestand ist groß und größtenteils ungelesen. Zehntausend Support-Tickets oder ein ganzes Dokumentenmanagement: Niemand will pro Ticket eine Wiki-Seite, und nach den meisten wird nie gefragt.
  • Die Dokumente ändern sich ständig. Preise, Lagerbestände, Versionen von Richtlinien. Eine geänderte Datei neu zu indexieren ist billig, sie neu in Seiten einzuarbeiten nicht.
  • Es kommt auf den genauen Wortlaut an. Verträge und Spezifikationen, bei denen die Antwort den maßgeblichen Text zitieren muss, nicht eine Zusammenfassung.
  • Fragen sind einzelne Nachschlagefragen. „Was steht in Abschnitt 4.2?“ braucht kein gewachsenes Verständnis.
  • Viele fragen einen gemeinsamen Bestand ab. RAG bedient eine Wissensbasis, die niemand persönlich kuratiert.

Wann ist ein LLM-Wiki die bessere Wahl?

  • Du verfolgst ein Fachgebiet über Monate. Eine Analystin, die eine Branche abdeckt, ein Forscher an einer Frage, eine Beraterin, die sich in den Markt eines Mandanten einliest. Verständnis soll wachsen, nicht bei jeder Frage neu entstehen.
  • Die Quellen sind ausgewählt. Du entscheidest, was hineinkommt – also lohnt es sich, dass das Modell jede Quelle vollständig liest.
  • Fragen brauchen Synthese. „Wie hat sich die Einschätzung zu X seit dem Frühjahr verändert?“ oder „Wo widersprechen sich meine Quellen bei Y?“ sind schwer für Retrieval und naheliegend für eine gepflegte Seite.
  • Du willst etwas, das sich lesen und teilen lässt. Eine Seite ist ein Ergebnis: vor dem Termin überfliegen, an eine Kollegin schicken, Zeile für Zeile an den Quellen prüfen.
  • Du willst Widersprüche sehen. Beim Einarbeiten treffen zwei Quellen aufeinander – genau dann lässt sich ein Widerspruch festhalten, statt ihn wegzumitteln.

Kann man LLM-Wiki und RAG kombinieren?

Ja, und die meisten echten Setups tun es am Ende. Karpathy schreibt selbst, dass eine Index-Datei bis etwa hundert Quellen und einige hundert Seiten reicht und man danach eine richtige Suche will – eine Mischung aus Stichwort- und Vektorsuche über die Wiki-Seiten. Das ist Retrieval, nur über verdichtete Seiten statt über rohe Abschnitte.

Pith kombiniert beides auf eine bestimmte Art. Jede Quelle, die du mit KI speicherst, wird mit nummerierten Belegen in Wiki-Seiten eingearbeitet – die Wiki-Seite der Sache. Suche und Chat beantworten Fragen über deine gespeicherten Quellen und deine Wiki-Seiten zugleich – die Retrieval-Seite (2 ct pro Chat-Frage, Suchen ist kostenlos). Dein eigener KI-Assistent nutzt beides über MCP: Wiki-Seiten durchsuchen, eine Seite samt Belegen lesen oder bis zum Volltext einer gespeicherten Quelle hinuntergehen, wenn die Seite nicht reicht. Und die Zitat-Prüfung dreht Retrieval um: Sie nimmt die Aussagen deines Entwurfs und sucht in deinen gespeicherten Quellen die Passage, die jede einzelne stützt.

Was kann bei einem LLM-Wiki schiefgehen – und wie sicherst du dich ab?

Die ehrliche Schwäche des Verdichtens: Fehler werden mitverdichtet. Eine falsch gelesene Zahl im ersten Durchlauf wird zur Grundlage, auf der die nächsten zehn aufbauen. Drei Absicherungen zählen:

  • Rohquellen behalten und auf der Seite belegen. Jede Aussage muss auf etwas zeigen, das du öffnen kannst. In Pith listet jede Seite ihre Quellen mit Link zum Original und zu deiner gespeicherten Kopie.
  • Ergänzen statt neu schreiben. Komplette Neufassungen driften, kleine Ergänzungen lassen sich prüfen. Piths Wiki-Agent hängt eine Quelle nur als Beleg an, wenn sie nichts Neues bringt, und ergänzt die Seite, wenn doch.
  • Versionen behalten und Widersprüche festhalten. Wird eine Seite schlechter, brauchst du die vorige Fassung; widersprechen sich Quellen, sollte die Seite das sagen. Pith hält jede Textänderung als Version fest (über deinen KI-Assistenten wiederherstellbar) und markiert Quellenkonflikte mit beiden Passagen nebeneinander.

Was brauchst du? Eine kurze Checkliste

Nimm RAG, wenn das meiste davon zutrifft: Der Bestand ist groß, ändert sich oft, die meisten Dokumente wird nie jemand lesen, Antworten müssen den Wortlaut zitieren, und viele fragen ihn ab.

Nimm ein LLM-Wiki, wenn das meiste davon zutrifft: Du wählst die Quellen, verfolgst das Thema über Monate, deine Fragen vergleichen und gleichen ab, du willst Seiten, die du vor einem Termin lesen kannst, und dir ist wichtig, wo Quellen sich widersprechen.

Landest du in der zweiten Gruppe und willst keinen Agenten selbst betreiben, zeigt Karpathys LLM-Wiki ohne Code den gehosteten Weg Schritt für Schritt. Den Hintergrund zum Muster findest du unter Was ist ein LLM-Wiki?.

Häufige Fragen

Ersetzt ein LLM-Wiki RAG?

Nicht grundsätzlich. Ein LLM-Wiki ersetzt RAG bei ausgewählten Quellen, die du über längere Zeit verfolgst; für große, schnell wechselnde oder größtenteils ungelesene Bestände bleibt RAG das bessere Werkzeug. Größere Wikis nutzen selbst Retrieval, um ihre eigenen Seiten zu finden.

Ist ein LLM-Wiki teurer als RAG?

Pro Quelle ja, weil das Modell die Quelle liest und Seiten schreibt; pro Frage nein, weil Antworten aus fertigen Seiten kommen. Bei wenigen, ausgewählten Quellen und vielen Fragen ist das Wiki insgesamt oft günstiger, bei einem riesigen Bestand mit wenigen Fragen RAG.

Halluziniert ein LLM-Wiki weniger als RAG?

Keins von beiden ist dagegen gefeit. Im Wiki sind Fehler leichter zu finden, weil Aussagen mit prüfbaren Belegen auf einer Seite stehen – ein Fehler, der hineinrutscht, wird aber wiederholt, bis ihn jemand korrigiert. Rohquellen behalten, auf jeder Seite belegen und Versionen führen sind die wichtigsten Absicherungen.

Wie groß kann ein LLM-Wiki werden?

Laut Karpathy reicht eine Index-Datei bis etwa hundert Quellen und einige hundert Seiten; darüber hinaus kommt eine Suche über die Seiten dazu. Gehostete Tools übernehmen die Suche für dich.

Nutzt Pith RAG oder ein LLM-Wiki?

Beides. Gespeicherte Quellen werden in belegte Wiki-Seiten eingearbeitet, und Suche, Chat und dein KI-Assistent (über MCP) können sowohl in den Seiten als auch im Volltext deiner gespeicherten Quellen suchen.

Was passt besser für Beratung oder Analyse?

Um einen Markt, einen Mandanten oder eine Regulierung über Monate zu verfolgen, meist ein LLM-Wiki: Die Verdichtung wächst, Widersprüche werden sichtbar, und du hast Seiten, die du vor einem Termin lesen kannst. Um ein großes Archiv von Mandantendokumenten zu durchsuchen, RAG.

Weiterlesen

Verwandte Begriffe

Ein gehostetes LLM-Wiki ausprobieren

Speichere, was du liest; Pith schreibt das belegte Wiki. Kein Abo, keine Kreditkarte zum Start.