Unser LLM-Wiki hat sechs Artikel erfunden. Diese Prüfung verhindert es.
Eine Nachrichtenseite hat Pith ihren Cookie-Hinweis statt des Artikels geschickt. Pith hat zusammengefasst, was der Artikel vermutlich sagt, und das Wiki hat sechs Seiten darauf gebaut. Was schiefging, die Lesbarkeitsprüfung, die wir gebaut haben, die Zahlen aus dem Test — und warum „Ich konnte das nicht lesen“ die richtige Antwort ist.
In short
Liefert ein Webabruf statt des Artikels einen Cookie-Hinweis, eine Paywall oder eine Bot-Prüfung, kann ein Sprachmodell, das zusammenfassen soll, die Lücke aus Titel und URL füllen und eine plausible, aber erfundene Zusammenfassung schreiben. Pith prüft deshalb jetzt vor allem anderen die Lesbarkeit: Ein Modellaufruf ordnet den Text als Artikel, Cookie-Hinweis oder Paywall, Login- oder Bot-Wand, Fehlerseite oder sonstigen Nicht-Inhalt ein. Nur Text mit einer Wahrscheinlichkeit von mindestens 0,3 für „Artikel“ wird zusammengefasst, für die Suche erschlossen oder im Wiki verwendet. Alles andere bleibt ein Link, und der Grund wird angezeigt.
Builds Pith

Am 6. November habe ich einen Schwung Artikel aus meiner eigenen Lektüre in meinen Personal-Workspace in Pith gespeichert. Neun davon waren von golem.de. Kurz darauf hatte mein Wiki sechs neue Seiten: über geschwärzte PDFs bei Behörden, über Neurotechnologie, über den Tesla Roadster, über Musks Wahlkampfspenden. Jede Seite flüssig geschrieben, sinnvoll gegliedert, mit einer Quelle belegt.
Nichts davon stammte aus den Artikeln. Pith hatte sie nie gelesen.
In diesem Beitrag geht es darum, was passiert ist, was ich gebaut habe, damit es nicht wieder passiert, und was der Test ergeben hat. Es ist auch die Korrektur einer Annahme, die ich über mein eigenes Produkt hatte.
Was ist schiefgegangen?
Wenn du in Pith einen Link speicherst, ruft Pith die Seite ab, speichert den Text, fasst ihn zusammen, zerlegt ihn in Abschnitte für die Suche und gibt ihn dem Wiki-Agenten, der entscheidet, ob er auf eine Seite gehört. Diese Kette hat etwas vorausgesetzt, das sie nie geprüft hat: dass der abgerufene Text der Artikel ist.
Bei allen neun Golem-Links war er es nicht. Golem hat auf den Abruf mit seinem Cookie- und „Pur-Abo“-Hinweis geantwortet: rund 2.500 Zeichen, die mit „Cookies zustimmen“ beginnen und über den Artikel nichts sagen. Für den Abruf sah das nach Erfolg aus. Der Server hat geantwortet, es gab Text und einen Titel.
Dann bekam die Zusammenfassung diesen Text, dazu Titel und URL. Drei der neun Zusammenfassungen sagten ehrlich, dass die Seite nur einen Cookie-Hinweis zeigt. Sechs nicht. Sie beschrieben den Artikel, den Titel und URL nahelegten, plausibel und ohne jede Grundlage im gespeicherten Text. Und der Wiki-Agent sah sechs neue Quellen zu Themen, die das Wiki noch nicht hatte, tat seine Arbeit und legte sechs neue Seiten an, jede nur mit einer dieser Quellen belegt.
Im Wiki stand also „Quelle: golem.de“ unter Absätzen, die golem.de uns nie geschickt hatte.
Warum füllt ein Modell die Lücke?
Weil es genau das tun sollte. Die Zusammenfassung bekommt Titel, URL und Text mit dem Auftrag, den Artikel zusammenzufassen. Ist der Text ein Cookie-Hinweis, wäre die ehrliche Antwort: Hier ist kein Artikel. Aber eine Schlagzeile und ein sprechender URL-Pfad sind viel Material. „Tesla Roadster“ und ein Datum reichen einem Modell für einen glaubwürdigen Absatz über den Tesla Roadster. Am Ergebnis sieht nichts falsch aus, und genau das ist das Problem.
Ich schreibe hier oft über Quellenverankerung: Jede Aussage im LLM-Wiki soll zu etwas führen, das du gespeichert hast. Die Belegprüfung vergleicht Sätze mit der zitierten Quelle. Aber so eine Prüfung arbeitet mit dem, was gespeichert ist. Ist die gespeicherte „Quelle“ eine Vermutung, ist das Wiki an die Vermutung gebunden. Das war eine KI-Halluzination einen Schritt früher, als ich hingeschaut hatte.
Wie groß war das Problem?
Aufgeräumt habe ich noch am selben Tag: die sechs Seiten gelöscht, Zusammenfassungen, Suchabschnitte und gespeicherten Text der neun Golem-Quellen entfernt, die Quellen selbst als Links mit ihrem echten Titel behalten. Dann habe ich nach demselben Muster an anderer Stelle gesucht.
Es war da. In einem der öffentlichen Showcase-Workspaces waren zehn Finextra-Seiten als Bot-Wand von 275 Zeichen zurückgekommen. Daraus waren Aussagen in vier Wiki-Seiten entstanden, dazu eine Seite, die nur auf ihnen beruhte. Ich habe sie entfernt oder neu geschrieben. Außerdem fand ich eine heise+-Leseprobe und einen Anriss der Harvard Business Review, die als vollständige Artikel behandelt worden waren.
Nichts davon kam von einem Angreifer oder einer ungewöhnlichen Seite. Das sind normale Nachrichtenseiten, die sich so verhalten wie bei jedem Besucher, der nicht auf „Akzeptieren“ geklickt oder sich nicht angemeldet hat.
Was macht die Lesbarkeitsprüfung?
Bevor aus einem abgerufenen Text irgendetwas abgeleitet wird, stellt Pith jetzt eine Frage: Ist das der Inhalt der Seite, oder etwas, das davor steht?
Dafür gibt es einen Aufruf der Decisions-API von OpenAI mit dem Modell gpt-6-luna. Der Text wird einer von fünf Kategorien zugeordnet:
- article: der eigentliche Inhalt, auch wenn Menüs und Cookie-Banner drumherum stehen
- consent_or_paywall: Cookie-Hinweis, Abo-Angebot oder Paywall statt des Inhalts
- login_or_bot_wall: Anmeldung, Bot-Prüfung oder „Zugriff verweigert“
- error_or_empty: Fehlerseite oder Seite ohne echten Text
- other_non_content: nur Navigation, eine Linkliste, ein Weiterleitungshinweis
Lesbar ist der Text, wenn die Wahrscheinlichkeit für „article“ mindestens 0,3 beträgt. Text mit weniger als 200 Zeichen (ohne Leerzeichen) gilt ohne Modellaufruf als zu kurz.
Ist eine Quelle nicht lesbar, gibt es keine Zusammenfassung, keine Suchabschnitte und kein Wiki. Die Quelle bleibt als Link mit Titel in deiner Liste, und Pith sagt dir, warum, zum Beispiel: „Pith couldn't read this page: it showed a cookie-consent or paywall notice instead of the article.“
Die Prüfung kostet etwa 0,0002 € pro abgerufener Seite und dauert etwa 0,2 bis 1 Sekunde, im Hintergrund nach dem Speichern. Das sind Systemkosten, du zahlst dafür nichts. Schlägt der Aufruf fehl oder dauert zu lange, wird trotzdem gespeichert, und es entscheidet die einfache Längenprüfung.
Warum ist die erste Version an echten Artikeln gescheitert?
Weil sie auf den falschen Teil der Seite geschaut hat.
Eine Nachrichtenseite ist lang. Damit der Aufruf klein bleibt, hat die erste Version dem Modell die ersten 5.000 und die letzten 1.000 Zeichen gezeigt. Auf vielen Seiten sind das Menü und Fußzeile. Der Artikel liegt dazwischen. So wurden lange, echte Artikel von The Register, der EZB und dem FSB als Nicht-Inhalt eingestuft, mit einer Wahrscheinlichkeit von etwa 0,35 für „article“.
Die Lösung ist strukturell, keine Wortliste. Pith sucht jetzt den Fließtext der Seite: lange Zeilen, die nicht überwiegend aus Links bestehen. Aufeinanderfolgende Fließtextzeilen bilden einen Block. Ein Artikel ist ein langer Block; Teaser-Karten, Login-Hinweise und Banner sind kurze. Das Modell sieht den Anfang der Seite, dann die längsten Blöcke vollständig und den Anfang der übrigen, in Seitenreihenfolge, und zuletzt das Ende.
Unterwegs habe ich auch eine andere Frage ausprobiert, ein schlichtes Ja/Nein: „Enthält dieser Text Fließtext?“ Das war schlechter. Für echte Artikel des FSB, von ComputerBase und AWS kam 0,0 heraus. Ich habe es verworfen.
Wie gut funktioniert es?
Die endgültige Version habe ich am 6. November gegen die Produktion laufen lassen, mit 25 Fällen: 9 vorbereiteten Testfällen und 16 echten Quellen, Wände und Artikel gemischt. 24 von 25 kamen wie erwartet heraus.
| Seite | Wahrscheinlichkeit für „article“ |
|---|---|
| Echte Artikel (Spanne) | 0,94–1,00 |
| InfoQ-Artikel mit Login-Hinweisen | 0,99 (eine frühere Version: 0,06) |
| Artikel von The New Stack | 0,98 (eine frühere Version: 0,39) |
| Golem-Cookie-/Pur-Abo-Hinweis | 0,00 |
| Finextra-Bot-Wand | 0,00 |
| heise+-Leseprobe | 0,00–0,02 |
| Wikipedia-Seite „nicht gefunden“ | 0,02 |
| HBR-Anriss | 0,34 (der Fehlgriff) |
Der Fehlgriff ist der HBR-Anriss. Mit 0,34 liegt er knapp über der Schwelle, die Prüfung hat ihn als Artikel durchgelassen. Deshalb gibt es eine zweite Sicherung.
Was ist die zweite Sicherung?
Die Zusammenfassung hat eine neue Regel: nur den übergebenen Text verwenden, einen Artikel nie aus Titel oder URL rekonstruieren, und wenn der Text nicht der Artikel ist, genau NO_CONTENT antworten und sonst nichts. Kommt diese Antwort, wird die Quelle genauso als nicht lesbar markiert, Text und Suchabschnitte werden entfernt. Für genau solche Grenzfälle wie den HBR-Anriss ist sie da; diesen einen haben wir allerdings noch von Hand aufgeräumt, bevor die Regel lief.
Außerdem lehnt der Wiki-Agent Quellen ab, die als nicht lesbar markiert sind. Eine Seite, die durch die erste Prüfung rutscht, muss also noch an der Zusammenfassung vorbei, und eine als nicht lesbar markierte Quelle erreicht nie eine Wiki-Seite.
Warum gelten Leseproben als nicht lesbar?
Das ist eine bewusste Entscheidung. Eine Leseprobe zeigt ein paar Absätze und dann „Jetzt abonnieren“. Diese Absätze sind echter Text aus dem Artikel. Aber die Zusammenfassung eines Anrisses liest sich genau wie die des ganzen Artikels, und du erkennst an ihr nicht, welche du bekommen hast. Eine Einleitung verspricht oft, was der Artikel später einschränkt. Ein Anriss zählt deshalb wie eine Wand.
Und wenn ich den Artikel lesen kann, Pith aber nicht?
Das kommt oft vor. Du hast die Cookies akzeptiert, du hast das Abo. Der Abruf von Pith hat beides nicht.
Jetzt kann die Chrome-Erweiterung beim Speichern den Text mitschicken, den du gerade liest. Konnte Pith eine gespeicherte Seite nicht lesen, bietet die Erweiterung an, deinen Text nachzureichen. Er durchläuft dieselbe Lesbarkeitsprüfung wie ein Abruf; ein mitgeschickter Cookie-Banner ist also immer noch kein Artikel. In öffentlichen Workspaces wird er nie gespeichert, deren Quellen kommen nur aus dem normalen Abruf. Und Verlage, die ihre Inhalte gegen Text- und Data-Mining vorbehalten, bleiben reine Links, egal was die Erweiterung schickt.
Was habe ich daraus gelernt?
Dass ein Wiki, das an Quellen gebunden ist, sagen können muss: „Das konnte ich nicht lesen.“
Ich hatte mehrere Prüfungen gebaut, die vergleichen, was das Wiki sagt und was die Quellen sagen. Alle setzten voraus, dass die Quelle echt ist. Die schwächste Stelle lag vor ihnen allen: in dem Moment, in dem ein Cookie-Hinweis als Artikel gespeichert und ein Modell höflich gebeten wurde, ihn zusammenzufassen.
Eine plausible Erfindung ist schlimmer als eine Lücke. Eine Lücke bemerkst du. Einer flüssigen Seite mit Beleg vertraust du, übernimmst sie in eine Notiz für einen Kunden und erzählst sie weiter. „Pith konnte diese Seite nicht lesen“ ist weniger beeindruckend als eine Zusammenfassung. Dafür stimmt es.
Perfekt macht die Prüfung das Wiki nicht. Ein Anriss kann knapp über der Schwelle landen, dann muss die zweite Sicherung greifen. Aber der Fehler vom 6. November, Seiten auf Artikeln, die niemand gelesen hat, muss jetzt an zwei Prüfungen vorbei statt an keiner.
Mehr dazu, wie Pith Seiten an ihre Quellen bindet: das Wiki, der Leitfaden zum LLM-Wiki und Karpathys LLM-Wiki — mit Beleg in jeder Zeile.
FAQ
Warum erfindet ein Modell einen Artikel, den es nie gesehen hat?
Weil es zusammenfassen sollte und neben einem Text, der nicht der Artikel war, Titel und URL bekam. Eine Schlagzeile und ein sprechender URL-Pfad reichen für eine flüssige, plausible Zusammenfassung. Das Modell tut, was verlangt wurde; der Fehler liegt darin, ihm einen Cookie-Hinweis als Artikel zu geben.
Was macht Pith mit einer Seite, die es nicht lesen kann?
Die Quelle bleibt als Link mit ihrem Titel erhalten, und Pith zeigt den Grund, etwa: „Pith couldn't read this page: it showed a cookie-consent or paywall notice instead of the article.“ Es gibt keine Zusammenfassung, der Text wird nicht für die Suche erschlossen, und das Wiki nutzt ihn nicht.
Gelten Leseproben vor einer Paywall als lesbar?
Nein, mit Absicht. Ein paar Absätze und dann ein Abo-Angebot ergeben eine Zusammenfassung, die sich liest wie die des ganzen Artikels. Pith behandelt solche Anrisse deshalb als nicht lesbar.
Wie bekomme ich einen Artikel hinter einer Wand in Pith?
Mit der Chrome-Erweiterung. Wenn du die Cookies akzeptiert hast oder ein Abo hast, kann die Erweiterung beim Speichern den Text mitschicken, den du gerade liest. Er durchläuft dieselbe Lesbarkeitsprüfung. In öffentlichen Workspaces wird er nie gespeichert, und Verlage mit Nutzungsvorbehalt gegen Text- und Data-Mining bleiben reine Links.
Was kostet die Prüfung?
Etwa 0,0002 € pro abgerufener Seite, als Systemkosten, die dir nicht berechnet werden. Sie läuft nach dem Speichern im Hintergrund und dauert etwa 0,2 bis 1 Sekunde.