Blog · · DE
NULL ist besser als plausibel
Die eine Regel, die jede LLM-generierte Datenpipeline braucht — und drei reale Beinahe-Katastrophen, die uns das lehrten.
Warum diese Regel nicht selbstverständlich ist
Ein modernes Sprachmodell ist auf ein Ziel trainiert: die Frage beantworten. Wenn du fragst "wie heisst der Rechtsträger der Marke Frankly?", ist "ich weiss es nicht" ein Trainings-negatives Beispiel. "Frankly Technologie AG" klingt plausibel, ist grammatikalisch korrekt, kommt in einer Sekunde raus, und der User ist zufrieden.
Das Problem: der User ist deswegen zufrieden, weil er die Antwort nicht überprüft. Und der User ist manchmal der nächste LLM-Aufruf, der auf dem Ergebnis weiterarbeitet. Eine plausible Erfindung breitet sich ohne Widerstand aus — sie triggert keine Validatoren, überzeugt Reviewer beim Überfliegen, und wird von späteren LLM-Läufen zitiert, als wäre sie eine Quelle.
Plausibel ist schlimmer als falsch. Falsches wird erwischt. Plausibles rutscht durch.
Case 1: die AG, die es nie gab
März 2026. Wir laden die Pillar-3a-App "Frankly" in unsere Bank-Datenbank. Frankly ist eine Marke der Zürcher Kantonalbank, aber wer betreibt sie rechtlich? Der App-Store nennt keinen Träger. Das Impressum verlinkt eine Sammlung ZKB-Vorsorgestiftungen. Ein LLM-gestützter Loader lief über die Frage und produzierte:
bank.legal_entity_name = "Frankly Technologie AG"
Sechs Silben Deutsch, Rechtsform am Ende, kein Zeichen zu viel — die perfekte Schweizer AG-Erfindung. Zwei Files referenzierten den Namen bereits. Ein Reviewer stiess zufällig auf die Zeile, tippte den Namen in Zefix — keine Ergebnisse. Die AG existiert nicht. Sie hat nie existiert.
Wenn diese Zeile in Produktion gegangen wäre, hätten downstream-Konsumenten einen erfundenen Rechtsträger für ein reales Fintech-Produkt zitiert. Der Wahrheitsgehalt wäre unmöglich zu diagnostizieren gewesen ohne aktive Suche. Das Fixen wäre exponentiell schwieriger geworden, je mehr Zeit vergangen wäre.
Der eigentliche Fehler war nicht das LLM — das LLM tat, was es tat. Der Fehler war das Fehlen einer Regel, die sagt: wenn du die Frage nicht faktenbasiert beantworten kannst, ist NULL die richtige Antwort.
Case 2: 11 Handelsregister-Nummern, die kein Handelsregister kennt
Mai 2026. Wir laden mehrere Schweizer Kantonalbanken. Die UID (Unternehmens-Identifikationsnummer) hat in der Schweiz das Format CHE-N.NNN.NNN. Es ist die eindeutige Nummer im Handelsregister. Die Zürcher Kantonalbank hat CHE-108.954.607. Die Berner Kantonalbank hat CHE-105.802.767. Und so weiter.
Ein LLM sollte diese Nummern aus den PDFs der Preisverzeichnisse extrahieren. Manchmal standen sie im Impressum. Manchmal nicht. Wenn nicht — was tat das LLM?
Es generierte plausibel aussehende Nummern:
CHE-105.939.310 ← nicht existent
CHE-105.947.402 ← nicht existent
CHE-105.951.113 ← nicht existent
... 8 weitere ...
Alle im plausiblen Range (die Zürich-Region liegt bei 105-108), alle mit korrekter Prüfziffer-Struktur (auch wenn nicht mit korrekten Prüfziffern), alle syntaktisch perfekt. Zefix würde für jede einzelne 404 zurückgeben.
Elf fabrizierte UIDs verteilt über sieben Kantonalbank-Loader-Files. Alle würden in der Datenbank landen. Ein späteres GLEIF-Backfill würde sich auf sie stützen und weitere falsche Verknüpfungen bauen. Ein Compliance-Officer, der eine ZKB-Beziehung prüft, würde CHE-105.939.310 zitiert bekommen und im Handelsregister nicht finden — und wüsste nicht, ob das eine kaputte Datenbank oder eine kaputte ZKB ist.
Wir haben die 11 gefangen durch eine Post-Load-Prüfung, die jede UID gegen Zefix live checkt. Das ist die Sicherung, die wir ex post gebaut haben. Die Ursache — dass das LLM die Regel "NULL wenn unbekannt" nicht kannte — wurde damit nicht adressiert.
Case 3: 30 Banken mit der geliehenen LEI ihrer Mutter
Juli 2026. Ein anderes Datenfeld: die LEI, ein globaler 20-Zeichen-Identifikator für juristische Personen. Für unsere Datenbank ziehen wir sie aus einer Enrichment-JSON-Datei, die durch einen historischen Name-Match-Prozess entstand.
Ein check_lei_uniqueness-Validator, den wir neu eingebaut hatten, meldete plötzlich: "LEI 5299006GIHQ1ELISCV48 wird von 32 Bank-Zeilen geteilt."
LEIs sind global-eindeutig. Zwei Banken mit derselben LEI sind eine Unmöglichkeit. Bei näherer Betrachtung: Die LEI gehört zu Raiffeisen Schweiz Genossenschaft (dem Dach). Sie war 30 Mitgliedsbanken zugeordnet worden, die zum Zeitpunkt des Enrichment-Laufs keine eigene LEI in der Quell-JSON hatten. Der Name-Match-Fallback im Enrichment-Skript hatte für jede von ihnen an das übergeordnete Genossenschafts-LEI weitergereicht.
Das Verheerende: es sah aus wie ein Bug im Skript. War es aber nur teilweise. Der Skript-Autor hatte plausiblerweise angenommen, dass "wenn die Bank zur Raiffeisen-Föderation gehört und keine eigene LEI hat, dann ist die Parent-LEI eine sinnvolle Approximation." Diese Annahme ist logisch, sie ist plausibel — sie ist bloss falsch. Jede der 30 Mitgliedsbanken hat tatsächlich ihre eigene LEI (Raiffeisenbank Zürich: 506700Y0Y95Q46NKT137, Raiffeisenbank Basel: 5067004TQBE208D4V187, …). Die Quell-JSON war einfach nicht vollständig.
Die richtige Antwort für die 30 Banken wäre gewesen: lei = NULL, mit einem nachgelagerten manuellen (oder Bulk-API-basierten) GLEIF-Lookup zur Vervollständigung. Was passiert war: die 30 Banken erschienen ausgefüllt mit einer LEI, die inhaltlich falsch war, aber syntaktisch stimmte. Sechs Monate lang unbemerkt.
Der Fix am Ende: ein GLEIF-Bulk-Fetch (188 Records in einem HTTP-Call), aggressive Namens-Normalisierung, 28 unambigue Matches, 1 Multi-Kandidat und 1 Miss — alles in 15 Minuten aufgelöst. Der Aufwand wäre bei einer korrekt-NULL-annotierten Ausgangslage identisch gewesen; nur die Halbjahres-Datenverschmutzung dazwischen wäre uns erspart geblieben.
Der gemeinsame Nenner
Alle drei Fälle haben denselben Ursprung: ein LLM (oder ein LLM-gestütztes Skript) hat ein Feld, für das keine faktische Antwort verfügbar war, mit einer plausibel-aussehenden Erfindung gefüllt. Alle drei sind an einem Validator hängen geblieben, den wir spät gebaut haben — im 6. respektive 4. respektive 1. Monat nach dem Load. Alle drei wären nicht passiert, wenn die Spec explizit gesagt hätte: NULL ist die richtige Antwort, wenn du es nicht weisst.
Ein LLM ist nicht böswillig. Es ist auch nicht unwissend im Sinne von "es hat vergessen, Zefix zu konsultieren." Es hat schlicht auf ein Objective optimiert (Antwort produzieren), das die Rückweisung-bei-Unwissen nicht enthielt. Wenn die Regel nicht Teil der Spec ist, ist sie Teil des Zufalls.
In jeder Datenspec, die von einem LLM (oder einem LLM-gestützten Prozess) befüllt wird, muss explizit und normativ stehen:
NULList eine gültige Antwort, wenn die faktische Antwort unbekannt ist.NULList die bevorzugte Antwort gegenüber jeder plausibel-aussehenden Erfindung.- Ein Reviewer / Validator muss
NULL-Antworten sichtbar machen (nicht als "leer" verstecken), damit sie später durch eine faktenbasierte Antwort ersetzt werden können.
Warum diese Regel selten explizit dasteht
Bei traditionellen Datenpipelines ist die Regel implizit: eine SQL-INSERT-Anweisung mit einer NULL im Feld ist gleich einer INSERT-Anweisung ohne dieses Feld. Der Programmierer hat keinen Grund, NULL zu vermeiden — es kostet nichts. Bei einem LLM aber kostet NULL etwas: es reduziert die perceived "helpfulness". Ohne expliziten Rückhalt in der Spec ist die Erfindung der Pfad des geringsten Widerstands.
Und weil die Erfindung plausibel ist, entsteht sie ohne Warnung. Der LLM-Output enthält keinen "ich bin mir nicht sicher"-Marker. Das Fabrizierte sieht identisch aus wie das Fakten-basierte. Nur eine externe Quelle (Zefix, GLEIF, das Impressum der Bank) kann es diagnostizieren — und das kostet Zeit, Rate-Limits, oder eine Compliance-Person.
Wie man die Regel enforced
Vier praktische Ebenen, aufsteigend nach Aufwand:
Ebene 1 — Explizit in der Prompt
Der erste Reflex ist der billigste: die Regel in den System-Prompt schreiben. Konkret bei uns:
WICHTIG: Wenn du die faktische Antwort nicht aus einer Quelle ableiten
kannst, die dir explizit vorliegt (PDF-Text, HTML-Seite, JSON-Feld),
ist NULL die richtige Antwort. Erfinde keine Namen, keine
Identifikatoren, keine Zahlen — auch wenn sie plausibel klingen.
NULL ist kein Fehlschlag; NULL ist Ehrlichkeit über Unwissenheit.
NULL kann später aufgefüllt werden; eine Erfindung nicht.
Das reduziert die Erfindungs-Rate messbar (in unseren Loads von ~20 % auf ~5 %), aber eliminiert sie nicht.
Ebene 2 — Post-Load-Validatoren gegen externe Wahrheit
Für jedes Feld, das gegen eine authoritative External-Source überprüfbar ist, baue einen Validator, der genau das tut. Für UIDs: Zefix-Live-Check. Für LEIs: GLEIF-API. Für Legal-Entity-Names: Impressum-Check. Diese Validatoren fangen die 5 %, die die Prompt-Regel nicht adressiert hat, und sind der wahre Sicherheitsnetz.
Ebene 3 — Uniqueness-Constraints als Kanaren
Für Identifikatoren, die logisch eindeutig sein müssen (LEI, UID, BIC, IBAN), addiere Uniqueness-Checks. Wenn zwei Zeilen dieselbe LEI teilen, ist mindestens eine falsch — der Check sagt dir nicht welche, aber er sagt dir, dass du hinschauen musst. Das ist die Klasse von Bug, die unsere 30-Banken-Fabrikation aufgedeckt hat.
Ebene 4 — NULL-tracking als First-Class
Deine Spec sollte explizit unterscheiden zwischen "wir haben nicht nachgeschaut" (Feld leer) und "wir haben nachgeschaut und es gibt keinen Wert" (Feld explizit als "on-request" / "not-published" / "not-applicable" markiert). Diese Unterscheidung ist der Unterschied zwischen einem Kunden, der wartet, und einem Kunden, der weiss, dass Warten sinnlos ist. Unsere Datenbank hat dafür Anchor-Rows mit amount = NULL und einem note = "auf Anfrage"-Feld — sichtbar in Widgets, unterscheidbar von "noch nicht geparst."
Verallgemeinerung: für jede LLM-gefüllte Spec
Das obige gilt nicht nur für Bank-Datenbanken. Jede der folgenden Situationen leidet unter demselben Muster:
- Product-Katalog-Migrationen — LLM soll fehlende Attribute (Gewicht, Material, Herkunftsland) aus Beschreibungstexten extrahieren. Was fehlt, wird geraten.
- Compliance-Extraktionen aus PDFs — Vertragsklauseln, Kündigungsfristen, Sperr-Perioden. Wenn eine Klausel im PDF nicht steht, generiert das LLM eine plausible ("30 Tage Kündigungsfrist" ist der Median in der Trainings-Verteilung).
- Referenz-Auflösung in wissenschaftlichen Papers — Papers mit unklaren DOIs oder BibTeX-Feldern. Erfundene DOIs sind ein bekanntes Problem.
- Enterprise-Master-Data-Cleanups — Kunden-Records mit fehlenden Adressen, Steuernummern, Konto-Codes. Der Aufräum-Bot erfindet gerne.
- Regulatorische Meldungen — jedes leere Formularfeld ist Versuchung.
In allen Fällen ist die Kosten-Nutzen-Rechnung identisch: NULL ist billig auszubessern (später vervollständigen), eine plausible Erfindung ist teuer (findet sich in downstream-Systemen wieder und wird zur "Quelle").
Was uns die 421 Banken lehrten
Über sechs Monate und ~1'800 LLM-generierte Datenbank-Zeilen haben wir gelernt: die Prompt-Regel allein reicht nicht, aber sie ist eine Grössenordnung besser als ihre Abwesenheit. Der eigentliche Multiplikator kommt aus den nachgelagerten Validatoren, die die Regel enforcen — und aus einer Kultur, in der ein Reviewer NULL nicht als "unvollständig", sondern als "korrekt-ehrlich" liest.
Wenn du LLM-Pipelines baust, die Datenbanken oder Konfigurationsspecs füllen: schreibe die Regel in deine System-Prompts, baue externe Wahrheits-Validatoren für jedes verifizierbare Feld, addiere Uniqueness-Checks für alles Identifier-artige, und trenne "nicht geschaut" von "geschaut und nichts gefunden" in deinem Schema. Die drei Fälle oben sind keine Ausnahmen — sie sind das Default-Verhalten jedes LLMs ohne explizite Gegenregel.
Falsch wird erwischt. Plausibel rutscht durch. Bau deine Spec so, dass Ehrlichkeit über Unwissenheit der Pfad des geringsten Widerstands ist.