Von 37 Meldungen meines eigenen Prüflaufs waren acht keine Fehler. Der Fehler saß in meinem Prompt.
Zwei Manuskripte, 52 Belege zu 23 Kernaussagen. Ein deterministisches Verfahren ordnet jede Fußnote ihrer Quelle zu, ein Sprachmodell vergleicht die Aussage mit dem Inhalt der Quelle, ich lese die Meldungen dahinter. Alle 52 Belege waren vorhanden, 37 Stellen kamen als Befund zurück.
Beim Gegenlesen zeigte sich ein Muster. Eine Aussage zog sechs Belege auf einmal heran; fünf davon erschienen als Teiltreffer in der Liste. Eine zweite lieferte drei weitere. Zusammen acht, 22 Prozent aller Meldungen.
Der Fehler: Mein Prompt setzte jede Quelle gegen den ganzen Satz.
Hängen mehrere Fußnoten an einem Satz, belegt jede nur ihren Abschnitt; so kam für fast jede „nur teilweise” zurück. Jede einzelne Antwort stimmte.
Falsch zugeschnitten war der Prompt.
Nehmen Sie einen Satz mit drei Behauptungen: Ein Verfahren ist lange beschrieben, es kostet wenig, kaum jemand setzt es ein.
Drei Fußnoten, je eine. Fragt der Prompt jede der drei nach allem, erscheinen drei schwache Belege. Fragt er die zweite nach „kostet wenig”, passt alles.
Ein Werkzeug mit diesem Zuschnitt weist bei gebündelten Fußnoten schwache Belege aus, obwohl sie tragen. Erkennt jemand acht von 37 Meldungen als Fehlalarm, vertraut er auch der neunten nicht mehr.
Gemeldet hat mir das niemand. Es fiel beim eigenen Durchsehen auf, und nur deshalb ist der Prompt heute ein anderer.
Seitdem steht an jeder Fußnote eines gebündelten Satzes der Aspekt, für den sie zitiert wird, und der Prompt fragt allein danach. Ob eine Quelle deckt, erkenne ich. Was daraus im Kapitel wird, entscheidet der Autor.
Bevor Sie einem Prüfbericht glauben, lassen Sie sich den Prompt zeigen, aus dem er stammt.
---
Ich entwickle mit Fachautoren fachlich belastbare Sachbücher in einer KI-gestützten, durchgehend kuratierten Buchproduktion; bis zum quellengeprüften, lektoratsreifen Manuskript.
