So messen wir die Qualität unseres KI-Lektorats

Kurz & direkt beantwortet

Wir messen gegen Menschen, nicht gegen uns selbst. Grundlage ist ein Gold-Standard aus 15 Buchmanuskripten, die vorher von professionellen Korrektorinnen und Lektorinnen bearbeitet wurden. Jede menschliche Korrektur und jede Korrektur der KI wird an ihrer Position im Ausgangstext verortet und paarweise zugeordnet. Daraus entstehen drei Kennzahlen: Precision (wie viele KI-Korrekturen berechtigt sind), Recall (wie viele menschliche Korrekturen die KI auch findet) und der F1-Wert als Mittel aus beiden. Eine einzelne Prozentzahl nennen wir auf dieser Seite bewusst nicht — warum, steht weiter unten.

Der Prüfstand: 15 Manuskripte, von Menschen bearbeitet

Ein Testkorpus aus Beispielsätzen sagt wenig über ein 300-Seiten-Buch. Unser Gold-Standard besteht deshalb aus vollständigen Sachbuch- und Ratgeber-Manuskripten, die den regulären Verlagsweg gegangen sind: Jedes liegt zweimal vor — einmal als Autorenfassung, einmal in der Fassung, die eine professionelle Korrektorin oder Lektorin daraus gemacht hat, mit allen Änderungen als nachverfolgte Änderungen in der Word-Datei.

Die Auswertung dieser Änderungsspuren vom 31.01.2026 zählte über die 15 Manuskripte 18.360 Einfügungen und 17.909 Löschungen. Die Bandbreite ist Absicht: In den im Detail ausgewerteten Manuskripten reicht die Korrekturdichte von rund 15 bis rund 100 menschlichen Korrekturen je 1.000 Wörter. Wer nur an sauber geschriebenen Texten misst, misst sich schön.

Wie wir vergleichen: Position für Position

Zwei Korrekturen an derselben Stelle können unterschiedlich formuliert sein und trotzdem dasselbe Problem lösen. Ein simpler Textvergleich würde das als Fehlschlag zählen. Unser Abgleich verortet deshalb zuerst beide Seiten im Ausgangstext und ordnet sie dann über vier Signale einander zu:

Position. Wie weit liegen die beiden Stellen im Ausgangstext auseinander?
Umfeld. Wie ähnlich ist der Text unmittelbar davor?
Ausgangsstelle. Wie stark überlappt der korrigierte Wortlaut?
Ersetzung. Wie stark überlappt der Vorschlag?

Ein Paar gilt als sichere Übereinstimmung, wenn dieser zusammengesetzte Wert mindestens 0,75 erreicht; zwischen 0,55 und 0,75 zählt es als Teiltreffer und wird gesondert ausgewiesen. Der Abgleich läuft als Skript über den kompletten Korpus, nicht als Stichprobe von Hand — dieselben Eingaben ergeben dieselben Zahlen.

Die drei Kennzahlen — und unsere Zielwerte

Precision beantwortet: Wie viele der KI-Korrekturen hätte auch der Mensch gemacht? Ein niedriger Wert bedeutet Überkorrektur. Recall beantwortet die Gegenrichtung: Wie viele der menschlichen Korrekturen hat die KI ebenfalls gefunden? Ein niedriger Wert bedeutet Lücken. Der F1-Wert ist das harmonische Mittel aus beidem und die einzige Zahl, die man nicht durch Vorsicht oder Übereifer allein hochtreiben kann.

Interne Zielwerte für Korrektorat und Lektorat je Kennzahl
Kennzahl	Korrektorat	Lektorat
Precision (Treffgenauigkeit)	> 90 %	> 70 %
Recall (Vollständigkeit)	> 80 %	> 50 %
Angenommene Vorschläge	> 85 %	> 60 %

Das sind Zielwerte, keine Messergebnisse. Sie stehen hier, damit nachvollziehbar ist, woran wir uns selbst messen — und damit sichtbar ist, dass wir für das Lektorat bewusst andere Erwartungen ansetzen als für das Korrektorat. Beim Lektorat gibt es keine eine richtige Lösung; zwei gute Lektorinnen kommentieren dasselbe Kapitel unterschiedlich.

Warum hier keine einzelne Erkennungsrate steht

Weil wir keine hätten, die wir belegen können. Die letzte vollständige Messung gegen den Gold-Standard stammt vom 27.01.2026 und beschreibt eine Pipeline-Generation, die es so nicht mehr gibt: Seither ist die regelbasierte Sprachprüfung dazugekommen, die Zeichensetzung wurde neu gebaut und das Lektorat auf eine Mehrstufen-Prüfung umgestellt. Eine Zahl aus dieser alten Messung wäre auf den heutigen Stand nicht übertragbar, und eine gerundete Hausnummer wäre schlicht erfunden.

Sobald der Korpuslauf auf dem aktuellen Stand durch ist, steht das Ergebnis an dieser Stelle — mit Datum, Korpusgröße, Version und dem Messaufbau von oben. Bis dahin gilt: Prüf es an deinem eigenen Text. Die ersten Wörter kosten nichts, und du siehst jede Korrektur als nachverfolgte Änderung, statt einer Prozentzahl vertrauen zu müssen.

Womit wir rechnen: die Normseite

Preisvergleiche im Lektorat laufen fast immer über die Normseite — und genau dort gehen die Definitionen auseinander. Die klassische Normseite stammt aus der Zeit der Schreibmaschine und ist definiert als 30 Zeilen mit höchstens 60 Anschlägen, also maximal 1.800 Zeichen inklusive Leerzeichen. Das ist eine Obergrenze, kein Durchschnitt: Weil Zeilen umbrechen und Absätze enden, kommt eine real gesetzte Normseite auf rund 1.500 Zeichen Fließtext inklusive Leerzeichen.

Damit unsere Zahlen untereinander vergleichbar bleiben, rechnet Lektorat.ai deshalb einheitlich mit 1.500 Zeichen je Normseite. Das entspricht im deutschen Fließtext etwa 250 Wörtern — der Bezugsgröße, mit der auch der Kostenrechner und die Preisseite arbeiten. Wenn dir anderswo ein Seitenpreis begegnet, lohnt die Rückfrage, welche Normseite gemeint ist: Zwischen 1.500 und 1.800 Zeichen liegen 20 Prozent, und die verschieben jeden Vergleich.

Was eine KI nicht ersetzt

Der Gold-Standard ist der Maßstab, nicht das Produkt. Menschliche Lektorinnen entscheiden Dinge, die kein Modell zuverlässig entscheidet: ob ein Bruch in der Erzählhaltung Absicht ist, ob eine Passage rechtlich heikel wird, ob ein Buch am Markt trägt. Sie verhandeln mit Autorinnen und Autoren, statt Vorschläge zu produzieren. Und sie erkennen, wann eine sprachliche Schwäche in Wahrheit die Stimme des Textes ist.

Deshalb liefern wir nachverfolgte Änderungen und Kommentare, keine fertige Datei: Die Entscheidung bleibt bei dir. Vor der Veröffentlichung ist ein menschlicher Blick durch das Ergebnis nach unserer Erfahrung gut investiert — vor allem bei Belletristik, bei Fachtexten und überall dort, wo Haftung im Spiel ist. Was das Korrektorat und was das KI-Lektorat jeweils abdecken, steht auf den beiden Leistungsseiten.