Welche KI schreibt das beste Deutsch? So wählen wir das Schreibmodell für Hermes 3000

Kurz gesagt: Welches Sprachmodell in Hermes 3000 schreibt, entscheiden wir mit einem eigenen, öffentlichen Benchmark für deutsche Buchtexte. In der aktuellen Runde mit 14 Modellen schreiben GPT-6.1 Sol und Claude Opus 5.5 das beste Deutsch, gleichauf an der Spitze. GPT-6 Luna ist das stärkste Modell, das sich als Standard für jedes Buch eignet. Hermes 3000 schreibt deshalb standardmäßig mit GPT-6 Luna; für bezahlte Bücher steht GPT-6.1 Sol bereit. Aufgaben, Texte und Bewertungen sind offen einsehbar. Stand: 18. Oktober 2026.

Welches Sprachmodell hinter einer Schreib-App steckt, merkt man nicht an einem einzelnen Satz. Man merkt es nach vierzig Seiten: wenn die Erzählerin plötzlich „ich“ sagt, obwohl das Buch in der dritten Person geschrieben ist. Wenn eine Figur eine Rampe hinunterläuft, die noch gar nicht heruntergelassen wurde. Wenn im siebten Kapitel jemand auftaucht, der laut deiner Figurenliste seit Kapitel zwei tot ist. Solche Fehler sind klein, aber sie kosten Zeit beim Überarbeiten – und sie entscheiden darüber, ob dir ein Schreibassistent Arbeit abnimmt oder neue macht.

Neue Modelle erscheinen inzwischen fast jede Woche. Für uns heißt das: Die Frage, welches Modell in Hermes 3000 schreibt, ist nie endgültig beantwortet. Wir brauchen ein Verfahren, mit dem wir sie jedes Mal gleich beantworten – und das andere nachprüfen können. Dieser Werkstattbericht erklärt, wie es funktioniert, was die aktuelle Runde ergeben hat und was wir daraus gemacht haben.

Vom Schnelltest zum Benchmark

Unser erster Vergleich im Oktober war ein Schnelltest: acht Modelle, zwei KI-Bewerter, rund 270 Texte. Er hat eine klare Antwort geliefert, hatte aber Schwächen, die wir selbst gesehen haben. Die Aufgaben waren nirgends festgehalten, ein zweiter Durchlauf hätte also nicht exakt dasselbe geprüft. Kein Mensch hatte die Texte bewertet. Und ob ein Modell den Überblick über ein ganzes Buch behält, hatte niemand gemessen.

Daraus ist der hermes3000 Writing Benchmark geworden. Er hat feste Aufgaben, feste Bewertungsregeln und eine Versionsnummer. Ändern wir etwas daran, was gemessen wird, entsteht eine neue Version – die alte bleibt, wie sie ist, damit Ergebnisse vergleichbar bleiben. Alle Aufgaben, alle Texte der Modelle, jedes einzelne Urteil und der Code liegen öffentlich auf GitHub. Wer will, kann jede Zahl in diesem Artikel nachrechnen oder den Test mit eigenen Zugängen wiederholen.

Was wir messen

Ein Schreibassistent muss mehr können als schöne Sätze. Der Benchmark prüft deshalb vier Bereiche, alle auf Deutsch:

• Literarisches Schreiben: eine Eröffnungsszene, ein Dialog mit unausgesprochenem Konflikt, das Weiterschreiben einer Romanszene aus Figuren und bisherigem Verlauf und der Anfang eines Romankapitels mit etwa 900 Wörtern und festen Vorgaben – personale Erzählerin, Präteritum, genau drei Fahrgäste, am Ende ein Anruf, der nicht angenommen wird. Lange Texte sind wichtig, weil sich Grammatik- und Logikfehler mit der Länge häufen.
• Sachbuch: der Einstieg in ein Kapitel, die Gliederung eines ganzen Buchs und ein erklärender Text, der nur aus vorgegebenem Quellmaterial geschrieben werden darf. Dort zählen wir, welche Fakten ankommen und was das Modell dazuerfindet.
• Lektorat: ein Korrektorat mit 20 eingebauten Fehlern und 10 Fallen – Schreibweisen, die falsch aussehen, aber richtig sind, und bewusster Dialekt in einer Figurenrede –, ein Text, der um 40 Prozent gekürzt werden soll, ohne Fakten zu verlieren, und Lektoratsnotizen zu einer Passage mit sechs versteckten Problemen.
• Treue zum Buch: ein Kapitel schreiben, während das Modell das ganze Buch vor sich hat – bis zu 119 Figuren, Orte und Gegenstände und die Zusammenfassungen aller Kapitel, auch der späteren. Die Testromane sind voller Fallen: zwei Ärzte mit demselben Vornamen und gegensätzlichem Charakter, sieben Wilhelms in einer Kaufmannsstadt, ein Bruder, der bis Kapitel fünf als tot gilt. Geprüft wird, ob das Modell Figuren verwechselt, spätere Wendungen verrät oder Personen erfindet.

Dazu kommt eine englische Szene als Gegenprobe.

Wie bewertet wird

Blind, in Gruppen, von drei Seiten. Drei KI-Bewerter von drei Anbietern – Claude Opus 5.5, GPT-6.1 Sol und Gemini 4 Argon – bekommen jeweils fünf Texte zur selben Aufgabe, ohne Modellnamen und in zufälliger Reihenfolge. Sie vergeben Punkte für Sprache, Stil und Aufgabentreue, müssen jeden Fehler wörtlich zitieren und die fünf Texte in eine Rangfolge bringen. Aus allen Rangfolgen berechnen wir ein Rating ähnlich der Elo-Zahl im Schach – mit einem Unsicherheitsbereich, der ehrlich angibt, wie sicher eine Platzierung ist. Überschneiden sich die Bereiche zweier Modelle, ist ihre Reihenfolge nicht belegt.

Kein Bewerter urteilt ungeprüft über die eigene Familie. Jeder Bewerter hat Verwandte im Feld: Opus bewertet auch Sonnet und Haiku, Sol die anderen GPT-Modelle, Gemini die Gemini-Modelle. Deshalb rechnen wir jedes Ergebnis ein zweites Mal ohne die Urteile, bei denen ein Bewerter über die eigene Modellfamilie entscheidet. Bleibt die Rangfolge gleich, ist sie nicht durch Vorliebe für die eigene Familie erklärt.

Was sich messen lässt, wird gemessen. Im Korrektorat und beim Kürzen braucht es keinen Bewerter: Ein Lösungsschlüssel prüft jeden der 20 Fehler, jede Falle und jeden Fakt. Gleiche Eingabe, gleiche Punktzahl – immer.

Feste Bedingungen für alle. Viele Modelle „denken“ vor dem Schreiben nach. Jedes läuft dafür mit einer festen, begrenzten Einstellung – keines ohne Grenze. Das klingt selbstverständlich, war es in unserem ersten Durchlauf aber nicht: Einige offene Modelle liefen ohne Grenze, dachten nach, bis ihr Budget aufgebraucht war, und lieferten gar keinen Text. Wir haben den Fehler gefunden, den Durchlauf als ungültig markiert und ihn mit gleichen Einstellungen wiederholt. Beide Läufe liegen im Repository – auch der fehlerhafte.

Wer nichts liefert, verliert. Gibt ein Modell keinen Text zurück, verliert es gegen jeden anderen Text der Aufgabe. Wer mit einem Schreibassistenten arbeitet, bekommt in dem Moment schließlich auch nichts.

Zwei Runden

In der Vorrunde traten 14 Modelle an, jedes schrieb jede der 14 Aufgaben einmal:

• OpenAI: GPT-6.1 Sol, GPT-6 Luna und GPT-5.4 mini, unser früherer Standard
• Anthropic: Claude Opus 5.5, Claude Sonnet 5.5 und Claude Haiku 5.5
• Google: Gemini 4 Argon und Gemini 3.8 Flash
• xAI: Grok 4.3
• Offene Modelle, die jeder selbst betreiben kann: Kimi K3, GLM-5.3, DeepSeek V4.1 Flash, Qwen 3.8 27B und Gemma 4 31B

Die besten sechs über alle vier Bereiche erreichten das Finale: GPT-6.1 Sol, Claude Opus 5.5, Claude Sonnet 5.5, GPT-6 Luna, Gemini 4 Argon und – als einziges offenes Modell – Kimi K3. Dort schrieb jedes Modell jede Aufgabe dreimal, und jeder Text wurde zweimal in unterschiedlich zusammengesetzten Gruppen bewertet. Mehr Texte, mehr Urteile, engere Unsicherheitsbereiche – die Rangfolge im Finale ist die belastbare.

Auch hier haben wir einen Fehler gefunden und korrigiert: Im ersten Finale saß Claude Haiku 5.5 auf dem sechsten Platz, weil Gleichstände nach der Reihenfolge unserer Modellliste aufgelöst wurden statt geteilt. Richtig gerechnet gehört der Platz Kimi K3. Wir haben das Finale wiederholt; Haiku blieb als siebtes Modell zum Vergleich dabei.

Die Long-List der Vorrunde – ein Text je Aufgabe, ein Bewertungsdurchgang, deshalb nur grob. Die Ratings sind mit denen des Finales nicht vergleichbar.

Reihenfolge nach mittlerem Rang über alle vier Bereiche; die Treue zum Buch lag bei allen zwischen 95 und 100 Prozent. Unter den offenen Modellen fällt GLM-5.3 auf: das beste Lektorat der ganzen Vorrunde, aber zu wenig beim Schreiben. Qwen und Gemma lagen in allen Schreib-Bereichen hinten.

Das Ergebnis

Ratings aus dem Finale, Mittelwert 1.000. Lektorat und Treue zum Buch in Prozent der erreichbaren Punkte.

GPT-6.1 Sol und Claude Opus 5.5 teilen sich die Spitze. In Literatur und Sachbuch liegen sie so nah beieinander, dass ihre Unsicherheitsbereiche sich überschneiden – eine Reihenfolge zwischen den beiden lässt sich nicht belegen. Klar ist aber der Abstand zu allen anderen. Beim literarischen Schreiben sahen alle drei Bewerter dieselben drei Modelle vorn – Sol, Opus und Sonnet –, und daran ändert sich nichts, wenn man die Urteile über die eigene Familie herausnimmt.

Der beste Lektor ist ein offenes Modell. Kimi K3 fand im Schnitt 5,7 der sechs versteckten Probleme und meldete dabei wenig, was gar kein Problem war; knapp dahinter liegt Claude Sonnet 5.5. Opus fand ebenso viele wie Sonnet, schlug aber deutlich öfter falschen Alarm. Als Autor kann Kimi K3 mit der Spitze nicht mithalten: Sechster beim literarischen Schreiben, Letzter im Sachbuch.

GPT-6 Luna liegt beim literarischen Schreiben auf Platz vier und im Sachbuch exakt gleichauf mit Sonnet. Es hielt sich in allen Kapiteln mit Buchkontext an jede Vorgabe und lieferte jeden Text. Beim Lektorat fand es weniger Probleme als die Spitze, meldete dafür nie etwas Falsches.

Die Treue zum Buch hat uns überrascht – positiv. Fast alle Modelle hielten den Fallen der Testromane stand: keine verwechselten Ärzte, keine vorzeitig verratenen Wendungen. Für den Vergleich heißt das: Dieser Bereich trennt die Modelle derzeit nicht. In der nächsten Version des Benchmarks werden die Fallen härter.

Wie sicher ist das?

Ein Rating sagt mehr als ein Platz, denn aus dem Abstand zweier Modelle lässt sich ablesen, wie oft ein Text des einen einem Text des anderen vorgezogen wird:

• GPT-6.1 Sol gegen Claude Opus 5.5: 58 zu 42 – ein leichter Vorteil, aber nicht gesichert.
• GPT-6.1 Sol gegen Claude Sonnet 5.5: gut vier von fünf Vergleichen (83 %).
• GPT-6.1 Sol gegen GPT-6 Luna: gut neun von zehn beim literarischen Schreiben (93 %), vier von fünf im Sachbuch (82 %).
• GPT-6 Luna gegen Claude Haiku 5.5: gut drei von vier (77 %).

Die Unsicherheitsbereiche entstehen, indem wir die bewerteten Gruppen 1.000-mal neu ziehen und jedes Mal neu rechnen. Bei Sol reicht der Bereich von 1.320 bis 1.453, bei Opus von 1.264 bis 1.401 – sie überschneiden sich. Sonnet kommt höchstens auf 1.161: Der Abstand der beiden Spitzenmodelle zum Rest ist gesichert.

Die Bewerter sind sich weitgehend einig. Sieben Modelle ergeben 21 Paare. Beim literarischen Schreiben ordneten je zwei Bewerter im Schnitt 18 davon gleich, im Sachbuch 15.

Und sie mögen ihre eigene Familie – ein wenig. Opus setzte beim literarischen Schreiben Opus auf Platz 1, Sol setzte Sol auf Platz 1. Gemini 4 Argon landete beim Gemini-Bewerter auf Platz 4, bei den beiden anderen auf Platz 5 und 6. Genau deshalb rechnen wir jedes Ergebnis ein zweites Mal ohne diese Urteile.

Der Benchmark in Zahlen: 14 Modelle, 490 Texte mit zusammen rund 214.000 Wörtern, 264 Gruppenurteile mit 2.784 Einzelvergleichen, 420 Prüfungen gegen Checklisten und 4.920 wörtlich zitierte Fehler. Im Finale fanden die Bewerter bei GPT-6.1 Sol im Schnitt 2,3 Fehler pro Text, bei Claude Haiku 5.5, Gemini 4 Argon und Kimi K3 mehr als 4.

Die menschliche Gegenprobe

KI-Bewerter sind schnell und konsequent, aber sie bleiben Sprachmodelle. Deshalb haben wir die Texte des Finales auch einem Menschen vorgelegt: in einem eigenen Modus unserer Text-Arena, zwei Texte zur selben Aufgabe nebeneinander, ohne Namen, und die Frage, welcher besser ist. Den Anfang hat Stephan Noller gemacht, der Hermes 3000 entwickelt, mit 42 Paaren.

Das Ergebnis ist aufschlussreich. Wo die KI-Bewerter einen deutlichen Unterschied zwischen zwei Modellen sehen, fiel das menschliche Urteil in acht von elf Fällen genauso aus. Wo sie nur knapp trennen, fiel es meist anders aus oder blieb unentschieden – knappe Abstände sind auch für menschliche Leser knapp. Bei einzelnen Texten wich das Urteil deutlich ab: Eine Szene und ein Kapitel von Claude Haiku gefielen Stephan besser als die von Sonnet, das bei den KI-Bewertern klar vorn liegt. Für eine eigene Rangliste sind 42 Urteile zu wenig, als Kontrolle reichen sie: Die großen Unterschiede, auf die wir unsere Entscheidung stützen, bestätigt auch das menschliche Urteil.

Was das für Hermes 3000 bedeutet

• GPT-6 Luna bleibt das Standardmodell. Der Standard schreibt für alle, auch in kostenlosen Büchern, und muss deshalb verlässlich, schnell und für jedes Buch tragbar sein. Luna ist das beste Modell, das diese Rolle ausfüllen kann: fehlerfrei bei der Treue zum Buch, gleichauf mit Sonnet im Sachbuch, und es kostet nur einen Bruchteil der Spitzenmodelle.
• GPT-6.1 Sol steht für bezahlte Bücher bereit – für alle, die ein Buch gekauft haben oder eine Mitgliedschaft nutzen. Du wählst es in den KI-Einstellungen deines Buchs. Es teilt sich im Benchmark die Spitze, beim literarischen Schreiben wie im Sachbuch.
• Claude Opus 5.5 ersetzt Opus 4.5 – ebenfalls für bezahlte Bücher. Es ist die Version, die im Benchmark gleichauf mit Sol an der Spitze lag; Bücher, die Opus 4.5 gewählt hatten, schreiben automatisch mit 5.5 weiter.
• GLM-5.3 ersetzt GLM 4.7, und alle offenen Modelle, die vor dem Schreiben nachdenken, laufen in Hermes jetzt mit begrenzter Denkzeit. Die Lehre aus unserem fehlerhaften ersten Durchlauf gilt damit auch in der App: Kein Modell denkt mehr, bis das Budget aufgebraucht ist.
• Kimi K3 kommt als Modell für Bücher mit Inhalten für Erwachsene hinzu. Das stärkste offene Modell im Benchmark schreibt auch dort, wo viele große Modelle ablehnen – in unserem Test mit einer echten Anfrage, die ein anderes Modell vollständig blockiert hatte.
• In der Modell-Arena kannst du Sol kostenlos ausprobieren. Dort schreiben bis zu vier Modelle nebeneinander denselben Satzanfang weiter, und du entscheidest selbst, was dir gefällt.
• Der Benchmark läuft weiter. Erscheint ein Modell, das für Hermes infrage kommt, läuft es durch dieselben Aufgaben. Ein Wechsel muss sich dort beweisen, nicht in einer Pressemitteilung.

Was aus dem ersten Test bleibt

Zwei Modelle aus dem Schnelltest sind im Benchmark nicht dabei, weil sie dort bereits klar hinten lagen. Hemmingway-1, ein Modell, das laut Anbieter darauf trainiert wurde, „zu schreiben wie ein Mensch“, hatte starke einzelne Sätze – „Die Bank hat noch die Form von zwei Menschen.“ –, wechselte im langen Kapitel aber ungefragt in die Ich-Form und ins Präsens und brauchte im Schnitt anderthalb Minuten pro Text. Mistral Large 4, damals nur als Vorschau verfügbar, landete auf dem letzten Platz, mit Logikbrüchen wie „Drei Tassen, wie früher“ an einem Tisch mit zwei Personen. Sobald es eine fertige Fassung gibt, nehmen wir es in den Benchmark auf.

Grenzen dieses Tests

Ein paar Dinge wollen wir offen sagen, damit niemand mehr hineinliest, als drinsteht. Die meisten Urteile stammen von KI-Modellen; drei Bewerter verschiedener Anbieter, die Gegenrechnung ohne eigene Familie und die menschliche Gegenprobe verringern deren Vorlieben, beseitigen sie aber nicht. Die Aufgaben sind kurz bis mittellang – im echten Einsatz bekommt ein Modell oft mehr Kontext. Ergebnisse gelten für den Stand der Modelle am Testtag; Anbieter verändern ihre Modelle laufend. Und Geschmack bleibt Geschmack: Ein Modell, das bei uns hinten liegt, kann für deinen Stil genau richtig sein.

Häufig gestellte Fragen

Welche KI schreibt das beste Deutsch?

In unserem Benchmark vom Oktober 2026 mit 14 Modellen schreiben GPT-6.1 Sol von OpenAI und Claude Opus 5.5 von Anthropic das beste Deutsch, gleichauf an der Spitze – beim literarischen Schreiben wie im Sachbuch. Beim Lektorat liegt das offene Modell Kimi K3 vorn, knapp vor Claude Sonnet 5.5.

Wie wählt Hermes 3000 sein Schreibmodell aus?

Mit dem hermes3000 Writing Benchmark: festen deutschen Aufgaben aus Literatur, Sachbuch, Lektorat und Treue zum Buch, blind bewertet von drei KI-Bewertern verschiedener Anbieter, ergänzt um Lösungsschlüssel und menschliche Urteile. Aufgaben, Texte und Bewertungen sind öffentlich auf GitHub.

Warum ist nicht das beste Modell der Standard?

Der Standard schreibt in jedem Buch, auch in kostenlosen. Er muss verlässlich und schnell sein und darf pro Seite nicht ein Vielfaches kosten. GPT-6 Luna erfüllt das am besten. Das stärkste Modell, GPT-6.1 Sol, steht für bezahlte Bücher bereit.

Ist Hemmingway-1 gut zum Schreiben von Büchern auf Deutsch?

In unserem ersten Test nicht: Es belegte bei Handwerk und Vorgabentreue die hinteren Plätze und wechselte ungefragt in die Ich-Form und ins Präsens. Einzelne Sätze waren aber stark.

Kann ich in Hermes 3000 das KI-Modell selbst wählen?

Ja. In den KI-Einstellungen jedes Buchs wählst du das Standardmodell; GPT-6 Luna ist voreingestellt, GPT-6.1 Sol ist für bezahlte Bücher verfügbar. In der Modell-Arena kannst du mehrere Modelle nebeneinander ausprobieren – auch Sol.

Selbst ausprobieren

Die Modell-Arena findest du in jedem Buch unter ⋮ → KI-Einstellungen. Gib einen Satzanfang aus deinem Manuskript ein, wähle bis zu vier Modelle – auch GPT-6.1 Sol – und lies die Fassungen nebeneinander. Welches Modell zu deinem Stil passt, merkst du nach zwei Absätzen. Bis 50 Normseiten ist Hermes 3000 kostenlos: Jetzt ausprobieren.