---
title: "Welches KI-Modell plant ein Projekt am besten? 14 Modelle, drei Projekte und eine Änderung mittendrin"
excerpt: "14 KI-Modelle haben dieselben Projekte geplant und mittendrin eine Änderung bekommen. Drei liefern Pläne, auf denen sich aufbauen lässt. Wie gut ein Modell plant, sagt aber wenig darüber, wie es umplant."
publishedAt: "2026-11-14"
updatedAt: "2026-11-15"
readTime: "14 Min. Lesezeit"
author: "Simon Schwer"
tags:
  [
    "ProjectBench",
    "Benchmark",
    "KI-Projektmanagement",
    "KI-Modelle",
    "Terminplanung",
    "Projektmanagement",
    "Context-Driven Project Management",
  ]
featuredImage: "/images/blog/projectbench-one-change-half-the-plan-hero.webp"
featuredImageAlt: "Illustration: Eine Nachricht trifft auf einen Plan aus Aufgabenkacheln. Die Hälfte der Kacheln ist verrutscht und hinterlässt gestrichelte Umrisse. Rechts stehen vier Tafeln für Aufgaben, Meilensteine, Projektende und Entscheidungsprotokoll, eine davon ist grau geblieben."
featuredImagePosition: "center"
sources:
  - title: "Modellliste mit Preisen je Million Tokens (abgerufen am 15. November 2026)"
    url: "https://openrouter.ai/models"
    publisher: "OpenRouter"
---

Der Rohbauer beginnt drei Wochen später. Das ist ein einziger Satz, und wer einen Projektplan führt, weiß, was jetzt ansteht: Termine nachziehen, Meilensteine prüfen, das Projektende neu ansetzen und festhalten, wer das entschieden hat.

Diese Arbeit lässt sich inzwischen einer KI übergeben. Dann hängt der Plan am Sprachmodell, das dahinter arbeitet, und wie gut die einzelnen Modelle Projektarbeit erledigen, steht in keinem Datenblatt. Wir haben deshalb 14 aktuelle Modelle dieselben Projekte planen lassen und ihnen mittendrin eine solche Änderung mitgeteilt.

Wir bauen TensorPM, eine Software, in der ein KI-Assistent Projektpläne führt und in der sich das Modell wählen lässt. Zwei KI-Modelle haben die Pläne benotet, ohne zu wissen, von wem sie stammen. Danach liefern drei der 14 Modelle Pläne, auf denen sich aufbauen lässt, und das teuerste von ihnen liegt nur knapp vor einem, das ein Fünftel kostet. Wie gut ein Modell einen Plan aufstellt, sagt allerdings wenig darüber, wie es ihn anpasst. Eines der drei hat die drei Wochen an einer einzigen Aufgabe vermerkt.

## Was mussten die Modelle tun?

Es gab drei Projekte, jedes als Auftrag von vier Sätzen, so wie ihn ein Bauherr oder eine Projektleiterin schreiben würde. Haus und Cloud-Umstellung haben alle 14 Modelle bearbeitet, wobei ein Lauf nicht zählt (dazu unten). Das Quartier haben neun bearbeitet. Fünf Modelle haben wir dort nicht laufen lassen, um die Kosten des Tests zu begrenzen.

| Projekt | Rahmen | Die Änderung mittendrin |
| --- | --- | --- |
| Einfamilienhaus bei Fürth | 150 m², 480.000 € Obergrenze, Einzug nach 14 Monaten | Die Bank finanziert 25.000 € weniger, der Rohbauer beginnt drei Wochen später |
| Umzug einer Auftragssoftware in die Cloud | 200 Nutzer, 175.000 €, Umstellung an einem Wochenende, höchstens sechs Stunden Stillstand | Ein Lasttest zeigt zu lange Antwortzeiten, und die Direktverbindung, die das behebt, kommt erst nach dem Umstellungswochenende |
| Wohnquartier in Augsburg | 96 Wohnungen in drei Häusern, 29,5 Mio. € Baukosten, Übergabe in Stufen bis Mitte 2029 | Der Rohbauer ist insolvent, das nächste Angebot liegt 11 % höher, und die Bank verlangt mehr Vorverkäufe |

Der Ablauf war für alle gleich. Das Modell legt aus dem Auftrag das Projekt an, mit Ziel, Umfang, Meilensteinen und Risiken. Es trägt die Beteiligten ein, leitet Aufgaben mit Terminen, Budgets und Zuständigen ab und verknüpft sie. Dann teilt der Auftraggeber im Chat die Änderung mit und bittet, den Plan anzupassen. Danach schreibt das Modell einen Statusbericht für einen bestimmten Empfänger, beim Haus für die Partnerin oder den Partner des Bauherrn, beim Quartier für Bank und Investoren. Zuletzt trifft eine Mail mit neuen Fakten ein, aus der es Vorschläge für den Plan ableiten soll. Rückfragen der Modelle beantwortet ein festes KI-Modell in der Rolle des Auftraggebers, knapp und ohne neue Vorgaben.

Alle Modelle arbeiteten in derselben Software mit denselben Anweisungen, und keinem wurde gesagt, dass es geprüft wird. TensorPM ist dabei der Prüfstand. Unser Prüfprogramm, das wir ProjectBench nennen, liest nach jedem Schritt den vollständigen Plan aus, sodass sich nachzählen lässt, was sich geändert hat.

Bewertet haben zwei KI-Modelle als Juroren, die nicht wussten, von welchem Modell ein Plan stammt. Aus ihren Noten entsteht ein Planwert zwischen 0 und 100. Ab etwa 78 lässt sich auf einem Plan aufbauen, zwischen 62 und 78 ist er brauchbar mit Lücken, darunter eine Rohfassung, die jemand nacharbeiten muss. Wie die Jury arbeitet und wo sie sich uneinig war, steht weiter unten.

## Welches Modell plant am besten?

Die Rangfolge beruht auf dem Haus und der Cloud-Umstellung, den beiden Projekten, die alle Modelle bearbeitet haben. Das Quartier steht daneben.

![Balkendiagramm: Planwert je Modell als Mittel aus Einfamilienhaus und Cloud-Umstellung. GPT-6 Astra 84,1, Kimi K3.1 Pro 81,0, GPT-6.1 Sol 79,8, Grok 4.7 72,3, Qwen 3.8 Max 69,2, Mistral Large 4 65,7, GPT-6.1 Terra 65,5, DeepSeek V4.1 Flash 64,1, Claude Sonnet 5.5 61,5, Gemini 4 Hydrogen 60,4, Claude Haiku 5.5 57,5, GPT-6 Luna 55,0, MiniMax M3.1 Flash 51,5, GLM 5.3 44,0. Punkte zeigen die einzelnen Projekte.](/images/blog/projectbench-nov26-ranking-de.svg)

| Rang | Modell | Anbieter | Planwert | Haus | Cloud | Quartier | Kosten je Plan |
| --- | --- | --- | --- | --- | --- | --- | --- |
| 1 | GPT-6 Astra | OpenAI | 84,1 | 83,5 | 84,7 | 76,3 | ca. 15 $ |
| 2 | Kimi K3.1 Pro | Moonshot AI | 81,0 | 76,4 | 85,6 | | 3,19 $ |
| 3 | GPT-6.1 Sol | OpenAI | 79,8 | 74,8 | 84,8 | 81,4 | 2,96 $ |
| 4 | Grok 4.7 | xAI | 72,3 | 68,7 | 76,0 | | 1,79 $ |
| 5 | Qwen 3.8 Max | Alibaba | 69,2 | 70,1 | 68,3 | | 4,16 $ |
| 6 | Mistral Large 4 | Mistral | 65,7 | 63,0 | 68,4 | 62,1 | 0,77 $ |
| 7 | GPT-6.1 Terra | OpenAI | 65,5 | 58,3 | 72,7 | 64,8 | 0,80 $ |
| 8 | DeepSeek V4.1 Flash | DeepSeek | 64,1 | 68,4 | 59,8 | 27,7 | 0,07 $ |
| 9 | Claude Sonnet 5.5 | Anthropic | 61,5 (nur Haus) | 61,5 | nicht gewertet | | 1,80 $ |
| 10 | Gemini 4 Hydrogen | Google | 60,4 | 57,2 | 63,5 | | 0,74 $ |
| 11 | Claude Haiku 5.5 | Anthropic | 57,5 | 54,6 | 60,5 | 47,9 | 0,20 $ |
| 12 | GPT-6 Luna | OpenAI | 55,0 | 49,1 | 61,0 | 51,7 | 0,07 $ |
| 13 | MiniMax M3.1 Flash | MiniMax | 51,5 | 45,0 | 58,0 | 58,4 | 0,27 $ |
| 14 | GLM 5.3 | Z.ai | 44,0 | 54,8 | 33,2 | 38,1 | 0,34 $ |

Drei Modelle liefern Pläne, auf denen sich aufbauen lässt: GPT-6 Astra, Kimi K3.1 Pro und GPT-6.1 Sol. Sie liegen bei beiden Juroren vorn, und der Abstand zwischen ihnen ist kleiner als der Abstand zwischen den Juroren. Danach folgt ein breites Mittelfeld von Grok bis DeepSeek, dessen Pläne brauchbar sind und Lücken haben. Die sechs Modelle dahinter liefern eine Rohfassung oder weniger.

Claude Sonnet 5.5 steht nur mit dem Haus in der Liste. Beim zweiten Projekt reichte unser Guthaben bei dem Dienst, über den wir die Modelle ansprechen, nicht für den ganzen Lauf. Wir zählen ihn deshalb nicht.

GLM 5.3 steht am Ende, weil das angelegte Projekt bei der Cloud-Umstellung und beim Quartier fast leer blieb: eine Beschreibung, aber keine Meilensteine, keine Risiken, kein Zeitrahmen. Die Aufgaben dazu waren passabel, nur fehlt ihnen dann der Rahmen, an dem man sie misst.

## Was kostet ein Plan?

Die Spalte ganz rechts nennt, was ein vollständiger Durchlauf über die Programmierschnittstelle des Anbieters kostet, also die verbrauchten Tokens (die Texteinheiten, nach denen Anbieter abrechnen) mal Listenpreis, gemittelt über Haus und Cloud-Umstellung. In die Rangfolge fließt der Preis nicht ein.

![Streudiagramm: Planwert gegen Kosten je Plan auf logarithmischer Achse. DeepSeek V4.1 Flash und GPT-6 Luna bei 7 Cent, Kimi K3.1 Pro bei 3,19 Dollar mit Planwert 81, GPT-6.1 Sol bei 2,96 Dollar mit 79,8, GPT-6 Astra geschätzt bei rund 15 Dollar mit 84,1.](/images/blog/projectbench-nov26-cost-de.svg)

Zwischen DeepSeek V4.1 Flash und GPT-6 Astra liegt beim Preis der Faktor 200, beim Planwert ein Abstand von 20 Punkten. Astra würde rund 15 Dollar je Plan kosten und führt mit drei Punkten vor Kimi K3.1 Pro, das für gut drei Dollar plant. Mistral Large 4 und GPT-6.1 Terra bleiben unter einem Dollar und liegen 15 Punkte hinter Kimi. DeepSeek kommt für sieben Cent fast auf denselben Planwert wie die beiden.

Der Wert für Astra ist geschätzt. Dieses Modell lief über ein Abonnement, das keine Token-Zahlen ausweist. Wir haben mit dem Listenpreis und dem Verbrauch von GPT-6.1 Sol im selben Projekt gerechnet.

Auch die Dauer streut. Für das Haus brauchte Gemini 4 Hydrogen vier Minuten, Qwen 3.8 Max 53. Die meisten Modelle lagen zwischen fünf und 15 Minuten.

## Was passiert, wenn der Rohbauer drei Wochen später kommt?

Zurück zum Satz vom Anfang. Im Haus-Projekt schreibt der Bauherr dem Assistenten sinngemäß:

> Die Bank hat die Finanzierung bestätigt, aber 25.000 € niedriger als geplant, das Budget für den Innenausbau wird also eng. Gleichzeitig hat der Rohbauer den Baubeginn um drei Wochen nach hinten geschoben, weil seine vorige Baustelle länger gedauert hat. Ich muss trotzdem im ursprünglichen Budget bleiben. Kannst du den Plan dafür anpassen?

So sieht das in einem der 14 Pläne aus, dem von Gemini 4 Hydrogen. Er hat 22 Aufgaben. Planung und Genehmigung bleiben, wo sie sind. Was am Baubeginn hängt, wandert mit.

![Terminplan eines Plans vor und nach der Änderung: 9 frühe Aufgaben unverändert, 13 Aufgaben enden rund drei Wochen später, ihre früheren Termine sind als dünne Linien eingezeichnet.](/images/blog/projectbench-nov26-change-example-de.svg)

Über alle 14 Pläne bekamen 243 von 630 Aufgaben einen neuen Termin. Je Plan liegt der Median bei 50 %. Wer nach einer solchen Nachricht nur die Zeile „Rohbau“ ändert, hat danach sehr wahrscheinlich einen Plan mit vielen Terminen, die nicht mehr gelten.

![Säulendiagramm: Anteil der Aufgaben mit neuem Termin je Plan, aufsteigend sortiert. In 2 Plänen 0 Prozent, Median 50 Prozent, Höchstwert 64 Prozent.](/images/blog/projectbench-nov26-change-share-de.svg)

Die Aufgabentermine sind eine von vier Stellen, an denen die drei Wochen sichtbar werden müssen. Die anderen sind die Meilensteinliste, das Projektende und das Entscheidungsprotokoll. Gezählt ist jede Änderung an der jeweiligen Stelle, nicht ihre Richtigkeit.

![Balkendiagramm: Entscheidung protokolliert in 12 von 14 Plänen, Aufgabentermine verschoben in 12, Projektende geändert in 5, Meilensteine geändert in 12, alle vier Stellen in 5.](/images/blog/projectbench-nov26-change-landing-de.svg)

An allen vier Stellen kam die Änderung bei Astra, Kimi, Qwen, Grok und Gemini an. Fünf von 14 heißt nicht, dass neun Pläne falsch sind, denn ein Plan darf das Projektende halten, wenn er die drei Wochen woanders einspart. Sonnet, Haiku, Mistral und DeepSeek haben das Ende gehalten und dafür spätere Arbeiten gestrafft, was die Juroren zum Teil als ungeprüft werteten. Bei GLM und MiniMax dagegen liegt der Einzug jetzt drei Wochen nach dem Projektende, das unverändert im Plan steht.

Die zwei Pläne ohne einen einzigen verschobenen Termin stammen von GPT-6.1 Terra und GPT-6 Luna. Terra hat 24 Aufgabenbeschreibungen umgeschrieben, sinngemäß „bisherige Termine gelten, bis der Verzug bestätigt ist“, und den Verzug als Risiko vermerkt. Luna hat zwei Entscheidungen protokolliert, in denen ein Baubeginn im Herbst 2026 steht, den weder der Auftrag noch die Nachricht nennt und der dem eigenen Plan widerspricht. Für die Umplanung gab die Jury 35,5 und 21,5 von 100 Punkten.

Rechnet man die Umplanung heraus, hatte GPT-6.1 Sol den am besten bewerteten Plan für das Haus. Es hat das Budget für den Innenausbau um 25.000 € gekürzt, den Verzug aber nur an den Beginn einer einzigen Aufgabe geschrieben und die Meilensteine zu „ungeprüften Zielterminen“ umbenannt. Gemini 4 Hydrogen ging mit einem der dünnsten ersten Pläne in die Änderung und zog sie an allen vier Stellen nach.

Ein Beispiel für eine weitgehend stimmige Anpassung liefert Qwen 3.8 Max: genau 25.000 € beim Innenausbau gekürzt, 36 Aufgaben verschoben und den neuen Einzugstermin überall gleich eingetragen. Die eine Woche, die es dabei wieder aufholt, entsteht allerdings durch Überlappungen, die bestehende Abhängigkeiten verletzen. Die Juroren gaben dafür 90 und 64 Punkte.

## Was tun die Modelle, wenn die Änderung kein neues Datum nennt?

Bei der Cloud-Umstellung fehlt der Nachricht etwas. Sie sagt, dass die nötige Direktverbindung erst nach dem geplanten Wochenende kommt, aber nicht, wann. Ein neuer Termin lässt sich daraus nicht ableiten.

Viele Modelle haben das erkannt. Sie haben die Umstellung angehalten oder unter Vorbehalt gestellt, und ein Teil hat Aufgaben angelegt, die ein belastbares Lieferdatum beschaffen. Am vollständigsten tat das Kimi K3.1 Pro: 21 Aufgaben gesperrt, alle späteren Meilensteine als ausgesetzt markiert, drei neue Aufgaben mit Verknüpfung und kein Ersatztermin für die Umstellung angenommen. Nur die Fristen von zwei der drei neuen Aufgaben sind Platzhalter. Dafür gab es 86 Punkte, den höchsten Wert für eine Umplanung im ganzen Vergleich.

Claude Haiku 5.5 ging den anderen Weg. Es hat die Umstellung auf das Wochenende um den 31. Januar gelegt und 13 Aufgaben sowie sechs Meilensteine nachgezogen. Der Plan sieht ordentlich aus. Er beruht aber auf einem Liefertermin für die Direktverbindung, den das Modell selbst angenommen hat. Auch GPT-6 Astra nennt in seiner Antwort einen neuen Termin, der auf einer angenommenen Freischaltung beruht, hält ihn im Plan aber offen.

Dasselbe Muster zeigt sich im Quartier. Dort haben Mistral Large 4, MiniMax M3.1 Flash und DeepSeek V4.1 Flash den Rohbau um Monate verschoben, die nirgends vorgegeben sind, und Astra hat zwei vorläufige Starttermine für die Häuser B und C eingetragen, die ebenfalls niemand genannt hat. Ein Plan mit erfundenen Terminen ist schwerer zu erkennen als ein Plan, in dem nichts passiert ist, weil er vollständig aussieht.

Eine dritte Gruppe hat den Termin gehalten und einen Umweg gebaut, etwa eine Zwischenlösung ohne die neue Direktverbindung. Hier waren sich die Juroren am wenigsten einig. Der eine wertete das als durchdachte Planung, der andere als Widerspruch zur Nachricht, die die Verbindung als nötig bezeichnet. Bei Qwen liegen die beiden Noten 35 Punkte auseinander.

## Was ändert sich, wenn das Projekt groß wird?

Das Quartier ist das härteste der drei Projekte: drei Häuser, 16 Beteiligte, drei Jahre Laufzeit und eine Änderung, die Kosten, Termine und Finanzierung zugleich trifft.

Die Abstände wachsen. GPT-6.1 Sol erreicht 81,4 und GPT-6 Astra 76,3, beide mit je 100 Aufgaben. Das beste der günstigeren Modelle, GPT-6.1 Terra, liegt mit 64,8 fast 17 Punkte dahinter. DeepSeek V4.1 Flash fällt auf 27,7. Es hat hier wie GLM ein fast leeres Projekt angelegt. Ob das an der Größe liegt, lässt sich aus einem einzelnen Lauf nicht sagen.

Die Umplanung gelingt hier fast niemandem. Sol kommt auf 78,5 Punkte, alle anderen bleiben zwischen 36 und 55. Sol hat die 11 % Mehrkosten in alle fünf Budgets für Rohbau und Tiefgarage eingerechnet, die Summe unter der Obergrenze gehalten, eine Entscheidung protokolliert und vier Aufgaben für die Neuvergabe als Vorgänger der Vergaben eingeplant, ohne ein Datum zu erfinden.

Astra, mit dem zweitbesten Plan des Projekts, kommt bei der Umplanung auf 51. Es hat 34 Aufgabentexte umgeschrieben, die Mehrkosten aber nirgends beziffert, und seine Antwort meldet geänderte Verknüpfungen, die im gespeicherten Plan fehlen. Bei Sol, Haiku, MiniMax und GLM sind Aufgaben für Rohbau oder Neuvergabe weiterhin dem insolventen Rohbauer zugewiesen. Bei GLM steht außerdem die Rohbausumme nach der Änderung zweimal im Plan, sodass die Aufgaben zusammen 44 Mio. € kosten, bei einem Kostenziel von 29,5 Mio. €.

## Wo tun sich auch gute Modelle schwer?

Einige Schwächen tauchen in allen Projekten auf.

Beim Budget gehen die Modelle weit auseinander. Im Haus haben Claude Sonnet 5.5 und Grok 4.7 nur 9 % der 480.000 € auf Aufgaben verteilt, GPT-6 Luna weniger als 1 %. Bei der Cloud-Umstellung hat Luna 135 % des Rahmens verplant, GPT-6.1 Terra und GLM 5.3 gar nichts.

Verknüpfungen und Termine passen oft nicht zusammen. Schon im ersten Plan für das Haus begannen bei Kimi 51 und bei MiniMax 49 Nachfolger vor dem Ende ihres Vorgängers, und die Umplanung hat das nur zum Teil bereinigt (37 und 44). Bei Haiku und Sonnet gab es keinen solchen Widerspruch, weder vorher noch nachher.

Was ein Modell über seine eigene Arbeit sagt, stimmt nicht immer. Mehrere Antworten melden eine Kürzung oder Verknüpfung, die sich im gespeicherten Plan nicht findet. Prüfen Sie nach einer Änderung durch eine KI deshalb den Plan und nicht die Antwort.

## Was können Sie selbst prüfen?

Die vier Stellen aus dem Haus-Projekt gelten für jeden Plan, im Bau wie in der IT oder im Anlagenbau, und gleich, ob ihn eine KI führt oder ein Mensch. Wenn bei Ihnen das nächste Mal ein Termin rutscht, sehen Sie eine Woche später nach, ob er überall angekommen ist:

1. Stehen die Nachfolger am neuen Termin?
2. Stimmen die Meilensteine im letzten Statusbericht noch?
3. Ist das Projektende angepasst oder bewusst gehalten?
4. Steht irgendwo, wer das wann entschieden hat?

Wenn eine KI den Plan angepasst hat, kommt eine fünfte Frage dazu: Woher stammt jedes neue Datum? Steht es in keiner Nachricht und in keinem Protokoll, hat das Modell es angenommen.

Für die Wahl eines Modells heißt das: Kimi K3.1 Pro und GPT-6.1 Sol liefern für rund drei Dollar je Plan Ergebnisse auf der Höhe des teuersten Modells, Sol allerdings mit der schwachen Umplanung beim Haus. Prüfen sollten Sie ein Modell an einer Änderung, weil der erste Plan darüber wenig verrät. Geben Sie ihm ein Projekt, das Sie kennen, und danach die Änderung, die Sie zuletzt bekommen haben.

Wie sich aus den vier Fragen eine Wochenroutine für ein Bauprojekt machen lässt, steht im Artikel [Terminverzug im Bauprojekt früh erkennen](/de/blog/terminverzug-bauprojekt-frueh-erkennen). Was passiert, wenn der Plan der Wirklichkeit hinterherläuft, haben wir in [Was ist das größte Problem im Projektmanagement, über das niemand spricht?](/de/blog/stale-context-silent-killer) beschrieben.

## Hat sich seit dem Sommer etwas getan?

Im Juni haben wir dasselbe Haus-Projekt mit denselben Anweisungen schon einmal planen lassen, von 15 Modellen der vorigen Generation, darunter GPT-5.5, Claude Opus 4.8 und Gemini 3.1 Pro. Die beiden Juroren haben diese gespeicherten Pläne jetzt nach demselben Maßstab neu bewertet.

| Haus-Projekt | Juni 2026 | November 2026 |
| --- | --- | --- |
| Pläne | 15 | 14 |
| Bester Planwert | 69,3 (GPT-5.5) | 83,5 (GPT-6 Astra) |
| Median | 48,2 | 62,3 |
| Pläne ab 62 Punkten | 4 | 7 |
| Pläne unter 45 Punkten | 6 | 0 |
| Median Umplanung | 36 | 63 |
| Median Zeitplan | 35 | 54 |
| Median Risiken | 70 | 71 |

Der Zuwachs steckt vor allem in der Umplanung und im Zeitplan. Risiken benennen und ein Projekt anlegen konnten die Modelle schon im Juni.

Der Vergleich hat Grenzen. Seit Juni haben sich die Modelle und TensorPM zugleich geändert, der Unterschied lässt sich also nicht allein den Modellen zuschreiben. Und vier der Juni-Läufe brachen in einem Schritt ab, was den Median nach unten zieht.

Die Juni-Noten weichen außerdem von denen ab, die wir im Sommer in [unserer ersten Rangliste](/blog/projectbench-plan-value) veröffentlicht haben (der Artikel liegt nur auf Englisch vor). Damals urteilte eine vorläufige Jury aus einem einzigen Modell, und sie war deutlich milder als die beiden Juroren von heute.

## Wie belastbar sind diese Zahlen?

Jedes Modell hat ein Projekt nur einmal bearbeitet. Das ist die wichtigste Einschränkung. Etliche Durchläufe mussten wir wiederholen, acht davon wegen einer Lücke in der Messung, und wo sich Wiederholung und erster Versuch vergleichen ließen, sahen sie verschieden aus. Kimi etwa verteilte das Budget einmal auf Kategorien und einmal auf einzelne Aufgaben. Unterschiede von wenigen Punkten sagen deshalb nichts. Belastbar sind die Gruppen, also die drei vorn, das Mittelfeld und die Rohfassungen dahinter.

Die Jury besteht aus zwei Modellen, Claude Fable 5.2 von Anthropic und GPT-6 Astra von OpenAI. Beide haben jeden Plan ohne Kenntnis des Urhebers nach sieben Kriterien benotet. Im Planwert zählt die Umplanung 28 %, Zeitplan und Aufgaben je 20 %, Risiken 17 % und die Projektanlage 15 %. Der Statusbericht und die Vorschläge aus der eingehenden Mail fließen nicht in den Planwert ein. Wer das Budget um mehr als 15 % überzieht, bekommt höchstens 77 Punkte, bei mehr als 35 % höchstens 61. Das betrifft GPT-6 Luna bei der Cloud-Umstellung.

![Streudiagramm: Planwert von Claude Fable 5.2 gegen Planwert von GPT-6 Astra für 36 Pläne. Die meisten Punkte liegen oberhalb der Diagonale, Fable bewertet also meist höher.](/images/blog/projectbench-nov26-jurors-de.svg)

Die Reihenfolge der beiden Juroren stimmt weitgehend überein, mit einer Rangkorrelation (1 hieße dieselbe Reihenfolge) von 0,86 beim Haus, 0,80 bei der Cloud-Umstellung und 0,95 beim Quartier. Astra ist der strengere Juror und liegt im Schnitt knapp sieben Punkte unter Fable.

Astra ist zugleich Teilnehmer, und bei OpenAI-Plänen weicht sein Urteil auffällig ab. Pläne von OpenAI-Modellen bewertet Astra im Mittel nur 1,9 Punkte niedriger als Fable, die Pläne aller anderen Anbieter 9,3 Punkte niedriger. Ob Astra bei der eigenen Familie milder ist oder Fable dort strenger, können zwei Juroren nicht klären.

An der Spitze entscheidet es über die Plätze: Fable allein sieht Kimi vor Astra und Sol, Astra allein sieht Astra vor Sol und Kimi. Dieselben drei Modelle stehen in beiden Fällen vorn. Bei den vier Plänen der beiden Claude-Modelle liegt Fable 7,6 Punkte über Astra, bei den Plänen der Anbieter außer OpenAI und Anthropic 9,7. Eine Vorliebe für die eigene Familie zeigt sich dort nicht, vier Pläne sind für ein Urteil aber zu wenig.

## Was hat die Messung nicht erfasst?

Unterwegs haben wir Lücken in der Messung gefunden. Sie betreffen einzelne Noten.

- Die Software erlaubt Budgets auf Kategorien, also auf Gruppen von Aufgaben, statt auf jeder einzelnen Aufgabe. Unsere Messung hat diese Beträge in den ersten Stunden nicht mitgeschrieben. Acht Durchläufe haben wir deshalb wiederholt. Bei fünf Plänen des Hauses ließ sich nicht mehr klären, ob Kategorie-Budgets gesetzt waren. Die Jury hat solche Angaben dort weder angerechnet noch als fehlend gewertet. Zwei dieser Pläne, die von GLM und MiniMax, können dadurch bei der Umplanung zu schlecht wegkommen.
- Einige Modelle liefern den Statusbericht als PDF. Den Inhalt haben wir anfangs nicht gesichert. Diese Berichte sind nicht benotet.
- Bei der Cloud-Umstellung wiederholt die eingehende Mail nur, was schon im Auftrag steht. Fast alle Modelle schlagen zu Recht nichts vor. Diese Note fehlt dort in der Auswertung.
- Die Aufträge nennen feste Kalenderdaten, die beim Lauf schon in der Vergangenheit lagen. Ein Teil der Modelle plante ab dem alten Startdatum, ein Teil ab dem Tag des Laufs. Die Jury hat beides gelten lassen.
- Claude Sonnet 5.5 lehnt eine technische Vorgabe ab, mit der die Software strukturierte Antworten erzwingt. Wir haben für diesen Fall einen Ausweichweg eingebaut, der die anderen Modelle nicht berührt.
- GPT-6 Astra lief überall über ein Abonnement, GPT-6.1 Sol im Quartier ebenfalls, alle anderen Läufe über den Dienst OpenRouter. Auf dem Abo-Weg verlangt die Software das Antwortformat per Anweisung statt per technischer Vorgabe, und kurze Hilfsaufrufe laufen über GPT-6 Luna. Die beiden vorderen Plätze im Quartier und der erste Platz insgesamt sind also unter leicht anderen Bedingungen entstanden.
- Alle Modelle liefen mit der Standardeinstellung der Software für die Denktiefe, also niedrig. Mit mehr Denkzeit können die Ergebnisse anders ausfallen.
- Der simulierte Auftraggeber hat in einem Fall eine Angabe gemacht, die nicht im Auftrag steht.

Fehler, die an unserer Messung lagen, haben wir behoben oder aus der Wertung genommen. Sie sind hier aufgeführt, damit Sie einschätzen können, was die Zahlen tragen.

## Was nehmen wir daraus für TensorPM mit?

Wir messen, um zu entscheiden, welche Modelle wir empfehlen und wo die Software dem Modell Arbeit abnehmen sollte.

Nach dem Anlegen eines Projekts soll TensorPM prüfen, ob Zeitrahmen, Budget, Meilensteine und Risiken gefüllt sind, und fehlende Teile nachfordern. GLM und DeepSeek haben gezeigt, dass man sich darauf nicht verlassen kann.

Ein Meilenstein braucht einen Zustand für „Termin offen“. Die Modelle, die bei der Cloud-Umstellung richtig angehalten haben, mussten das alte Datum stehen lassen und „ausgesetzt“ in die Beschreibung schreiben.

Der Ausweichweg für Modelle, die erzwungene Antwortformate ablehnen, ist seit Version 1.46 eingebaut.

Zählen ließen sich die Unterschiede, weil der Plan in TensorPM aus strukturierten Daten besteht, die sich nach jedem Schritt auslesen und vergleichen lassen. Im Gantt-Diagramm lassen sich seit Version 1.40 Stände des Plans sichern, also Basispläne, und vergleichen. Der Vergleich zeigt für jede Aufgabe, um wie viele Arbeitstage sie sich seit dem gesicherten Stand verschoben hat, und damit auch, wenn sich nichts verschoben hat. Widerspricht ein Termin seiner Abhängigkeit, bietet die App an, die Nachfolger auszurichten, und zeigt vorher, was sich dadurch bewegt.

Die drei Wochen des Rohbauers standen am Ende in fünf von 14 Plänen an allen vier Stellen. Für jeden anderen Plan sind die vier Fragen weiter oben der schnellste Weg, das herauszufinden.
