KI-Physikforschung: GPT-6-Astra löst 49 von 50 Aufgaben

Was passiert ist

GPT-6-Astra hat laut einem Bericht von The Decoder 49 von 50 bislang unveröffentlichten theoretischen Physikaufgaben des Benchmarks TheoPhysEval gelöst, bei gemeldeten Kosten von 2,40 US-Dollar pro Aufgabe.

Der Bericht stützt sich auf die Ergebnisse dieses Tests, bei dem das Modell mit Problemen konfrontiert wurde, die nicht öffentlich zugänglich waren. Die Kostenangabe bezieht sich auf die Rechenkosten pro bearbeiteter Aufgabe und macht den Lauf damit nicht nur für die Fachlichkeit, sondern auch für die Wirtschaftlichkeit interessant.

Ein Teil der vermeintlichen Fehlschläge geht nach Darstellung des Berichts nicht auf das Modell zurück. Die Abweichungen wurden auf Fehler in den Referenzlösungen von Fachexperten zurückgeführt. Die Meldung zeigt damit, dass auch die Bewertungsmaßstäbe selbst geprüft werden müssen, bevor man eine Leistung eindeutig als Versagen oder Erfolg einordnet.

Warum das wichtig ist

Die Meldung zeigt, wohin sich KI-Modelle in wissenschaftlichen Arbeitsfeldern entwickeln: Aufgaben, die bisher hochspezialisierte Expertise und viel Zeit erforderten, lassen sich offenbar in kurzer Zeit und zu geringen Kosten bearbeiten. Für Organisationen, die Forschung, Analyse oder technische Beratung betreiben, verschiebt das die Frage von „Kann die KI das?“ hin zu „Wie prüfen wir die Ergebnisse verlässlich und in welche Prozesse integrieren wir sie?“.

Gleichzeitig macht der Fall der fehlerhaften Referenzlösungen deutlich, dass die Qualität von KI-Leistung immer nur so belastbar ist wie der Maßstab, an dem sie gemessen wird. Wer KI in Wissensprozesse einbindet, braucht daher klare Verifikationsschritte und eine saubere Dokumentation dessen, was als korrekte Antwort gilt.

Die Zahlen im Überblick

• 49 von 50 Aufgaben: gelöst durch GPT-6-Astra im TheoPhysEval-Benchmark
• 50 unveröffentlichte theoretische Physikprobleme im Testdatensatz
• 2,40 US-Dollar gemeldete Kosten pro Aufgabe

Die Renascence-Perspektive

Die Schlagzeile lebt von einer einzigen, eingängigen Zahl. Genau das macht sie gefährlich für Entscheidungen, denn Menschen verankern sich leicht an Quoten und übersehen Methodik, Referenzdaten und Kontext.

Eine Erfolgsquote von 49 zu 50 ist nur so viel wert wie die Antwortschlüssel, mit denen sie gemessen wird. Dass ein Teil der Fehler bei den Experten lag, ist kein Randdetail, sondern der eigentliche Befund: Vertrauen entsteht erst, wenn man die Bewertungskette prüft. Wer KI-Ergebnisse in Forschung oder Beratung nutzt, sollte deshalb zuerst die Qualität seiner Referenzdaten auditieren und erst danach über Leistungswerte diskutieren. Und wer die Kosten pro Aufgabe als Argument für Automatisierung heranzieht, sollte zusätzlich die Kosten pro verlässlich korrektem Ergebnis rechnen, einschließlich der menschlichen Prüfung.