Hintergrund: Warum die Kontextlänge zum Engpass wurde
Um zu verstehen, warum die Behauptung von Subquadratic so bedeutsam ist, muss man einen Schritt zurücktreten. Große Sprachmodelle wie GPT-4, Claude oder Llama basieren auf der sogenannten Transformer-Architektur. Das Herzstück dieser Architektur ist der Attention-Mechanismus – und genau hier liegt das Problem.
Klassische Attention skaliert quadratisch mit der Eingabelänge. Das bedeutet: Verdoppelst du die Anzahl der Tokens, vervierfacht sich der Rechenaufwand. Bei kurzen Texten fällt das kaum auf. Aber sobald du mit Dokumenten arbeitest, die Hunderttausende oder Millionen von Tokens umfassen – etwa komplette Codebasen, Rechtskorpora wie das kürzlich von UC Berkeley veröffentlichte LOCUS-Dataset mit 2,2 Millionen US-Lokalgesetzen, oder mehrstündige Meeting-Transkripte – wird die quadratische Skalierung zum echten Showstopper.
Die Branche hat das Problem längst erkannt. Ansätze wie Flash Attention, Sliding Window Attention oder Ring Attention haben die Symptome gelindert, aber nicht die grundlegende mathematische Beschränkung aufgehoben. Unternehmen wie Google (mit Gemini und seinem 1-Million-Token-Kontextfenster) und Anthropic (mit Claudes 200K-Kontext) haben mit Engineering-Tricks beeindruckende Ergebnisse erzielt – aber zu enormen Infrastrukturkosten.
Die Details: Was Subquadratic verspricht
Das Startup Subquadratic – der Name ist Programm – behauptet, einen Attention-Mechanismus entwickelt zu haben, der die quadratische Skalierung durchbricht und damit den größten Flaschenhals aktueller LLM-Architekturen beseitigt. Statt O(n²) soll der Rechenaufwand subquadratisch wachsen, also deutlich langsamer als das Quadrat der Sequenzlänge.
Was das konkret bedeutet: Modelle könnten mit massiv längeren Kontextfenstern arbeiten, ohne dass die Kosten explodieren. Ein Modell, das heute bei 128.000 Tokens an seine wirtschaftliche Grenze stößt, könnte theoretisch mit Millionen von Tokens arbeiten – bei vergleichbaren oder sogar niedrigeren Kosten pro Inference-Durchlauf.
Die praktischen Implikationen wären enorm. Denk an die Anwendungsfälle, die gerade überall entstehen: Nous Research hat gerade mit dem Hermes Agent v0.17.0 einen Blank-Slate-Modus vorgestellt, bei dem Agenten von Grund auf gebaut werden können – mit Provider, Modell, File-Operationen und Terminal als Basis. Solche Agenten werden umso leistungsfähiger, je mehr Kontext sie verarbeiten können. Ein Agent, der eine komplette Codebasis „sehen“ kann, ist fundamental anders als einer, der nur einzelne Dateien kennt.
Auch für die wachsende Bewegung der „SaaS-Killer“ – also Menschen, die mit KI eigene Mini-Apps bauen statt Abo-Software zu nutzen – wäre ein Durchbruch bei der Kontextlänge ein Game-Changer. Wenn du deinem Coding-Agenten ein ganzes Projekt mit allen Abhängigkeiten übergeben kannst, steigt die Qualität der generierten Anwendungen dramatisch.
Einordnung: Was das für den DACH-Raum bedeutet
Für Solopreneure, Marketer und Tech-Interessierte im deutschsprachigen Raum ist die Nachricht aus mehreren Gründen relevant – aber auch mit Vorsicht zu genießen.
Erstens die Chancen: Günstigere Inference-Kosten bei längeren Kontexten würden die Eintrittsbarriere für KI-Anwendungen weiter senken. Gerade im DACH-Raum, wo Datenschutz und DSGVO-Konformität zentrale Anforderungen sind, arbeiten viele Unternehmen mit umfangreichen Dokumentenkorpora. Wer etwa ein Meeting-Transkriptionstool wie „HyperScribe“ baut – das Audio per Deepgram DSGVO-konform transkribiert und Sprecher unterscheidet, für 30 Cent pro Stunde – könnte mit längeren Kontextfenstern noch bessere Zusammenfassungen und Protokolle generieren.
Zweitens die rechtliche Dimension: Das wegweisende Urteil des Oberlandesgerichts Hamm vom Mai 2026, wonach Unternehmen für KI-generierte Aussagen ihrer Chatbots haften, macht eines klar: Qualität schlägt Quantität. Längere Kontextfenster allein lösen das Halluzinationsproblem nicht. Im Gegenteil – wenn Modelle mehr Kontext verarbeiten, aber dabei unzuverlässiger werden, steigt das Haftungsrisiko für Unternehmen im deutschsprachigen Raum erheblich.
Drittens die gesunde Skepsis: In der KI-Branche gibt es eine lange Tradition großer Ankündigungen von Startups, die sich später als übertrieben herausstellen. Die quadratische Skalierung der Attention ist ein fundamentales mathematisches Problem. Wer behauptet, es gelöst zu haben, muss das mit reproduzierbaren Benchmarks belegen. Bis dahin gilt: Beeindruckend, wenn wahr – aber abwarten.
- Für Entwickler: Beobachte, ob Subquadratic Open-Source-Implementierungen oder Papers veröffentlicht. Nur dann lässt sich die Behauptung unabhängig überprüfen.
- Für Solopreneure: Die praktische Auswirkung wird erst sichtbar, wenn große Anbieter die Technologie lizenzieren oder eigene Varianten entwickeln. Kurzfristig ändert sich an deinem Workflow wenig.
- Für Unternehmen: Längere Kontextfenster sind kein Selbstzweck. Entscheidend ist, ob die Qualität der Ausgaben mithalten kann – gerade vor dem Hintergrund der neuen Haftungsrechtsprechung.
Was kommt als nächstes
Die nächsten Monate werden zeigen, ob Subquadratic liefern kann. Entscheidende Fragen sind: Gibt es ein Peer-Review-fähiges Paper? Können unabhängige Forscher die Ergebnisse replizieren? Und vor allem: Funktioniert der Ansatz nicht nur in der Theorie, sondern auch in der Praxis – also bei realen Workloads wie Coding-Agenten, Dokumentenanalyse oder Multi-Turn-Konversationen?
Der Trend ist jedenfalls klar: Die Branche bewegt sich in Richtung maximale Kontrolle bei minimaler Abhängigkeit. Nous Research zeigt das mit dem Blank-Slate-Ansatz für Agenten. Sakana AI zeigt es mit Modellen, die dynamisch zwischen Anbietern wechseln. Und Subquadratic verspricht, die infrastrukturelle Grundlage dafür zu schaffen, dass diese Visionen auch bei massiven Datenmengen wirtschaftlich bleiben.
Für dich als Anwender im DACH-Raum heißt das: Du musst nicht auf Subquadratic warten, um heute schon produktiv mit KI zu arbeiten. Die aktuellen Kontextfenster reichen für die allermeisten Anwendungsfälle aus. Aber wenn die Behauptung stimmt, könnte sich in 12 bis 18 Monaten die Art, wie wir mit großen Datenmengen arbeiten, fundamental verändern. Und das wäre dann tatsächlich einer jener seltenen Momente, in denen ein Startup-Claim mehr war als nur Marketing.
Wir bleiben dran und berichten, sobald belastbare technische Details vorliegen.