Die Ökonomie fallender Inferenzkosten

Die Kosten für einen Token, also die kleinste Verarbeitungseinheit eines Sprachmodells, sind seit Ende 2022 um mehrere Größenordnungen gefallen. Inferenz für Aufgaben auf dem Leistungsniveau früherer GPT-4-Modelle kostet Mitte 2026 rund 0,40 US-Dollar pro Million Token, Ende 2022 waren es noch etwa 20 Dollar.³⁰⁴ Daraus zu schließen, KI werde damit für alle billiger, übersieht die eigentliche Bewegung. Der Stückpreis fällt stark, die Gesamtrechnung vieler Anwender steigt trotzdem. Das wirkt widersprüchlich, bildet aber die zentrale Ökonomie des Themas, und es entscheidet gerade darüber, welche Geschäftsmodelle im KI-Markt tragen und welche nicht.

Die These vorweg, damit ihr Status klar ist: Sinkende Inferenzkosten wirken weniger wie ein Rückenwind und mehr wie ein Selektionsdruck. Sie machen den Einsatz von Sprachmodellen an vielen Stellen bezahlbar, und genau deshalb setzen sie jede Marge unter Druck, die auf der Annahme knapper, teurer Token beruhte. Drei technische Ebenen treiben den Preisverfall, ein Preiskrieg gibt ihn an die Kunden weiter, und ein alter ökonomischer Mechanismus sorgt dafür, dass die Ersparnis die Rechnung am Ende nicht automatisch kleiner macht.

Woher der Preisverfall kommt

Der Kostenverfall ist kein einzelner Durchbruch, sondern das Produkt aus drei Ebenen, die sich multiplizieren. Das erklärt seine Hartnäckigkeit: Läuft eine Ebene aus, tragen die anderen zwei weiter.

Auf der Hardware-Ebene senkt jede Chip-Generation die Kosten neu. Der Übergang zu niedrigeren Rechengenauigkeiten, etwa von 8-Bit- auf 4-Bit-Formate (FP4), bringt bei NVIDIAs Blackwell- und Rubin-Architekturen den zwei- bis dreifachen Durchsatz bei halbem Speicherbedarf. Parallel drängen die Hyperscaler mit eigenen Chips in den Markt, Googles Ironwood-TPU, Amazons Trainium, Microsofts Maia, und erreichen für Inferenz eine Gesamtbetriebskostenrechnung, die deutlich unter der eines vergleichbaren NVIDIA-Servers liegt.³⁰⁵ Analysten halten es für möglich, dass NVIDIAs Anteil am Inferenzmarkt bis 2028 von über 90% auf 20 bis 30% sinkt.³⁰⁶ Berichte über Midjourney nennen zudem Einsparungen von etwa 65% durch den Umstieg auf Googles Tensor-Chips.³⁰⁷

Auf der Modell-Ebene arbeiten mehrere Techniken in dieselbe Richtung. Mixture-of-Experts-Architekturen, bei denen pro Token nur ein Bruchteil der Parameter aktiv wird, senken den Rechenaufwand je Token um geschätzte 60 bis 80%. Quantisierung, also das Rechnen mit gröberer Zahlendarstellung, halbiert die Kosten noch einmal, bei einem Genauigkeitsverlust im niedrigen einstelligen Prozentbereich. Distillation überträgt das Können eines großen Modells auf ein kleineres, das denselben Zweck zu einem Bruchteil der Betriebskosten erfüllt. Für viele Aufgaben genügt am Ende ein kleineres, passgenaues Modell statt eines Spitzenmodells für alles.

Die dritte Ebene, das Serving, wird gern unterschätzt, obwohl sie einen großen praktischen Hebel enthält. Gemeint ist die Art, wie Anfragen auf der GPU organisiert werden. Drei Techniken tragen dabei die Hauptlast:

• Cache-Wiederverwendung: Der sogenannte KV-Cache, in dem ein Modell den bereits verarbeiteten Kontext zwischenspeichert, lässt sich über Anfragen hinweg teilen und komprimieren. Das senkt die Kosten langer Kontexte um ein Vielfaches.
• Kontinuierliches Bündeln: Ein gut ausgelegter Serving-Stack bedient pro GPU ein Vielfaches der Anfragen einer naiven Implementierung.
• Spekulatives Dekodieren: Ein kleines, schnelles Modell rät mehrere Token voraus, das große Modell prüft sie in einem einzigen Durchgang, statt jeden Token einzeln zu erzeugen.

Zusammengenommen kann der Unterschied zwischen naiver und optimierter Inferenz beim Fünf- bis Zehnfachen der Kosten liegen.³⁰⁸ Exotisch ist daran wenig: Offene Serving-Systeme wie vLLM oder SGLang bringen diese Techniken mit, die Ersparnis liegt im richtigen Einsatz, nicht im Zugang zu ihnen. Die Halbwertszeit des Token-Preises, also die Zeit, in der er sich halbiert, liegt für günstige Modelle bei gut einem Jahr und damit unter dem Takt des Mooreschen Gesetzes.³⁰⁹ Der Verfall ist damit mehrfach abgesichert, kein einmaliger Effekt.

Preiskrieg und Kalkulation

Auf der Kostenkurve sieht alles nach Fortschritt aus. Auf der Ertragsseite sieht dieselbe Bewegung anders aus. Der Preisverfall ist auch das Ergebnis eines Wettbewerbs, der die Anbieter zwingt, ihn an die Kunden weiterzugeben. Das chinesische Modell DeepSeek machte im Frühjahr 2026 einen Rabatt von 75% dauerhaft und liegt damit um ein Vielfaches unter den westlichen Spitzenpreisen.³¹⁰ Über den Markt hinweg fielen die Token-Preise 2026 um 60 bis 80%, getrieben von sparsameren Architekturen, schnellerer Hardware, größeren Abrufmengen und eben diesem Preisdruck, den viele Anbieter mitgehen mussten.³¹¹

Für die Anbieter bedeutet das Margenkompression trotz wachsender Nachfrage. Für viele Anwendungsfirmen bricht die Kalkulation an einer konkreten Stelle. Ein Kunde, der ein Pauschalabo für 20 Dollar im Monat zahlt, kann bei rechenintensiven Aufgaben Inferenzkosten in ähnlicher oder höherer Größenordnung verursachen.³¹² Flat-Rate-Modelle gegen variable, verbrauchsgetriebene Kosten funktionieren dann nicht mehr. Erschwerend kommt hinzu, dass Unternehmen ihre Anfragen zunehmend in Echtzeit durch mehrere Modelle leiten und für jede Aufgabe das günstigste wählen, das sie bewältigt. Das macht das Spitzenmodell für die untere Hälfte der Aufgaben zur austauschbaren Ware und drückt die Marge weiter.

Den Preisboden setzen dabei die offen verfügbaren Modelle. Solange ein quelloffenes Modell wie die DeepSeek-Reihe für die Mehrheit der Aufgaben gut genug ist und zu einem Bruchteil der Kosten läuft, lässt sich der Preis für dieses Segment nicht halten. Die vergleichsweise auskömmlichen Bruttomargen einzelner Anbieter, für Anthropic werden auf der Inferenz rund 70% berichtet, sind damit weniger ein Ruhekissen als das nächste Ziel des Wettbewerbs.³¹³

Effizienz erzeugt Nachfrage

Dass die Rechnungen trotz fallender Stückpreise steigen, hat einen Namen: Jevons-Paradox, benannt nach der Beobachtung des Ökonomen William Stanley Jevons aus dem Jahr 1865, dass effizientere Kohlenutzung den Verbrauch nicht senkte, sondern erhöhte. Bei KI-Inferenz zeigt sich ein ähnliches Muster. Der Token-Preis fiel seit 2023 stark, die Ausgaben für Sprachmodelle haben sich nach Branchenauswertungen im selben Zeitraum trotzdem vervielfacht.³¹⁴ Auch Unternehmensbudgets für KI sind nach Branchenberichten deutlich gewachsen.³¹⁵

Der Treiber dahinter sind agentische Anwendungen, bei denen ein Modell nicht einmal antwortet, sondern in vielen Schritten plant, Werkzeuge aufruft und sich selbst korrigiert. Ein Assistent, der eine Codebasis durchsucht, einen Plan fasst, Änderungen schreibt und sie anschließend testet, erzeugt für eine einzige Aufgabe Hunderte solcher Schritte statt einer einzelnen Antwort. Solche Abläufe verbrauchen pro Aufgabe ein Vielfaches der Token einer einzelnen Frage, nach Branchenschätzungen das Fünf- bis Dreißigfache.³¹⁶ Der Preis je Token sinkt also, während die Zahl der Token je nützlicher Aufgabe steigt. Für Anwender heißt das nicht, dass KI gratis wird, sondern dass sie zu einer großen variablen Kostenposition ihrer Software werden kann. Wichtig ist dabei eine Ungleichzeitigkeit: Die Preise fallen nicht überall gleich schnell. Einfache Klassifikation wird rapide billiger, rechenintensives Schlussfolgern langsamer, weil es genau die Token-hungrigen Aufgaben betrifft.³¹⁷

Ausblick

Die Kostenkurve lässt sich mit einiger Vorsicht fortschreiben. Setzt sich die bisherige Entwicklung fort, könnte Inferenz auf dem Leistungsniveau früherer GPT-4-Modelle bis 2028 in Bereiche fallen, in denen sie für viele Anwendungen keine dominante Einzelposition mehr ist.³¹⁸ Die Analysten von Gartner erwarten zwischen 2026 und 2030 eine weitere Verbilligung um etwa den Faktor 9 und veranschlagen, dass Modelle bis 2030 um bis zum Hundertfachen kosteneffizienter arbeiten als die ersten Vertreter von 2022.³¹⁹ Zugleich verschiebt sich das Schwergewicht der Rechenzentren: Bis 2028 dürften laut Gartner über 80% der KI-Beschleuniger auf Inferenz statt auf Training entfallen.³²⁰ Der bindende Engpass wird dann weniger der Chip als die Energie sein, ihn zu betreiben.

Aus diesen Zahlen folgt ein struktureller Ausblick mit etwas mehr Vorbehalt. Frontier-Intelligenz je Token könnte sich der Kostenlosigkeit annähern, und damit wandert der wirtschaftliche Wert die Verarbeitungskette hinauf. Besser gestellt sind Anbieter, die billige Inferenz über Verteilung, Arbeitsablaufintegration und eigene Daten zu einem Produkt bündeln, nicht diejenigen, die nur Rechenkapazität liefern. Aktuelle Modellankündigungen zeigen dieselbe Richtung: höhere Token-Effizienz, Rabatte auf zwischengespeicherte Eingaben und stärkere Differenzierung zwischen Modellklassen. Pauschale KI-Abos werden sich in Richtung verbrauchsbasierter Preise bewegen müssen, und das Weiterleiten von Anfragen an das jeweils passende Modell wird von der Spielerei zur Kernkompetenz.

Für Unternehmen, die auf Sprachmodellen aufbauen, verschiebt das die Make-or-Buy-Frage. Die Kosten eines Arbeitsablaufs hängen künftig weniger am Listenpreis je Token als daran, wie gut er ausgelegt ist, ob Anfragen zwischengespeichert, gebündelt und an das kleinstmögliche Modell geleitet werden. Das Optimierungshandwerk auf der Serving-Ebene wird damit zum Unterschied zwischen tragfähiger und defizitärer Kalkulation. Und wenn Strom und Netzanschluss knapper werden, verlagert sich der Wettbewerb der Anbieter zunehmend von der reinen Rechenleistung auf den Zugang zu Energie.

Die freundlichen Zahlen haben eine scharfe Seite. Sinkende Inferenzkosten sind kein Rückenwind für alle, sondern ein Auswahldruck. Sie treiben die Verbreitung und zersetzen zugleich jede Marge, die auf teuren, knappen Token gebaut war. Entscheidend wird weniger der billigste Token sein als die Fähigkeit, billige Inferenz in nutzbare Arbeitsabläufe zu übersetzen. Das ist die Inferenz-Fassung von Jevons' alter Beobachtung: Effizienz senkt den Verbrauch nicht, sie steigert ihn, und verschiebt die Knappheit eine Ebene weiter.

Eine Frage lässt diese Betrachtung offen, und sie ist die größere. Alles bisher Gesagte beschreibt die Angebotsseite: warum Inferenz billiger wird und was das für Preise und Margen bedeutet. Ob die wachsenden Ausgaben auf der anderen Seite überhaupt bezahlten Nutzen abbilden, steht damit noch nicht fest. Die Jevons-Lesart tröstet mit dem Gedanken, dass der Stückpreis fällt und die Gesamtrechnung trotzdem steigt, und behandelt dieses Ausgabenwachstum stillschweigend als gesunde Nachfrage. Belegt ist das nicht.

Quellen

1. AI Inference Economics: The 1,000× Cost Collapse. GPUnex, 2026. https://www.gpunex.com/blog/ai-inference-economics-2026/ sowie Epoch AI, LLM inference price trends. https://epoch.ai/data-insights/llm-inference-price-trends und Mingdeng Du, Tiered Super-Moore's Law. https://arxiv.org/abs/2603.28576 ↩
2. Hyperscaler Custom AI Chips in 2026: Trainium, TPU, Maia, MTIA vs NVIDIA. Spheron, 2026. https://www.spheron.network/blog/hyperscaler-custom-ai-chips-2026-trainium-tpu-maia-mtia-vs-nvidia-gpu/ ↩
3. Custom Silicon Inflection 2026. Introl, 2026. https://introl.com/blog/custom-silicon-inflection-2026-hyperscaler-asics-nvidia-gpu ↩
4. Inference efficiency and GPU cost optimization in 2026. regolo.ai, 2026. https://regolo.ai/inference-efficiency-and-gpu-cost-optimization-in-2026-how-to-cut-llm-serving-waste/ sowie KV Cache Optimization for LLMs 2026. Digital Applied. https://www.digitalapplied.com/blog/kv-cache-optimization-techniques-2026-engineering-guide ↩
5. DeepSeek V4-Pro Cuts Prices 75% Permanently. AI Automation Global, 2026. https://aiautomationglobal.com/blog/deepseek-v4-pro-75-percent-permanent-price-cut-inference-war-2026 ↩
6. AI API Pricing War 2026: Costs Dropped 60-80%. TokenMix, 2026. https://tokenmix.ai/blog/ai-api-pricing-war-2026 ↩
7. Why Anthropic's 70% Inference Margins Matter for Your API Costs. MindStudio, 2026. https://www.mindstudio.ai/blog/anthropic-inference-margins-70-percent-api-costs ↩
8. Startups and tech giants wage AI price war as inference costs spiral. Crypto Briefing, 2026. https://cryptobriefing.com/ai-price-war-startups-tech-giants/ ↩
9. Tokens are getting cheaper, but AI costs keep climbing. Fortune, 2026. https://fortune.com/2026/06/17/why-is-ai-spending-increasing-as-tokens-get-cheaper-jevons-paradox/ ↩
10. AI inference costs set to plunge. CIO Dive zu Gartner, 2026. https://www.ciodive.com/news/ai-inference-costs-drop-2030-gartner/815725/ ↩
11. Ouyang et al.: Training language models to follow instructions with human feedback ↩
12. OpenAI: GPT-4 Technical Report ↩
13. OpenAI: Learning to reason with LLMs ↩
14. Liu et al.: Lost in the Middle ↩