KI-Infrastruktur neu gedacht:Der Weg von der GPU zur Token Factory

In Zukunft wird nicht allein die verfügbare Rechenleistung, sondern auch die Kosten pro erledigter Aufgabe über den wirtschaftlichen Erfolg entscheiden. In diesem Kontext entwickelt sich eine GPU-Infrastruktur zunehmend zur Token Factory weiter.

Mit der zunehmenden Verbreitung von KI-Agenten verändern sich die Anforderungen an KI-Infrastrukturen. Neben GPU-Auslastung und Inferenzdurchsatz gewinnen Servicequalität, Ressourceneffizienz und kalkulierbare Betriebskosten an Bedeutung.

Denn agentische Anwendungen bearbeiten Aufgaben häufig in mehr als nur einem Schritt. Sie rufen KI-Modelle wiederholt auf, greifen auf externe Daten zu und nutzen andere Tools oder Anwendungen. Dadurch entstehen dynamische Workloads mit wechselndem Bedarf an Rechenleistung, Speicher und Parallelität. In einer Studie vom August 2026 prognostizierte Gartner, dass sich die Inferenzkosten eines einzelnen Agenten-Workflows bis 2028 mehr als verfünffachen werden.

Infolgedessen entwickelt sich die GPU-Infrastruktur zunehmend zur sogenannten Token Factory weiter: einer Betriebsumgebung, die nicht nur Rechenleistung bereitstellt, sondern KI-Dienste zuverlässig und wirtschaftlich ausführt. Entscheidend ist dabei das Zusammenspiel von Ressourcenmanagement, Inferenzoptimierung und Servicebetrieb. In diesem Zusammenhang ergibt sich die Situation, in der nicht die Menge der verfügbaren KI-Rechenleistung über den wirtschaftlichen Erfolg entscheidet, sondern wie zuverlässig und kosteneffizient daraus nutzbare KI-Ergebnisse entstehen.

Neuartige Workloads verändern die Anforderungen

KI-Agenten unterscheiden sich von klassischen Modellabfragen durch ihre mehrstufige Arbeitsweise. Sie zerlegen Aufgaben in Teilschritte, verarbeiten umfangreiche Kontexte und lösen zusätzliche Modellaufrufe aus. Der Ressourcenbedarf hängt deshalb von Faktoren wie der Anzahl und Parallelität der Anfragen, der Komplexität der Aufgaben und der Kontextlänge sowie der Wiederverwendung bereits vorhandener Cache-Ergebnisse und Schwankungen der Lastprofile ab.

Damit verändern sich die Maßstäbe für die Leistungsbewertung. Eine hohe GPU-Auslastung bedeutet nicht automatisch, dass besonders viele Anfragen innerhalb definierter Serviceziele bearbeitet werden. Auch ein hoher Gesamtdurchsatz kann mit unzureichenden Antwortzeiten für einzelne Nutzer einhergehen.

Systemübergreifende Koordination

Die Effizienz einer Token Factory lässt sich nicht allein durch die Optimierung einzelner Hardware- oder Softwarekomponenten steigern. Ressourcenmanagement, Inferenzverarbeitung und Servicebetrieb müssen auf gemeinsame Ziele ausgerichtet werden. Entscheidend hierbei sind:

• Das Ressourcenmanagement: Rechenkapazitäten sollten entsprechend dem tatsächlichen Bedarf verteilt werden. Dies beinhaltet etwa die gemeinsame Nutzung von GPU-Ressourcen, die dynamische Zuweisung von Kapazitäten und die Anpassung an wechselnde Lastprofile. Ziel ist es, ungenutzte Ressourcen zu reduzieren, Engpässe zu vermeiden und verfügbare Kapazitäten möglichst wirkungsvoll einzusetzen.
• Die Optimierung der Inferenz: Die Inferenz umfasst unterschiedliche Verarbeitungsschritte. Die getrennte Steuerung der Verarbeitungsschritte „Prefill“ und „Decode“ kann helfen, unterschiedliche Ressourcenanforderungen gezielter zu bedienen, und zwischengespeicherte Informationen können bei wiederkehrenden Kontexten erneute Berechnungen vermeiden. Anfragen und Ressourcen können entsprechend Parallelität, Modellanforderungen und Servicezielen verteilt werden.
• Der Servicebetrieb und die Governance: Neben der technischen Verarbeitung muss auch der laufende Betrieb berücksichtigt werden. So sind Mechanismen erforderlich, um Nutzung, Qualität und Kosten transparent zu steuern. Dazu zählen etwa einheitliche API für den Modellzugriff oder die Überwachung von Antwortzeiten, Durchsatz und Service-Level-Objectives (SLOs). Erst das Zusammenspiel aller Ebenen ermöglicht es, technische Optimierungen in eine bessere Gesamtleistung zu übersetzen.

Wirtschaftlichkeit der Token Factory

Um die Wirtschaftlichkeit einer Token Factory zu bewerten, müssen Durchsatz, Antwortzeiten, Zuverlässigkeit und Einzelkosten gemeinsam betrachtet werden. Einzelne Messwerte liefern nur ein unvollständiges Bild. So bedeuten etwa Einsparungen pro Token nicht automatisch, dass eine KI-Anwendung insgesamt günstiger wird.

Bei agentischen Workflows können zusätzlich notwendige Modellaufrufe, Interaktionen mit anderen Anwendungen und erneute Versuche mögliche Einsparungen aufzehren, weil zwar die Kosten pro einzelnem Token sinken, die Zahl der insgesamt bis zur Aufgabenerledigung benötigten Token aber steigt. Deshalb rückt eine übergeordnete Kennzahl in den Fokus: die Gesamtkosten pro erfolgreich abgeschlossener Aufgabe. Sie berücksichtigt den Aufwand für ein Ergebnis, das die geforderten Qualitätskriterien erfüllt, statt lediglich die Kosten einzelner Token zu betrachten.

Token Factory als Betriebsmodell für skalierbare KI

Der Wandel von der GPU-Infrastruktur zur Token Factory beschreibt mehr als eine technische Weiterentwicklung. Im Mittelpunkt steht nicht mehr allein die Bereitstellung von Hardware, sondern der zuverlässige und wirtschaftliche Betrieb von KI-Diensten.

Dafür müssen drei Bereiche systematisch zusammenwirken:

• Infrastruktur: GPU-Ressourcen sollten bedarfsgerecht bereitgestellt und genutzt werden können.
• Inferenz: Modellverarbeitung, Speicherzugriffe und Anfragen sollten an die jeweiligen Workloads angepasst werden.
• Servicebetrieb: Es gilt, Qualität, Zugriff, Nutzung und Kosten transparent zu steuern.

Integrierte KI-Entwicklungsplattformen wie MotusAI können diese drei Ebenen verbinden und eine gemeinsame Grundlage für Planung, Überwachung und Optimierung schaffen. Voraussetzung ist, dass technische Leistungsdaten mit den tatsächlichen Anforderungen der Anwendungen verknüpft werden. Der entscheidende Fortschritt liegt somit nicht allein in mehr Rechenleistung oder einem höheren Token-Durchsatz. Er liegt in der Fähigkeit, KI-Dienste unter realen Bedingungen zuverlässig, skalierbar und wirtschaftlich zu betreiben.

Die Token Factory entwickelt sich damit zu einem wichtigen IT-Architektur- und Betriebsmodell für den produktiven Einsatz agentischer KI. MotusAI und ähnliche Lösungen schaffen die Voraussetzungen dafür, indem sie Unternehmen sowie Neocloud-Anbietern ermöglichen, GPU-Management und Inferenzoptimierung in operative Fähigkeiten umzuwandeln, die notwendig sind, um Token-Services kontinuierlich bereitzustellen und effektiver zu konkurrieren.

Darren Cox ist General Manager Europe bei Kaytus.

Kaytus