GPU-Cluster und die Frage nach deren AuslastungGPUs alleine ergeben noch keine AI Factory

19. November 2026

Die Preise und Wartezeiten für GPUs schießen in astronomische Höhen. Nahezu jeder Data Center- und Neocloud-Anbieter scheint dem Credo zu folgen „Viel hilft viel“. Doch die schiere Masse an GPU ist kein Garant für KI-Performance.

Schätzungen zufolge liegt die Auslastung von GPUs in Unternehmen teilweise bei nur 5 Prozent. Es mangelt nicht an Hardware – sie ist schlicht blockiert. Ein typisches Szenario soll : Fünf Teams benötigen dasselbe Modell – also gibt es fünf separate Bereitstellungen und fünf reservierte GPU-Kontingente. Die Teams sind zufrieden, die Finanzabteilung hingegen nicht.

Eine AI-Factory ändert diesen Ansatz grundlegend: Ein Modell wird einmal bereitgestellt und als interner Dienst zur Verfügung gestellt. Jedes Team erhält eigene API-Schlüssel, Kontingente und Budgets. Die Anfragen werden dorthin geleitet, wo gerade GPU-Kapazitäten frei sind. Dabei gelten einheitliche Richtlinien – egal, ob im eigenen Rechenzentrum, in der Cloud oder am „Edge“.

Dass dieses Konzept funktioniert, zeigt sich in einem der anspruchsvollsten Umfelder überhaupt: Bei der BWI, dem IT-Partner der Bundeswehr, mussten Abteilungen früher monatelang auf GPUs warten. Heute erhalten sie diese innerhalb weniger Minuten – mit 9 KI-Modellen, die auf 27 GPUs laufen und über drei Rechenzentren hinweg gemeinsam genutzt werden.

Genau diese Erfahrung ist in „Kubermatic AI“ eingeflossen. Jede Komponente ist Open Source und basiert auf Standard-Kubernetes – denn die Lösung für KI sollte nicht in einer neuen, proprietären Abhängigkeit, sprich Vendor Lock-in, bestehen. Bevor ein Unternehmen die nächste Bestellung für GPUs aufgibt, sollte es prüfen, was bereits vorhanden ist. Vielleicht steht die AI-Factory ja schon längst in den Server-Racks.

Sebastian Scheele ist CEO und CO-Gründer von Kubermatic.

Kubermatic

Lesen Sie auch