Warum ein LLM-agnostischer Ansatz der Schlüssel zur Kontrolle der KI-Kosten ist
Jedes Meeting über künstliche Intelligenz landet früher oder später bei derselben unbequemen Frage: Was kostet das eigentlich wirklich?
Nicht die Lizenzgebühr. Nicht die Implementierungsstunden. Sondern die realen Betriebskosten, die sich mit jedem Prompt aufsummieren, jedem automatisierten Workflow, jedem personalisierten Kundenkontakt. Kosten, die unkontrolliert genau den ROI aushöhlen, der die Investition überhaupt gerechtfertigt hat.
Gemessen werden diese Kosten in Token.
Und die Disziplin, sie zu steuern, wird gerade zu einer der folgenreichsten Finanzkennzahlen in der modernen GuV.
Was sind Token und warum sollte sich die C-Suite dafür interessieren?
Token sind die Grundwährung der Sprachmodelle (LLMs). Jedes Mal, wenn eine KI einen Prompt verarbeitet, eine Antwort erzeugt oder Kontext im Speicher hält, verbraucht sie Token, kleine Texteinheiten mit einem direkten, messbaren Preis. Bei einer einzelnen oder einfachen Anfrage sind die Kosten verschwindend gering. Aber sobald ein Unternehmen Tausende agentische Workflows über Marketing, Vertrieb, Kundenservice und Betrieb betreibt (mit Millionen Interaktionen pro Monat) wird der Token-Verbrauch zu einem ernstzunehmenden Posten.
Für CFOs ist das der neue „Cloud-Moment". Vor zehn Jahren lernten Unternehmen: Der Weg in die Cloud eliminiert Infrastrukturkosten nicht. Er machte sie variabel und verbrauchsabhängig und verlangte neue Governance. Bei Token ist es genauso, nur mit einem entscheidenden Unterschied: Die Kostentreiber sind weniger sichtbar, schwerer vorherzusagen und viel breiter über die Organisation verteilt.
Für CMOs steht genauso viel auf dem Spiel. Marketing ist der Bereich mit den meisten KI-Berührungspunkten, wie Content-Erstellung, Personalisierung, Kampagnenorchestrierung, Experimente, Analytik. Jeder dieser Fälle verbraucht Token. Wer die Token-Effizienz nicht steuert, verbrennt Budget für reine Rechenverschwendung.
Für CEOs ist die Frage noch grundsätzlicher: Baust du deine KI-Fähigkeiten auf einem Fundament auf, das finanzielle Kontrolle, Modellflexibilität und langfristige Skalierbarkeit erlaubt? Oder bindest du dich an die Preis- und Leistungskurve eines einzigen Anbieters, in der Hoffnung, dass ein einziges Modell für jede Aufgabe die beste Wahl bleibt?
Das versteckte Risiko: Die Abhängigkeit von einem einzigen Modell
Die heutige KI-Landschaft umfasst Dutzende kommerziell verfügbare LLMs, jedes mit eigenen Stärken. Manche glänzen bei tiefem Reasoning, andere sind auf Tempo, Kosten oder bestimmte Inhalte optimiert, lange Analysen, Codegenerierung, mehrsprachige Ausgaben. Kein Modell führt in jeder Dimension. Und mit jedem Release-Zyklus verschiebt sich das Feld neu. Alle paar Wochen.
Trotzdem setzen viele Unternehmen standardmäßig auf ein einziges Modell. Sie schließen einen Enterprise-Vertrag mit einem oder zwei Anbietern und bauen ihre Workflows um deren Fähigkeiten und Grenzen. Die Logik dahinter ist nachvollziehbar: Einfachheit, schnelle Einsatzbereitschaft, eine einzige Anbieterbeziehung.
Das Risiko ist trotzdem erheblich. Eine Einzelmodell-Strategie schafft drei Arten von Abhängigkeit:
- Kostenrisiko. Für jede Aufgabe das Frontier-Modell zu nehmen, das leistungsstärkste und teuerste, ist, als würdest du für jeden Einkauf den Sportwagen aus der Garage holen. Einfaches Klassifizieren, Zusammenfassen oder Anreichern braucht keine Frontier-Power. Ohne intelligentes Routing passiert aber genau das.
- Leistungsrisiko. Jedes Modell hat Stärken und Schwächen. Was im kreativen Texten brilliert, kann bei strukturierter Datenextraktion patzen. Ein Modell, das fürs Reasoning auf Englisch gebaut ist, liefert auf Deutsch, Französisch oder Japanisch oft schwächere Ergebnisse. Wer sich auf ein Modell festlegt, nimmt dessen Schwächen über alle Anwendungsfälle hinweg in Kauf.
- Strategisches Risiko. Der Markt für KI-Modelle steht noch ganz am Anfang. Das Modell, das heute führt, kann morgen Massenware sein. Wer tiefe Abhängigkeiten von der Architektur, den Prompting-Konventionen und dem Kontextmanagement eines einzigen Anbieters aufbaut, geht eine langfristige Wette auf ein Feld ein, das sich rasant verändert.
Die LLM-agnostische Architektur
Das Gegenmittel gegen dieses Risiko ist eine LLM-agnostische Architektur: eine Plattformschicht über den Modellen, die sie intelligent orchestriert und jede Aufgabe an das Modell weiterleitet, das die beste Kombination aus Qualität und Kosten liefert.
Das ist kein theoretisches Konzept, sondern eine Entscheidung auf Technik- und Geschäftsmodell-Ebene. Genau sie trennt Plattformen, die auf langfristigen Unternehmenswert bauen, von denen, die nur auf einen schnellen Markteintritt setzen.
Erstens: Das Tragwerk
Stell dir ein Hochhaus im Bau vor. Das Stahlgerüst drumherum ist nicht das Gebäude, es ist die Stützstruktur (Scaffold), die den Bau sicher, effizient und nach präzisem Standard möglich macht. Bei KI ist das Scaffolding alles, was rund um das rohe Modell entsteht: die Anweisungen, die sein Verhalten formen, der Speicher, der ihm Kontext gibt, die Leitplanken, die es marken- und regelkonform halten, und die Tools und Workflows, die es mit deinen Unternehmenssystemen verbinden. Ohne Scaffolding ist ein LLM beeindruckend, aber unberechenbar. Mit Scaffolding wird es zielgerichtet.
Zweitens: Das Sicherheitsnetz
Denk an einen Kletterer. Kraft und Können sind unverzichtbar. Aber ohne Sicherungsgurt (Harness) bleibt dieses Können unkontrolliert, zu risikohaft. Bei KI ist der Harness die Orchestrierungsschicht: Sie entscheidet, welches Modell welche Aufgabe übernimmt, verwaltet den Kontext über Interaktionen hinweg und leitet Anfragen intelligent weiter. Ein Unternehmen mit Harness setzt für jede Aufgabe das richtige Modell ein. Eins ohne setzt alles auf ein einziges Pferd.