Nicht jede Frage verdient einen Doktortitel: Wie wir einen Prompt-Router entwickelt haben, der weiß, wann er weniger nachdenken muss.

„Warum sollte sich jemand mit einer dümmeren Antwort zufriedengeben?“

Das war die Reaktion, die ich erntete, als ich argumentierte, dass die richtige Antwort manchmal darin besteht, weniger nachzudenken.

Ich arbeite an KI-Produkten, die Marketingteams täglich in großem Umfang nutzen. Das bedeutet, dass ich Probleme mit Latenz und Token-Kosten spüre, bevor die meisten Teams sie überhaupt bemerken. Wir hatten monatelang an einer Anreicherungspipeline gearbeitet, auf die wir wirklich stolz waren – und das aus gutem Grund. Als Opal Markenrichtlinien per Ampelsystem einbezog, die Wissensdatenbank durchsuchte, spezialisierte Tools lud und auf das episodische Gedächtnis aus früheren Gesprächen zurückgriff, waren die Antworten messbar besser.

Warum sollte man das also überspringen?

Die Sache ist die: Wir trafen bereits kluge Entscheidungen bezüglich der Anreicherung. Wir durchsuchten nicht blindlings jede Kontextquelle bei jeder Anfrage. Das System prüfte, ob relevante Wissensdatenbanken verfügbar waren, ob der Gesprächsstatus bestimmte Abfragen erforderte und welches Modell der Benutzer ausgewählt hatte. Die Anreicherungspipeline enthielt Bedingungen und Abbruchkriterien. Es war ein prinzipiengeleitetes System.

Doch selbst wenn diese Prüfungen zu dem Ergebnis „Nein, das brauchen wir nicht“ kamen, benötigte das System dennoch Zeit, um die Frage zu bewerten. Jede einzelne Anreicherungsprüfung war schnell; nur wenige Millisekunden. Aber in einem System, in dem die Gesamtlatenz die Summe aus Einbettungsgenerierung, Kontextabruf, Prompt-Zusammenstellung und Modellinferenz ist, summieren sich diese Millisekunden.

Für einen Benutzer, der auf eine einfache, faktische Antwort wartet, machen diese zusätzlichen Sekunden den Unterschied zwischen „Das fühlt sich sofort an“ und „Das fühlt sich träge an“.

Dieselbe Ineffizienz schlägt sich in den Kosten nieder. Jede unnötige Wissensdatenbanksuche, jeder überflüssige Tool-Suchvorgang, jeder Prompt, der an ein High-Tier-Modell weitergeleitet wird, obwohl ein leichteres ausreichen würde – diese Kosten summieren sich bei Tausenden von täglichen Konversationen. Im Unternehmensmaßstab wird die rein symbolische Ökonomie des maximalen Aufwands nicht nachhaltig.

In Dutzenden von Kundengesprächen zeigte sich ein einheitliches Muster: Nutzer waren bereit, bei einfachen Aufgaben Abstriche bei der Qualität der Informationsaufbereitung zugunsten von Geschwindigkeit und Kosteneffizienz zu machen. Nicht etwa, weil sie schlechte Antworten wollten, sondern weil eine schnelle, kostengünstige Antwort wie „Diesen Artikel zusammenfassen“ die bessere Wahl war. Und obwohl Nutzer gerne Kontrolle haben, wollten sie auch, dass das System diese Entscheidungen automatisch trifft, ohne dass sie jedes Mal darüber nachdenken müssen.

Das Restaurant, das jede Bestellung gleich abwickelt

Stellen Sie sich ein Restaurant vor, das jede Bestellung nach demselben Verfahren abwickelt, egal ob es sich um ein Fünf-Gänge-Menü oder eine Portion Pommes handelt. Gleiche Anzahl an Köchen, gleiche Vorbereitungszeit, gleiche Anrichtetechnik. Die Pommes wären hervorragend. Sie würden aber auch 45 Minuten dauern.

Genau das haben wir getan. Jede Eingabeaufforderung, egal wie einfach, durchlief den gesamten Prozess.

Drei Modi, ein Dropdown-Menü

Wir haben uns für ein dreistufiges Routing-Modell entschieden:

1. Im Schnellmodus wird die Kontextanreicherung vollständig übersprungen. Einfacher Anwendungskontext (z. B. die aktuelle Produktseite) wird weiterhin verarbeitet, da er schnell abgerufen werden kann und oft relevant ist. Die aufwändige Weiterleitung, das Ampelsystem, die Speicherung und die Tool-Erkennung werden jedoch übersprungen. Nur die Eingabeaufforderung und das Modell werden berücksichtigt.

2. Der angereicherte Modus bietet das volle Erlebnis. Markenrichtlinien, Inhaltsverlauf, Tools, Speicherung. Dies ist ideal für die Erstellung komplexer Inhalte, die Kampagnenplanung oder alles, was davon profitiert, dass Opal die Markenstimme und den einzigartigen Kontext kennt.

3. Im Automatikmodus wird es interessant. Anstatt den Benutzer entscheiden zu lassen, klassifiziert Opal jede Eingabeaufforderung und wählt automatisch den passenden Ansatz. Einfache Frage? Überspringen Sie die Anreicherung, verwenden Sie ein schlankeres Modell und erhalten Sie schnell die Antwort. Komplexe kreative Aufgabe? Nutzen Sie alle verfügbaren Informationen, verwenden Sie das leistungsstärkste Modell und nehmen Sie sich die Zeit für eine präzise Lösung.

Im Automatikmodus wägen wir Geschwindigkeit und Qualität intelligent für jede einzelne Nachricht ab, ohne dass der Benutzer sich darum kümmern muss.

Lernen Sie Mycroft kennen: Ein Routing-Gehirn in 25 Millisekunden

Für den Automatikmodus haben wir einen dedizierten Dienst mit dem internen Codenamen Mycroft entwickelt. Seine Aufgabe ist einfach: Er analysiert eine Eingabeaufforderung und entscheidet, was benötigt wird, bevor irgendetwas anderes passiert.

Jede Eingabeaufforderung im Automatikmodus wird an Mycroft gesendet, bevor die Anreicherung beginnt. Mycroft verarbeitet den Text mithilfe eines schlanken Satzcodierers, um eine numerische Repräsentation der Bedeutung der Eingabeaufforderung zu generieren. Dieser Kodierungsschritt dauert etwa 10 Millisekunden.

In Kombination mit Kontextsignalen und Klassifizierung ist die gesamte Routing-Entscheidung in etwa 25 Millisekunden abgeschlossen.

Neben dem semantischen Embedding extrahiert Mycroft 20 zusätzliche Merkmale aus jeder Eingabeaufforderung: beispielsweise die Länge der Eingabeaufforderung, die Zeilenanzahl, ob Codeblöcke oder SQL-Schlüsselwörter enthalten sind, ob ein Agent aufgerufen wird, ob die Eingabeaufforderung mit einem Fragezeichen endet, ob Phrasen wie „Erkläre mir, wie“ oder „Führe mich durch“ enthalten sind sowie Signale wie Markenidentitäts-Token oder Schlüsselwörter für Benutzerpräferenzen. Diese ressourcenschonenden, auf regulären Ausdrücken basierenden Merkmale erfassen Struktur und Absicht, die reine Embeddings möglicherweise nicht erfassen, und werden in nur wenigen Millisekunden extrahiert.

Diese kombinierte Repräsentation – Embedding plus 20 zusätzliche Merkmale – wird fünf Klassifizierungsköpfen zugeführt. Jeder Algorithmus ist darauf trainiert, eine spezifische Routing-Frage zu beantworten:

• Speicher überspringen? Benötigt diese Abfrage den Gesprächsverlauf des Benutzers oder kann die Suche komplett übersprungen werden?
• RAG überspringen? Ist eine Wissensdatenbanksuche erforderlich oder ist dies in sich abgeschlossen?
• Tools überspringen? Benötigt die Abfrage Zugriff auf spezialisierte Tools oder handelt es sich um eine reine Sprachaufgabe?
• Welcher Modellanbieter? Soll Gemini oder Claude verwendet werden?
• Welche Inferenzstufe? Soll ein leichtes, ein mittelmäßiges oder ein professionelles Modell verwendet werden?

Zur Erinnerung: Die gesamte Klassifizierung dauert etwa 25 Millisekunden. Bis der Nutzer seine Eingabeaufforderung gelesen hat, hat Mycroft bereits entschieden, wie damit umgegangen wird.

Das Wichtigste: Das Sicherheitsnetz

Mycroft benötigt mindestens 80 % Sicherheit, um jegliche Anreicherung zu überspringen, und mindestens 70 %, um den Standardmodellanbieter des Nutzers zu überschreiben. Liegt die Sicherheit unterhalb dieser Schwellenwerte, greift das System auf den vollständig angereicherten Modus zurück.

Diese Asymmetrie ist beabsichtigt. Ein Routingfehler, der unnötige Anreicherung hinzufügt, kostet Tokens und Zeit. Ein Routingfehler, der notwendige Anreicherung überspringt, beeinträchtigt die Qualität. Wir haben das System so kalibriert, dass es Letzteres stärker vermeidet.

Was uns überrascht hat

Die interessanteste Erkenntnis war verhaltensbezogen, nicht technisch.

Alle unsere Beta-Nutzer lobten den Automatikmodus. Sie empfanden ihn nicht als schlechtere, sondern als die richtige Antwortgröße. Bei einer kurzen Frage ist eine schnelle und effiziente Antwort die bessere. Geschwindigkeit und Kosteneffizienz stehen nicht im Widerspruch zur Qualität. Bei einfachen Eingabeaufforderungen sind sie sogar Qualitätsdimensionen.

Dies hat unsere Sichtweise auf Intelligenz in KI-Produkten grundlegend verändert. Der Instinkt in diesem Bereich ist es, die Leistungsfähigkeit stets zu maximieren: mehr Parameter, mehr Kontext, mehr Schlussfolgerungen. Doch den Aufwand an die jeweilige Aufgabe anzupassen, bedeutet nicht, die Dinge zu vereinfachen. Es führt zu einem intelligenteren System. Ein System, das immer maximalen Aufwand für alles betreibt, ist nicht gründlich. Es kann einfach nicht zwischen verschiedenen Aufgaben unterscheiden.

Auch die Kostenfolgen summieren sich. Im Unternehmensmaßstab trägt jede unnötige Wissensdatenbanksuche, jeder Tool-Aufruf bei einer einfachen Eingabeaufforderung und jeder Aufruf eines Top-Tier-Modells für eine Faktenabfrage dazu bei. Die richtige Dimensionierung der Inferenz ist nicht nur eine bessere Benutzererfahrung – sie ist auch ein wichtiger Hebel zur Kostensenkung.

Zwei Vorteile, eine Architektur

Diese Arbeit bietet zwei sich gegenseitig verstärkende Vorteile: Geschwindigkeit und Kosten.

Geschwindigkeit ist das, was Benutzer direkt spüren. Durch das Überspringen unnötiger Anreicherungen und die Weiterleitung an ein schlankeres Modell werden einfache Anfragen schneller beantwortet. Der Unterschied ist im Gesprächsverlauf sofort spürbar.

Die Kosten skalieren im Hintergrund. Jede übersprungene RAG-Abfrage, jede Anfrage, die an ein Modell der mittleren Ebene anstatt an das Modell der höchsten Ebene weitergeleitet wird, jeder unnötige Tool-Erkennungsdurchlauf – diese Einsparungen multiplizieren sich bei Tausenden von täglichen Konversationen.

Beide Faktoren verstärken sich gegenseitig. Dieselben Routing-Entscheidungen, die schnellere Antworten ermöglichen, senken auch die Kosten. Wir mussten uns nicht entscheiden.

Was kommt als Nächstes?

Wir freuen uns darauf, den Automatikmodus weiter zu verbessern. Wir haben ein Dashboard zur Routing-Qualität entwickelt, um den Fortschritt zu verfolgen. Wir möchten Drift-Warnungen ausgeben, die darauf hinweisen, wenn die Entscheidungen des Modells außerhalb der erwarteten Bereiche liegen. Und wir möchten Benutzersignale (Daumen runter, Neugenerierungen) zurückmelden, damit sich Korrekturen im Laufe der Zeit verstärken.

Wenn Sie KI-Produkte entwickeln und über Tokenomics und Prompt-Routing nachdenken, würde ich mich freuen, Erfahrungen auszutauschen. Dies ist eines jener Probleme, bei denen die richtige Antwort stark von Ihren Benutzern und Ihrer Anreicherungsoberfläche abhängt, und ich denke, die Branche arbeitet noch an der optimalen Vorgehensweise.