Zum Inhalt springen
Kurzer Hinweis: flozi00 TechHub ist ein Solo-Nebenprojekt neben einem Vollzeitjob — persönliche Lernnotizen, keine offiziellen Aussagen. Kritische Schritte selbst prüfen.

Agent-Fleet-Tokenökonomie ist Cache-Ökonomie: Der 60-fache Dollar-Spread im Detail zerlegt

Ein ungeprüfter Tag mit 44 Agenten und vier Milliarden Tokens: Welche Kostenaussagen aus Preislisten folgen, welche sich nicht rekonstruieren lassen und wie Prompt-Caching budgetiert wird.

6 Min. Lesezeitflozi00
aimachine-learningllminferenceprompt-cachingagentseconomicsgpu-memory
Direkt zum Fachartikel
Sehen · ausprobieren · verstehen

Vom Agentenablauf zur Rechnung

Wiederholte Präfixe verändern den Token-Mix. Die Gesamtzahl allein erklärt die Kosten nicht.

KI-gestützte Lernvisualisierung · schematische Erklärung zum Artikel

Schritt 1 / 4Dem wiederholten Kontext folgen

Ein Agent kann frühere Nachrichten bei jedem Werkzeugaufruf erneut senden. Ein Cache Read ist eine Abrechnungsklasse für passende wiederverwendete Eingabe, keine neu erzeugte Antwort.

Kosten & RessourcenAktueller SchrittBaustein anklicken, um ihn zu erklären
Wiederholte Agentenaufrufe
Alter Kontext kommt mit einem neuen Ende zurück.
Gecachte Eingabe
Passende, gültige Präfixe können zum Cache-Read-Preis abgerechnet werden.
Weitere Tokenklassen
Neue Eingabe, Cache-Erstellung und generierte Ausgabe getrennt erfassen.
  1. Wiederholte Agentenaufrufe Gecachte Eingabe
    passendes Präfix
  2. Wiederholte Agentenaufrufe Weitere Tokenklassen
    übrige Tokens
Das solltest du mitnehmen

Tokenklassen und ihre Preise erklären die Rechnung; eine Gesamtzahl tut es nicht.

Die Flottensummen aus dem Interview sind ungeprüft. Der Ablauf ersetzt keine fehlende Rechnung je Route.

Begriffe und vollständiger Ablauf
Präfix
Der unveränderte Anfang mehrerer aufeinanderfolgender Anfragen.
Trefferrate
Ein Wiederverwendungsanteil mit ausdrücklich genanntem Nenner.
  1. Dem wiederholten Kontext folgen

    Ein Agent kann frühere Nachrichten bei jedem Werkzeugaufruf erneut senden. Ein Cache Read ist eine Abrechnungsklasse für passende wiederverwendete Eingabe, keine neu erzeugte Antwort.

  2. Die Rechnung rekonstruieren

    Zähle jede Tokenklasse nach Modell und Route und multipliziere sie mit dem passenden Preis. Gesamttokens verbergen den teureren Ausgabeanteil und mögliche Aufschläge für Cache-Schreibvorgänge.

  3. Den richtigen Nenner verwenden

    Eine Cache-Trefferrate für Eingaben teilt gecachte Eingabe durch die gesamte Eingabe. Beim Anteil an allen Tokens steckt auch die Ausgabe im Nenner; beide Größen sind nicht austauschbar.

  4. Den Nutzen der Ausgaben prüfen

    Ein kürzerer Ablauf kann Tokens sparen und zugleich weniger Aufgaben erledigen. Vergleiche Kosten je erfolgreicher Aufgabe, bevor du die Ersparnis Caching oder einem Modellwechsel zuschreibst.

Alle Verbindungen

  • Wiederholte Agentenaufrufe → Gecachte Eingabe: passendes Präfix
  • Wiederholte Agentenaufrufe → Weitere Tokenklassen: übrige Tokens
  • Gecachte Eingabe → Je Klasse: Menge × Preis: Lesekosten
  • Weitere Tokenklassen → Je Klasse: Menge × Preis: getrennte Kosten
  • Modell- und Routenpreise → Je Klasse: Menge × Preis: je Klasse bepreisen
  • Je Klasse: Menge × Preis → Kosten je erfolgreicher Aufgabe: Ergebnis bewerten
Du bestimmst das Tempo. Pausiere jederzeit oder wähle einen Schritt aus.

In einem Interview im September 2026 beschrieb Freelancer.com-CEO Matt Barrie eine Flotte von rund 44 Agenten, etwa vier Milliarden abgerechnete Tokens an einem Tag und Kosten von ungefähr 1.300 $, darunter rund 900 $ für Anthropic Sonnet. Seinen Angaben zufolge waren drei Milliarden Tokens Prompt-Cache-Lesezugriffe; für denselben Tag ohne Cache mit einem Modell der Opus-Klasse schätzte er etwa 80.000 $1. Das sind eigene Angaben und Schätzungen, keine unabhängig geprüften Rechnungen.

Öffentliche Preislisten erlauben es, mögliche Rechnungen zu prüfen. Ohne Aufschlüsselung nach Modell, gewöhnlichem Input, Cache-Schreibzugriffen, Cache-Lesezugriffen und Output lässt sich weder die 1.300-$-Rechnung noch das 80.000-$-Kontrafaktum rekonstruieren. Die drei Milliarden Cache-Tokens ergeben laut Aussage einen Anteil von 75 % an allen Tokens, nicht an Requests oder erledigter Arbeit. Diese Unterscheidung ist die Grundlage der folgenden Budgetrechnung. Die Mechanik des KV-Caches erklärt unser KV-Cache-Leitfaden.

Der Ankerfall und die Preisliste

Für ein illustratives Beispiel verwenden wir folgende Listenpreise von Anthropic für die konkret benannten Modelle Sonnet 5 und Opus 5 pro Million Tokens2. Die Tabelle belegt nicht, welche Modelle, Routen oder Sonderpreise Barrie tatsächlich nutzte:

PreislistenpositionSonnet 5Opus 5
Gewöhnlicher Input2 $5 $
Cache-Treffer0,20 $0,50 $
Output10 $25 $
Cache-Schreibzugriff, 5 Minuten TTL2,50 $6,25 $

Aus dem Interview ergeben sich nur folgende aggregierte Mengen1:

  • Insgesamt rund 4,0 Mrd. Tokens und 1.300 $ Kosten, davon etwa 900 $ für Sonnet.
  • Davon rund 3,0 Mrd. Cache-Lesezugriffe, verteilt auf nicht genauer bezeichnete Modelle und Routen.
  • Die restlichen rund 1,0 Mrd. Tokens sind keine Cache-Lesezugriffe. Sie enthalten gewöhnlichen Input, eventuell Cache-Schreibzugriffe und Output; diese Aufteilung fehlt.

Bedingter Plausibilitätscheck: Wären alle 3,0 Mrd. Cache-Lesezugriffe Sonnet 5 zum Listenpreis von 0,20 $/M gewesen, kosteten sie allein 600 $. Von den berichteten 900 $ Sonnet-Kosten blieben 300 $, beispielsweise für 100 Mio. gewöhnliche Input-Tokens plus 10 Mio. Output-Tokens. Dieses Beispiel erklärt jedoch nur 110 Mio. der übrigen rund 1 Mrd. Tokens. Die verbleibenden etwa 890 Mio. müssten auf anderen Routen oder zu anderen Preisen abgerechnet worden sein. Die nötigen Routendaten fehlen. Alle vier Milliarden Tokens zum Sonnet-5-Listenpreis anzusetzen, ergibt die berichteten 1.300 $ nicht.

Das 80.000-Dollar-Kontrafaktum

Die 80.000 $ sind eine Schätzung ohne benannten Modell-SKU und ohne Input-Output-Aufteilung. Halten wir die berichteten vier Milliarden Gesamttokens fest und berücksichtigen, dass mindestens drei Milliarden Input-Tokens vorlagen (Cache-Lesezugriffe sind Input), dann ergeben die beispielhaften Opus-5-Preise ohne Cache:

text
Alle 4 Mrd. Tokens als Input:      4 Mrd. / 1M × 5 $                    = 20.000 $
3 Mrd. Input + 1 Mrd. Output:      3 Mrd. / 1M × 5 $ + 1 Mrd. / 1M × 25 $ = 40.000 $
Bei festem Gesamtvolumen:         20.000 $ + 20 $ × Output-Tokens/M     ≤ 40.000 $

20.000–40.000 $ ist also die Spanne dieses Opus-5-Szenarios mit konstanten Tokenmengen, vor etwaigen Sonderkonditionen. Die frühere Rechnung addierte 2,4 Mrd. Output-Tokens zu den vier Milliarden Gesamttokens und zählte damit den Workload doppelt. Barries „Opus-Klasse“ könnte andere Modelle, Preise, Workloads oder Tokenmengen meinen; das Transkript spezifiziert zu wenig, um 80.000 $ zu verifizieren. Auch die Spanne ist ein Szenario und keine rekonstruierte Rechnung.

Warum sich der 61,5-fache Abstand nicht zerlegen lässt

80.000 / 1.300 ≈ 61,5× vergleicht ein geschätztes Kontrafaktum mit einer selbstberichteten Rechnung für mehrere Modelle. Aus den veröffentlichten Aggregaten lassen sich Cache- und Modellbeitrag nicht getrennt messen. Ein engeres, reproduzierbares Nur-Input-Beispiel lautet:

FaktorWertGeltungsbereich
75 % Cache-Treffer unter Input-Tokens zu 0,1×1 − 0,9 × 0,75 = 0,325 der Kosten, also 3,08× ohne/mit Cachehypothetischer fester Input-Mix2
Opus-5- zu Sonnet-5-Input-Listenpreis2,5×veröffentlichte Preise2
Produktrund 7,69×ohne Output, Cache-Schreibzugriffe und Routenwechsel

7,69× ist keine Zerlegung des berichteten 61,5×-Abstands. Barries 75 % beziehen sich auf alle Tokens; das Rechenbeispiel benötigt den Cache-Anteil unter Input-Tokens. Dieser ist ohne Output-Aufschlüsselung unbekannt. Ebenso fehlen die Aufgabenzahl und die Ergebnisqualität.

Warum wiederholte Präfixe wichtig sind

Viele Agenten-Harnesses senden bei jedem Modellaufruf einen wachsenden Gesprächspräfix erneut: Systemanweisungen, Tool-Definitionen und bisherige Nachrichten bleiben gleich, während sich das Ende ändert. Bleibt der Präfix cachefähig und erreicht der Request rechtzeitig dieselbe kompatible Route, kann der Provider ihn als Cache-Treffer abrechnen. Andere Harnesses kürzen, komprimieren oder strukturieren Kontext neu. Die behaupteten 75 % sind daher kein allgemeiner Agentenwert3.

Anthropic gibt Cache-Lesezugriffe mit 0,1× des gewöhnlichen Input-Preises an, Schreibzugriffe je nach TTL mit 1,25× oder 2×; andere Provider haben andere Regeln23. Gecachter Input ist billiger, aber nicht gratis. Fügt ein Loop in n Schritten jeweils L Tokens hinzu und kürzt nichts, können rund L·n(n−1)/2 erneut gesendete Präfix-Tokens entstehen. Dieses quadratische Modell für das Input-Volumen gilt nur unter den genannten Annahmen. Zur Rechnung gehören zusätzlich Cache-Erzeugung, Output, Routing und eventuelle Kompression.

Cache-TTL, minimale Präfixlänge und Provider-Routing beeinflussen die Trefferrate. OpenRouter dokumentiert bei Anthropic Optionen von fünf Minuten und einer Stunde und stellt auf unterstützten Routen cached_tokens in den Nutzungsdaten bereit3. Den eigenen Workload messen, statt Barries Anteil zu übernehmen.

Die behauptete Selbstoptimierung um 85 %

Barrie sagte außerdem, eine Anweisung zur Optimierung des Tokenverbrauchs habe diesen um weitere 85 % gesenkt1. Das vom Podcast veröffentlichte Transkript enthält keine Vorher-Nachher-Evaluation für Aufgabenerfüllung oder Fehlerrate. Es bleibt eine ungeprüfte Verbrauchsangabe. Eine kürzere Ausführung kann nützliche Wiederholung vermeiden, weniger Output liefern, Versuche auslassen oder Aufgaben abbrechen. Erst Kosten pro erfolgreich erledigter und geprüfter Aufgabe zeigen, ob die Reduktion ohne Qualitätsverlust spart.

Eine Flotte skalieren

Barrie sprach davon, aus ungefähr 40 Agenten 400 zu machen1. 1.300 $/Tag mit zehn zu multiplizieren ergibt 13.000 $/Tag nur dann, wenn Arbeit pro Agent, Modellmix, Preise und Cache-Trefferraten konstant bleiben. Innerhalb einer Aufgabe kann ein immer wieder gesendeter, ungekürzter Präfix ungefähr quadratisch mit der Schrittzahl wachsen; Kontextkompression und Fenstergrenzen verändern das. Schrittbudgets und gemessene Cache-Daten gehören deshalb zur Kapazitätsplanung.

Als Größenordnung: OpenRouter meldete im August 2026 mehr als zehn Billionen Tokens pro Tag. Vier Milliarden Tokens entsprächen bei diesem Volumen weniger als 0,04 % eines Plattformtages. Dieser Anteil sagt nichts über Barries Rechnung aus. Für eine weltweite Leistungsabschätzung bräuchte man einen gemessenen Workload-Mix, Modelloperationen, Hardwareeffizienz und Rechenzentrums-Overhead; die Tokenzahl aus dem Interview reicht nicht.

Checkliste für die Kapazitätsplanung

  1. Tokenklassen je Modell und Route erfassen. Gewöhnlichen Input, Cache-Schreibzugriffe, Cache-Lesezugriffe und Output getrennt messen. Aus total_tokens allein lässt sich keine Rechnung rekonstruieren.
  2. Für die Cache-Formel die Input-Trefferrate verwenden. Bei 0,1× Lesepreis und ohne Schreibaufschlag ist 1 − 0,9h der Nur-Input-Kostenfaktor, wenn h für gecachten Input geteilt durch gesamten Input steht. h=0,75 ergibt 0,325. Barries 75 % haben alle Tokens als Nenner und dürfen ohne Input-Output-Aufteilung nicht für h eingesetzt werden.
  3. Kompatibilität und Ablauf messen. Stabile Präfixe, Cache-Mindestlänge, TTL und Sticky Routing verändern die tatsächliche Trefferrate3. Cache-Schreibzugriffe können vorübergehend mehr kosten als gewöhnlicher Input.
  4. Aufgabentiefe begrenzen und Kompression testen. In einem Loop mit festem Tokenzuwachs und ohne Kürzung reduziert eine Halbierung der Schritte die Präfixwiederholung ungefähr auf ein Viertel. Die Erfolgsquote dabei prüfen.
  5. Kosten pro erledigter Aufgabe vergleichen. Vor und nach Änderungen an Modellrouting, Promptlänge oder Cache-Regeln denselben Testsatz verwenden.

Fazit

Das Interview belegt Barries Aussagen, aber keine aufgeschlüsselte Abrechnung. Öffentliche Preise stützen für vier Milliarden feste Tokens mit mindestens drei Milliarden Input-Tokens das bedingte Opus-5-Szenario von 20.000–40.000 $ ohne Cache. Sie belegen weder die geschätzten 80.000 $ noch rekonstruieren sie die gemischte 1.300-$-Rechnung. Prompt-Caching kann Input-Kosten deutlich senken; wie viel es hier beigetragen hat, erfordert die fehlende Tokenklassen-Aufschlüsselung.

Fußnoten

Footnotes

  1. MacroVoices, Folge 549, „Matt Barrie: AI-gent Provocateur“, offizielle Episodenseite und vom Podcast veröffentlichtes Transkript, aufgenommen am 10. September 2026. Darin stehen ~44 Agenten, ~4 Mrd. Gesamttokens, 3 Mrd. Cache-Tokens, ~1.300 $ Kosten, ~900 $ Sonnet-Anteil, die 80.000-$-Schätzung und die behaupteten 85 % Verbrauchsreduktion; eine aufgeschlüsselte Abrechnung oder Qualitätsevaluation wird nicht vorgelegt. ↩ ↩2 ↩3 ↩4

  2. Anthropic-Plattformpreise, abgerufen am 29. September 2026. Das Beispiel verwendet Listenpreise der benannten Modelle Sonnet 5 und Opus 5, ohne etwas über Barries tatsächliches Routing zu behaupten. Die Preisseite führt auch neuere Modelle; Cache-Preise variieren nach Modell und TTL. ↩ ↩2 ↩3 ↩4

  3. OpenRouter-Dokumentation zum Prompt-Caching, abgerufen am 29. September 2026. Sie dokumentiert providerspezifische Rabatte, TTL- und Mindestlängenbedingungen, Routing-Verhalten und Nutzungsfelder. ↩ ↩2 ↩3 ↩4