Wo entstehen die Kosten?

Vor allem dort, wo kein Mensch zuschaut: bei Unteragenten, Läufen über Nacht und Wiederholungen nach einem Fehler. Bei mir hat eine Woche den Anstoß gegeben, in der mein Spend-Proxy (eine Annäherung an die Ausgaben, keine Rechnungssumme) um ein Vielfaches über der Vorwoche lag. Danach habe ich die Grenzen ins System verlegt, statt mich auf meine Aufmerksamkeit zu verlassen.

Abo oder API?

Zuerst das Abo. Mein Router wählt für jede Aufgabe aus einer Liste von Werkzeugen und Modellen, und jeder Eintrag ist als Abo oder als nach Verbrauch abgerechnet markiert. Die nach Verbrauch abgerechneten kommen nur dran, wenn kein Abo-Eintrag passt. In unbeaufsichtigten Läufen fallen sie ganz weg. Dann wartet die Aufgabe, statt unbemerkt Geld zu kosten.

Wie verhindert man, dass ein Agent das Budget sprengt?

Mit Grenzen, die der Agent nicht selbst ändern kann. Die Tagesbudgets liegen bei mir im Broker und nicht im Prompt oder in einem Hook. Es gibt eine Obergrenze pro Tag und Anbieter und eine Höchstzahl an Aufrufen. Auch der Schalter, mit dem ich bezahlte Aufrufe ausdrücklich erlaube, hebt das Tageslimit nicht auf.

Was passiert, wenn ein Kontingent knapp wird?

Dann fällt der Eintrag aus der Auswahl, bevor ein Modell überhaupt gefragt wird. Mein Router lässt Einträge weg, deren Restkontingent zu niedrig ist, die zuletzt mehrmals gescheitert sind oder vor Kurzem an ein Limit ihres Plans gestoßen sind. Die Restkontingente lese ich alle zehn Minuten aus. Wo ein Anbieter keinen Wert liefert, steht ein Strich und keine geschätzte Zahl. Für Claude gibt es zusätzlich eine Sperre, die sich einschaltet, wenn das Wochenkontingent knapp wird.

Lohnt sich ein eigener Router?

In Euro kann ich das nicht beantworten, gemessene Einsparungen habe ich nicht. Ich habe meinen Router auch gegen eine feste Reihenfolge gemessen, und er war nicht besser. Werkzeuge, die oft scheitern oder viele Tokens verbrauchen, nehme ich mit Datum und Begründung wieder raus.

Was würde ich einem Team raten?

Das ist meine Einschätzung, ich habe so etwas nur für mich gebaut. Ich würde mit einer Grenze anfangen, die außerhalb des Modells greift, und unbeaufsichtigte Läufe nur auf Kontingenten laufen lassen, die nicht nachberechnet werden. Wer welches Budget bekommt und was passiert, wenn es leer ist, würde ich vorher festlegen und nicht erst, wenn die Rechnung kommt.