Die Aufgabe festlegen
Ich beginne mit einem Ablauf aus meiner Arbeit. Welche Quellen muss das Werkzeug lesen, welche Änderungen darf es ausführen und wie wird das Ergebnis geprüft? Erst dann kann ich beurteilen, ob ein Werkzeug zu der Aufgabe passt.
Den Betrieb mitdenken
Für meine Agentenplattform Harness zählen auch Kontingente und Fehler. Der Router berücksichtigt die verbleibende Quote und bisherige Fehlschläge. Ein Modell, das gerade nicht verfügbar ist, hilft bei der aktuellen Aufgabe nicht. Tagesbudgets begrenzen bezahlte Aufrufe.
An denselben Quellen prüfen
Ein Vergleich braucht dieselbe Aufgabe und dieselben Erfolgskriterien. Ich halte fest, was tatsächlich geprüft wurde. Ein einzelner brauchbarer Lauf ist ein Anlass für weitere Nutzung, kein allgemeiner Qualitätsnachweis.
Werkzeug und Verantwortung trennen
Modelle und Coding-Agenten sind die Werkzeuge. Ich bleibe für die Architektur und die Regeln zuständig. Ob eine Änderung übernommen wird, hängt von ihren Prüfungen ab. Eine überzeugend formulierte Antwort genügt dafür nicht.