Monitoring des Agentenbetriebs
Beispielhafter Anwendungsfall, keine Fallstudie.
Produktive Agenten werden auf fehlgeschlagene Aktionen, Qualitätsdrift, veraltetes Wissen und ungewöhnliche Kosten überwacht, mit versionierten Korrekturvorschlägen und einer Möglichkeit zum Zurücksetzen.
Das Problem
Wir haben Agenten im Produktivbetrieb und erfahren erst von ihrer Verschlechterung, wenn sich ein Nutzer beschwert. Niemand ist für das Evaluationsset zuständig, das Wissen, auf das sie sich stützen, veraltet unbemerkt, und eine Änderung an einem Prompt wird nicht wie eine Änderung am Code behandelt.
So läuft es heute
Der Zustand der Agenten wird durch gelegentlichen Blick auf Plattform-Dashboards und das Lesen von Nutzerfeedback geprüft. Prompt- und Konfigurationsänderungen werden direkt in der Produktion vorgenommen, von wem auch immer Zugriff hat. Es gibt keinen regelmäßigen Evaluationslauf, keine Aufzeichnung darüber, was sich wann geändert hat, und Kosten fallen erst auf der Rechnung auf.
Das Szenario ansehen
Beispielhafter Arbeitsablauf. Mit Untertiteln.
Transkript
- Ein Agent ist im Einsatz. Dann weichen seine Antworten zunehmend ab. Die Kosten steigen, Fehler verstecken sich in den Protokollen, und niemand weiß sicher, wann er zuletzt gut funktioniert hat.
- Das Monitoring sammelt nach Zeitplan Betriebsbelege, macht aufkommende Probleme gegenüber der vereinbarten Baseline sichtbar und schlägt eine Korrektur vor.
- Ein Mensch gibt jede Änderung frei, nachdem sie die Evaluation bestanden hat. Änderungen sind versioniert, mit einem Weg zurück zur vorherigen Version.
- Gemessen an der Fehlerrate, der Evaluations-Bestehensquote und den Kosten je abgeschlossener Aufgabe. Beispielhafter Anwendungsfall. Sprechen wir über Ihren.
Vorgeschlagener Arbeitsablauf
- Agenten-Laufprotokolle, Ergebnisse von Tool-Aufrufen, Evaluationsergebnisse und Kostendaten an einem Ort sammeln
- Fehlgeschlagene Aktionen, Qualitätsdrift gegenüber dem Evaluationsset, veraltete Wissensquellen und ungewöhnliche Kosten sichtbar machen
- Eine Korrektur vorschlagen, etwa eine Aktualisierung des Wissens, eine Konfigurationsänderung oder einen vorübergehenden Fallback
- Den Vorschlag als versionierte Änderung mit Rollback-Pfad durch die Änderungskontrolle leiten
- Die Korrektur per Evaluation bestätigen, bevor ein Mensch sie in die Produktion überführt
Wo ein Mensch die Kontrolle behält
- Jede Änderung an Prompts, Konfiguration oder Wissen ist versioniert, von einem Menschen freigegeben und umkehrbar
- Ein Mensch entscheidet, ob ein Agent abgeschaltet oder auf Fallback umgestellt wird, wenn Qualität oder Kosten außerhalb der Grenzen liegen
- Die Evaluation muss bestanden sein, bevor eine Änderung überführt wird
Die Plattformzuordnung nennt die Umgebungen, in denen diese Idee geprüft werden kann. Die tatsächliche Umsetzung hängt von Konfiguration, Lizenzen, APIs, Daten und Berechtigungen ab. Der Nutzen wird qualitativ beschrieben; Zahlenangaben erfordern eine dokumentierte Ausgangsbasis.