एजेंट संचालन निगरानी
उपयोग का उदाहरण, ग्राहक केस स्टडी नहीं।
लाइव एजेंटों पर विफल कार्यों, गुणवत्ता में गिरावट, पुराने ज्ञान और असामान्य लागत के लिए नज़र रखी जाती है, और संस्करणबद्ध समाधान प्रस्तावित होते हैं जिन्हें वापस लिया जा सकता है।
समस्या
हमारे एजेंट प्रोडक्शन में हैं, और हमें उनकी गिरावट का पता तब चलता है जब कोई उपयोगकर्ता शिकायत करता है। मूल्यांकन सेट का स्वामित्व किसी के पास नहीं है, जिस ज्ञान पर वे निर्भर हैं वह चुपचाप पुराना हो जाता है, और प्रॉम्प्ट में बदलाव को कोड में बदलाव की तरह नहीं माना जाता।
आज यह कैसे काम करता है
एजेंट की स्थिति कभी-कभार प्लेटफ़ॉर्म डैशबोर्ड देखकर और उपयोगकर्ता प्रतिक्रिया पढ़कर जाँची जाती है। प्रॉम्प्ट और कॉन्फ़िगरेशन बदलाव सीधे प्रोडक्शन में वही करता है जिसके पास एक्सेस है। कोई नियमित मूल्यांकन नहीं चलता, क्या कब बदला इसका कोई रिकॉर्ड नहीं है, और लागत का पता इनवॉइस पर चलता है।
परिदृश्य देखें
उदाहरणात्मक कार्यप्रवाह। उपशीर्षक सहित।
प्रतिलेख
- एक एजेंट लाइव है। फिर उसके उत्तर भटकने लगते हैं। लागत बढ़ती है, विफलताएँ लॉग में छिपी रहती हैं, और किसी को पक्का नहीं पता कि उसने आख़िरी बार कब ठीक काम किया था।
- निगरानी तय समय पर संचालन प्रमाण एकत्र करती है, तय बेसलाइन के विरुद्ध उभरती समस्याओं को उजागर करती है, और सुधार प्रस्तावित करती है।
- मूल्यांकन पास होने के बाद हर बदलाव को एक व्यक्ति अनुमोदित करता है। बदलाव वर्ज़न-नियंत्रित होते हैं, और पिछला वर्ज़न बहाल करने का रास्ता रहता है।
- विफलता दर, मूल्यांकन पास दर और प्रति पूर्ण कार्य लागत से मापा जाता है। उपयोग का एक उदाहरण। आइए आपके मामले पर चर्चा करें।
प्रस्तावित कार्यप्रवाह
- एजेंट रन लॉग, टूल-कॉल परिणाम, मूल्यांकन परिणाम और लागत डेटा एक जगह एकत्र करें
- विफल कार्रवाइयों, मूल्यांकन सेट के विरुद्ध गुणवत्ता में गिरावट, पुराने ज्ञान स्रोतों और असामान्य लागत को उजागर करें
- ज्ञान के नवीनीकरण, कॉन्फ़िगरेशन बदलाव या अस्थायी फ़ॉलबैक जैसा सुधार प्रस्तावित करें
- प्रस्ताव को रोलबैक मार्ग सहित वर्ज़न-नियंत्रित बदलाव के रूप में बदलाव नियंत्रण से रूट करें
- किसी व्यक्ति द्वारा प्रोडक्शन में लागू करने से पहले मूल्यांकन के माध्यम से सुधार की पुष्टि करें
जहाँ नियंत्रण व्यक्ति के पास रहता है
- प्रॉम्प्ट, कॉन्फ़िगरेशन या ज्ञान में हर बदलाव वर्ज़न-नियंत्रित, व्यक्ति द्वारा अनुमोदित और प्रतिवर्ती होता है
- गुणवत्ता या लागत सीमा से बाहर होने पर एजेंट को अक्षम करना है या फ़ॉलबैक पर जाना है, यह एक व्यक्ति तय करता है
- किसी बदलाव को लागू करने से पहले मूल्यांकन पास होना चाहिए
प्लेटफ़ॉर्म मैपिंग उन परिवेशों को दर्शाती है जिनमें इस विचार का मूल्यांकन किया जा सकता है। वास्तविक कार्यान्वयन कॉन्फ़िगरेशन, लाइसेंस, API, डेटा और अनुमतियों पर निर्भर करता है। लाभ गुणात्मक रूप से बताए गए हैं; संख्यात्मक दावों के लिए प्रलेखित आधार-रेखा आवश्यक है।