नोट
इस पेज तक पहुँच के लिए प्रमाणन की आवश्यकता होती है. आप साइन इन करने या निर्देशिकाओं को बदलने का प्रयास कर सकते हैं.
इस पेज तक पहुँच के लिए प्रमाणन की आवश्यकता होती है. आप निर्देशिकाओं को बदलने का प्रयास कर सकते हैं.
यह आलेख किसी प्रॉम्प्ट को चलाते समय मानवीय समीक्षा की महत्वपूर्ण भूमिका को समझाता है। Power Automate प्रॉम्प्ट्स Azure OpenAI Service द्वारा संचालित जनरेटिव AI मॉडल का उपयोग करते हैं। यद्यपि ये मॉडल अत्यधिक प्रभावी हैं, लेकिन वे कभी-कभी भ्रामक या मनगढ़ंत जानकारी उत्पन्न कर सकते हैं और त्वरित इंजेक्शन हमलों के प्रति संवेदनशील होते हैं।
महत्त्वपूर्ण
शीघ्र इंजेक्शन हमले
त्वरित इंजेक्शन हमला तब होता है जब कोई तृतीय पक्ष सभी इनपुट स्रोतों में मॉडल के अंतर्निहित विश्वास का लाभ उठाता है। हमलावर सामग्री में एक संकेत डालता है, जिसके साथ एक वैध उपयोगकर्ता एआई समाधान से बातचीत करने के लिए कहता है, जिसके परिणामस्वरूप एआई समाधान के आउटपुट में परिवर्तन होता है, और संभवतः, इसकी क्रियाएं भी बदल जाती हैं।
एक परिदृश्य पर विचार करें जहां एक नागरिक डेवलपर ईमेल, सोशल मीडिया या मंचों जैसे विभिन्न प्लेटफार्मों से एकत्रित ग्राहक शिकायतों के जवाब बनाने के लिए एक प्रॉम्प्ट का उपयोग करता है। कोई हमलावर इनमें से किसी एक स्रोत से सामग्री में संकेत डाल सकता है, जिससे मॉडल को धोखा देकर अनपेक्षित प्रतिक्रिया उत्पन्न हो सकती है। प्रतिक्रिया अनुचित, गलत या हानिकारक हो सकती है। ग्राहकों को गलत जानकारी भेजने से कंपनी की प्रतिष्ठा और ग्राहक संबंधों को नुकसान हो सकता है।
एआई मॉडल में निर्माण
निर्माण, जिसे मतिभ्रम के रूप में भी जाना जाता है, एआई मॉडलों के सामने आने वाली एक और चुनौती है, जिसमें प्रॉम्प्ट द्वारा उपयोग किए जाने वाले जनरेटिव एआई मॉडल भी शामिल हैं। निर्माण तब होता है जब एआई मॉडल ऐसी जानकारी उत्पन्न करता है जो प्रदान किए गए इनपुट या पहले से मौजूद डेटा पर आधारित नहीं होती है, अनिवार्य रूप से जानकारी का आविष्कार या भ्रम पैदा करना।
उदाहरण के लिए, यदि AI मॉडल को किसी दिए गए पाठ के आधार पर किसी ऐतिहासिक घटना का सारांश तैयार करने के लिए कहा जाता है, तो इसमें ऐसे विवरण या घटनाएं शामिल हो सकती हैं जिनका स्रोत पाठ में उल्लेख नहीं किया गया था। उदाहरण के लिए, क्लाउड फ्लो रिकॉर्डिंग की प्रतिलिपि के आधार पर किसी मीटिंग का सारांश तैयार करता है। इनपुट डेटा में उपस्थित लोगों, चर्चा किये गये लेखों और लिए गए निर्णयों के बारे में विवरण शामिल होते हैं। हालाँकि, मॉडल एक सारांश तैयार कर सकता है जिसमें कोई कार्रवाई आइटम या निर्णय शामिल हो, जिस पर बैठक में कभी चर्चा नहीं की गई थी। यह स्थिति निर्माण का एक उदाहरण है, जहां मॉडल में ऐसी जानकारी होती है जो इनपुट डेटा में मौजूद नहीं होती है।
निर्माण के जोखिम को कम करने के लिए, जिम्मेदार एआई प्रथाओं को लागू करना महत्वपूर्ण है। इसमें प्रॉम्प्ट और क्लाउड फ्लो का कठोर परीक्षण, मॉडल को यथासंभव अधिक से अधिक आधारभूत जानकारी प्रदान करना और अंततः मानवीय निगरानी के लिए एक मजबूत प्रणाली का क्रियान्वयन करना शामिल है।
जिम्मेदार एआई प्रथाओं के माध्यम से जोखिमों का समाधान करें
हम जोखिम को कम करने के साधन के रूप में जिम्मेदार एआई प्रथाओं की वकालत करते हैं। मॉडल द्वारा उत्पादित विषय-वस्तु को नियंत्रित करने के लिए रणनीतियां मौजूद होने के बावजूद, मनगढ़ंत प्रतिक्रियाएं उत्पन्न करने या त्वरित इंजेक्शन हमलों के आगे झुक जाने की मॉडल की प्रवृत्ति को प्रबंधित करना एक जटिल चुनौती बनी हुई है। हम इन जोखिमों को स्वीकार करते हैं तथा मानवीय निगरानी एवं नियंत्रण के प्रति अपनी प्रतिबद्धता की पुनः पुष्टि करते हैं।
निर्बाध स्वचालन की आवश्यकता को समझते हुए, हम अपनी सुरक्षा प्रणालियों को सक्रिय रूप से बढ़ा रहे हैं तथा इन चुनौतियों की गहन समझ प्राप्त करने का प्रयास कर रहे हैं। हमारा उद्देश्य प्रॉम्प्ट द्वारा उपयोग किए जाने वाले जनरेटिव एआई मॉडल को उचित सुरक्षा उपायों के साथ और अधिक परिष्कृत करना है, जो कि डिजाइन द्वारा जिम्मेदार एआई के हमारे सिद्धांतों के अनुरूप है, जहां भी संभव हो, डेवलपर्स को नियंत्रण वापस करना है।
संबंधित जानकारी
संकेत और पाठ निर्माण क्षमताओं के लिए अक्सर पूछे जाने वाले प्रश्न