إدارة الرمز المميز
- 5 دقائق
تخيل أنك تحصل على ارتفاع مفاجئ في حركة المرور نحو واجهة برمجة التطبيقات الخاصة بك، ربما يكون هناك بيع أو سبب آخر. لتجنب تجاوز الاستهلاك وتعطل الخدمة المحتمل، تحتاج إلى معرفة كيفية إدارة ذلك.
نهج حد الرمز المميز ل Azure OpenAI
كما ذكرنا في بداية هذه الوحدة، الارتفاع المفاجئ هو شيء، تحتاج إلى التعامل معه. والخبر السار هو أن إدارة واجهة برمجة تطبيقات Azure لديها شيء يسمى نهج حد الرمز المميز.
يسمح هذا النهج للعملاء بتعيين حدود لاستهلاك الرمز المميز، يتم التعبير عنه في الرموز المميزة في الدقيقة (TPM) ويضمن الاستخدام العادل والفعال لموارد OpenAI.
الميزات الرئيسية
الميزات الرئيسية لهذا النهج هي:
- التحكم الدقيق: يمكن للعملاء تعيين حدود تستند إلى الرمز المميز على مفاتيح عداد مختلفة، مثل مفتاح الاشتراك أو عنوان IP، ما يصمم الإنفاذ لحالات استخدام محددة.
- المراقبة في الوقت الحقيقي: يعتمد النهج على مقاييس استخدام الرمز المميز التي تم إرجاعها من نقطة نهاية OpenAI، ما يسمح بمراقبة دقيقة وفرض الحدود في الوقت الفعلي.
- ما قبل الحساب للرموز المميزة: يتيح الحساب المسبق للرموز المميزة للمطالبة على جانب Azure API Management، ما يقلل من الطلبات غير الضرورية إلى الواجهة الخلفية OpenAI إذا تم تجاوز الحد بالفعل.
- التخصيص المحسن: يمكن للعملاء تطبيق الرؤوس والمتغيرات مثل الرموز المميزة المستهلكة والرموز المميزة المتبقية ضمن النهج للحصول على تحكم وتخصيص أفضل.
SS يمكنك أن ترى، هناك عدد غير قليل من الميزات التي تساعدك على إدارة التكاليف وبفضل المراقبة في الوقت الحقيقي يمكنك التأكد من أنك لا تتجاوز الحدود.
كيفية الاستخدام
لاستخدام هذا النهج، تحتاج إلى إضافته إلى مسار المعالجة الواردة لعملية واجهة برمجة التطبيقات. إليك كيفية القيام بذلك:
<azure-openai-token-limit counter-key="key value"
tokens-per-minute="number"
estimate-prompt-tokens="true | false"
retry-after-header-name="custom header name, replaces default 'Retry-After'"
retry-after-variable-name="policy expression variable name"
remaining-tokens-header-name="header name"
remaining-tokens-variable-name="policy expression variable name"
tokens-consumed-header-name="header name"
tokens-consumed-variable-name="policy expression variable name" />
هناك عدد غير قليل من السمات التي يمكنك تعيينها، ولكن أهمها هي:
- مفتاح مضاد: المفتاح الذي يجب استخدامه لحساب الرموز المميزة. يمكن أن تكون هذه القيمة مفتاح اشتراك أو عنوان IP.
- الرموز المميزة في الدقيقة: عدد الرموز المميزة المسموح بها في الدقيقة.
- تقدير الرموز المميزة المطالبة: ما إذا كنت تريد تقدير الرموز المميزة للمطالبة أم لا.
يصدر Azure OpenAI نهج قياس الرمز المميز
يعالج هذا النهج الحاجة إلى مراقبة وتحليل مفصل لاستخدام الرمز المميز في التطبيقات باستخدام نماذج Azure OpenAI.
من خلال توفير مقاييس شاملة، فإنه يساعد المؤسسات:
- تحسين تخصيص الموارد: فهم استهلاك الرمز المميز وإدارته بفعالية.
- تحسين صنع القرار: احصل على رؤى حول أنماط الاستخدام لاتخاذ قرارات مستنيرة حول التحجيم وإدارة الموارد.
- تحسين مراقبة الأداء: تعقب وتحليل استخدام الرمز المميز لتحديد المشكلات المحتملة ومعالجتها بشكل استباقي
كيفية استخدام Emit Token Metric Policy
لاستخدام هذا النهج، تحتاج إلى إضافته إلى مسار المعالجة الواردة لعملية واجهة برمجة التطبيقات. إليك كيفية ترميزه في XML:
<azure-openai-emit-token-metric
namespace="metric namespace" >
<dimension name="dimension name" value="dimension value" />
...additional dimensions...
</azure-openai-emit-token-metric>
فيما يلي مثال باستخدام أبعاد متعددة:
<policies>
<inbound>
<azure-openai-emit-token-metric
namespace="AzureOpenAI">
<dimension name="User ID" />
<dimension name="Client IP" value="@(context.Request.IpAddress)" />
<dimension name="API ID" />
</azure-openai-emit-token-metric>
</inbound>
<outbound>
</outbound>
</policies>
في المثال السابق:
- تم تكوين النهج لإرسال مقاييس الرمز المميز إلى مساحة اسم AzureOpenAI مع أبعاد لمعرف المستخدم وعنوان IP للعميل ومعرف واجهة برمجة التطبيقات.
- يتم تعيين قيمة بعد IP العميل إلى عنوان IP للعميل الذي يقوم بالطلب.
تخيل الآن أنه يمكنك عرض هذه المقاييس في لوحة معلومات ويمكنك مراقبة استخدام واجهة برمجة التطبيقات في الوقت الفعلي. على سبيل المثال، يمكنك معرفة عدد الرموز المميزة التي يتم استخدامها من قبل مستخدم معين أو عدد الرموز المميزة التي يتم استخدامها بواسطة واجهة برمجة تطبيقات معينة. هذه الميزة القوية التي يمكن أن تساعدك على تحسين مواردك واتخاذ قرارات مستنيرة حول التحجيم وإدارة الموارد.