مشاركة عبر

الحصة النسبية الديناميكية ل Azure OpenAI (معاينة)

  • مقالة

الحصة النسبية الديناميكية هي ميزة Azure OpenAI التي تمكن النشر القياسي (الدفع أولا بأول) للاستفادة بشكل انتهازي من المزيد من الحصة النسبية عند توفر سعة إضافية. عند تعيين الحصة النسبية الديناميكية إلى إيقاف التشغيل، سيتمكن التوزيع الخاص بك من معالجة الحد الأقصى لمعدل النقل الذي تم إنشاؤه بواسطة إعداد الرموز المميزة لكل دقيقة (TPM). عند تجاوز TPM المعين مسبقا، سترجع الطلبات استجابات HTTP 429. عند تمكين الحصة النسبية الديناميكية، يكون للتوزيع القدرة على الوصول إلى معدل نقل أعلى قبل إرجاع 429 استجابة، ما يسمح لك بإجراء المزيد من المكالمات في وقت سابق. لا تزال الطلبات الإضافية تتم فوترتها بأسعار التسعير العادية.

يمكن أن تزيد الحصة النسبية الديناميكية الحصة النسبية المتوفرة مؤقتا فقط: لن تنخفض أبدا إلى أقل من القيمة التي تم تكوينها.

متى تستخدم الحصة النسبية الديناميكية

الحصة النسبية الديناميكية مفيدة في معظم السيناريوهات، خاصة عندما يمكن للتطبيق الخاص بك استخدام سعة إضافية بشكل انتهازي أو أن التطبيق نفسه يقود معدل استدعاء واجهة برمجة تطبيقات Azure OpenAI.

عادة ما يكون الموقف الذي قد تفضل فيه تجنب الحصة النسبية الديناميكية هو عندما يوفر تطبيقك تجربة سلبية إذا كانت الحصة النسبية متقلبة أو متزايدة.

بالنسبة إلى الحصة النسبية الديناميكية، ضع في اعتبارك سيناريوهات مثل:

  • معالجة مجمعة،
  • إنشاء التلخيصات أو التضمينات للجيل المعزز للاسترداد (RAG)،
  • تحليل غير متصل بالسجلات لإنشاء المقاييس والتقييمات،
  • أبحاث ذات أولوية منخفضة،
  • التطبيقات التي تحتوي على قدر صغير من الحصة النسبية المخصصة.

متى تدخل الحصة الديناميكية حيز التنفيذ؟

تحدد الواجهة الخلفية ل Azure OpenAI ما إذا كان يتم إضافة الحصة النسبية الديناميكية الإضافية أو إزالتها من عمليات النشر المختلفة ومتى ومقدارها. لا يتم التنبؤ به أو الإعلان عنه مسبقا، ولا يمكن التنبؤ به. للاستفادة من الحصة النسبية الديناميكية، يجب أن تكون التعليمات البرمجية للتطبيق الخاص بك قادرة على إصدار المزيد من الطلبات حيث تصبح استجابات HTTP 429 غير متكررة. يتيح Azure OpenAI لتطبيقك معرفة متى وصلت إلى حد الحصة النسبية من خلال الاستجابة باستخدام HTTP 429 وعدم السماح بمزيد من استدعاءات واجهة برمجة التطبيقات.

كيف تغير الحصة النسبية الديناميكية التكاليف؟

  • المكالمات التي تتم فوق الحصة النسبية الأساسية لها نفس تكاليف المكالمات العادية.

  • لا توجد تكلفة إضافية لتشغيل الحصة النسبية الديناميكية على التوزيع، على الرغم من أن زيادة معدل النقل يمكن أن تؤدي في النهاية إلى زيادة التكلفة اعتمادا على مقدار نسبة استخدام الشبكة التي يتلقاها التوزيع.

إشعار

مع الحصة النسبية الديناميكية، لا يوجد فرض استدعاء لحصة "سقف" أو معدل نقل. سيقوم Azure OpenAI بمعالجة أكبر عدد ممكن من الطلبات فوق الحصة النسبية الأساسية. إذا كنت بحاجة إلى التحكم في معدل الإنفاق حتى عندما تكون الحصة النسبية أقل تقييدا، فإن رمز التطبيق الخاص بك يحتاج إلى كبح الطلبات وفقا لذلك.

كيفية استخدام الحصة النسبية الديناميكية

لاستخدام الحصة النسبية الديناميكية، يجب عليك:

  • قم بتشغيل خاصية الحصة النسبية الديناميكية في نشر Azure OpenAI.
  • تأكد من أن تطبيقك يمكنه الاستفادة من الحصة النسبية الديناميكية.

تمكين الحصة النسبية الديناميكية

لتنشيط الحصة النسبية الديناميكية للتوزيع، يمكنك الانتقال إلى الخصائص المتقدمة في تكوين المورد، وتشغيلها:

لقطة شاشة لواجهة مستخدم التكوين المتقدمة للتوزيع.

بدلا من ذلك، يمكنك تمكينه برمجيا باستخدام Azure CLI az rest:

استبدل {subscriptionId}و {resourceGroupName}{accountName}و بالقيم {deploymentName} ذات الصلة لموردك. في هذه الحالة، accountName يساوي اسم مورد Azure OpenAI.

az rest --method patch --url "https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?2023-10-01-preview" --body '{"properties": {"dynamicThrottlingEnabled": true} }'

كيف أعمل تعرف مقدار الحصة النسبية الديناميكية لمعدل النقل التي تضيفها إلى تطبيقي؟

لمراقبة كيفية عمله، يمكنك تتبع معدل نقل التطبيق الخاص بك في Azure Monitor. أثناء معاينة الحصة النسبية الديناميكية، لا يوجد مقياس أو سجل محدد للإشارة إلى ما إذا تم زيادة الحصة النسبية أو تقليلها ديناميكيا. تقل احتمالية مشاركة الحصة النسبية الديناميكية للنشر الخاص بك إذا كانت تعمل في مناطق مستغلة بشكل كبير، وخلال ساعات الذروة من الاستخدام لتلك المناطق.

الخطوات التالية