تكوين بوابة الذكاء الاصطناعي على نقاط نهاية خدمة النموذج
في هذه المقالة، ستتعلم كيفية تكوين الفسيفساء الذكاء الاصطناعي Gateway على نموذج يخدم نقطة نهاية.
المتطلبات
- مساحة عمل Databricks في المنطقة المدعومة لخدمة النموذج.
- أكمل الخطوات 1 و2 من إنشاء نموذج خارجي يخدم نقطة النهاية.
تكوين بوابة الذكاء الاصطناعي باستخدام واجهة المستخدم
يوضح ما يلي كيفية تكوين بوابة الذكاء الاصطناعي أثناء إنشاء نقطة النهاية باستخدام واجهة مستخدم تقديم. إذا كنت تفضل القيام بذلك برمجيا، فشاهد مثال دفتر الملاحظات.
في قسم الذكاء الاصطناعي Gateway من صفحة إنشاء نقطة النهاية، يمكنك تكوين ميزات الذكاء الاصطناعي Gateway التالية بشكل فردي:
| ميزة | كيفية التمكين | التفاصيل |
|---|---|---|
| تعقب الاستخدام | حدد Enable usage tracking لتمكين تعقب ومراقبة مقاييس استخدام البيانات. | - يجب تمكين كتالوج Unity. - يجب على مسؤولي الحساب تمكين مخطط جدول نظام الخدمة قبل استخدام جداول النظام: system.serving.endpoint_usage الذي يلتقط عدد الرموز المميزة لكل طلب إلى نقطة النهاية والذي system.serving.served_entities يخزن بيانات التعريف لكل نموذج خارجي.- راجع مخططات جدول تتبع الاستخدام - يمتلك مسؤولو الحساب فقط الإذن لعرض الجدول أو الجدول أو endpoint_usage الاستعلام عنهاserved_entities، على الرغم من أنه يجب على المستخدم الذي يدير نقطة النهاية تمكين تعقب الاستخدام. راجع منح حق الوصول إلى جداول النظام- يتم تقدير عدد رموز الإدخال والإخراج على أنه ( text_length+1)/4 إذا لم يتم إرجاع عدد الرموز المميزة بواسطة النموذج. |
| تسجيل الحمولة | حدد تمكين جداول الاستدلال لتسجيل الطلبات والاستجابات تلقائيا من نقطة النهاية إلى جداول Delta المدارة بواسطة كتالوج Unity. | - يجب تمكين كتالوج Unity والوصول CREATE_TABLE إليه في مخطط الكتالوج المحدد.- تحتوي جداول الاستدلال التي تم تمكينها بواسطة الذكاء الاصطناعي Gateway على مخطط مختلف عن تلك التي تم إنشاؤها لنقاط نهاية خدمة النموذج التي تخدم النماذج المخصصة. راجع مخطط جدول الاستدلال الذي يدعم البوابة الذكاء الاصطناعي. - تملأ بيانات تسجيل الحمولة هذه الجداول بعد أقل من ساعة من الاستعلام عن نقطة النهاية. - لا يتم تسجيل حمولات أكبر من 1 ميغابايت. - تجمع حمولة الاستجابة استجابة جميع المجموعات التي تم إرجاعها. - البث مدعوم. في سيناريوهات الدفق تجمع حمولة الاستجابة استجابة المجموعات التي تم إرجاعها. |
| الذكاء الاصطناعي حواجز حماية | راجع تكوين الذكاء الاصطناعي حواجز الحماية في واجهة المستخدم. | - تمنع حواجز الحماية النموذج من التفاعل مع المحتوى غير الآمن والضار الذي يتم اكتشافه في مدخلات النموذج ومخرجاته. - لا يتم دعم حواجز الإخراج لنماذج التضمين أو للبث. |
| حدود السعر | يمكنك فرض حدود معدل الطلب لإدارة نسبة استخدام الشبكة لنقطة النهاية الخاصة بك على أساس كل مستخدم وكل نقطة نهاية | - يتم تحديد حدود المعدل في الاستعلامات في الدقيقة (QPM). - الإعداد الافتراضي هو لا يوجد حد لكل مستخدم ولكل نقطة نهاية. |
| توجيه حركة المرور | لتكوين توجيه نسبة استخدام الشبكة على نقطة النهاية، راجع خدمة نماذج خارجية متعددة إلى نقطة نهاية. |
تكوين الذكاء الاصطناعي حواجز الحماية في واجهة المستخدم
يوضح الجدول التالي كيفية تكوين حواجز الحماية المدعومة.
| درابزين حماية | كيفية التمكين | التفاصيل |
|---|---|---|
| أمان | حدد الأمان لتمكين الضمانات لمنع النموذج الخاص بك من التفاعل مع المحتوى غير الآمن والضار. | |
| الكشف عن معلومات تعريف المستخدم (PII) | حدد PII detection للكشف عن بيانات PII مثل الأسماء والعناوين وأرقام بطاقات الائتمان. | |
| مواضيع صالحة | يمكنك كتابة المواضيع مباشرة في هذا الحقل. إذا كان لديك إدخالات متعددة، فتأكد من الضغط على enter بعد كل موضوع. بدلا من ذلك، يمكنك تحميل ملف .csv أو .txt . |
يمكن تحديد 50 موضوعا صالحا كحد أقصى. لا يمكن أن يتجاوز كل موضوع 100 حرف |
| كلمات أساسية غير صحيحة | يمكنك كتابة المواضيع مباشرة في هذا الحقل. إذا كان لديك إدخالات متعددة، فتأكد من الضغط على enter بعد كل موضوع. بدلا من ذلك، يمكنك تحميل ملف .csv أو .txt . |
يمكن تحديد 50 كلمة أساسية غير صالحة كحد أقصى. لا يمكن أن تتجاوز كل كلمة أساسية 100 حرف. |
مخططات جدول تعقب الاستخدام
system.serving.served_entities يحتوي جدول نظام تتبع الاستخدام على المخطط التالي:
| اسم العمود | الوصف | النوع |
|---|---|---|
served_entity_id |
المعرف الفريد للكيان المقدم. | سلسلة |
account_id |
معرف حساب العميل لمشاركة دلتا. | سلسلة |
workspace_id |
معرف مساحة عمل العميل لنقطة نهاية الخدمة. | سلسلة |
created_by |
معرف المنشئ. | سلسلة |
endpoint_name |
اسم نقطة نهاية الخدمة. | سلسلة |
endpoint_id |
المعرف الفريد لنقطة نهاية الخدمة. | سلسلة |
served_entity_name |
اسم الكيان الذي تم تقديمه. | سلسلة |
entity_type |
نوع الكيان الذي يتم تقديمه. يمكن أن يكون FEATURE_SPECأو FOUNDATION_MODELEXTERNAL_MODELأو أوCUSTOM_MODEL |
سلسلة |
entity_name |
الاسم الأساسي للكيان. يختلف عن served_entity_name الاسم الذي تم توفيره من قبل المستخدم. على سبيل المثال، entity_name هو اسم نموذج كتالوج Unity. |
سلسلة |
entity_version |
إصدار الكيان الذي تم تقديمه. | سلسلة |
endpoint_config_version |
إصدار تكوين نقطة النهاية. | Int |
task |
نوع المهمة. يمكن أن يكون llm/v1/chat، أو llm/v1/completions، أو llm/v1/embeddings. |
سلسلة |
external_model_config |
تكوينات النماذج الخارجية. على سبيل المثال، {Provider: OpenAI} |
البنيه |
foundation_model_config |
تكوينات لنماذج الأساس. على سبيل المثال،{min_provisioned_throughput: 2200, max_provisioned_throughput: 4400} |
البنيه |
custom_model_config |
تكوينات النماذج المخصصة. على سبيل المثال،{ min_concurrency: 0, max_concurrency: 4, compute_type: CPU } |
البنيه |
feature_spec_config |
تكوينات لمواصفات الميزات. على سبيل المثال، { min_concurrency: 0, max_concurrency: 4, compute_type: CPU } |
البنيه |
change_time |
الطابع الزمني للتغيير للكيان الذي تم تقديمه. | الطابع الزمني |
endpoint_delete_time |
الطابع الزمني لحذف الكيان. نقطة النهاية هي الحاوية للكيان الذي تم تقديمه. بعد حذف نقطة النهاية، يتم حذف الكيان الذي تم تقديمه أيضا. | الطابع الزمني |
system.serving.endpoint_usage يحتوي جدول نظام تتبع الاستخدام على المخطط التالي:
| اسم العمود | الوصف | النوع |
|---|---|---|
account_id |
معرف حساب العميل. | سلسلة |
workspace_id |
معرف مساحة عمل العميل لنقطة نهاية الخدمة. | سلسلة |
client_request_id |
قدم المستخدم معرف الطلب الذي يمكن تحديده في نص طلب خدمة النموذج. | سلسلة |
databricks_request_id |
معرف طلب تم إنشاؤه بواسطة Azure Databricks مرفق بجميع طلبات خدمة النموذج. | سلسلة |
requester |
معرف المستخدم أو كيان الخدمة الذي يتم استخدام أذوناته لطلب استدعاء نقطة نهاية العرض. | سلسلة |
status_code |
رمز حالة HTTP الذي تم إرجاعه من النموذج. | INTEGER |
request_time |
الطابع الزمني الذي يتم تلقي الطلب عنده. | الطابع الزمني |
input_token_count |
عدد الرموز المميزة للإدخل. | LONG |
output_token_count |
عدد الرموز المميزة للإخراج. | LONG |
input_character_count |
عدد أحرف سلسلة الإدخال أو المطالبة. | LONG |
output_character_count |
عدد أحرف سلسلة الإخراج للاستجابة. | LONG |
usage_context |
قدم المستخدم خريطة تحتوي على معرفات المستخدم النهائي أو تطبيق العميل الذي يقوم بإجراء الاستدعاء إلى نقطة النهاية. راجع المزيد من تعريف الاستخدام مع usage_context. | تعيين |
request_streaming |
ما إذا كان الطلب في وضع الدفق. | BOOLEAN |
served_entity_id |
المعرف الفريد المستخدم للانضمام system.serving.served_entities إلى جدول الأبعاد للبحث عن معلومات حول نقطة النهاية والكيان المقدم. |
سلسلة |
تعريف الاستخدام بشكل أكبر باستخدام usage_context
عند الاستعلام عن نموذج خارجي مع تمكين تعقب الاستخدام، يمكنك توفير المعلمة usage_context بنوع Map[String, String]. يظهر تعيين سياق الاستخدام في جدول تعقب الاستخدام في usage_context العمود. يمكن لمسؤولي الحساب تجميع صفوف مختلفة استنادا إلى سياق الاستخدام للحصول على رؤى ويمكنهم ضم هذه المعلومات بالمعلومات الموجودة في جدول تسجيل البيانات الأساسية. على سبيل المثال، يمكنك إضافة end_user_to_charge إلى usage_context لتعقب إسناد التكلفة للمستخدمين النهائيين.
{
"messages": [
{
"role": "user",
"content": "What is Databricks?"
}
],
"max_tokens": 128,
"usage_context":
{
"use_case": "external",
"project": "project1",
"priority": "high",
"end_user_to_charge": "abcde12345",
"a_b_test_group": "group_a"
}
}
مخطط جدول الاستدلال الذي يدعم البوابة الذكاء الاصطناعي
تحتوي جداول الاستدلال التي تم تمكينها باستخدام الذكاء الاصطناعي Gateway على المخطط التالي:
| اسم العمود | الوصف | النوع |
|---|---|---|
request_date |
تاريخ تلقي طلب خدمة النموذج بالتوقيت العالمي المتفق عليه. | التاريخ |
databricks_request_id |
معرف طلب تم إنشاؤه بواسطة Azure Databricks مرفق بجميع طلبات خدمة النموذج. | سلسلة |
client_request_id |
معرف طلب اختياري أنشأه العميل يمكن تحديده في نص طلب خدمة النموذج. | سلسلة |
request_time |
الطابع الزمني الذي يتم تلقي الطلب عنده. | الطابع الزمني |
status_code |
رمز حالة HTTP الذي تم إرجاعه من النموذج. | Int |
sampling_fraction |
كسر أخذ العينات المستخدم في حالة أخذ عينة من الطلب. تتراوح هذه القيمة بين 0 و1، حيث تمثل 1 أن 100٪ من الطلبات الواردة قد تم تضمينها. | مزدوج |
execution_duration_ms |
الوقت بالمللي ثانية الذي أجرى النموذج الاستدلال له. لا يتضمن هذا زمن انتقال الشبكة الزائد ويمثل فقط الوقت الذي استغرقه النموذج لإنشاء تنبؤات. | BIGINT |
request |
نص JSON للطلب الخام الذي تم إرساله إلى نقطة نهاية خدمة النموذج. | سلسلة |
response |
نص JSON للاستجابة الأولية التي تم إرجاعها بواسطة نقطة نهاية خدمة النموذج. | سلسلة |
served_entity_id |
المعرف الفريد للكيان المقدم. | سلسلة |
logging_error_codes |
ARRAY | |
requester |
معرف المستخدم أو كيان الخدمة الذي يتم استخدام أذوناته لطلب استدعاء نقطة نهاية العرض. | سلسلة |
تحديث ميزات بوابة الذكاء الاصطناعي على نقاط النهاية
يمكنك تحديث ميزات الذكاء الاصطناعي Gateway على نقاط نهاية خدمة النموذج التي تم تمكينها مسبقا ونقاط النهاية التي لم يتم تمكينها. تستغرق تحديثات تكوينات الذكاء الاصطناعي Gateway حوالي 20-40 ثانية ليتم تطبيقها، ولكن يمكن أن يستغرق تحديد المعدل التحديثات ما يصل إلى 60 ثانية.
يوضح ما يلي كيفية تحديث ميزات الذكاء الاصطناعي Gateway على نقطة نهاية خدمة نموذج باستخدام واجهة مستخدم العرض.
في قسم البوابة في صفحة نقطة النهاية، يمكنك معرفة الميزات التي تم تمكينها. لتحديث هذه الميزات، انقر فوق تحرير الذكاء الاصطناعي Gateway.
مثال دفتر الملاحظات
يوضح دفتر الملاحظات التالي كيفية تمكين واستخدام ميزات Databricks Mosaic الذكاء الاصطناعي Gateway برمجيا لإدارة النماذج وإدارتها من موفري الخدمة. راجع ما يلي للحصول على تفاصيل واجهة برمجة تطبيقات REST:
تمكين دفتر ملاحظات ميزات Databricks Mosaic الذكاء الاصطناعي Gateway
الموارد الإضافية
- بوابة الذكاء الاصطناعي الفسيفساء.
- جداول الاستدلال لمراقبة وتصحيح النماذج.