تكوين الوصول إلى الموارد من نقاط نهاية خدمة النموذج

توضح هذه المقالة كيفية تكوين الوصول إلى الموارد الخارجية والخاصة من نقاط نهاية خدمة النموذج. يدعم Model Serving متغيرات بيئة النص العادي ومتغيرات البيئة المستندة إلى الأسرار باستخدام أسرار Databricks.

المتطلبات

لمتغيرات البيئة المستندة إلى الأسرار،

• يجب أن يكون لدى منشئ نقطة النهاية حق الوصول READ إلى أسرار Databricks التي تتم الإشارة إليها في التكوينات.
• يجب تخزين بيانات الاعتماد مثل مفتاح API أو الرموز المميزة الأخرى كسر Databricks.

إضافة متغيرات بيئة نص عادي

استخدم متغيرات بيئة النص العادي لتعيين المتغيرات التي لا تحتاج إلى أن تكون مخفية. يمكنك تعيين متغيرات في واجهة مستخدم العرض أو واجهة برمجة تطبيقات REST عند إنشاء نقطة نهاية أو تحديثها.

من واجهة مستخدم تقديم، يمكنك إضافة متغير بيئة في التكوينات المتقدمة:

فيما يلي مثال لإنشاء نقطة نهاية خدمة باستخدام واجهة برمجة تطبيقات REST وحقل environment_vars تكوين متغير البيئة الخاص بك.

POST /api/2.0/serving-endpoints

{
  "name": "endpoint-name",
  "config":{
   "served_entities": [{
     "entity_name": "model-name",
     "entity_version": "1",
     "workload_size": "Small",
     "scale_to_zero_enabled": "true",
     "environment_vars":{
        "TEXT_ENV_VAR_NAME": "plain-text-env-value"
      }
    }]
   }
}

إضافة متغيرات البيئة المستندة إلى البيانات السرية

يمكنك تخزين بيانات الاعتماد بأمان باستخدام أسرار Databricks والإشارة إلى تلك الأسرار في نموذج يعمل باستخدام متغيرات البيئة المستندة إلى الأسرار. يسمح هذا بإحضار بيانات الاعتماد من نقاط نهاية خدمة النموذج في وقت التقديم.

على سبيل المثال، يمكنك تمرير بيانات الاعتماد للاتصال ب OpenAI ونقاط نهاية النموذج الخارجي الأخرى أو الوصول إلى مواقع تخزين البيانات الخارجية مباشرة من خدمة النموذج.

توصي Databricks بهذه الميزة لنشر نكهات نموذج OpenAI وLangChainMLflow لخدمة . كما أنه ينطبق على نماذج SaaS الأخرى التي تتطلب بيانات اعتماد مع فهم أن نمط الوصول يستند إلى استخدام متغيرات البيئة ومفاتيح واجهة برمجة التطبيقات والرموز المميزة.

الخطوة 1: إنشاء نطاق سري

أثناء تقديم النموذج، يتم استرداد الأسرار من أسرار Databricks من خلال النطاق السري والمفتاح. يتم تعيين هذه إلى أسماء متغيرات البيئة السرية التي يمكن استخدامها داخل النموذج.

أولا، إنشاء نطاق سري. راجع النطاقات السرية.

فيما يلي أوامر CLI:

databricks secrets create-scope my_secret_scope

يمكنك بعد ذلك إضافة سرك إلى نطاق السر المطلوب والمفتاح كما هو موضح أدناه:

databricks secrets put-secret my_secret_scope my_secret_key

يمكن بعد ذلك تمرير المعلومات السرية واسم متغير البيئة إلى تكوين نقطة النهاية أثناء إنشاء نقطة النهاية أو كتحديث لتكوين نقطة نهاية موجودة.

الخطوة 2: إضافة نطاقات سرية إلى تكوين نقطة النهاية

يمكنك إضافة النطاق السري إلى متغير بيئة وتمرير هذا المتغير إلى نقطة النهاية أثناء إنشاء نقطة النهاية أو تحديثات التكوين. راجع إنشاء نقاط نهاية خدمة نموذج مخصص.

من واجهة مستخدم الخدمة، يمكنك إضافة متغير بيئة في التكوينات المتقدمة. يجب توفير متغير البيئة المستند إلى الأسرار باستخدام بناء الجملة التالي: {{secrets/scope/key}}. وإلا، يعتبر متغير البيئة متغير بيئة نص عادي.

فيما يلي مثال لإنشاء نقطة نهاية خدمة باستخدام واجهة برمجة تطبيقات REST. أثناء إنشاء نموذج تقديم نقطة النهاية وتحديثات التكوين، يمكنك توفير قائمة بمواصفات متغير البيئة السرية لكل نموذج تم تقديمه داخل طلب واجهة برمجة التطبيقات باستخدام environment_vars الحقل.

يعين المثال التالي القيمة من البيانات السرية التي تم إنشاؤها في التعليمات البرمجية المقدمة إلى متغير OPENAI_API_KEYالبيئة .

POST /api/2.0/serving-endpoints

{
  "name": "endpoint-name",
  "config":{
   "served_entities": [{
     "entity_name": "model-name",
     "entity_version": "1",
     "workload_size": "Small",
     "scale_to_zero_enabled": "true",
     "environment_vars":{
        "OPENAI_API_KEY": "{{secrets/my_secret_scope/my_secret_key}}"
      }
    }]
   }
}

يمكنك أيضا تحديث نقطة نهاية خدمة، كما في مثال REST API التالي:

PUT /api/2.0/serving-endpoints/{name}/config

{
  "served_entities": [{
    "entity_name": "model-name",
    "entity_version": "2",
    "workload_size": "Small",
    "scale_to_zero_enabled": "true",
    "environment_vars":{
      "OPENAI_API_KEY": "{{secrets/my_secret_scope/my_secret_key}}"
     }
   }]
}

بعد إنشاء نقطة النهاية أو تحديثها، يجلب نموذج العرض تلقائيا المفتاح السري من نطاق البيانات السرية Databricks ويملأ متغير البيئة لرمز الاستدلال النموذجي الخاص بك لاستخدامه.

مثال دفتر الملاحظات

راجع دفتر الملاحظات التالي للحصول على مثال حول كيفية تكوين مفتاح OpenAI API لسلسلة QA لاسترداد LangChain المنشورة خلف نقاط نهاية خدمة النموذج مع متغيرات البيئة المستندة إلى البيانات السرية.

تكوين الوصول إلى الموارد من دفتر ملاحظات نقاط نهاية خدمة النموذج

الحصول على دفتر الملاحظات