Model sunum uç noktalarındaki kaynaklara erişimi yapılandırma

Bu makalede, uç noktaları sunan modelden dış ve özel kaynaklara erişimin nasıl yapılandırıldığı açıklanır. Model Sunma, Databricks gizli dizilerini kullanan düz metin ortamı değişkenlerini ve gizli dizi tabanlı ortam değişkenlerini destekler.

Gereksinimler

Gizli dizi tabanlı ortam değişkenleri için,

• Uç nokta oluşturucusunun yapılandırmalarda başvurulmakta olan Databricks gizli dizilerine OKUMA erişimi olmalıdır.
• API anahtarınız veya diğer belirteçler gibi kimlik bilgilerini Databricks gizli dizisi olarak depolamanız gerekir.

Düz metin ortamı değişkenleri ekleme

Gizli olması gerekmeyen değişkenleri ayarlamak için düz metin ortam değişkenlerini kullanın. Uç nokta oluşturduğunuzda veya güncelleştirdiğinizde, Hizmet Sunma kullanıcı arabiriminde veya REST API'de değişkenler ayarlayabilirsiniz.

Sunum Kullanıcı Arabirimi'nden Gelişmiş yapılandırmalar'a bir ortam değişkeni ekleyebilirsiniz:

Aşağıda, REST API'yi ve environment_vars ortam değişkeninizi yapılandırma alanını kullanarak POST /api/2.0/serving-endpoints bir sunum uç noktası oluşturmaya yönelik bir örnek verilmiştir.

{
  "name": "endpoint-name",
  "config":{
   "served_entities": [{
     "entity_name": "model-name",
     "entity_version": "1",
     "workload_size": "Small",
     "scale_to_zero_enabled": "true",
     "environment_vars":{
        "TEXT_ENV_VAR_NAME": "plain-text-env-value"
      }
    }]
  }
}

Gizli dizi tabanlı ortam değişkenleri ekleme

Databricks gizli dizilerini kullanarak kimlik bilgilerini güvenli bir şekilde depolayabilir ve gizli dizi tabanlı ortam değişkenleri kullanarak modelde bu gizli dizilere başvurabilirsiniz. Bu, kimlik bilgilerinin hizmet verme zamanında uç noktalara hizmet veren modelden alınmasına olanak tanır.

Örneğin, OpenAI ve diğer dış model uç noktalarını çağırmak için kimlik bilgilerini geçirebilir veya dış veri depolama konumlarına doğrudan model sunumundan erişebilirsiniz.

Databricks, OpenAI ve LangChain MLflow modeli tatlarını kullanıma dağıtmak için bu özelliği önerir. Ayrıca, erişim deseninin ortam değişkenlerini, API anahtarlarını ve belirteçlerini kullanmayı temel alarak kimlik bilgileri gerektiren diğer SaaS modelleri için de geçerlidir.

1. Adım: Gizli dizi kapsamı oluşturma

Model sunma sırasında gizli diziler, gizli dizi kapsamı ve anahtarı tarafından Databricks gizli dizilerinden alınır. Bunlar, modelin içinde kullanılabilecek gizli ortam değişken adlarına atanır.

İlk olarak bir gizli dizi kapsamı oluşturun. Bkz. Gizli dizi kapsamları.

CLI komutları şunlardır:

databricks secrets create-scope my_secret_scope

Ardından gizli dizinizi aşağıda gösterildiği gibi istediğiniz gizli dizi kapsamına ve anahtarına ekleyebilirsiniz:

databricks secrets put-secret my_secret_scope my_secret_key

Gizli dizi bilgileri ve ortam değişkeninin adı, uç nokta oluşturma sırasında veya mevcut bir uç nokta yapılandırmasının güncelleştirmesi olarak uç nokta yapılandırmanıza geçirilebilir.

2. Adım: Uç nokta yapılandırmasına gizli dizi kapsamları ekleme

Gizli dizi kapsamını bir ortam değişkenine ekleyebilir ve uç nokta oluşturma veya yapılandırma güncelleştirmeleri sırasında bu değişkeni uç noktanıza geçirebilirsiniz. Bkz . Uç noktaları sunan özel model oluşturma.

Sunum Kullanıcı Arabirimi'nden Gelişmiş yapılandırmalar'a bir ortam değişkeni ekleyebilirsiniz. Gizli dizi tabanlı ortam değişkeni aşağıdaki söz dizimi kullanılarak sağlanmalıdır: {{secrets/scope/key}}. Aksi takdirde ortam değişkeni düz metin ortam değişkeni olarak kabul edilir.

Aşağıda REST API kullanarak bir sunum uç noktası oluşturmaya yönelik bir örnek verilmiştir. Uç nokta oluşturma ve yapılandırma güncelleştirmelerine hizmet veren model sırasında, alanı kullanarak environment_vars API isteği içinde sunulan her model için gizli ortam değişkeni belirtimlerinin listesini sağlayabilirsiniz.

Aşağıdaki örnek, sağlanan kodda oluşturulan gizli dizideki değeri ortam değişkenine OPENAI_API_KEYatar.

{
  "name": "endpoint-name",
  "config":{
   "served_entities": [{
     "entity_name": "model-name",
     "entity_version": "1",
     "workload_size": "Small",
     "scale_to_zero_enabled": "true",
     "environment_vars":{
        "OPENAI_API_KEY": "{{secrets/my_secret_scope/my_secret_key}}"
      }
    }]
   }
}

Aşağıdaki PUT /api/2.0/serving-endpoints/{name}/config REST API örneğinde olduğu gibi bir sunum uç noktasını da güncelleştirebilirsiniz:

{
  "served_entities": [{
    "entity_name": "model-name",
    "entity_version": "2",
    "workload_size": "Small",
    "scale_to_zero_enabled": "true",
    "environment_vars":{
      "OPENAI_API_KEY": "{{secrets/my_secret_scope/my_secret_key}}"
     }
   }]
}

Uç nokta oluşturulduktan veya güncelleştirildikten sonra, model sunma özelliği Databricks gizli dizileri kapsamından gizli anahtarı otomatik olarak getirir ve model çıkarım kodunuzun kullanması için ortam değişkenini doldurur.

Not defteri örneği

Gizli dizi tabanlı ortam değişkenleriyle uç noktalara hizmet veren modelin arkasına dağıtılmış bir LangChain Alma Soru-Cevap Zinciri için OpenAI API anahtarını yapılandırma örneği için aşağıdaki not defterine bakın.

Uç noktalara hizmet veren model not defterinden kaynaklara erişimi yapılandırma

Not defterini alma