Mozaik AI Model Sunma'daki dış modeller

Önemli

Bu makaledeki kod örneklerinde Genel Önizleme MLflow Dağıtımları CRUD API'sinin kullanımı gösterilmektedir.

Bu makalede, desteklenen model sağlayıcıları ve sınırlamaları dahil olmak üzere Mozaik Yapay Zeka Modeli Sunma'daki dış modeller açıklanmaktadır.

Dış modeller nedir?

Önemli

Artık dış modellere hizmet veren uç noktaları sunan modellerde Mozaik AI Ağ Geçidi'ni yapılandırabilirsiniz. AI Gateway, uç noktalara hizmet veren bu modele idare, izleme ve üretim hazırlığı getirir. Bkz . Mozaik AI Ağ Geçidi.

Dış modeller, Databricks dışında barındırılan üçüncü taraf modellerdir. Model Sunma tarafından desteklenen dış modeller, bir kuruluş içinde OpenAI ve Antropik gibi çeşitli büyük dil modeli (LLM) sağlayıcılarının kullanımını ve yönetimini kolaylaştırmanızı sağlar. Bu uç noktalar için hız sınırları sunan özel modellere hizmet vermek için sağlayıcı olarak hizmet veren Mozaik AI Modeli'ni de kullanabilirsiniz. Bu desteğin bir parçası olarak Model Sunma, LLM ile ilgili belirli istekleri işlemek için birleşik bir uç nokta sağlayarak bu hizmetlerle etkileşimi basitleştiren üst düzey bir arabirim sunar.

Ayrıca, dış modeller için Azure Databricks desteği merkezi kimlik bilgileri yönetimi sağlar. Kuruluşlar, API anahtarlarını tek bir güvenli konumda depolayarak sistem genelinde hassas API anahtarlarının açığa çıkma durumunu en aza indirerek güvenlik duruşlarını geliştirebilir. Ayrıca bu anahtarların kod içinde açığa çıkmasını önlemeye veya son kullanıcıların anahtarları güvenli bir şekilde yönetmesini gerektirmeye yardımcı olur.

Bkz . Öğretici: Dış model uç noktası oluşturma ve MLflow Dağıtımları SDK'sını kullanarak bu uç noktalar tarafından sunulan desteklenen modelleri sorgulama konusunda adım adım yönergeler için OpenAI modellerini sorgulamak için dış model uç noktaları oluşturma. Sunum Kullanıcı Arabirimini ve REST API'yi kullanma yönergeleri için aşağıdaki kılavuzlara bakın:

• Uç noktaları sunan özel model oluşturma
• Sorgu oluşturma yapay zeka modelleri

Gereksinim -leri

• Model sağlayıcısı için API anahtarı veya kimlik doğrulama alanları.
• Dış modellerde desteklenen bölgelerde Databricks çalışma alanı.

Model sağlayıcıları

Model Sunma'daki dış modeller, çeşitli model sağlayıcılarını destekleyecek şekilde tasarlanmıştır. Sağlayıcı OpenAI, Antropik gibi makine öğrenmesi modellerinin kaynağını temsil eder. Her sağlayıcının, dış model uç noktası yapılandırmasının external_model alanı içinde kapsüllenmiş belirli özellikleri ve yapılandırmaları vardır.

Aşağıdaki sağlayıcılar desteklenir:

• openai: OpenAI tarafından sunulan modeller ve AAD ile Azure OpenAI ve Azure OpenAI için Azure tümleştirmeleri için.
• antropik: Antropik tarafından sunulan modeller için.
• cohere: Cohere tarafından sunulan modeller için.
• amazon-bedrock: Amazon Bedrock tarafından sunulan modeller için.
• google-cloud-vertex-ai: Google Cloud Vertex AI tarafından sunulan modeller için.
• databricks-model sunma: Uyumlu şemalarla uç noktaları sunan Mozaik AI Modeli için. Bkz . Uç nokta yapılandırması.

Burada listelenmeyen bir sağlayıcı için destek istemek için Databricks hesap ekibinize ulaşın.

Desteklenen modeller

Seçtiğiniz model, API çağrılarından elde ettiğiniz yanıtların sonuçlarını doğrudan etkiler. Bu nedenle, kullanım örneği gereksinimlerinize uygun bir model seçin. Örneğin, konuşma yanıtları oluşturmak için bir sohbet modeli seçebilirsiniz. Buna karşılık, metin eklemeleri oluşturmak için bir ekleme modeli seçebilirsiniz.

Aşağıdaki tabloda desteklenen modellerin ve ilgili uç nokta türlerinin kapsamlı olmayan bir listesi sunulmaktadır. Aşağıda listelenen model ilişkilendirmeleri, belirli bir sağlayıcıda kullanılabilir hale gelen yeni yayımlanan model türleri için bir uç nokta yapılandırırken yararlı bir kılavuz olarak kullanılabilir. Müşteriler, geçerli model lisanslarıyla uyumluluğu sağlamakla sorumludur.

Not

LLM'lerin hızlı bir şekilde geliştirilmesiyle, bu listenin her zaman güncel olduğunu garanti etmemektedir.

Model sağlayıcısı	llm/v1/completions	llm/v1/chat	llm/v1/embeddings
OpenAI**	- gpt-3.5-turbo-instruct - babbage-002 - davinci-002	- gpt-3.5-turbo - gpt-4 - gpt-4o - gpt-4o-2024-05-13 - gpt-4o-mini - gpt-3.5-turbo-0125 - gpt-3.5-turbo-1106 - gpt-4-0125-preview - gpt-4-turbo-preview - gpt-4-1106-preview - gpt-4-vision-preview - gpt-4-1106-vision-preview	- metin ekleme-ada-002 - metin ekleme-3-büyük - metin ekleme-3-küçük
Azure OpenAI**	- text-davinci-003 - gpt-35-turbo-instruct	- gpt-35-turbo - gpt-35-turbo-16k - gpt-4 - gpt-4-32k - gpt-4o - gpt-4o-mini	- metin ekleme-ada-002 - metin ekleme-3-büyük - metin ekleme-3-küçük
Anthropic	- claude-1 - claude-1.3-100k - claude-2 - claude-2.1 - claude-2.0 - claude-instant-1.2	- claude-3-5-sonnet-20240620 - claude-3-haiku-20240307 - claude-3-opus-20240229 - claude-3-sonnet-20240229 - claude-2.1 - claude-2.0 - claude-instant-1.2
Birbirini tutmak**	-komut - komut ışığı	- command-r-plus - command-r -komut - gece gündüz komut - komut ışığı - her gece komut	- embed-english-v2.0 - embed-multilingual-v2.0 - embed-english-light-v2.0 - embed-english-v3.0 - embed-english-light-v3.0 - embed-multilingual-v3.0 - embed-multilingual-light-v3.0
Mozaik AI Modeli Sunma	Uç nokta sunan Databricks	Uç nokta sunan Databricks	Uç nokta sunan Databricks
Amazon Bedrock	Antropik: - claude-instant-v1 - claude-v2 Birbirini tutmak: - command-text-v14 - command-light-text-v14 AI21 Laboratuvarları: - j2-grande-instruct - j2-jumbo-instruct - j2-mid - j2-mid-v1 - j2-ultra - j2-ultra-v1	Antropik: - claude-v2 - claude-v2:1 - claude-3-sonnet-20240229-v1:0 - claude-3-5-sonnet-20240620-v1:0 Birbirini tutmak: - command-r-plus-v1:0 - command-r-v1:0	Amazon: - titan-embed-text-v1 - titan-embed-g1-text-02 Birbirini tutmak: - embed-english-v3 - embed-multilingual-v3
AI21 Labs†	- j2-mid - j2-light - j2-ultra
Google Cloud Vertex AI	metin bizonu	- sohbet bison - gemini-pro - gemini-1.0-pro - gemini-1.5-pro - gemini-1.5-flash	textembedding-gecko

** Model sağlayıcısı hassas tamamlama ve sohbet modellerini destekler. hassas bir modeli sorgulamak için, yapılandırma alanını external model hassas ayarlı modelinizin adıyla doldurunname.

† Model sağlayıcısı özel tamamlama modellerini destekler.

Mozaik Yapay Zeka Modeli Sunma uç noktalarına sunulan modelleri kullanma

Mozaik AI Modeli Sağlayıcı olarak uç noktaları sunma, , llm/v1/chatve llm/v1/embeddings uç nokta türleri için llm/v1/completionsdesteklenir. Bu uç noktaların gerekli olarak işaretlenmiş standart sorgu parametrelerini kabul etmesi gerekirken, Mozaik Yapay Zeka Modeli Sunma uç noktasının bunları destekleyip desteklemediğine bağlı olarak diğer parametreler yoksayılabilir.

Standart sorgu parametreleri için API başvurusunda POST /serving-endpoints/{name}/invocations bölümüne bakın.

Bu uç noktaların aşağıdaki OpenAI biçiminde yanıtlar üretmesi gerekir.

Tamamlama görevleri için:

{
"id": "123", # Not Required
"model": "test_databricks_model",
"choices": [
  {
    "text": "Hello World!",
    "index": 0,
    "logprobs": null, # Not Required
    "finish_reason": "length" # Not Required
  }
],
"usage": {
  "prompt_tokens": 8,
  "total_tokens": 8
  }
}

Sohbet görevleri için:

{
  "id": "123", # Not Required
  "model": "test_chat_model",
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "\n\nHello there, how may I assist you today?",
    },
    "finish_reason": "stop"
  },
  {
    "index": 1,
    "message": {
      "role": "human",
      "content": "\n\nWhat is the weather in San Francisco?",
    },
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 8
  }
}

Ekleme görevleri için:

{
  "data": [
    {
      "embedding": [
        0.0023064255,
        -0.009327292,
        .... # (1536 floats total for ada-002)
        -0.0028842222,
      ],
      "index": 0
    },
    {
      "embedding": [
        0.0023064255,
        -0.009327292,
        .... #(1536 floats total for ada-002)
        -0.0028842222,
      ],
      "index": 0
    }
  ],
  "model": "test_embedding_model",
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 8
  }
}

Uç nokta yapılandırması

Dış modelleri sunmak ve sorgulamak için bir sunum uç noktası yapılandırmanız gerekir. Bkz. Dış model sunma uç noktası oluşturma

Uç noktaya hizmet veren bir dış model için, alanı ve parametrelerini served_entities uç nokta yapılandırmasının bölümüne eklemeniz external_model gerekir. Bir sunum uç noktasında birden çok dış model yapılandırdıysanız, her dış model için trafik yönlendirme yüzdesini tanımlamak için bir traffic_config sağlamanız gerekir.

alanı, external_model bu uç noktanın istekleri ilettiği modeli tanımlar. Model belirtirken sağlayıcının istediğiniz modeli desteklemesi kritik önem taşır. Örneğin, openai bir sağlayıcı gibi modelleri desteklediğinden text-embedding-ada-002, ancak diğer sağlayıcılar desteklemeyebilir. Model sağlayıcı tarafından desteklenmiyorsa Databricks, istekleri bu modele yönlendirmeye çalışırken http 4xx hatası döndürür.

Aşağıdaki tabloda alan parametreleri özetlenmiştir external_model . Uç nokta yapılandırma parametreleri için bkz . POST /api/2.0/serving-endpoints .

Parametre	Açıklamalar
name	Kullanılacak modelin adı. Örneğin, gpt-3.5-turbo OpenAI'nin GPT-3.5-Turbo modeli için.
provider	Bu model için sağlayıcının adını belirtir. Bu dize değeri desteklenen bir dış model sağlayıcısına karşılık gelir. Örneğin, openai OpenAI GPT-3.5 modelleri için.
task	Görev, istediğiniz dil modeli etkileşiminin türüne karşılık gelir. Desteklenen görevler şunlardır: "llm/v1/completions", "llm/v1/chat", "llm/v1/embeddings".
<provider>_config	Model için gereken tüm ek yapılandırma ayrıntılarını içerir. Bu, API temel URL'sini ve API anahtarını belirtmeyi içerir. Bkz . Uç nokta için sağlayıcıyı yapılandırma.

Aşağıda, API'yi kullanarak dış model uç noktası oluşturma örneği verilmiştir create_endpoint() . Bu örnekte tamamlanma uç noktasına gönderilen bir istek tarafından anthropicsağlanan modele claude-2 iletilir.

import mlflow.deployments

client = mlflow.deployments.get_deploy_client("databricks")

client.create_endpoint(
    name="anthropic-completions-endpoint",
    config={
        "served_entities": [
            {
                "name": "test",
                "external_model": {
                    "name": "claude-2",
                    "provider": "anthropic",
                    "task": "llm/v1/completions",
                    "anthropic_config": {
                        "anthropic_api_key": "{{secrets/my_anthropic_secret_scope/anthropic_api_key}}"
                    }
                }
            }
        ]
    }
)

Uç nokta için sağlayıcıyı yapılandırma

Uç nokta oluşturduğunuzda, belirtilen model sağlayıcısı için gerekli yapılandırmaları sağlamanız gerekir. Aşağıdaki bölümlerde, her model sağlayıcısı için kullanılabilir uç nokta yapılandırma parametreleri özetlemektedir.

Not

Databricks, her model sağlayıcısı için sağlanan kimlik bilgilerini şifreler ve güvenli bir şekilde depolar. Bu kimlik bilgileri, ilişkili uç noktaları silindiğinde otomatik olarak silinir.

OpenAI

Yapılandırma Parametresi	Açıklama	Zorunlu	Varsayılan
openai_api_key	OpenAI hizmetini kullanan bir OpenAI API anahtarı için Azure Databricks gizli anahtar başvurusu. API anahtarınızı doğrudan yapıştırmayı tercih ediyorsanız bkz openai_api_key_plaintext. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: openai_api_key veya openai_api_key_plaintext.
openai_api_key_plaintext	OpenAI hizmetini kullanan OpenAI API anahtarı düz metin dizesi olarak sağlanır. Azure Databricks Gizli Dizilerini kullanarak anahtarınıza başvurmayı tercih ediyorsanız bkz openai_api_key. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: openai_api_key veya openai_api_key_plaintext sağlanmalıdır.
openai_api_type	Kullanılacak OpenAI API'sinin türünü belirtmek için isteğe bağlı bir alan.	Hayır	openai
openai_api_base	OpenAI API'si için temel URL.	Hayır	https://api.openai.com/v1
openai_api_version	OpenAI API sürümünü belirtmek için isteğe bağlı bir alan.	Hayır
openai_organization	OpenAI'de kuruluşu belirtmek için isteğe bağlı bir alan.	Hayır

Birbirini tutmak

Yapılandırma Parametresi	Açıklama	Zorunlu	Varsayılan
cohere_api_key	Tutarlı API anahtarı için Azure Databricks gizli anahtar başvurusu. API anahtarınızı doğrudan yapıştırmayı tercih ediyorsanız bkz cohere_api_key_plaintext. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: cohere_api_key veya cohere_api_key_plaintext.
cohere_api_key_plaintext	Düz metin dizesi olarak sağlanan Cohere API anahtarı. Azure Databricks Gizli Dizilerini kullanarak anahtarınıza başvurmayı tercih ediyorsanız bkz cohere_api_key. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: cohere_api_key veya cohere_api_key_plaintext.
cohere_api_base	Cohere hizmetinin temel URL'si.	Hayır

Anthropic

Yapılandırma Parametresi	Açıklama	Zorunlu	Varsayılan
anthropic_api_key	Antropik API anahtarı için Azure Databricks gizli anahtar başvurusu. API anahtarınızı doğrudan yapıştırmayı tercih ediyorsanız bkz anthropic_api_key_plaintext. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: anthropic_api_key veya anthropic_api_key_plaintext.
anthropic_api_key_plaintext	Antropik API anahtarı düz metin dizesi olarak sağlanır. Azure Databricks Gizli Dizilerini kullanarak anahtarınıza başvurmayı tercih ediyorsanız bkz anthropic_api_key. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: anthropic_api_key veya anthropic_api_key_plaintext.

Azure OpenAI

Azure OpenAI, doğrudan OpenAI hizmetiyle karşılaştırıldığında farklı özelliklere sahiptir. Genel bakış için lütfen karşılaştırma belgelerine bakın.

Yapılandırma Parametresi	Açıklama	Zorunlu	Varsayılan
openai_api_key	Azure hizmetini kullanan bir OpenAI API anahtarı için Azure Databricks gizli anahtar başvurusu. API anahtarınızı doğrudan yapıştırmayı tercih ediyorsanız bkz openai_api_key_plaintext. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: openai_api_key veya openai_api_key_plaintext.
openai_api_key_plaintext	Düz metin dizesi olarak sağlanan Azure hizmetini kullanan OpenAI API anahtarı. Azure Databricks Gizli Dizilerini kullanarak anahtarınıza başvurmayı tercih ediyorsanız bkz openai_api_key. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: openai_api_key veya openai_api_key_plaintext.
openai_api_type	Erişim belirteci doğrulaması için kullanın azure .	Yes
openai_api_base	Azure tarafından sağlanan Azure OpenAI API hizmetinin temel URL'si.	Yes
openai_api_version	Kullanılacak Azure OpenAI hizmetinin bir tarihle belirtilen sürümü.	Yes
openai_deployment_name	Azure OpenAI hizmetinin dağıtım kaynağının adı.	Yes
openai_organization	OpenAI'de kuruluşu belirtmek için isteğe bağlı bir alan.	Hayır

Azure OpenAI'yi Microsoft Entra ID ile kullanıyorsanız uç nokta yapılandırmanızda aşağıdaki parametreleri kullanın.

Yapılandırma Parametresi	Açıklama	Zorunlu	Varsayılan
microsoft_entra_tenant_id	Microsoft Entra Id kimlik doğrulaması için kiracı kimliği.	Yes
microsoft_entra_client_id	Microsoft Entra Id kimlik doğrulaması için istemci kimliği.	Yes
microsoft_entra_client_secret	Microsoft Entra Id kimlik doğrulaması için kullanılan bir istemci gizli dizisi için Azure Databricks gizli anahtar başvurusu. İstemci gizli dizinizi doğrudan yapıştırmayı tercih ediyorsanız bkz microsoft_entra_client_secret_plaintext. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: microsoft_entra_client_secret veya microsoft_entra_client_secret_plaintext.
microsoft_entra_client_secret_plaintext	Microsoft Entra Id kimlik doğrulaması için kullanılan istemci gizli dizisi düz metin dizesi olarak sağlanır. Azure Databricks Gizli Dizilerini kullanarak anahtarınıza başvurmayı tercih ediyorsanız bkz microsoft_entra_client_secret. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: microsoft_entra_client_secret veya microsoft_entra_client_secret_plaintext.
openai_api_type	Microsoft Entra Id kullanarak kimlik doğrulaması için kullanın azuread .	Yes
openai_api_base	Azure tarafından sağlanan Azure OpenAI API hizmetinin temel URL'si.	Yes
openai_api_version	Kullanılacak Azure OpenAI hizmetinin bir tarihle belirtilen sürümü.	Yes
openai_deployment_name	Azure OpenAI hizmetinin dağıtım kaynağının adı.	Yes
openai_organization	OpenAI'de kuruluşu belirtmek için isteğe bağlı bir alan.	Hayır

Aşağıdaki örnekte Azure OpenAI ile uç nokta oluşturma adımları gösterilmektedir:

client.create_endpoint(
    name="openai-chat-endpoint",
    config={
        "served_entities": [{
            "external_model": {
                "name": "gpt-3.5-turbo",
                "provider": "openai",
                "task": "llm/v1/chat",
                "openai_config": {
                    "openai_api_type": "azure",
                    "openai_api_key": "{{secrets/my_openai_secret_scope/openai_api_key}}",
                    "openai_api_base": "https://my-azure-openai-endpoint.openai.azure.com",
                    "openai_deployment_name": "my-gpt-35-turbo-deployment",
                    "openai_api_version": "2023-05-15"
                }
            }
        }]
    }
)

Google Cloud Vertex AI

Yapılandırma Parametresi	Açıklama	Zorunlu	Varsayılan
private_key	Google Cloud Vertex AI Hizmeti'ne erişimi olan hizmet hesabı için özel anahtar için Azure Databricks gizli anahtar başvurusu. Bkz. Hizmet hesabı anahtarlarını yönetmek için en iyi yöntemler. API anahtarınızı doğrudan yapıştırmayı tercih ediyorsanız bkz private_key_plaintext. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: private_key veya private_key_plaintext.
private_key_plaintext	Google Cloud Köşe AI Hizmeti'ne erişimi olan hizmet hesabının özel anahtarı düz metin gizli dizisi olarak sağlanır. Bkz. Hizmet hesabı anahtarlarını yönetmek için en iyi yöntemler. Azure Databricks Gizli Dizilerini kullanarak anahtarınıza başvurmayı tercih ediyorsanız bkz private_key. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: private_key veya private_key_plaintext.
region	Burası, Google Bulut Köşesi Yapay Zeka Hizmeti'nin bölgesidir. Daha fazla ayrıntı için desteklenen bölgelere bakın. Bazı modeller yalnızca belirli bölgelerde kullanılabilir.	Yes
project_id	Bu, hizmet hesabının ilişkili olduğu Google Cloud proje kimliğidir.	Yes

Amazon Bedrock

Amazon Bedrock'ı dış model sağlayıcısı olarak kullanmak için müşterilerin belirtilen AWS bölgesinde Bedrock'un etkinleştirildiğinden ve belirtilen AWS anahtar çiftinin Bedrock hizmetleriyle etkileşime geçmek için uygun izinlere sahip olduğundan emin olması gerekir. Daha fazla bilgi için bkz . AWS Kimlik ve Erişim Yönetimi.

Yapılandırma Parametresi	Açıklama	Zorunlu	Varsayılan
aws_region	Kullanılacak AWS bölgesi. Bedrock'un orada etkinleştirilmesi gerekiyor.	Yes
aws_access_key_id	Bedrock hizmetleriyle etkileşim kurma izinlerine sahip bir AWS erişim anahtarı kimliği için Azure Databricks gizli anahtar başvurusu. API anahtarınızı doğrudan yapıştırmayı tercih ediyorsanız bkz aws_access_key_id_plaintext. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: aws_access_key_id veya aws_access_key_id_plaintext.
aws_access_key_id_plaintext	Düz metin dizesi olarak sağlanan Bedrock hizmetleriyle etkileşim kurma izinlerine sahip bir AWS erişim anahtarı kimliği. Azure Databricks Gizli Dizilerini kullanarak anahtarınıza başvurmayı tercih ediyorsanız bkz aws_access_key_id. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: aws_access_key_id veya aws_access_key_id_plaintext.
aws_secret_access_key	Bedrock hizmetleriyle etkileşim kurma izinlerine sahip erişim anahtarı kimliğiyle eşleştirilmiş bir AWS gizli anahtarı için Azure Databricks gizli anahtar başvurusu. API anahtarınızı doğrudan yapıştırmayı tercih ediyorsanız bkz aws_secret_access_key_plaintext. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: aws_secret_access_key veya aws_secret_access_key_plaintext.
aws_secret_access_key_plaintext	Düz metin dizesi olarak sağlanan Bedrock hizmetleriyle etkileşim kurma izinlerine sahip erişim anahtarı kimliğiyle eşleştirilmiş bir AWS gizli erişim anahtarı. Azure Databricks Gizli Dizilerini kullanarak anahtarınıza başvurmayı tercih ediyorsanız bkz aws_secret_access_key. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: aws_secret_access_key veya aws_secret_access_key_plaintext.
bedrock_provider	Amazon Bedrock'taki temel sağlayıcı. Desteklenen değerler (büyük/küçük harfe duyarsız) şunlardır: Antropik, Cohere, AI21Labs, Amazon	Yes

Aşağıdaki örnekte erişim anahtarlarını kullanarak Amazon Bedrock ile uç nokta oluşturma işlemleri gösterilmektedir.

client.create_endpoint(
    name="bedrock-anthropic-completions-endpoint",
    config={
        "served_entities": [
            {
                "external_model": {
                    "name": "claude-v2",
                    "provider": "amazon-bedrock",
                    "task": "llm/v1/completions",
                    "amazon_bedrock_config": {
                        "aws_region": "<YOUR_AWS_REGION>",
                        "aws_access_key_id": "{{secrets/my_amazon_bedrock_secret_scope/aws_access_key_id}}",
                        "aws_secret_access_key": "{{secrets/my_amazon_bedrock_secret_scope/aws_secret_access_key}}",
                        "bedrock_provider": "anthropic",
                    },
                }
            }
        ]
    },
)

AWS izin sorunları varsa Databricks, kimlik bilgilerini doğrudan Amazon Bedrock API'siyle doğrulamanızı önerir.

AI21 Labs

Yapılandırma Parametresi	Açıklama	Zorunlu	Varsayılan
ai21labs_api_key	AI21 Labs API anahtarı için Azure Databricks gizli anahtar başvurusu. API anahtarınızı doğrudan yapıştırmayı tercih ediyorsanız bkz ai21labs_api_key_plaintext. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: ai21labs_api_key veya ai21labs_api_key_plaintext.
ai21labs_api_key_plaintext	Düz metin dizesi olarak sağlanan bir AI21 Labs API anahtarı. Azure Databricks Gizli Dizilerini kullanarak anahtarınıza başvurmayı tercih ediyorsanız bkz ai21labs_api_key. .	Aşağıdaki alanlardan birini kullanarak bir API anahtarı sağlamanız gerekir: ai21labs_api_key veya ai21labs_api_key_plaintext.

Uç noktada AI Gateway'i yapılandırma

Uç noktanızı hız sınırlama, kullanım izleme ve korumalar gibi Mozaik AI Ağ Geçidi özelliklerini etkinleştirecek şekilde de yapılandırabilirsiniz.

Bkz . Uç noktaları sunan modelde yapay zeka ağ geçidini yapılandırma.

Dış model uç noktasını sorgulama

Bir dış model uç noktası oluşturduktan sonra, kullanıcılardan trafik almaya hazır olur.

OpenAI istemcisi, REST API veya MLflow Dağıtımları SDK'sını kullanarak uç noktaya puanlama istekleri gönderebilirsiniz.

• POST /serving-endpoints/{name}/invocations içindeki puanlama isteği için standart sorgu parametrelerine bakın.
• Sorgu oluşturma yapay zeka modelleri

Aşağıdaki örnek, OpenAI istemcisini claude-2 kullanarak Anthropic tarafından barındırılan tamamlanma modelini sorgular. OpenAI istemcisini kullanmak için, alanını sorgulamak istediğiniz modeli barındıran model sunum uç noktasının adıyla doldurun model .

Bu örnekte, anthropic-completions-endpointAntropik model sağlayıcısından dış modellere erişmek için yapılandırılmış, önceden oluşturulmuş bir uç nokta kullanılır. Dış model uç noktalarının nasıl oluşturulacağını öğrenin.

Sorgulayabileceğiniz ek modeller ve bunların sağlayıcıları için desteklenen modeller bölümüne bakın.

import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)

completion = client.completions.create(
  model="anthropic-completions-endpoint",
  prompt="what is databricks",
  temperature=1.0
)
print(completion)

Beklenen çıkış yanıtı biçimi:

{
"id": "123", # Not Required
"model": "anthropic-completions-endpoint",
"choices": [
  {
    "text": "Hello World!",
    "index": 0,
    "logprobs": null, # Not Required
    "finish_reason": "length" # Not Required
  }
],
"usage": {
  "prompt_tokens": 8,
  "total_tokens": 8
  }
}

Ek sorgu parametreleri

Sorgunuzun bir parçası olarak uç nokta sağlayıcısı tarafından desteklenen ek parametreleri geçirebilirsiniz.

Örneğin:

• logit_bias (OpenAI, Cohere tarafından desteklenir).
• top_k (Antropik, Cohere tarafından desteklenir).
• frequency_penalty (OpenAI, Cohere tarafından desteklenir).
• presence_penalty (OpenAI, Cohere tarafından desteklenir).
• stream (OpenAI, Antropik, Cohere, Amazon Bedrock for Anthropic tarafından desteklenir). Bu yalnızca sohbet ve tamamlama istekleri için kullanılabilir.

Sınırlamalar

Seçtiğiniz dış modele bağlı olarak, yapılandırmanız verilerinizin verilerinizin kaynaklandığı bölgenin dışında işlenmesine neden olabilir. Bkz. Model Sunma sınırları ve bölgeleri.

Ek kaynaklar

• Öğretici: OpenAI modellerini sorgulamak için dış model uç noktaları oluşturma.
• Sorgu oluşturan yapay zeka modelleri.