Aracılığıyla paylaş

ai_query() ile dış modeli sorgulama

  • Makale

Not

Bu özellik Genel Önizlemededir. Dış modellere hizmet veren uç noktaları sorgulamak için genel önizlemeye kaydolmanız gerekir. Lütfen AI İşlevleri Genel Önizleme kayıt formunu doldurun ve gönderin.

Bu makalede, yerleşik Databricks SQL işlevini kullanarak bir dış model uç noktasının nasıl ayarlanacağı ve sorgulanacağı gösterilmektedir ai_query(). Örnek, OpenAI tarafından sağlanan sorguyu sorgulamak gpt-4 ve sohbet görevlerini gerçekleştirmek için Databricks Model Sunma'daki dış model desteğini kullanır. Bu yapay zeka işlevi hakkında daha fazla ayrıntı için bkz . Azure Databricks'te Yapay Zeka İşlevleri .

Önkoşullar

  • ai_query SQL işlevinin gereksinimlerine bakın.
  • OpenAI API anahtarı
  • Anahtarı databricks gizli dizisinde depolayın. Bu örnekte API anahtarını kapsammy-external-model ve gizliopenai dizi olarak depolaacaksınız.

Dış model uç noktası oluşturma

Aşağıda, bir sohbet görevi için OpenAI'ye gpt-4 hizmet veren bir dış model sunma uç noktası oluşturulur.

Kişisel erişim belirteci oluşturmak için bkz . Databricks otomasyonu için kimlik doğrulaması.

import requests
import json

personal_access_token = "your-personal-access-token"
headers = {
    "Authorization": "Bearer " + personal_access_token,
}
host = "https://oregon.cloud.databricks.com/"
url = host + "api/2.0/serving-endpoints"

data = {
    "name": "my-external-openai-chat",
    "config": {
        "served_entities": [
            {
                "name": "my_entity",
                "external_model": {
                    "name": "gpt-4",
                    "provider": "openai",
                    "openai_config": {
                        "openai_api_key": "{{secrets/my-external-model/openai}}",
                    },
                    "task": "llm/v1/chat",
                },
            }
        ],
    },
}

response = requests.post(url, headers=headers, json=data)

print("Status Code", response.status_code)
print("JSON Response ", json.dumps(json.loads(response.text), indent=4))

dış modeli ai_query() ile sorgulama

Databricks SQL sorgu düzenleyicisinde, dış model sunum uç noktasını sorgulamak için SQL sorguları yazabilirsiniz.

Örnek sorgular:

SELECT ai_query(
    "my-external-openai-chat",
    "What is a large language model?"
  )

SELECT question, ai_query(
    "my-external-openai-chat",
    "You are a customer service agent. Answer the customer's question in 100 words: " || question
  ) AS answer
FROM
  uc_catalog.schema.customer_questions

SELECT
 sku_id,
 product_name,
 ai_query(
   "my-external-openai-chat",
   "You are a marketing expert for a winter holiday promotion targeting GenZ. Generate a promotional text in 30 words mentioning a 50% discount for product: " || product_name
 )
FROM
 uc_catalog.schema.retail_products
WHERE
 inventory > 2 * forecasted_sales

Ek kaynaklar