Bagikan melalui

Mengkueri model eksternal dengan ai_query()

  • Artikel

Catatan

Fitur ini ada di Pratinjau Publik. Untuk mengkueri titik akhir yang melayani model eksternal, Anda harus mendaftar di pratinjau publik. Silakan isi dan kirim formulir pendaftaran Pratinjau Publik Fungsi AI.

Artikel ini menggambarkan cara menyiapkan dan mengkueri titik akhir model eksternal menggunakan fungsi ai_query()Databricks SQL bawaan . Contohnya menggunakan dukungan model eksternal di Mosaic AI Model Serving untuk mengkueri gpt-4 yang disediakan oleh OpenAI dan menyelesaikan tugas obrolan. Lihat Fungsi AI di Azure Databricks untuk detail selengkapnya tentang fungsi AI ini.

Persyaratan

  • Lihat persyaratan fungsi SQL ai_query.
  • Kunci API OpenAI.
  • Simpan kunci dalam rahasia Databricks. Dalam contoh ini Anda menyimpan kunci API dalam cakupan my-external-model dan rahasia openai.

Membuat titik akhir model eksternal

Berikut ini membuat model eksternal yang melayani titik akhir yang melayani OpenAI gpt-4 untuk tugas obrolan.

Untuk membuat token akses pribadi, lihat Autentikasi untuk otomatisasi Databricks.

import requests
import json

personal_access_token = "your-personal-access-token"
headers = {
    "Authorization": "Bearer " + personal_access_token,
}
host = "https://oregon.cloud.databricks.com/"
url = host + "api/2.0/serving-endpoints"

data = {
    "name": "my-external-openai-chat",
    "config": {
        "served_entities": [
            {
                "name": "my_entity",
                "external_model": {
                    "name": "gpt-4",
                    "provider": "openai",
                    "openai_config": {
                        "openai_api_key": "{{secrets/my-external-model/openai}}",
                    },
                    "task": "llm/v1/chat",
                },
            }
        ],
    },
}

response = requests.post(url, headers=headers, json=data)

print("Status Code", response.status_code)
print("JSON Response ", json.dumps(json.loads(response.text), indent=4))

Mengkueri model eksternal dengan ai_query()

Di editor kueri Databricks SQL, Anda bisa menulis kueri SQL untuk mengkueri model eksternal yang melayani titik akhir.

Contoh kueri:

SELECT ai_query(
    "my-external-openai-chat",
    "What is a large language model?"
  )

SELECT question, ai_query(
    "my-external-openai-chat",
    "You are a customer service agent. Answer the customer's question in 100 words: " || question
  ) AS answer
FROM
  uc_catalog.schema.customer_questions

SELECT
 sku_id,
 product_name,
 ai_query(
   "my-external-openai-chat",
   "You are a marketing expert for a winter holiday promotion targeting GenZ. Generate a promotional text in 30 words mentioning a 50% discount for product: " || product_name
 )
FROM
 uc_catalog.schema.retail_products
WHERE
 inventory > 2 * forecasted_sales

Sumber Daya Tambahan: