ai_query() を使用して外部モデルにクエリを実行する

Note

この機能はパブリック プレビュー段階にあります。 外部モデルを提供するエンドポイントに対してクエリを実行するには、パブリック プレビューに登録する必要があります。 AI 関数パブリック プレビュー登録フォームに入力して送信してください。

この記事では、組み込みの Databricks SQL 関数 ai_query() を使用して、外部モデル エンドポイントを設定して、クエリを実行する方法について説明します。 この例では、Mosaic AI Model Serving の外部モデル サポートを使用して、OpenAI が提供する gpt-4 にクエリを実行し、チャット タスクを実行します。 この AI 関数の詳細については、「Azure Databricks の AI 関数」 を参照してください。

前提条件

• ai_query SQL 関数の要件を確認します。
• OpenAI API キー
• キーを Databricks シークレットに格納します。 この例では、API キーをスコープ my-external-modelとシークレット openai に格納します。

外部モデル エンドポイントを作成する

以下では、チャット タスク用の OpenAI gpt-4 を提供する外部モデル提供エンドポイントを作成します。

個人用アクセス トークンを作成するには、Databricks 自動化の認証に関する記事を参照してください。

import requests
import json

personal_access_token = "your-personal-access-token"
headers = {
    "Authorization": "Bearer " + personal_access_token,
}
host = "https://oregon.cloud.databricks.com/"
url = host + "api/2.0/serving-endpoints"

data = {
    "name": "my-external-openai-chat",
    "config": {
        "served_entities": [
            {
                "name": "my_entity",
                "external_model": {
                    "name": "gpt-4",
                    "provider": "openai",
                    "openai_config": {
                        "openai_api_key": "{{secrets/my-external-model/openai}}",
                    },
                    "task": "llm/v1/chat",
                },
            }
        ],
    },
}

response = requests.post(url, headers=headers, json=data)

print("Status Code", response.status_code)
print("JSON Response ", json.dumps(json.loads(response.text), indent=4))

ai_query() を使用して外部モデルにクエリを実行する

Databricks SQL クエリ エディターでは、外部モデル提供エンドポイントにクエリを実行するための SQL クエリを記述できます。

クエリの例:

SELECT ai_query(
    "my-external-openai-chat",
    "What is a large language model?"
  )

SELECT question, ai_query(
    "my-external-openai-chat",
    "You are a customer service agent. Answer the customer's question in 100 words: " || question
  ) AS answer
FROM
  uc_catalog.schema.customer_questions

SELECT
 sku_id,
 product_name,
 ai_query(
   "my-external-openai-chat",
   "You are a marketing expert for a winter holiday promotion targeting GenZ. Generate a promotional text in 30 words mentioning a 50% discount for product: " || product_name
 )
FROM
 uc_catalog.schema.retail_products
WHERE
 inventory > 2 * forecasted_sales

その他のリソース

• Azure Databricks の AI 関数。
• ai_query() を使用して、提供されたモデルにクエリを実行します。