Sdílet prostřednictvím

Dotazování externího modelu pomocí ai_query()

  • Článek

Poznámka:

Tato funkce je ve verzi Public Preview. Pokud chcete dotazovat koncové body, které obsluhují externí modely, musíte se zaregistrovat ve verzi Public Preview. Vyplňte prosím registrační formulář AI Functions Ve verzi Public Preview a odešlete ho.

Tento článek ukazuje, jak nastavit a dotazovat koncový bod externího modelu pomocí integrované funkce ai_query()Databricks SQL . V příkladu se k dotazování gpt-4 poskytované openAI a provádění chatových úloh používá podpora externího modelu v aplikaci Mosaic AI Model Serving. Další podrobnosti o této funkci AI najdete v tématu Funkce AI v Azure Databricks .

Požadavky

  • Podívejte se na požadavky ai_query funkce SQL.
  • Klíč rozhraní API OpenAI.
  • Uložte klíč do tajného kódu Databricks. V tomto příkladu uložíte klíč rozhraní API v oboru my-external-model a tajném kódu openai.

Vytvoření koncového bodu externího modelu

Následující příklad vytvoří externí model obsluhující koncový bod, který slouží OpenAI gpt-4 pro úlohu chatu.

Pokud chcete vytvořit osobní přístupový token, přečtěte si téma Ověřování pro automatizaci Databricks.

import requests
import json

personal_access_token = "your-personal-access-token"
headers = {
    "Authorization": "Bearer " + personal_access_token,
}
host = "https://oregon.cloud.databricks.com/"
url = host + "api/2.0/serving-endpoints"

data = {
    "name": "my-external-openai-chat",
    "config": {
        "served_entities": [
            {
                "name": "my_entity",
                "external_model": {
                    "name": "gpt-4",
                    "provider": "openai",
                    "openai_config": {
                        "openai_api_key": "{{secrets/my-external-model/openai}}",
                    },
                    "task": "llm/v1/chat",
                },
            }
        ],
    },
}

response = requests.post(url, headers=headers, json=data)

print("Status Code", response.status_code)
print("JSON Response ", json.dumps(json.loads(response.text), indent=4))

Dotazování externího modelu pomocí ai_query()

V editoru dotazů SQL Databricks můžete napsat dotazy SQL pro dotazování externího modelu obsluhující koncový bod.

Příklady dotazů:

SELECT ai_query(
    "my-external-openai-chat",
    "What is a large language model?"
  )

SELECT question, ai_query(
    "my-external-openai-chat",
    "You are a customer service agent. Answer the customer's question in 100 words: " || question
  ) AS answer
FROM
  uc_catalog.schema.customer_questions

SELECT
 sku_id,
 product_name,
 ai_query(
   "my-external-openai-chat",
   "You are a marketing expert for a winter holiday promotion targeting GenZ. Generate a promotional text in 30 words mentioning a 50% discount for product: " || product_name
 )
FROM
 uc_catalog.schema.retail_products
WHERE
 inventory > 2 * forecasted_sales

Další materiály