Condividi tramite

Eseguire query su un modello esterno con ai_query()

  • Articolo

Nota

Questa funzionalità è disponibile in anteprima pubblica. Per eseguire query sugli endpoint che servono modelli esterni, è necessario eseguire la registrazione nell'anteprima pubblica. Compilare e inviare il modulo di registrazione anteprima pubblica di Funzioni di intelligenza artificiale.

Questo articolo illustra come configurare ed eseguire query su un endpoint del modello esterno usando la funzione ai_query()SQL predefinita di Databricks . L'esempio usa il supporto del modello esterno in Mosaic AI Model Serving per eseguire query gpt-4 fornite da OpenAI ed eseguire attività di chat. Per altre informazioni su questa funzione di intelligenza artificiale, vedere Funzioni di intelligenza artificiale in Azure Databricks .

Requisiti

  • Vedere i requisiti di ai_query funzione SQL.
  • Una chiave API OpenAI.
  • Archiviare la chiave in un segreto databricks. In questo esempio si archivia la chiave API nell'ambito my-external-model e nel segreto openai.

Creare un endpoint del modello esterno

Di seguito viene creato un modello esterno che gestisce l'endpoint che serve OpenAI gpt-4 per un'attività di chat.

Per creare un token di accesso personale, vedere Autenticazione per l'automazione di Databricks.

import requests
import json

personal_access_token = "your-personal-access-token"
headers = {
    "Authorization": "Bearer " + personal_access_token,
}
host = "https://oregon.cloud.databricks.com/"
url = host + "api/2.0/serving-endpoints"

data = {
    "name": "my-external-openai-chat",
    "config": {
        "served_entities": [
            {
                "name": "my_entity",
                "external_model": {
                    "name": "gpt-4",
                    "provider": "openai",
                    "openai_config": {
                        "openai_api_key": "{{secrets/my-external-model/openai}}",
                    },
                    "task": "llm/v1/chat",
                },
            }
        ],
    },
}

response = requests.post(url, headers=headers, json=data)

print("Status Code", response.status_code)
print("JSON Response ", json.dumps(json.loads(response.text), indent=4))

Eseguire query sul modello esterno con ai_query()

Nell'editor di query SQL di Databricks è possibile scrivere query SQL per eseguire query sull'endpoint di gestione del modello esterno.

Query di esempio:

SELECT ai_query(
    "my-external-openai-chat",
    "What is a large language model?"
  )

SELECT question, ai_query(
    "my-external-openai-chat",
    "You are a customer service agent. Answer the customer's question in 100 words: " || question
  ) AS answer
FROM
  uc_catalog.schema.customer_questions

SELECT
 sku_id,
 product_name,
 ai_query(
   "my-external-openai-chat",
   "You are a marketing expert for a winter holiday promotion targeting GenZ. Generate a promotional text in 30 words mentioning a 50% discount for product: " || product_name
 )
FROM
 uc_catalog.schema.retail_products
WHERE
 inventory > 2 * forecasted_sales

Risorse aggiuntive