Csevegési modell lekérdezése

Ebben a cikkben megtudhatja, hogyan írhat lekérdezési kérelmeket olyan alapmodellekhez, amelyek a Unity AI Gateway által kiszolgált csevegési és általános célú feladatokhoz vannak optimalizálva.

Tip

Genie Code (ügynöki módban) meg tudja tenni ezt Ön helyett. Próbálja ki ezt a példaüzenetet:

Query the databricks-claude-sonnet-4-5 chat model using the OpenAI client. Send a system prompt and a user question, and print the response.

A cikkben szereplő példák az alapmodellek lekérdezésére vonatkoznak, amelyek a következők használatával érhetők el:

Követelmények

Lekérdezési példák

Megjegyzés:

Az alábbi példák a Unity AI Gatewayen és a modellszolgáltatásokon alapulnak. Ha modellszolgáltatások helyett végpontokat kiszolgáló modellt használ, cserélje le a modellszolgáltatás nevét egy végpontnévre. A rendelkezésre álló alapmodellek, valamint azok modellszolgáltatásainak és végpontneveinek listáját a Foundation Model API-kban elérhető Databricks által üzemeltetett alapmodellek között találja.

Az ebben a szakaszban található példák bemutatják, hogyan lehet lekérdezni egy Foundation Model API tokenalapú elszámolású modellszolgáltatását a különböző ügyféloldali beállítások használatával.

OpenAI chatbefejezések

Az OpenAI-ügyfél használatához adja meg bemenetként a model modellszolgáltatás nevét. Az alábbi példa feltételezi, hogy rendelkezik egy Databricks API-jogkivonattal, és openai telepítve van a számítógépére. Az OpenAI-ügyfelet a Databrickshez való csatlakoztatásához a Databricks-munkaterületpéldányra is szüksége van.


import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/ai-gateway/mlflow/v1"
)

response = client.chat.completions.create(
    model="system.ai.claude-sonnet-4-5",
    messages=[
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is a mixture of experts model?",
      }
    ],
    max_tokens=256
)

Példaként a következők a csevegési modell elvárt kérésformátumát jelzik a REST API használatakor. Külső modellek esetén további paramétereket is megadhat, amelyek érvényesek egy adott szolgáltatóra és végpontkonfigurációra. Lásd: További lekérdezési paraméterek.

{
  "messages": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_tokens": 100,
  "temperature": 0.1
}

A REST API használatával küldött kérések várható válaszformátuma a következő:

{
  "model": "databricks-claude-sonnet-4-5",
  "choices": [
    {
      "message": {},
      "index": 0,
      "finish_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 74,
    "total_tokens": 81
  },
  "object": "chat.completion",
  "id": null,
  "created": 1698824353
}

OpenAI-válaszok

Fontos

Ez a szakasz az OpenAI-válaszok API-t ismerteti, amely egy natív átengedés, amely támogatja az OpenAI-modellek OpenAI-válaszok paramétereinek teljes készletét. Ha Anthropic Claude, Google Gemini vagy Databricks által üzemeltetett nyitott modellekkel szeretné használni a Válaszkérés formátumot, olvassa el a Modell lekérdezése az Open Responses API-val című témakört.

Az OpenAI Responses API használatához adja meg bemenetként a model modellszolgáltatás nevét. Az alábbi példa feltételezi, hogy rendelkezik egy Azure Databricks API-jogkivonattal, és hogy openai telepítve van a számítási környezetre. Az OpenAI-ügyfél Azure Databrickshez való csatlakoztatásához az Azure Databricks-munkaterületpéldányra is szüksége van.


import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/ai-gateway/mlflow/v1"
)

response = client.responses.create(
    model="system.ai.gpt-5",
    input=[
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is a mixture of experts model?",
      }
    ],
    max_output_tokens=256
)

Az OpenAI Responses API használatakor például a következő a várt kérésformátum. Ennek az API-nak az URL-címe a következő /serving-endpoints/responses.

{
  "model": "databricks-gpt-5",
  "input": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_output_tokens": 100,
  "temperature": 0.1
}

A Válaszok API használatával küldött kérések várható válaszformátuma a következő:

{
  "id": "resp_abc123",
  "object": "response",
  "created_at": 1698824353,
  "model": "databricks-gpt-5",
  "output": [
    {
      "type": "message",
      "role": "assistant",
      "content": []
    }
  ],
  "usage": {
    "input_tokens": 7,
    "output_tokens": 74,
    "total_tokens": 81
  }
}

REST API

Fontos

Az alábbi példa REST API-paramétereket használ a külső modelleket kiszolgáló végpontok lekérdezéséhez. Ezek a paraméterek nyilvános előzetes verzióban érhetők el, és a definíció változhat. Lásd: POST /serving-endpoints/{name}/invocations.

curl \
-u token:$DATABRICKS_TOKEN \
-X POST \
-H "Content-Type: application/json" \
-d '{
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant."
    },
    {
      "role": "user",
      "content": " What is a mixture of experts model?"
    }
  ]
}' \
https://<workspace_host>.databricks.com/serving-endpoints/<your-external-model-endpoint>/invocations \

Példaként a következők a csevegési modell elvárt kérésformátumát jelzik a REST API használatakor. Külső modellek esetén további paramétereket is megadhat, amelyek érvényesek egy adott szolgáltatóra és végpontkonfigurációra. Lásd: További lekérdezési paraméterek.

{
  "messages": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_tokens": 100,
  "temperature": 0.1
}

A REST API használatával küldött kérések várható válaszformátuma a következő:

{
  "model": "databricks-claude-sonnet-4-5",
  "choices": [
    {
      "message": {},
      "index": 0,
      "finish_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 74,
    "total_tokens": 81
  },
  "object": "chat.completion",
  "id": null,
  "created": 1698824353
}

MLflow Deployments SDK

Fontos

Az alábbi példa az predict()MLflow Deployments SDK API-t használja.


import mlflow.deployments

# Only required when running this example outside of a Databricks Notebook
export DATABRICKS_HOST="https://<workspace_host>.databricks.com"
export DATABRICKS_TOKEN="dapi-your-databricks-token"

client = mlflow.deployments.get_deploy_client("databricks")

chat_response = client.predict(
    endpoint="system.ai.claude-sonnet-4-5",
    inputs={
        "messages": [
            {
              "role": "user",
              "content": "Hello!"
            },
            {
              "role": "assistant",
              "content": "Hello! How can I assist you today?"
            },
            {
              "role": "user",
              "content": "What is a mixture of experts model??"
            }
        ],
        "temperature": 0.1,
        "max_tokens": 20
    }
)

Példaként a következők a csevegési modell elvárt kérésformátumát jelzik a REST API használatakor. Külső modellek esetén további paramétereket is megadhat, amelyek érvényesek egy adott szolgáltatóra és végpontkonfigurációra. Lásd: További lekérdezési paraméterek.

{
  "messages": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_tokens": 100,
  "temperature": 0.1
}

A REST API használatával küldött kérések várható válaszformátuma a következő:

{
  "model": "databricks-claude-sonnet-4-5",
  "choices": [
    {
      "message": {},
      "index": 0,
      "finish_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 74,
    "total_tokens": 81
  },
  "object": "chat.completion",
  "id": null,
  "created": 1698824353
}

Databricks Python SDK

Ezt a kódot a munkaterületen lévő jegyzetfüzetben kell futtatni. Lásd: A Pythonhoz készült Databricks SDK használata egy Azure Databricks-jegyzetfüzetből.

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole

w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="system.ai.claude-sonnet-4-5",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(
            role=ChatMessageRole.USER, content="What is a mixture of experts model?"
        ),
    ],
    max_tokens=128,
)
print(f"RESPONSE:\n{response.choices[0].message.content}")

Példaként a következők a csevegési modell elvárt kérésformátumát jelzik a REST API használatakor. Külső modellek esetén további paramétereket is megadhat, amelyek érvényesek egy adott szolgáltatóra és végpontkonfigurációra. Lásd: További lekérdezési paraméterek.

{
  "messages": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_tokens": 100,
  "temperature": 0.1
}

A REST API használatával küldött kérések várható válaszformátuma a következő:

{
  "model": "databricks-claude-sonnet-4-5",
  "choices": [
    {
      "message": {},
      "index": 0,
      "finish_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 74,
    "total_tokens": 81
  },
  "object": "chat.completion",
  "id": null,
  "created": 1698824353
}

Támogatott modellek

A támogatott csevegőmodellek alapmodelljeinek megtekintése.

További erőforrások

  • Last updated on