Запрос модели чата

Из этой статьи вы узнаете, как создавать запросы к базовым моделям, оптимизированным для задач чата и общего назначения, и обслуживаться шлюзом искусственного интеллекта Unity.

Tip

Код Genie (режим агента) может сделать это для вас. Попробуйте следующий пример запроса:

Query the databricks-claude-sonnet-4-5 chat model using the OpenAI client. Send a system prompt and a user question, and print the response.

Примеры, приведенные в этой статье, относятся к запросам базовых моделей, доступных с помощью следующих способов:

API-интерфейсы Базовых моделей , которые называются моделями баз данных, размещенными в Databricks.
Внешние модели , которые называются базовыми моделями, размещенными за пределами Databricks.

Требования

См. раздел Требования.
Установите соответствующий пакет в кластер на основе выбранного варианта запроса клиента .

Примеры запросов

Note

Следующие примеры основаны на шлюзе ИИ Unity и службах моделей. Если вы используете конечные точки обслуживания моделей вместо служб моделей, замените имя службы модели именем конечной точки. См. Базовые модели, размещенные в Databricks и доступные в API Foundation Model, чтобы просмотреть список доступных базовых моделей, а также названия сервисов моделей и конечных точек.

В этом разделе приведены примеры того, как выполнять запросы к сервису модели Foundation Model API с оплатой за токен, используя различные варианты клиента.

Завершение чата OpenAI

Чтобы использовать клиент OpenAI, укажите имя службы модели в качестве model входных данных. В следующем примере предполагается, что у вас есть токен API Databricks и openai установлен на вычислительных ресурсах. Вам также потребуется экземпляр рабочей области Databricks для подключения клиента OpenAI к Databricks.


import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/ai-gateway/mlflow/v1"
)

response = client.chat.completions.create(
    model="system.ai.claude-sonnet-4-5",
    messages=[
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is a mixture of experts model?",
      }
    ],
    max_tokens=256
)

Например, ниже приведен ожидаемый формат запроса для модели чата при использовании REST API. Для внешних моделей можно включить дополнительные параметры, допустимые для заданного поставщика и конфигурации конечной точки. См. дополнительные параметры запроса.

{
  "messages": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_tokens": 100,
  "temperature": 0.1
}

Ниже приведен ожидаемый формат ответа для запроса, сделанного с помощью REST API:

{
  "model": "databricks-claude-sonnet-4-5",
  "choices": [
    {
      "message": {},
      "index": 0,
      "finish_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 74,
    "total_tokens": 81
  },
  "object": "chat.completion",
  "id": null,
  "created": 1698824353
}

Ответы OpenAI

Это важно

В этом разделе рассматривается OpenAI Responses API — собственный механизм сквозной передачи, который поддерживает полный набор параметров OpenAI Responses для моделей OpenAI. Чтобы использовать формат запросов Responses с Anthropic Claude, Google Gemini или открытыми моделями, размещёнными на Databricks, см. статью Выполнение запроса к модели с помощью Open Responses API.

Чтобы использовать API ответов OpenAI, укажите имя службы модели в качестве model входных данных. В следующем примере предполагается, что у вас есть маркер API Azure Databricks и openai установленный на вычислительных ресурсах. Вам также нужен экземпляр рабочей области Azure Databricks для подключения клиента OpenAI к Azure Databricks.


import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/ai-gateway/mlflow/v1"
)

response = client.responses.create(
    model="system.ai.gpt-5",
    input=[
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is a mixture of experts model?",
      }
    ],
    max_output_tokens=256
)

Например, ниже приведен ожидаемый формат запроса при использовании API ответов OpenAI. URL-адрес для этого API /serving-endpoints/responses.

{
  "model": "databricks-gpt-5",
  "input": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_output_tokens": 100,
  "temperature": 0.1
}

Ниже приведен ожидаемый формат ответа для запроса, сделанного с помощью API ответов:

{
  "id": "resp_abc123",
  "object": "response",
  "created_at": 1698824353,
  "model": "databricks-gpt-5",
  "output": [
    {
      "type": "message",
      "role": "assistant",
      "content": []
    }
  ],
  "usage": {
    "input_tokens": 7,
    "output_tokens": 74,
    "total_tokens": 81
  }
}

REST API

Это важно

В следующем примере используются параметры REST API для запроса конечных точек обслуживания, которые служат внешним моделям. Эти параметры находятся в общедоступной предварительной версии , и определение может измениться. См. POST /serving-endpoints/{name}/invocations.

curl \
-u token:$DATABRICKS_TOKEN \
-X POST \
-H "Content-Type: application/json" \
-d '{
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant."
    },
    {
      "role": "user",
      "content": " What is a mixture of experts model?"
    }
  ]
}' \
https://<workspace_host>.databricks.com/serving-endpoints/<your-external-model-endpoint>/invocations \

{
  "messages": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_tokens": 100,
  "temperature": 0.1
}

Ниже приведен ожидаемый формат ответа для запроса, сделанного с помощью REST API:

{
  "model": "databricks-claude-sonnet-4-5",
  "choices": [
    {
      "message": {},
      "index": 0,
      "finish_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 74,
    "total_tokens": 81
  },
  "object": "chat.completion",
  "id": null,
  "created": 1698824353
}

Пакет SDK для развертываний MLflow

Это важно

В следующем примере используется predict() API из пакета SDK для развертываний MLflow.


import os
import mlflow.deployments

# Only required when running this example outside of a Databricks Notebook
os.environ["DATABRICKS_HOST"] = "https://<workspace_host>.databricks.com"
os.environ["DATABRICKS_TOKEN"] = "dapi-your-databricks-token"

client = mlflow.deployments.get_deploy_client("databricks")

chat_response = client.predict(
    endpoint="system.ai.claude-sonnet-4-5",
    inputs={
        "messages": [
            {
              "role": "user",
              "content": "Hello!"
            },
            {
              "role": "assistant",
              "content": "Hello! How can I assist you today?"
            },
            {
              "role": "user",
              "content": "What is a mixture of experts model??"
            }
        ],
        "temperature": 0.1,
        "max_tokens": 20
    }
)

{
  "messages": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_tokens": 100,
  "temperature": 0.1
}

Ниже приведен ожидаемый формат ответа для запроса, сделанного с помощью REST API:

{
  "model": "databricks-claude-sonnet-4-5",
  "choices": [
    {
      "message": {},
      "index": 0,
      "finish_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 74,
    "total_tokens": 81
  },
  "object": "chat.completion",
  "id": null,
  "created": 1698824353
}

Python SDK для Databricks

Этот код должен выполняться в блокноте в вашей рабочей области. См. использование SDK Databricks для Python в записной книжке Azure Databricks.

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ChatMessage, ChatMessageRole

w = WorkspaceClient()
response = w.serving_endpoints.query(
    name="system.ai.claude-sonnet-4-5",
    messages=[
        ChatMessage(
            role=ChatMessageRole.SYSTEM, content="You are a helpful assistant."
        ),
        ChatMessage(
            role=ChatMessageRole.USER, content="What is a mixture of experts model?"
        ),
    ],
    max_tokens=128,
)
print(f"RESPONSE:\n{response.choices[0].message.content}")

{
  "messages": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_tokens": 100,
  "temperature": 0.1
}

Ниже приведен ожидаемый формат ответа для запроса, сделанного с помощью REST API:

{
  "model": "databricks-claude-sonnet-4-5",
  "choices": [
    {
      "message": {},
      "index": 0,
      "finish_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 74,
    "total_tokens": 81
  },
  "object": "chat.completion",
  "id": null,
  "created": 1698824353
}

Поддерживаемые модели

Ознакомьтесь с типами базовых моделей для поддерживаемых моделей чата.

Дополнительные ресурсы

Обратная связь

Были ли сведения на этой странице полезными?

Last updated on 2026-08-27