Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Aprenda a enviar pedidos para agentes implementados nas Databricks Apps ou nos endpoints de Model Serving. O Databricks fornece vários métodos de consulta para atender a diferentes casos de uso e necessidades de integração.
Selecione a abordagem de consulta que melhor se adapta ao seu caso de uso:
| Método | Principais vantagens |
|---|---|
| Databricks Cliente OpenAI (Recomendado) | Integração nativa, suporte completo a recursos, recursos de streaming |
| API REST | Compatível com OpenAI, agnóstico à linguagem, funciona com ferramentas existentes |
Funções AI: ai_query |
Compatibilidade com OpenAI, consultar apenas agentes legados alojados em endpoints Model Serving |
A Databricks recomenda o Databricks OpenAI Client para novas aplicações. Escolha a API REST ao integrar com plataformas que esperam endpoints compatíveis com OpenAI.
Databricks Cliente OpenAI (Recomendado)
A Databricks recomenda que utilize o Cliente DatabricksOpenAI para consultar um agente implementado. Dependendo da API do seu agente implantado, você usará as respostas ou o cliente de conclusão de chat:
Agentes implementados nas Aplicações
Use o seguinte exemplo para agentes alojados nas aplicações Databricks seguindo a ResponsesAgent interface, que é a abordagem recomendada para construir agentes. Deve usar um token Databricks OAuth para consultar agentes alojados nas aplicações Databricks.
from databricks.sdk import WorkspaceClient
from databricks_openai import DatabricksOpenAI
input_msgs = [{"role": "user", "content": "What does Databricks do?"}]
app_name = "<agent-app-name>" # TODO: update this with your app name
# The WorkspaceClient must be configured with OAuth authentication
# See: https://docs.databricks.com/aws/en/dev-tools/auth/oauth-u2m.html
w = WorkspaceClient()
client = DatabricksOpenAI(workspace_client=w)
# Run for non-streaming responses. Calls the "invoke" method
# Include the "apps/" prefix in the model name
response = client.responses.create(model=f"apps/{app_name}", input=input_msgs)
print(response)
# Include stream=True for streaming responses. Calls the "stream" method
# Include the "apps/" prefix in the model name
streaming_response = client.responses.create(
model=f"apps/{app_name}", input=input_msgs, stream=True
)
for chunk in streaming_response:
print(chunk)
Se quiseres passar em custom_inputs, podes adicioná-los com o extra_body parâmetro:
streaming_response = client.responses.create(
model=f"apps/{app_name}",
input=input_msgs,
stream=True,
extra_body={
"custom_inputs": {"id": 5},
},
)
for chunk in streaming_response:
print(chunk)
Agentes em Serviço Modelo
Use o seguinte exemplo para agentes legados alojados no Model Serving seguindo a ResponsesAgent interface. Pode usar um token Databricks OAuth ou um Personal Access Token (PAT) para consultar agentes alojados no Model Serving.
from databricks_openai import DatabricksOpenAI
input_msgs = [{"role": "user", "content": "What does Databricks do?"}]
endpoint = "<agent-endpoint-name>" # TODO: update this with your endpoint name
client = DatabricksOpenAI()
# Run for non-streaming responses. Invokes `predict`
response = client.responses.create(model=endpoint, input=input_msgs)
print(response)
# Include stream=True for streaming responses. Invokes `predict_stream`
streaming_response = client.responses.create(model=endpoint, input=input_msgs, stream=True)
for chunk in streaming_response:
print(chunk)
Se você quiser passar custom_inputs ou databricks_options, você pode adicioná-los com o extra_body param:
streaming_response = client.responses.create(
model=endpoint,
input=input_msgs,
stream=True,
extra_body={
"custom_inputs": {"id": 5},
"databricks_options": {"return_trace": True},
},
)
for chunk in streaming_response:
print(chunk)
Use o seguinte exemplo para agentes legados no modelo que serve seguindo as interfaces ChatAgent ou ChatModel.
from databricks.sdk import WorkspaceClient
messages = [{"role": "user", "content": "What does Databricks do?"}]
endpoint = "<agent-endpoint-name>" # TODO: update this with your endpoint name
ws_client = WorkspaceClient()
client = ws_client.serving_endpoints.get_open_ai_client()
# Run for non-streaming responses. Invokes `predict`
response = client.chat.completions.create(model=endpoint, messages=messages)
print(response)
# Include stream=True for streaming responses. Invokes `predict_stream`
streaming_response = client.chat.completions.create(model=endpoint, messages=messages, stream=True)
for chunk in streaming_response:
print(chunk)
Se você quiser passar custom_inputs ou databricks_options, você pode adicioná-los com o extra_body param:
streaming_response = client.chat.completions.create(
model=endpoint,
messages=messages,
stream=True,
extra_body={
"custom_inputs": {"id": 5},
"databricks_options": {"return_trace": True},
},
)
for chunk in streaming_response:
print(chunk)
API REST
A API REST do Databricks fornece interfaces para modelos compatíveis com OpenAI. Isso permite que você use agentes Databricks para atender aplicativos que exigem interfaces OpenAI.
Esta abordagem é ideal para:
- Aplicativos independentes de idioma que usam solicitações HTTP
- Integração com plataformas de terceiros que esperam APIs compatíveis com OpenAI
- Migrando do OpenAI para o Databricks com alterações mínimas no código
Autenticar com a API REST usando um token Databricks OAuth. Consulte a Documentação de Autenticação Databricks para mais opções e informações.
Agentes implementados em aplicações
Use o seguinte exemplo para agentes alojados nas aplicações Databricks seguindo a ResponsesAgent interface, que é a abordagem recomendada para construir agentes. Deve usar um token Databricks OAuth para consultar agentes alojados nas aplicações Databricks.
curl --request POST \
--url <app-url>.databricksapps.com/responses \
--header 'Authorization: Bearer <OAuth token>' \
--header 'content-type: application/json' \
--data '{
"input": [{ "role": "user", "content": "hi" }],
"stream": true
}'
Se quiser passar em custom_inputs, pode adicioná-los ao corpo do pedido:
curl --request POST \
--url <app-url>.databricksapps.com/responses \
--header 'Authorization: Bearer <OAuth token>' \
--header 'content-type: application/json' \
--data '{
"input": [{ "role": "user", "content": "hi" }],
"stream": true,
"custom_inputs": { "id": 5 }
}'
Agentes em Serviço Modelo
Use o seguinte exemplo para agentes legados alojados no Model Serving seguindo a ResponsesAgent interface. Pode usar um token Databricks OAuth ou um Personal Access Token (PAT) para consultar agentes alojados no Model Serving. A chamada à API REST é equivalente a:
- Usando o Cliente Databricks OpenAI com
responses.create. - Enviar uma solicitação POST para o URL do ponto de extremidade específico (por exemplo:
https://<host.databricks.com>/serving-endpoints/\<model-name\>/invocations). Para mais informações, consulte a página de Serviço de Modelo do seu endpoint e a Documentação de Serviço de Modelo.
curl --request POST \
--url https://<host.databricks.com\>/serving-endpoints/responses \
--header 'Authorization: Bearer <OAuth token>' \
--header 'content-type: application/json' \
--data '{
"model": "\<model-name\>",
"input": [{ "role": "user", "content": "hi" }],
"stream": true
}'
Se quiser incluir custom_inputs ou databricks_options, pode adicioná-los ao corpo do pedido:
curl --request POST \
--url https://<host.databricks.com\>/serving-endpoints/responses \
--header 'Authorization: Bearer <OAuth token>' \
--header 'content-type: application/json' \
--data '{
"model": "\<model-name\>",
"input": [{ "role": "user", "content": "hi" }],
"stream": true,
"custom_inputs": { "id": 5 },
"databricks_options": { "return_trace": true }
}'
Use o seguinte para agentes criados com interfaces legadas ChatAgent ou ChatModel. Isto é equivalente a:
- Usando o Cliente Databricks OpenAI com
chat.completions.create. - Enviar uma solicitação POST para o URL do ponto de extremidade específico (por exemplo:
https://<host.databricks.com>/serving-endpoints/\<model-name\>/invocations). Para mais informações, consulte a página de Serviço de Modelo do seu endpoint e a Documentação de Serviço de Modelo.
curl --request POST \
--url https://<host.databricks.com\>/serving-endpoints/chat/completions \
--header 'Authorization: Bearer <OAuth token>' \
--header 'content-type: application/json' \
--data '{
"model": "\<model-name\>",
"messages": [{ "role": "user", "content": "hi" }],
"stream": true
}'
Se quiser passar em custom_inputs ou databricks_options, pode adicioná-los ao corpo da solicitação.
curl --request POST \
--url https://<host.databricks.com\>/serving-endpoints/chat/completions \
--header 'Authorization: Bearer <OAuth token>' \
--header 'content-type: application/json' \
--data '{
"model": "\<model-name\>",
"messages": [{ "role": "user", "content": "hi" }],
"stream": true,
"custom_inputs": { "id": 5 },
"databricks_options": { "return_trace": true }
}'
Funções de IA: ai_query
Podes usar ai_query para consultar um agente implementado alojado em servidor de modelos usando SQL. Consulte ai_query função para sintaxe SQL e definições de parâmetro.
SELECT ai_query(
"<model name>", question
) FROM (VALUES ('what is MLflow?'), ('how does MLflow work?')) AS t(question);