Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Neste artigo, você aprenderá a escrever solicitações de consulta para modelos de fundação otimizados para tarefas de visão e a enviá-las para o ponto de extremidade do serviço de modelos.
O Mosaic AI Model Serving fornece uma API unificada para entender e analisar imagens usando uma variedade de modelos de base, desbloqueando recursos multimodal avançados. Essa funcionalidade está disponível por meio de modelos específicos hospedados pelo Databricks, como parte das APIs do Foundation Model e dos pontos de extremidade que oferecem suporte a modelos externos.
Requisitos
- Confira os Requisitos
- Instale o pacote apropriado no cluster com base na opção de cliente de consulta escolhida.
Exemplos de consulta
Cliente OpenAI
Para usar o cliente do OpenAI, especifique o nome do ponto de extremidade de serviço do modelo como a entrada model.
from openai import OpenAI
import base64
import httpx
client = OpenAI(
api_key="dapi-your-databricks-token",
base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)
# encode image
image_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
image_data = base64.standard_b64encode(httpx.get(image_url).content).decode("utf-8")
# OpenAI request
completion = client.chat.completions.create(
model="databricks-claude-sonnet-4-5",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "what's in this image?"},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image_data}"},
},
],
}
],
)
print(completion.choices[0].message.content)
A API de Conclusões de Chat dá suporte a várias entradas de imagem, permitindo que o modelo analise cada imagem e sintetize informações de todas as entradas para gerar uma resposta ao prompt.
from openai import OpenAI
import base64
import httpx
client = OpenAI(
api_key="dapi-your-databricks-token",
base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)
# Encode multiple images
image1_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
image1_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")
image2_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
image2_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")
# OpenAI request
completion = client.chat.completions.create(
model="databricks-claude-sonnet-4-5",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "What are in these images? Is there any difference between them?"},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image1_data}"},
},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image2_data}"},
},
],
}
],
)
print(completion.choices[0].message.content)
SQL
Importante
O exemplo a seguir usa a função SQL integrada, ai_query. Essa função está na Versão Prévia Pública e a definição pode ser alterada.
As consultas a seguir utilizam um modelo de base suportado pelas APIs de Modelo de Base do Databricks para entrada multimodal usando a Função de IA ai_query().
> SELECT *, ai_query(
'databricks-llama-4-maverick',
'what is this image about?', files => content)
as output FROM READ_FILES("/Volumes/main/multimodal/unstructured/image.jpeg");
Modelos com suporte
Consulte tipos de modelo Foundation para modelos de visão suportados.
Requisitos de imagem de entrada
| Modelo(s) | Formatos com suporte | Várias imagens por solicitação | Limitações de tamanho da imagem | Recomendações de redimensionamento de imagem | Considerações sobre a qualidade da imagem |
|---|---|---|---|---|---|
databricks-gpt-5 |
|
Até 500 entradas de imagem individuais por solicitação | Limite de tamanho do arquivo: tamanho total de carga de até 10 MB por solicitação | N/A |
|
databricks-gpt-5-mini |
|
Até 500 entradas de imagem individuais por solicitação | Limite de tamanho do arquivo: tamanho total de carga de até 10 MB por solicitação | N/A |
|
databricks-gpt-5-nano |
|
Até 500 entradas de imagem individuais por solicitação | Limite de tamanho do arquivo: tamanho total de carga de até 10 MB por solicitação | N/A |
|
databricks-gemma-3-12b |
|
Até 5 imagens para solicitações de API
|
Limite de tamanho do arquivo: total de 10 MB em todas as imagens por solicitação de API | N/A | N/A |
databricks-llama-4-maverick |
|
Até 5 imagens para solicitações de API
|
Limite de tamanho do arquivo: total de 10 MB em todas as imagens por solicitação de API | N/A | N/A |
|
|
|
|
Para um desempenho ideal, redimensione as imagens antes de carregar se elas forem muito grandes.
|
|
Conversão de imagem em token
Esta seção se aplica somente às APIs do Modelo de Fundação. Para modelos externos, consulte a documentação do provedor.
Cada imagem em uma solicitação a um modelo básico contribui para o uso de tokens. Consulte a calculadora de preços para estimar o preço da imagem com base no uso do token e no modelo que você está usando.
Limitações de compreensão de imagem
Esta seção se aplica somente às APIs do Modelo de Fundação. Para modelos externos, consulte a documentação do provedor.
Veja a seguir as limitações de compreensão de imagem para os modelos de fundação hospedados pelo Databricks com suporte:
| Modelo | Limitações |
|---|---|
Há suporte para os seguintes modelos claude:
|
Veja a seguir os limites dos modelos claude no Databricks:
|