在本文中，您將瞭解如何針對針對視覺工作優化的基礎模型撰寫查詢要求，並將其傳送至您的模型服務端點。
Mosaic AI 模型服務提供統一的 API，以使用各種基礎模型來理解和分析影像，釋放強大的多模態能力。 這項功能可透過選取 Databricks 裝載的模型做為 基礎模型 API 的一部分，以及提供服務 外部模型的端點來取得。
需求
查詢範例
OpenAI 用戶端
若要使用 OpenAI 用戶端，請指定模型服務端點名稱作為 model 輸入。
from openai import OpenAI
import base64
import httpx
client = OpenAI(
api_key="dapi-your-databricks-token",
base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)
# encode image
image_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
image_data = base64.standard_b64encode(httpx.get(image_url).content).decode("utf-8")
# OpenAI request
completion = client.chat.completions.create(
model="databricks-claude-sonnet-4-5",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "what's in this image?"},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image_data}"},
},
],
}
],
)
print(completion.choices[0].message.content)
聊天完成 API 支援多個影像輸入，讓模型能夠分析每個影像，並從所有輸入合成資訊，以產生對提示的回應。
from openai import OpenAI
import base64
import httpx
client = OpenAI(
api_key="dapi-your-databricks-token",
base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)
# Encode multiple images
image1_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
image1_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")
image2_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
image2_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")
# OpenAI request
completion = client.chat.completions.create(
model="databricks-claude-sonnet-4-5",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "What are in these images? Is there any difference between them?"},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image1_data}"},
},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image2_data}"},
},
],
}
],
)
print(completion.choices[0].message.content)
SQL
使用 AI 函式 ai_query() 查詢由 Databricks 基礎模型 API 支援的基礎模型，以處理多模式輸入。
> SELECT *, ai_query(
'databricks-llama-4-maverick',
'what is this image about?', files => content)
as output FROM READ_FILES("/Volumes/main/multimodal/unstructured/image.jpeg");
支援的模型
請參閱 基礎模型類型 以取得支援的視覺模型。
輸入影像需求
| 型號 | 支援的格式 | 每個請求可包含多張圖片 | 影像大小限制 | 影像調整大小建議 | 影像質量考慮 |
|---|---|---|---|---|---|
databricks-gpt-5 |
|
每次請求最多可輸入 500 張個別圖像 | 檔案大小限制：每個請求的承載總大小上限為 10 MB | N/A |
|
databricks-gpt-5-mini |
|
每次請求最多可輸入 500 張個別圖像 | 檔案大小限制：每個請求的承載總大小上限為 10 MB | N/A |
|
databricks-gpt-5-nano |
|
每次請求最多可輸入 500 張個別圖像 | 檔案大小限制：每個請求的承載總大小上限為 10 MB | N/A |
|
databricks-gemma-3-12b |
|
API 請求最多 5 張圖像
|
檔案大小限制：每個 API 要求的所有影像總計 10 MB | N/A | N/A |
databricks-llama-4-maverick |
|
API 請求最多 5 張圖像
|
檔案大小限制：每個 API 要求的所有影像總計 10 MB | N/A | N/A |
|
|
|
|
為了獲得最佳效能，如果影像太大，請先調整其大小再上傳。
|
|
圖像到代幣的轉換
本節僅適用於基礎模型 API。 如需外部模型，請參閱提供者的檔。
基礎模型請求中的每個映像都會增加您的權杖使用量。 請參閱 定價計算機，以根據您使用的 token 和模型來估算圖片定價。
圖像理解的局限性
本節僅適用於基礎模型 API。 如需外部模型，請參閱提供者的檔。
以下是支援的 Databricks 託管基礎模型的影像識別限制：
| 型號 | 局限性 |
|---|---|
支援以下 Claude 模型：
|
以下是 Databricks 上 Claude 模型的限制：
|