Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Dalam artikel ini, Anda akan mempelajari cara menulis permintaan kueri untuk model dasar yang dioptimalkan untuk tugas visi dan disajikan melalui Unity Gateway.
Tip
Genie Code (mode Agen) dapat melakukan ini untuk Anda. Coba perintah contoh ini:
Query the databricks-claude-sonnet-4-5 model using the OpenAI client, sending a base64-encoded image from a URL alongside a text question, and print the response.
Model Serving menyediakan API terpadu untuk memahami dan menganalisis gambar menggunakan berbagai model fondasi, membuka kemampuan multimodal yang kuat. Fungsionalitas ini tersedia melalui model yang dihosting Databricks tertentu sebagai bagian dari API Model Foundation dan melayani titik akhir yang melayani model eksternal.
Persyaratan
- Lihat Persyaratan.
- Instal paket yang sesuai ke kluster Anda berdasarkan opsi klien kueri yang Anda pilih.
Contoh kueri
Note
Contoh berikut didasarkan pada Unity Gateway dan layanan model. Jika Anda menggunakan model yang melayani titik akhir alih-alih layanan model, ganti nama layanan model dengan nama titik akhir. Lihat model fondasi yang di-hosting oleh Databricks yang tersedia di API Model Fondasi untuk daftar model fondasi yang tersedia beserta nama layanan model dan endpoint-nya.
Klien OpenAI
Untuk menggunakan klien OpenAI, tentukan nama layanan model sebagai model input.
from openai import OpenAI
import base64
import requests
# Get the workspace API URL and token from the notebook context
API_ROOT = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiUrl().get()
API_TOKEN = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiToken().get()
client = OpenAI(
api_key=API_TOKEN,
base_url=f"{API_ROOT}/ai-gateway/mlflow/v1",
)
# Download and encode image
image_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
resp = requests.get(image_url)
resp.raise_for_status()
image_data = base64.b64encode(resp.content).decode("utf-8")
# OpenAI request
completion = client.chat.completions.create(
model="system.ai.claude-sonnet-4-5",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "what's in this image?"},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image_data}"},
},
],
}
],
)
print(completion.choices[0].message.content)
API Penyelesaian Obrolan mendukung beberapa input gambar, memungkinkan model menganalisis setiap gambar dan mensintesis informasi dari semua input untuk menghasilkan respons terhadap perintah.
from openai import OpenAI
import base64
import requests
# Get the workspace API URL and token from the notebook context
API_ROOT = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiUrl().get()
API_TOKEN = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiToken().get()
client = OpenAI(
api_key=API_TOKEN,
base_url=f"{API_ROOT}/ai-gateway/mlflow/v1",
)
# Download and encode multiple images
image1_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
resp1 = requests.get(image1_url)
resp1.raise_for_status()
image1_data = base64.b64encode(resp1.content).decode("utf-8")
image2_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
resp2 = requests.get(image2_url)
resp2.raise_for_status()
image2_data = base64.b64encode(resp2.content).decode("utf-8")
# OpenAI request
completion = client.chat.completions.create(
model="system.ai.claude-sonnet-4-5",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What are in these images? Is there any difference between them?"},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image1_data}"},
},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image2_data}"},
},
],
}
],
)
print(completion.choices[0].message.content)
SQL
Penting
Contoh berikut menggunakan fungsi SQL bawaan, ai_query. Fungsi ini ada di Pratinjau Umum dan definisinya mungkin berubah.
Berikut ini mengquery model dasar yang didukung oleh Databricks Foundation Model API untuk input multimodal menggunakan Fungsi AI ai_query().
SELECT *, ai_query(
'system.ai.llama-4-maverick',
'what is this image about?', files => content)
as output FROM READ_FILES("/Volumes/main/multimodal/unstructured/image.jpeg");
Model yang didukung
Lihat Jenis model fondasi untuk model penglihatan yang didukung.
Persyaratan untuk gambar input
| Model | Format yang didukung | Beberapa gambar per permintaan | Batasan ukuran gambar | Rekomendasi mengubah ukuran gambar | Pertimbangan kualitas gambar |
|---|---|---|---|---|---|
databricks-gpt-5 |
|
Hingga 500 input gambar individual per permintaan | Batas ukuran file: Total ukuran payload hingga 10 MB per permintaan | N/A |
|
databricks-gpt-5-mini |
|
Hingga 500 input gambar individual per permintaan | Batas ukuran file: Total ukuran payload hingga 10 MB per permintaan | N/A |
|
databricks-gpt-5-nano |
|
Hingga 500 input gambar individual per permintaan | Batas ukuran file: Total ukuran payload hingga 10 MB per permintaan | N/A |
|
databricks-gemma-3-12b |
|
Hingga 5 gambar untuk permintaan API
|
Batas ukuran file: Total 10 MB di semua gambar per permintaan API | N/A | N/A |
databricks-llama-4-maverick |
|
Hingga 5 gambar untuk permintaan API
|
Batas ukuran file: Total 10 MB di semua gambar per permintaan API | N/A | N/A |
|
|
|
|
Untuk performa optimal, mengubah ukuran gambar sebelum mengunggah jika terlalu besar.
|
|
Konversi gambar ke token
Bagian ini hanya berlaku untuk API Model Foundation. Untuk model eksternal, lihat dokumentasi penyedia.
Setiap gambar dalam permintaan ke model fondasi ditambahkan ke penggunaan token Anda. Lihat kalkulator harga untuk memperkirakan harga gambar berdasarkan penggunaan token dan model yang Anda gunakan.
Batasan pemahaman gambar
Bagian ini hanya berlaku untuk API Model Foundation. Untuk model eksternal, lihat dokumentasi penyedia.
Berikut ini adalah batasan pengenalan gambar untuk model dasar yang dihosting oleh Databricks dan didukung:
| Model | Keterbatasan |
|---|---|
Model Claude berikut didukung:
|
Berikut ini adalah batasan untuk model Claude di Databricks:
|