Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
Ebben a cikkben megtudhatja, hogyan írhat lekérdezési kéréseket a vizuális feladatokra optimalizált, a Unity AI Gateway által kiszolgált alapmodellekhez.
Tip
Genie Code (ügynöki módban) meg tudja tenni ezt Ön helyett. Próbálja ki ezt a példaüzenetet:
Query the databricks-claude-sonnet-4-5 model using the OpenAI client, sending a base64-encoded image from a URL alongside a text question, and print the response.
A Modellkiszolgáló egységes API-t biztosít a képek megértéséhez és elemzéséhez különböző alapmodellek használatával, így hatékony multimodális képességeket érhet el. Ez a funkció a Databricks által üzemeltetett modellek kiválasztásával érhető el az Alapmodell API-k részeként, valamint a külső modelleket kiszolgáló végpontok kiszolgálásával.
Requirements
- Lásd: Követelmények.
- Telepítse a megfelelő csomagot a fürtre a választott lekérdezési ügyfélbeállítás alapján.
Lekérdezési példák
Megjegyzés:
Az alábbi példák a Unity AI Gatewayen és a modellszolgáltatásokon alapulnak. Ha modellszolgáltatások helyett végpontokat kiszolgáló modellt használ, cserélje le a modellszolgáltatás nevét egy végpontnévre. A rendelkezésre álló alapmodellek, valamint azok modellszolgáltatásainak és végpontneveinek listáját a Foundation Model API-kban elérhető Databricks által üzemeltetett alapmodellek között találja.
OpenAI-ügyfél
Az OpenAI-ügyfél használatához adja meg bemenetként a model modellszolgáltatás nevét.
from openai import OpenAI
import base64
import requests
# Get the workspace API URL and token from the notebook context
API_ROOT = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiUrl().get()
API_TOKEN = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiToken().get()
client = OpenAI(
api_key=API_TOKEN,
base_url=f"{API_ROOT}/ai-gateway/mlflow/v1",
)
# Download and encode image
image_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
resp = requests.get(image_url)
resp.raise_for_status()
image_data = base64.b64encode(resp.content).decode("utf-8")
# OpenAI request
completion = client.chat.completions.create(
model="system.ai.claude-sonnet-4-5",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "what's in this image?"},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image_data}"},
},
],
}
],
)
print(completion.choices[0].message.content)
A Csevegés befejezése API több képbemenetet is támogat, így a modell elemezheti az egyes képeket, és szintetizálhatja az összes bemenet információit, így választ kaphat a kérdésre.
from openai import OpenAI
import base64
import requests
# Get the workspace API URL and token from the notebook context
API_ROOT = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiUrl().get()
API_TOKEN = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiToken().get()
client = OpenAI(
api_key=API_TOKEN,
base_url=f"{API_ROOT}/ai-gateway/mlflow/v1",
)
# Download and encode multiple images
image1_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
resp1 = requests.get(image1_url)
resp1.raise_for_status()
image1_data = base64.b64encode(resp1.content).decode("utf-8")
image2_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
resp2 = requests.get(image2_url)
resp2.raise_for_status()
image2_data = base64.b64encode(resp2.content).decode("utf-8")
# OpenAI request
completion = client.chat.completions.create(
model="system.ai.claude-sonnet-4-5",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "What are in these images? Is there any difference between them?"},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image1_data}"},
},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image2_data}"},
},
],
}
],
)
print(completion.choices[0].message.content)
SQL
Fontos
Az alábbi példa a beépített SQL-függvényt használja, ai_query. Ez a függvény nyilvános előzetes verzióban érhető el , és a definíció változhat.
Az alábbi lekérdezések lekérdezik a Databricks Foundation Model API-k által támogatott alapmodellt a multimodális bemenethez az AI-függvény ai_query()használatával.
> SELECT *, ai_query(
'system.ai.llama-4-maverick',
'what is this image about?', files => content)
as output FROM READ_FILES("/Volumes/main/multimodal/unstructured/image.jpeg");
Támogatott modellek
A támogatott látásmodellek alapmodell-típusait lásd.
Bemeneti kép követelményei
| Modell(ek) | Támogatott formátumok | Több kép kérésenként | Képméret korlátozásai | Kép átméretezési ajánlások | Képminőségi szempontok |
|---|---|---|---|---|---|
databricks-gpt-5 |
|
Kérelemenként legfeljebb 500 egyéni képbemenet | Fájlméretkorlát: Kérelemenként legfeljebb 10 MB hasznos adatméret | N/A |
|
databricks-gpt-5-mini |
|
Kérelemenként legfeljebb 500 egyéni képbemenet | Fájlméretkorlát: Kérelemenként legfeljebb 10 MB hasznos adatméret | N/A |
|
databricks-gpt-5-nano |
|
Kérelemenként legfeljebb 500 egyéni képbemenet | Fájlméretkorlát: Kérelemenként legfeljebb 10 MB hasznos adatméret | N/A |
|
databricks-gemma-3-12b |
|
API-kérésekhez legfeljebb 5 rendszerkép
|
Fájlméretkorlát: 10 MB az összes kép esetében összesen API-kérésenként | N/A | N/A |
databricks-llama-4-maverick |
|
API-kérésekhez legfeljebb 5 rendszerkép
|
Fájlméretkorlát: 10 MB az összes kép esetében összesen API-kérésenként | N/A | N/A |
|
|
|
|
Az optimális teljesítmény érdekében méretezze át a képeket feltöltés előtt, ha túl nagyok.
|
|
Kép token konvertálása
Ez a szakasz csak az alapmodell API-kra vonatkozik. Külső modellek esetén tekintse meg a szolgáltató dokumentációját.
Az alapmodellhez tartozó kéréseknél minden kép növeli a tokenhasználatot. A képek díjszabásának becsléséhez tekintse meg a díjszabási kalkulátort a tokenhasználat és az alkalmazott modell alapján.
A képértelmezés korlátai
Ez a szakasz csak az alapmodell API-kra vonatkozik. Külső modellek esetén tekintse meg a szolgáltató dokumentációját.
A támogatott Databricks által üzemeltetett alapmodellek képfelismerési korlátozásai a következők:
| Model | Korlátozások |
|---|---|
A következő Claude-modellek támogatottak:
|
A Databricks claude modelljeinek korlátai a következők:
|