Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
In dit artikel leert u hoe u queryverzoeken schrijft voor basismodellen die geoptimaliseerd zijn voor visuele taken en hoe u deze naar uw modelbedienings-eindpunt verzendt.
Mozaïek AI Model Serving biedt een geïntegreerde API voor het begrijpen en analyseren van afbeeldingen met behulp van verschillende basismodellen, waardoor krachtige multimodale mogelijkheden worden ontgrendeld. Deze functionaliteit is beschikbaar via geselecteerde Door Databricks gehoste modellen als onderdeel van Foundation Model-API's en het leveren van eindpunten die externe modellen dienen.
Behoeften
- Raadpleeg Vereisten.
- Installeer het juiste pakket op uw cluster op basis van de query-clientoptie die u kiest.
Queryvoorbeelden
OpenAI-client
Als u de OpenAI-client wilt gebruiken, geeft u de eindpuntnaam van het model op als invoer model .
from openai import OpenAI
import base64
import httpx
client = OpenAI(
api_key="dapi-your-databricks-token",
base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)
# encode image
image_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
image_data = base64.standard_b64encode(httpx.get(image_url).content).decode("utf-8")
# OpenAI request
completion = client.chat.completions.create(
model="databricks-claude-sonnet-4-5",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "what's in this image?"},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image_data}"},
},
],
}
],
)
print(completion.choices[0].message.content)
De API voor chatvoltooiing ondersteunt meerdere afbeeldingsinvoer, zodat het model elke afbeelding kan analyseren en informatie van alle invoer kan synthetiseren om een antwoord op de prompt te genereren.
from openai import OpenAI
import base64
import httpx
client = OpenAI(
api_key="dapi-your-databricks-token",
base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)
# Encode multiple images
image1_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
image1_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")
image2_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
image2_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")
# OpenAI request
completion = client.chat.completions.create(
model="databricks-claude-sonnet-4-5",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "What are in these images? Is there any difference between them?"},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image1_data}"},
},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image2_data}"},
},
],
}
],
)
print(completion.choices[0].message.content)
SQL
Belangrijk
In het volgende voorbeeld wordt de ingebouwde SQL-functie ai_query gebruikt. Deze functie bevindt zich in openbare preview en de definitie kan veranderen.
De volgende query's uitvoeren op een basismodel dat wordt ondersteund door Databricks Foundation Model-API's voor multimodale invoer met behulp van de AI-functie ai_query().
> SELECT *, ai_query(
'databricks-llama-4-maverick',
'what is this image about?', files => content)
as output FROM READ_FILES("/Volumes/main/multimodal/unstructured/image.jpeg");
Ondersteunde modellen
Zie Foundation-modeltypen voor ondersteunde vision-modellen.
Vereisten voor invoerafbeeldingen
| Model(en) | Ondersteunde indelingen | Meerdere afbeeldingen per aanvraag | Beperkingen voor afbeeldingsgrootte | Aanbevelingen voor het wijzigen van het formaat van afbeeldingen | Overwegingen voor afbeeldingskwaliteit |
|---|---|---|---|---|---|
databricks-gpt-5 |
|
Maximaal 500 afzonderlijke afbeeldingsinvoer per aanvraag | Maximale bestandsgrootte: maximaal 10 MB totale nettoladinggrootte per aanvraag | N/A |
|
databricks-gpt-5-mini |
|
Maximaal 500 afzonderlijke afbeeldingsinvoer per aanvraag | Maximale bestandsgrootte: maximaal 10 MB totale nettoladinggrootte per aanvraag | N/A |
|
databricks-gpt-5-nano |
|
Maximaal 500 afzonderlijke afbeeldingsinvoer per aanvraag | Maximale bestandsgrootte: maximaal 10 MB totale nettoladinggrootte per aanvraag | N/A |
|
databricks-gemma-3-12b |
|
Maximaal 5 afbeeldingen voor API-aanvragen
|
Maximale bestandsgrootte: totaal 10 MB voor alle installatiekopieën per API-aanvraag | N/A | N/A |
databricks-llama-4-maverick |
|
Maximaal 5 afbeeldingen voor API-aanvragen
|
Maximale bestandsgrootte: totaal 10 MB voor alle installatiekopieën per API-aanvraag | N/A | N/A |
|
|
|
|
Voor optimale prestaties kunt u het formaat van afbeeldingen wijzigen voordat u ze uploadt als ze te groot zijn.
|
|
Conversie van afbeelding naar token
Deze sectie is alleen van toepassing op Foundation Model-API's. Raadpleeg de documentatie van de provider voor externe modellen.
Elke afbeelding in een aanvraag voor een basismodel voegt toe aan uw tokengebruik. Zie de prijscalculator om de prijzen van afbeeldingen te schatten op basis van het tokengebruik en model dat u gebruikt.
Beperkingen van begrip van afbeeldingen
Deze sectie is alleen van toepassing op Foundation Model-API's. Raadpleeg de documentatie van de provider voor externe modellen.
Hieronder ziet u beperkingen voor het begrijpen van afbeeldingen voor de ondersteunde databricks-gehoste basismodellen:
| Model | Beperkingen |
|---|---|
De volgende Claude-modellen worden ondersteund:
|
Hier volgen de limieten voor Claude-modellen op Databricks:
|