Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
In diesem Artikel erfahren Sie, wie Sie Abfrageanforderungen für Foundation-Modelle schreiben, die für Visionsaufgaben optimiert sind, und sie an Ihren Modellbereitstellungsendpunkt senden.
Mosaik AI Model Serving bietet eine einheitliche API, um mithilfe einer Vielzahl von Foundation-Modellen Bilder zu verstehen und zu analysieren und leistungsstarke multimodale Fähigkeiten freizusetzen. Diese Funktionalität steht über ausgewählte databricks-gehostete Modelle als Teil von Foundation Model-APIs zur Verfügung und stellt Endpunkte bereit, die externe Modelle bereitstellen.
Anforderungen
- Siehe Anforderungen.
- Installieren Sie das entsprechende Paket auf Ihrem Cluster basierend auf der von Ihnen ausgewählten Option für den Abfrage-Client.
Abfragebeispiele
OpenAI-Client
Um den OpenAI-Client zu verwenden, geben Sie den Endpunktnamen der Modellbereitstellung als model-Eingabe ein.
from openai import OpenAI
import base64
import httpx
client = OpenAI(
api_key="dapi-your-databricks-token",
base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)
# encode image
image_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
image_data = base64.standard_b64encode(httpx.get(image_url).content).decode("utf-8")
# OpenAI request
completion = client.chat.completions.create(
model="databricks-claude-sonnet-4-5",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "what's in this image?"},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image_data}"},
},
],
}
],
)
print(completion.choices[0].message.content)
Die Chat-Vervollständigungs-API unterstützt mehrere Bilddaten, sodass das Modell jedes Bild analysieren und Informationen aus allen Eingaben synthetisieren kann, um eine Antwort auf die Aufforderung zu generieren.
from openai import OpenAI
import base64
import httpx
client = OpenAI(
api_key="dapi-your-databricks-token",
base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)
# Encode multiple images
image1_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
image1_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")
image2_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
image2_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")
# OpenAI request
completion = client.chat.completions.create(
model="databricks-claude-sonnet-4-5",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "What are in these images? Is there any difference between them?"},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image1_data}"},
},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image2_data}"},
},
],
}
],
)
print(completion.choices[0].message.content)
SQL
Von Bedeutung
Im folgenden Beispiel wird die integrierte SQL-Funktion ai_query verwendet. Diese Funktion befindet sich in der öffentlichen Vorschau , und die Definition kann sich ändern.
Im Folgenden wird ein Foundation-Modell, das von den Databricks Foundation Model APIs unterstützt wird, für eine multimodale Eingabe mithilfe der AI-Funktion ai_query() abgefragt.
> SELECT *, ai_query(
'databricks-llama-4-maverick',
'what is this image about?', files => content)
as output FROM READ_FILES("/Volumes/main/multimodal/unstructured/image.jpeg");
Unterstützte Modelle
Siehe Foundation-Modelltypen für unterstützte Vision-Modelle.
Eingabebildanforderungen
| Modell(n) | Unterstützte Formate | Mehrere Bilder pro Anforderung | Größenbeschränkungen für Bilder | Empfehlungen zur Größenänderung von Bildern | Überlegungen zur Bildqualität |
|---|---|---|---|---|---|
databricks-gpt-5 |
|
Bis zu 500 einzelne Bildeingaben pro Anforderung | Dateigrößenbeschränkung: Bis zu 10 MB Gesamtnutzlastgröße pro Anforderung | N/A |
|
databricks-gpt-5-mini |
|
Bis zu 500 einzelne Bildeingaben pro Anforderung | Dateigrößenbeschränkung: Bis zu 10 MB Gesamtnutzlastgröße pro Anforderung | N/A |
|
databricks-gpt-5-nano |
|
Bis zu 500 einzelne Bildeingaben pro Anforderung | Dateigrößenbeschränkung: Bis zu 10 MB Gesamtnutzlastgröße pro Anforderung | N/A |
|
databricks-gemma-3-12b |
|
Bis zu 5 Bilder für API-Anforderungen
|
Dateigrößenbeschränkung: 10 MB gesamt für alle Bilder pro API-Anforderung | N/A | N/A |
databricks-llama-4-maverick |
|
Bis zu 5 Bilder für API-Anforderungen
|
Dateigrößenbeschränkung: 10 MB gesamt für alle Bilder pro API-Anforderung | N/A | N/A |
|
|
|
|
Um eine optimale Leistung zu erzielen, ändern Sie die Größe von Bildern, bevor Sie sie hochladen, wenn sie zu groß sind.
|
|
Umwandlung von Bild in Token
Dieser Abschnitt gilt nur für Foundation Model-APIs. Informationen zu externen Modellen finden Sie in der Dokumentation des Anbieters.
Jede Bildanfrage an ein Foundation-Modell erhöht Ihre Token-Nutzung. Sehen Sie sich den Preisrechner an, um die Bildpreise basierend auf der verwendeten Tokennutzung und dem verwendeten Modell zu schätzen.
Einschränkungen des Bildverständnisses
Dieser Abschnitt gilt nur für Foundation Model-APIs. Informationen zu externen Modellen finden Sie in der Dokumentation des Anbieters.
Im Folgenden sind Bildverständnisbeschränkungen für die unterstützten Databricks-gehosteten Foundation-Modelle aufgeführt:
| Model | Einschränkungen |
|---|---|
Die folgenden Claude-Modelle werden unterstützt:
|
Nachfolgend sind die Grenzwerte für Claude-Modelle auf Databricks aufgeführt:
|