Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Dans cet article, vous allez apprendre à écrire des demandes de requête pour les modèles de base optimisés pour les tâches de vision et à les envoyer à votre point de terminaison de service de modèle.
Mosaïque AI Model Service fournit une API unifiée pour comprendre et analyser des images à l’aide de différents modèles de base, déverrouillant de puissantes fonctionnalités modales. Cette fonctionnalité est disponible par le biais de modèles hébergés par Databricks dans le cadre des API Foundation Model et du service de points de terminaison qui servent des modèles externes.
Spécifications
- Consultez Spécifications.
- Installez le package approprié sur votre cluster en fonction de l’option client d’interrogation que vous choisissez.
Exemples de requêtes
Client OpenAI
Pour utiliser le client OpenAI, spécifiez le nom du point de terminaison de service du modèle en tant qu'entrée model.
from openai import OpenAI
import base64
import httpx
client = OpenAI(
api_key="dapi-your-databricks-token",
base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)
# encode image
image_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
image_data = base64.standard_b64encode(httpx.get(image_url).content).decode("utf-8")
# OpenAI request
completion = client.chat.completions.create(
model="databricks-claude-sonnet-4-5",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "what's in this image?"},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image_data}"},
},
],
}
],
)
print(completion.choices[0].message.content)
L’API Chat Completions prend en charge plusieurs entrées d’image, ce qui permet au modèle d’analyser chaque image et de synthétiser les informations de toutes les entrées pour générer une réponse à l’invite.
from openai import OpenAI
import base64
import httpx
client = OpenAI(
api_key="dapi-your-databricks-token",
base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)
# Encode multiple images
image1_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
image1_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")
image2_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
image2_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")
# OpenAI request
completion = client.chat.completions.create(
model="databricks-claude-sonnet-4-5",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "What are in these images? Is there any difference between them?"},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image1_data}"},
},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image2_data}"},
},
],
}
],
)
print(completion.choices[0].message.content)
SQL
Important
L’exemple suivant utilise la fonction SQL intégrée, ai_query. Cette fonction est disponible en préversion publique et la définition peut changer.
Les requêtes suivantes interrogent un modèle fondation pris en charge par les API Databricks Foundation Model pour l'entrée multimodale à l'aide de la fonction IA ai_query().
> SELECT *, ai_query(
'databricks-llama-4-maverick',
'what is this image about?', files => content)
as output FROM READ_FILES("/Volumes/main/multimodal/unstructured/image.jpeg");
Modèles pris en charge
Consultez les types de modèles Foundation pour connaître les modèles de vision pris en charge.
Configuration requise pour l’image d’entrée
| Modèle(s) | Formats pris en charge | Plusieurs images par requête | Limitations de taille d’image | Recommandations de redimensionnement d’image | Considérations relatives à la qualité de l’image |
|---|---|---|---|---|---|
databricks-gpt-5 |
|
Jusqu’à 500 entrées d’image individuelles par requête | Limite de taille de fichier : jusqu’à 10 Mo de taille de charge utile totale par requête | N/A |
|
databricks-gpt-5-mini |
|
Jusqu’à 500 entrées d’image individuelles par requête | Limite de taille de fichier : jusqu’à 10 Mo de taille de charge utile totale par requête | N/A |
|
databricks-gpt-5-nano |
|
Jusqu’à 500 entrées d’image individuelles par requête | Limite de taille de fichier : jusqu’à 10 Mo de taille de charge utile totale par requête | N/A |
|
databricks-gemma-3-12b |
|
Jusqu’à 5 images pour les demandes d’API
|
Limite de taille de fichier : total de 10 Mo sur toutes les images par requête d’API | N/A | N/A |
databricks-llama-4-maverick |
|
Jusqu’à 5 images pour les demandes d’API
|
Limite de taille de fichier : total de 10 Mo sur toutes les images par requête d’API | N/A | N/A |
|
|
|
|
Pour des performances optimales, redimensionnez les images avant de les charger si elles sont trop volumineuses.
|
|
Conversion d’image en jeton
Cette section s’applique uniquement aux API Foundation Model. Pour les modèles externes, reportez-vous à la documentation du fournisseur.
Chaque image dans une requête adressée à un modèle fondamental augmente votre utilisation de jetons. Consultez la calculatrice de prix pour estimer la tarification des images en fonction de l’utilisation du jeton et du modèle que vous utilisez.
Limitations de la compréhension des images
Cette section s’applique uniquement aux API Foundation Model. Pour les modèles externes, reportez-vous à la documentation du fournisseur.
Voici les limitations de la compréhension d'images pour les modèles fondamentaux hébergés par Databricks et pris en charge :
| Model | Limites |
|---|---|
Les modèles Claude suivants sont pris en charge :
|
Voici les limites des modèles Claude sur Databricks :
|