Commencer à interroger les LLM sur Databricks

Important

Cette fonctionnalité est en version bêta. Les administrateurs de compte peuvent contrôler l’accès à cette fonctionnalité à partir de la page Aperçus de la console de compte. Consultez Gérer les préversions d’Azure Databricks.

Cet article explique comment démarrer avec l’interrogation de LLM à l’aide des services de modèle dans Unity AI Gateway.

Le moyen le plus simple de commencer consiste à interroger un service de modèle fourni par le système dans system.ai. Les services de modèle fournis par le système sont disponibles pour tous les utilisateurs de compte par défaut. Vous pouvez donc commencer à envoyer des demandes sans configuration supplémentaire. Consultez Les services de modèle dans le catalogue Unity.

Vous pouvez également tester et discuter avec ces modèles à l’aide de l’ai Playground. Consultez Conversation avec les LLMs et les applications IA prototypes à l’aide d’AI Playground.

Requirements

Important

À titre de meilleure pratique de sécurité pour les scénarios de production, Databricks vous recommande d’utiliser des jetons OAuth machine à machine pour l’authentification en production.

Pour les tests et le développement, Databricks recommande d’utiliser un jeton d’accès personnel appartenant à des principaux de service et non pas à des utilisateurs de l’espace de travail. Pour créer des jetons d’accès pour des principaux de service, consultez la section Gérer les jetons pour un principal de service.

Prise en main des services de modèle

L’exemple suivant est destiné à être exécuté dans un notebook Databricks. L’exemple de code interroge un modèle hébergé par Databricks qui est servi par le service system.ai.claude-sonnet-4-5de modèle fourni par le système. Pour d’autres modèles disponibles, consultez Les services de modèle dans le catalogue Unity.

Dans cet exemple, vous utilisez le client OpenAI pour interroger le modèle en remplissant le model champ avec le nom complet du service de modèle que vous souhaitez interroger. Utilisez votre jeton d’accès personnel pour renseigner le champ DATABRICKS_TOKEN et votre instance d’espace de travail Databricks pour connecter le client OpenAI à Databricks.

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1", # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Note

Si vous rencontrez le message suivant ImportError: cannot import name 'OpenAI' from 'openai', mettez à niveau votre version de openai en utilisant !pip install -U openai. Après avoir installé le package, exécutez dbutils.library.restartPython().

Sortie attendue :


{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "system.ai.claude-sonnet-4-5",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

Étapes suivantes

  • Last updated on