Erste Schritte beim Abfragen von LLMs in Databricks

Important

Dieses Feature befindet sich in der Betaversion. Kontoadministratoren können den Zugriff auf dieses Feature über die Seite " Vorschau" der Kontokonsole steuern. Siehe Manage Azure Databricks Previews.

In diesem Artikel wird beschrieben, wie Sie mit der Abfrage von LLMs mit Modelldiensten in Unity AI Gateway beginnen.

Am einfachsten können Sie loslegen, indem Sie einen vom System bereitgestellten Modelldienst abfragen.system.ai Vom System bereitgestellte Modelldienste sind standardmäßig für alle Kontobenutzer verfügbar, sodass Sie mit dem Senden von Anforderungen ohne zusätzliche Einrichtung beginnen können. Siehe Modelldienste im Unity-Katalog.

Sie können diese Modelle auch mit dem AI Playground testen und chatten. Siehe Chatten mit LLMs und prototypischen generativen KI-Apps mit KI-Playground.

Requirements

Important

Als bewährte Sicherheitsmethode für Produktionsszenarien empfiehlt Databricks, Computer-zu-Computer-OAuth-Token für die Authentifizierung während der Produktion zu verwenden.

Für die Test- und Entwicklungsphase empfiehlt Databricks die Verwendung eines persönlichen Zugriffstokens, das Dienstprinzipalen anstelle von Arbeitsbereichsbenutzern gehört. Informationen zum Erstellen von Token für Dienstprinzipale finden Sie unter Verwalten von Token für einen Dienstprinzipal.

Erste Schritte mit Modelldiensten

Das folgende Beispiel soll in einem Databricks-Notebook ausgeführt werden. Das Codebeispiel fragt ein auf Databricks gehostetes Modell ab, das über den vom System bereitgestellten Modelldienst system.ai.claude-sonnet-4-5 bereitgestellt wird. Weitere verfügbare Modelle finden Sie unter Modelldienste im Unity-Katalog.

In diesem Beispiel verwenden Sie den OpenAI-Client, um das Modell abzufragen, indem Sie das model Feld mit dem vollqualifizierten Namen des Modelldiensts auffüllen, den Sie abfragen möchten. Verwenden Sie Ihr persönliches Zugriffstoken, um DATABRICKS_TOKEN und die Databricks-Arbeitsbereichsinstanz zu befüllen, um den OpenAI-Client mit Databricks zu verbinden.

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1", # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Note

Wenn die folgende Meldung auftritt ImportError: cannot import name 'OpenAI' from 'openai' aktualisieren Sie Ihre openai-Version mithilfe von !pip install -U openai. Führen Sie nach der Installation des Pakets dbutils.library.restartPython() aus.

Erwartete Ausgabe:


{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "system.ai.claude-sonnet-4-5",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

Nächste Schritte

  • Last updated on