Aan de slag met het uitvoeren van query's voor LLM's in Databricks

Important

Deze functie bevindt zich in de bètaversie. Accountbeheerders kunnen de toegang tot deze functie beheren via de pagina Previews van de accountconsole. Zie Azure Databricks previews beheren.

In dit artikel wordt beschreven hoe u query's kunt uitvoeren op LLM's met modelservices in Unity AI Gateway.

De eenvoudigste manier om aan de slag te gaan is door een query uit te voeren op een door het systeem geleverde modelservice in system.ai. Door het systeem geleverde modelservices zijn standaard beschikbaar voor alle accountgebruikers, zodat u aanvragen kunt verzenden zonder extra instellingen. Zie Modelservices in Unity Catalog.

U kunt deze modellen ook testen en chatten met behulp van de AI Playground. Bekijk chat met LLM's en prototype-AI-apps met AI Playground.

Requirements

Important

Als best practice voor beveiliging voor productiescenario's raadt Databricks u aan om OAuth-tokens voor machine-naar-machine te gebruiken voor verificatie tijdens de productie.

Voor testen en ontwikkelen raadt Databricks aan om een persoonlijk toegangstoken te gebruiken dat hoort bij service-principals in plaats van werkruimtegebruikers. Zie Tokens voor een service-principal beheren om tokens voor service-principals te maken.

Aan de slag met modelservices

Het volgende voorbeeld is bedoeld om te worden uitgevoerd in een Databricks-notebook. In het codevoorbeeld wordt een databricks-gehost model opgevraagd dat wordt geleverd door de door het systeem geleverde modelservice system.ai.claude-sonnet-4-5. Zie Modelservices in Unity Catalog voor andere beschikbare modellen.

In dit voorbeeld gebruikt u de OpenAI-client om een query uit te voeren op het model door het model veld te vullen met de volledig gekwalificeerde naam van de modelservice die u wilt opvragen. Gebruik uw persoonlijke toegangstoken om DATABRICKS_TOKEN te vullen en uw Databricks-werkruimte-exemplaar om de OpenAI-client met Databricks te verbinden.

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1", # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Note

Als u het volgende bericht ImportError: cannot import name 'OpenAI' from 'openai'tegenkomt, voert u een upgrade uit van uw openai versie met behulp van !pip install -U openai. Nadat u het pakket hebt geïnstalleerd, voert u dbutils.library.restartPython() uit.

Verwachte uitvoer:


{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "system.ai.claude-sonnet-4-5",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

Volgende stappen

  • Last updated on