Začínáme s dotazováním LLM v Databricks

  • Článek

Tento článek popisuje, jak začít používat rozhraní API základního modelu pro obsluhu a dotazování LLM v Databricks.

Nejjednodušší způsob, jak začít s obsluhou a dotazováním modelů LLM v Databricks, je použití rozhraní API základních modelů na základě plateb za token . Rozhraní API poskytují přístup k oblíbeným základním modelům z koncových bodů s platbami za tokeny, které jsou automaticky dostupné v uživatelském rozhraní obsluhy pracovního prostoru Databricks. Viz Podporované modely pro platby za token.

Pomocí AI Playground můžete také testovat a chatovat s modely s platbami za tokeny. Podívejte se na chat s podporovanými LLM pomocí AI Playgroundu.

Pro produkční úlohy, zejména pokud máte jemně vyladěný model nebo úlohu, která vyžaduje záruky výkonu, doporučuje Databricks upgradovat na použití rozhraní API základního modelu na zřízeném koncovém bodu propustnosti .

Požadavky

  • Pracovní prostor Databricks v podporované oblasti pro rozhraní API modelu foundation
  • Osobní přístupový token Databricks pro dotazování a přístup k modelu Databricks obsluhující koncové body pomocí klienta OpenAI

Důležité

Jako osvědčený postup zabezpečení pro produkční scénáře doporučuje Databricks používat tokeny OAuth počítače pro ověřování během produkčního prostředí.

Pro účely testování a vývoje doporučuje Databricks místo uživatelů pracovního prostoru používat osobní přístupový token patřící instančním objektům . Pokud chcete vytvořit tokeny pro instanční objekty, přečtěte si téma Správa tokenů instančního objektu.

Začínáme používat rozhraní API základního modelu

Následující příklad se dotazuje databricks-dbrx-instruct modelu, který se obsluhuje na koncovém bodu s platbami za token.databricks-dbrx-instruct Přečtěte si další informace o modelu DBRX Instruct.

V tomto příkladu použijete klienta OpenAI k dotazování modelu vyplněním model pole názvem koncového bodu obsluhujícího model, který je hostitelem modelu, který chcete dotazovat. Pomocí osobního přístupového tokenu DATABRICKS_TOKEN naplňte instanci pracovního prostoru Databricks a připojte klienta OpenAI k Databricks.

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url='https://<workspace_id>.databricks.com/serving-endpoints', # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="databricks-dbrx-instruct",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Očekávaný výstup:


{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "databricks-dbrx-instruct",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

Další kroky