開始在 Databricks 上查詢 LLM

本文說明如何使用基礎模型 API 在 Databricks 上提供服務和查詢 LLM。

在 Databricks 上開始使用服務及查詢 LLM 模型最簡單的方式，就是以按令牌付費的方式使用基礎模型 API。 API 可讓您從 Databricks 工作區的服務 UI 中自動提供的每一令牌付費端點存取熱門基礎模型。 請參閱 支援的每個令牌付費模型。

您也可以使用 AI 遊樂場來測試每個令牌付費模型並聊天。 請參閱 使用 AI 遊樂場與支援的 LLM 聊天。

針對生產工作負載，特別是如果您有微調的模型或需要效能保證的 工作負載，Databricks 建議您升級為在布建的輸送量 端點上使用基礎模型 API。

需求

• 基礎模型 API 按令牌付費支援區域中的 Databricks 工作區。
• Databricks 個人存取令牌，以使用 OpenAI 用戶端查詢及存取服務端點的 Databricks 模型。

重要

Databricks 是生產案例的安全性最佳做法，建議您在生產期間使用 機器對機器 OAuth 令牌 進行驗證。

為了測試和開發，Databricks 建議使用屬於 服務主體 的個人存取令牌，而不是工作區使用者。 若要建立服務主體的令牌，請參閱 管理服務主體的令牌。

開始使用基礎模型 API

下列範例會查詢 databricks-dbrx-instruct 在每一令牌端點databricks-dbrx-instruct上提供服務的模型。 深入瞭解 DBRX 指示模型。

在此範例中，您可以使用 OpenAI 用戶端來查詢模型，方法是填 model 入包含您要查詢之模型之模型服務端點名稱的欄位。 使用您的個人存取令牌填入 DATABRICKS_TOKEN 和 Databricks 工作區實例 ，將 OpenAI 用戶端連線到 Databricks。

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url='https://<workspace_id>.databricks.com/serving-endpoints', # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="databricks-dbrx-instruct",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

預期輸出：

{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "databricks-dbrx-instruct",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

下一步

• 使用 AI 遊樂場在熟悉的聊天介面中試用不同的模型。
• 查詢基礎模型。
• 使用 外部模型存取裝載於 Databricks 外部的模型。
• 瞭解如何使用布建的輸送量端點來部署微調的模型。
• 探索監視模型品質和端點健康情況的方法。