Aracılığıyla paylaş

Databricks'te LLM'leri sorgulamaya başlama

  • Makale

Bu makalede, Databricks'te LLM'lere hizmet vermek ve bunları sorgulamak için Temel Model API'lerini kullanmaya nasıl başlayacağınız açıklanmaktadır.

Databricks'te LLM modellerini sunma ve sorgulamaya başlamanın en kolay yolu, Temel Model API'lerini belirteç başına ödeme temelinde kullanmaktır. API'ler, Databricks çalışma alanınızın Sunma kullanıcı arabiriminde otomatik olarak kullanılabilen belirteç başına ödeme uç noktalarındaki popüler temel modellere erişim sağlar. Bkz . Belirteç başına ödeme için desteklenen modeller.

Ayrıca AI Playground'ı kullanarak belirteç başına ödeme modellerini test edebilir ve sohbet edebilirsiniz. Bkz . AI Playground kullanarak LLM'lerle sohbet edin ve GenAI uygulamalarının prototiplerini oluşturun.

Databricks, özellikle de hassas ayarlanmış modele sahip olan veya performans garantisi gerektiren üretim iş yükleri için sağlanan aktarım hızı uç noktasında Temel Model API'lerinin kullanılmasını önerir.

Gereksinimler

Önemli

Databricks, üretim senaryoları için en iyi güvenlik uygulaması olarak üretim sırasında kimlik doğrulaması için makineden makineye OAuth belirteçleri kullanmanızı önerir.

Databricks, test ve geliştirme için çalışma alanı kullanıcıları yerine hizmet sorumlularına ait bir kişisel erişim belirteci kullanılmasını önerir. Hizmet sorumlularına yönelik belirteçler oluşturmak için bkz . Hizmet sorumlusu için belirteçleri yönetme.

Temel Model API'lerini kullanmaya başlama

Aşağıdaki örnek bir Databricks not defterinde çalıştırılacaktır. Kod örneği Meta Llama 3.1 405B Instruct modelini sorgular ve bu model belirteç başına ödeme uç noktasında databricks-meta-llama-3-1-405b-instructsunulur.

Bu örnekte, openAI istemcisini kullanarak alanı sorgulamak istediğiniz modeli barındıran modeli sunan uç noktanın adıyla doldurarak model modeli sorgularsınız. OpenAI istemcisini Databricks'e bağlamak için ve Databricks çalışma alanı örneğinizi doldurmak DATABRICKS_TOKEN için kişisel erişim belirtecinizi kullanın.

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url='https://<workspace_id>.databricks.com/serving-endpoints', # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="databricks-meta-llama-3-1-405b-instruct",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Not

Aşağıdaki iletiyle ImportError: cannot import name 'OpenAI' from 'openai'karşılaşırsanız, kullanarak !pip install -U openaisürümünüzü yükseltinopenai. Paketi yükledikten sonra komutunu çalıştırın dbutils.library.restartPython().

Beklenen çıktı:


{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "databricks-meta-llama-3-1-405b-instruct",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

Sonraki adımlar