Temel modelleri kullanın

Bu makalede, temel modeller için sorgu istekleri yazmak için hangi seçeneklerin kullanılabilir olduğunu ve bunları model sunum uç noktanıza nasıl göndereceğinizi öğreneceksiniz. Databricks tarafından barındırılan temel modelleri ve Databricks dışında barındırılan temel modelleri sorgulayabilirsiniz.

Tavsiye

Başlıyorsanız ve bir LLM çağırmak istiyorsanız, Unity AI Gateway'de model API'lerini (model hizmetleri) kullanın. Model servisleri, Azure Databricks tarafından yerel olarak hizmet verilen temel modellere tek bir arayüz üzerinden yönetimli erişim sağlar, hizmet veren uç nokta yapılandırmadan. LLM'leri sorgulamaya başlamak için, Databricks'te LLM'leri sorgulamaya başla sayfasına bakınız. Aşağıdaki serving-endpoint sorgu seçeneklerini kendiniz barındırdığınız uç noktalara istek gönderirken kullanın.

Geleneksel ML veya Python modelleri sorgu istekleri için bkz. Özel modeller için uç noktaları sunan sorgu.

Model Sunma , temel modellere erişmek için Temel Modeller API'lerini ve dış modelleri destekler. Model Sunma, bunları sorgulamak için birleşik bir OpenAI uyumlu API ve SDK kullanır. Bu, desteklenen bulutlarda ve sağlayıcılarda üretim için temel modellerle denemeler yapıp özelleştirmeyi mümkün kılar.

Uyarı

Temel modellere yapılan talepler, hem Databricks barındıran hem de harici olarak, maliyet ve erişimi kontrol etmek için hız sınırları, bütçeler ve koruma korkuları uygulamanıza olanak tanıyan Unity AI Gateway üzerinden yönlendirilir.

Sorgu seçenekleri

Model Sunma, temel modellere hizmet veren uç noktalara sorgu istekleri göndermek için aşağıdaki seçenekleri sağlar:

Yöntem Ayrıntılar
OpenAI istemcisi OpenAI istemcisini kullanarak Model Sunma uç noktası tarafından barındırılan bir modeli sorgulama. Giriş olarak model uç nokta adını sunan modeli belirtin. Sohbet, gömmeler ve tamamlama modelleri için Foundation Model API'ları veya harici modeller tarafından sağlanmaktadır.
AI İşlevleri SQL işlevini kullanarak model çıkarımını doğrudan SQL'den çağırın ai_query . Bkz . Örnek: Temel modeli sorgulama.
Kullanıcı Arayüzü Sunma Sunum uç noktası sayfasından Sorgu uç noktası'nı seçin. JSON biçim modeli giriş verilerini ekleyin ve İstek Gönder'e tıklayın. Modelin günlüğe kaydedilmiş bir giriş örneği varsa, yüklemek için Örneği Göster'i kullanın.
REST API REST API kullanarak modeli çağırın ve sorgulayın. Ayrıntılar için post /serving-endpoints/{name}/invocations bölümüne bakın. Birden çok model sunan uç noktalara yönelik istekleri puanlama için bkz. Bir uç noktanın arkasındaki tek tek modelleri sorgulama.
MLflow Dağıtımları SDK'sı Modeli sorgulamak için MLflow Dağıtımları SDK'sının predict() işlevini kullanın.
Databricks Python SDK'sı Databricks Python SDK'sı, REST API'nin üzerindeki bir katmandır. Kimlik doğrulaması gibi alt düzey ayrıntıları işler ve modellerle etkileşim kurmayı kolaylaştırır.

Gereksinimler

Önemli

Databricks, üretim senaryoları için en iyi güvenlik uygulaması olarak üretim sırasında kimlik doğrulaması için makineden makineye OAuth belirteçleri kullanmanızı önerir.

Databricks, test ve geliştirme için çalışma alanı kullanıcıları yerine hizmet sorumlularına ait bir kişisel erişim belirteci kullanılmasını önerir. Hizmet sorumlularına yönelik belirteçler oluşturmak için bkz. Hizmet sorumlusu için belirteçleri yönetme.

Paketleri yükleme

Bir sorgulama yöntemi seçtikten sonra, önce kümenize uygun paketi yüklemeniz gerekir.

OpenAI istemcisi

OpenAI istemcisini kullanmak için paketin databricks-openai kümenize yüklenmesi gerekir. Bu paket, yapay zeka modellerini sorgulamak için otomatik olarak yapılandırılmış yetkilendirmeye sahip bir OpenAI istemcisi sağlar. Not defterinizde veya yerel terminalinizde aşağıdakileri çalıştırın:

pip install -U databricks-openai

Aşağıdakiler yalnızca paketi databricks not defterine yüklerken gereklidir

dbutils.library.restartPython()

REST API

Sunum REST API'sine erişim, Machine Learning için Databricks Runtime'da kullanılabilir.

MLflow Dağıtımları SDK'sı

!pip install mlflow

Aşağıdakiler yalnızca paketi databricks not defterine yüklerken gereklidir

dbutils.library.restartPython()

Databricks Python SDK'sı

Python için Databricks SDK'sı, Databricks Runtime 13.3 LTS veya üzerini kullanan tüm Azure Databricks kümelerine zaten yüklenmiştir. Databricks Runtime 12.2 LTS ve altı kullanan Azure Databricks kümeleri için önce Python için Databricks SDK'sını yüklemeniz gerekir. Bkz. Python için Databricks SDK'sı.

Temel model türleri

Aşağıdaki tabloda, görev türüne göre desteklenen temel modeller özetlenmektedir.

Görev türü Açıklama Desteklenen modeller Ne zaman kullanılır? Önerilen kullanım örnekleri
Genel amaçlı Doğal, çok aşamalı konuşmaları anlamak ve etkileşim kurmak için tasarlanmış modeller. Bunlar, bağlamsal olarak ilgili yanıtlar oluşturmalarını, konuşma geçmişini izlemelerini ve çeşitli konularda tutarlı, insan benzeri etkileşimler sağlamalarını sağlayan büyük insan diyaloğu veri kümeleri üzerinde ince ayarlıdır. Aşağıdaki Databricks tarafından barındırılan temel modeller desteklenmektedir:

Desteklenen dış modeller şunlardır:
  • OpenAI GPT ve O serisi modelleri
  • Antropik Claude modelleri
  • Google Gemini modelleri
 Doğal, çok yönlü diyalog ve bağlamsal anlamanın gerekli olduğu senaryolar için önerilir:
  • Sanal asistanlar
  • Müşteri destek botları
  • Etkileşimli özel ders sistemleri.
Eklemeler Ekleme modelleri metin, görüntü veya ses gibi karmaşık verileri ekleme olarak adlandırılan küçük sayısal vektörlere dönüştüren makine öğrenmesi sistemleridir. Bu vektörler verilerdeki temel özellikleri ve ilişkileri yakalayarak verimli karşılaştırma, kümeleme ve anlamsal arama sağlar. Databricks tarafından barındırılan desteklenen temel modeller şunlardır:

Desteklenen dış modeller şunlardır:
  • OpenAI metin ekleme modelleri
  • Metin ekleme modellerini uyumlu yapma
  • Google metin ekleme modelleri
 Anlamsal anlama, benzerlik karşılaştırması ve karmaşık verilerin verimli bir şekilde alınması veya kümelenmesi gereken uygulamalar için önerilir:
  • Anlamsal arama
  • Bilgi erişim destekli üretim (RAG)
  • Konu kümeleme
  • Yaklaşım analizi ve metin analizi
Vizyon Makinelerin görsel dünyayı "görebilmesi" ve anlaması için görüntüler ve videolar gibi görsel verileri işlemek, yorumlamak ve analiz etmek için tasarlanmış modeller. Aşağıdaki Databricks tarafından barındırılan temel modeller desteklenmektedir:

Desteklenen dış modeller şunlardır:
  • OpenAI GPT ve o serisi modeller görüş yetenekleriyle
  • Görüntü özelliklerine sahip Antropik Claude modelleri
  • Görüntü işleme özelliklerine sahip Google Gemini modelleri
  • OpenAI API uyumlu görme özelliklerine sahip diğer dış temel modelleri de desteklenir.
 Görsel bilgilerin otomatik, doğru ve ölçeklenebilir analizi gerektiğinde önerilir:
  • Nesne algılama ve tanıma
  • Görüntü sınıflandırması
  • Görüntü segmentasyonu
  • Belgeyi anlama
Muhakeme İnsan benzeri mantıksal düşünceyi simüle etmek için tasarlanmış gelişmiş yapay zeka sistemleri. Mantık modelleri, bağlamı analiz etmek, görevleri bölmek ve karar almalarını açıklamak için sembolik mantık, olasılıksal mantık ve sinir ağları gibi teknikleri tümleştirir. Databricks tarafından barındırılan desteklenen temel modeller şunlardır:

Desteklenen dış modeller şunlardır:
  • Açıklayıcı yeteneklere sahip OpenAI modelleri
  • Antropik Claude modelleri akıl yürütme yeteneklerine sahip
  • Düşünme yeteneklerine sahip Google Gemini modelleri
 Görsel bilgilerin otomatik, doğru ve ölçeklenebilir analizi gerektiğinde önerilir:
  • Kod oluşturma
  • İçerik oluşturma ve özetleme
  • Aracı düzenleme

Fonksiyon çağrısı

Databricks İşlev Çağrısı OpenAI uyumludur ve yalnızca Temel Model API'lerinin bir parçası olarak hizmet veren ve dış modellere hizmet veren uç noktalar sunan model sırasında kullanılabilir. Ayrıntılar için bkz. Azure Databricks'te işlev çağrısı.

Yapılandırılmış çıkışlar

Yapılandırılmış çıkışlar OpenAI ile uyumludur ve yalnızca Temel Model API'lerinin bir parçası olarak hizmet veren model sırasında kullanılabilir. Ayrıntılar için bkz. Azure Databricks'te yapılandırılmış çıkışlar.

Girdi önbelleğe alma

Databricks tarafından barındırılan Claude modellerinde , Temel Model API'lerinin bir parçası olarak istem önbelleğe alma desteklenir.

Aşağıdakileri önbelleğe cache_control almak için sorgu isteklerinizde parametresini belirtebilirsiniz:

  • Dizideki messages.content metin içeriği iletileri.
  • Dizideki iletilerin messages.content içeriğini düşünme.
  • Dizideki içerik bloklarını messages.content görüntüler.
  • Dizideki tools araç kullanımı, sonuçlar ve tanımlar.

Bkz. Temel model REST API başvurusu.

TextContent

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "What's the date today?",
          "cache_control": { "type": "ephemeral" }
        }
      ]
    }
  ]
}

ReasonContent

{
  "messages": [
    {
      "role": "assistant",
      "content": [
        {
          "type": "reasoning",
          "summary": [
            {
              "type": "summary_text",
              "text": "Thinking...",
              "signature": "[optional]"
            },
            {
              "type": "summary_encrypted_text",
              "data": "[encrypted text]"
            }
          ]
        }
      ]
    }
  ]
}

ImageContent

Görüntü iletisi içeriği, kodlanmış verileri kaynağı olarak kullanmalıdır. URL'ler desteklenmez.

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "What’s in this image?"
        },
        {
          "type": "image_url",
          "image_url": {
            "url": "data:image/jpeg;base64,[content]"
          },
          "cache_control": { "type": "ephemeral" }
        }
      ]
    }
  ]
}

ToolCallContent

{
  "messages": [
    {
      "role": "assistant",
      "content": "Ok, let’s get the weather in New York.",
      "tool_calls": [
        {
          "type": "function",
          "id": "123",
          "function": {
            "name": "get_weather",
            "arguments": "{\"location\":\"New York, NY\"}"
          },
          "cache_control": { "type": "ephemeral" }
        }
      ]
    }
  ]
}

Uyarı

Databricks REST API,OpenAI uyumludur ve Antropik API'den farklıdır. Bu farklılıklar aşağıdaki gibi yanıt nesnelerini de etkiler:

  • Çıktı, choices alanında döndürülür.
  • Akış parça biçimi. Tüm öbekler, yanıtın choices bulunduğu delta ve kullanımın her öbekte döndürüldüğü aynı biçime bağlıdır.
  • Durdurma nedeni finish_reason alanında geri döndürülür.
    • Antropik kullanımları: end_turn, stop_sequence, max_tokensve tool_use
    • Databricks sırasıyla şunu kullanır: stop, stop, lengthve tool_calls

AI Playground kullanarak desteklenen LLM'lerle sohbet edin

AI Playground'i kullanarak desteklenen büyük dil modelleriyle etkileşim kurabilirsiniz. AI Playground, Azure Databricks çalışma alanınızdaki LLM'leri test edebileceğiniz, sorabileceğiniz ve karşılaştırabileceğiniz sohbet benzeri bir ortamdır.

Yapay zeka oyun alanı

Ek kaynaklar

  • Last updated on