Azure Databricks'da LLM'leri ve aracıları sorgulama

Azure Databricks, büyük dil modellerini (LLM' ler), temel modelleri ve dağıtılan aracıları sorgulamak için birden çok yol sağlar. İş akışınıza bağlı olarak etkileşimli bir kullanıcı arabirimi, SQL, REST API'leri veya istemci kitaplıkları seçin.

AI Oyun Alanı

AI Playground Azure Databricks çalışma alanınızda LLM'leri sorup karşılaştırmak için kod içermeyen bir sohbet ortamıdır. Komut istemleriyle denemeler yapmak, sıcaklık ve maksimum belirteçler gibi parametreleri ayarlamak ve koda geçmeden önce yan yana araç çağırma aracıları ve soru-cevap botları prototipi yapmak için kullanın.

Temel modeller

Azure Databricks, temel modelleri Unity AI Gateway üzerinden model API'leri (model hizmetleri) olarak yerel olarak sunar. Her hesap kullanıcısı, kurulum olmadan şemadaki system.ai token-başına ödeme modellerini çağırabilir. İhtiyaçlarınıza uygun model API'leri seçin:

• Sistem tarafından sağlanan model API'leri: system.aiAzure Databricks tarafından yerel olarak sunulan modeller, OpenAI uyumlu SDK ile sorgulamaya hazır, yerel sağlayıcı API'leri veya ai_query. Bkz. Sorgu modeli API'leri (model servisleri).
• Özel model API'leri: Varsayılan modellerin ötesinde modellere ihtiyacınız olduğunda veya yükü dağıtmak ve yedek ayarlar oluşturmak için kendi API'lerinizi oluşturun .

Sorgu aracıları

Bir aracı oluşturup dağıttığınızda, aracıyı uygulamanızdan sorgularsınız. Aracılar Databricks Uygulamaları veya Model Sunma uç noktaları üzerinde barındırılabilir. Azure Databricks üç sorgu yöntemini destekler:

• Databricks OpenAI istemcisi: Yeni uygulamalar için önerilir, yerel akış ve tam özellik desteğiyle.
• OpenAI uyumlu REST API: Dil bağımsızdır, zaten OpenAI API'sini konuşan herhangi bir platformla çalışır.
• ai_query: SQL'den Model Servis uç noktalarında barındırılan eski ajanları sorgulama.

Yapay zeka işlevlerini kullanarak verileri zenginleştirme

AI İşlevleri Azure Databricks depolanan verilere LLM'leri ve diğer modelleri uygulayan yerleşik SQL işlevleridir. Destek biletlerini sınıflandırmak, belgelerden varlıkları ayıklamak, içeriği özetlemek veya metni toplu ölçekte çevirmek için bunları Databricks SQL, notebook’lar, Lakeflow işlem hatları ya da Workflows üzerinden çalıştırın.

İki işlev stili arasından seçim yapın:

• Task'a özgü işlevlerai_classify, ai_extract ve ai_parse_document tek bir görev için iyileştirilmiştir ve Azure Databricks yönetilen, araştırma destekli sistemleri kullanır.
• ai_query genel amaçlı işlevdir. Kendi promptunuzu oluşturun ve desteklenen herhangi bir temel modeli seçin. Bkz . kullanma ai_query.

Uçtan uca bir örnek için bkz. AI İşlevlerini kullanarak müşteri incelemelerini analiz etme.