Azure Databricks'da LLM'leri ve aracıları sorgulama

Azure Databricks, büyük dil modellerini (LLM' ler), temel modelleri ve dağıtılan aracıları sorgulamak için birden çok yol sağlar. İş akışınıza bağlı olarak etkileşimli bir kullanıcı arabirimi, SQL, REST API'leri veya istemci kitaplıkları seçin.

AI Oyun Alanı

AI Playground Azure Databricks çalışma alanınızda LLM'leri sorup karşılaştırmak için kod içermeyen bir sohbet ortamıdır. Komut istemleriyle denemeler yapmak, sıcaklık ve maksimum belirteçler gibi parametreleri ayarlamak ve koda geçmeden önce yan yana araç çağırma aracıları ve soru-cevap botları prototipi yapmak için kullanın.

Temel modeller

Unity AI Gateway, altyapı taahhüdü gerektirmeden kullanıma hazır, birleşik bir API üzerinden Azure Databricks tarafından yönetilen, belirteç başına ücretlendirilen temel modeller sunar. Gereksinimlerinize uygun model hizmeti türünü seçin:

• sistem tarafından sağlanan model hizmetleri system.ai — Unity Kataloğu'nda önceden yapılandırılmış model hizmetleri. Başlangıç için iyi.
• Özel model hizmetleri — yükü birden çok modele dağıtmak veya geri dönüşleri ayarlamak için kendi model hizmetlerinizi oluşturun . Gelişmiş idare ve ölçek için en iyi yöntemdir.

Sorgu aracıları

Bir aracı oluşturup dağıttığınızda, aracıyı uygulamanızdan sorgularsınız. Aracılar Databricks Uygulamaları veya Model Sunma uç noktaları üzerinde barındırılabilir. Azure Databricks üç sorgu yöntemini destekler:

• Databricks OpenAI İstemcisi : Yerel akış ve tam özellik desteğine sahip yeni uygulamalar için önerilir.
• OpenAI uyumlu REST API — dil bağımsızdır, OpenAI API'sini zaten konuşan tüm platformlarla çalışır.
• ai_query — SQL'den Model Sunma uç noktaları üzerinde barındırılan eski aracıları sorgular.

Yapay zeka işlevlerini kullanarak verileri zenginleştirme

AI İşlevleri Azure Databricks depolanan verilere LLM'leri ve diğer modelleri uygulayan yerleşik SQL işlevleridir. Destek biletlerini sınıflandırmak, belgelerden varlıkları ayıklamak, içeriği özetlemek veya metni toplu ölçekte çevirmek için bunları Databricks SQL, notebook’lar, Lakeflow işlem hatları ya da Workflows üzerinden çalıştırın.

İki işlev stili arasından seçim yapın:

• Task'a özgü işlevlerai_classify, ai_extract ve ai_parse_document tek bir görev için iyileştirilmiştir ve Azure Databricks yönetilen, araştırma destekli sistemleri kullanır.
• ai_query genel amaçlı işlevdir; kendi isteminizi sağlayın ve desteklenen herhangi bir temel modeli seçin. Bkz . kullanma ai_query.

Uçtan uca bir örnek için bkz. AI İşlevlerini kullanarak müşteri incelemelerini analiz etme.