Azure Databricks'da LLM'leri ve aracıları sorgulama

Azure Databricks, büyük dil modellerini (LLM' ler), temel modelleri ve dağıtılan aracıları sorgulamak için birden çok yol sağlar. İş akışınıza bağlı olarak etkileşimli bir kullanıcı arabirimi, SQL, REST API'leri veya istemci kitaplıkları seçin.

AI Oyun Alanı

AI Playground Azure Databricks çalışma alanınızda LLM'leri sorup karşılaştırmak için kod içermeyen bir sohbet ortamıdır. Komut istemleriyle denemeler yapmak, sıcaklık ve maksimum belirteçler gibi parametreleri ayarlamak ve koda geçmeden önce yan yana araç çağırma aracıları ve soru-cevap botları prototipi yapmak için kullanın.

Yapay zeka işlevlerini kullanarak verileri zenginleştirme

AI İşlevleri Azure Databricks depolanan verilere LLM'leri ve diğer modelleri uygulayan yerleşik SQL işlevleridir. Destek biletlerini sınıflandırmak, belgelerden varlıkları ayıklamak, içeriği özetlemek veya toplu iş ölçeğinde metin çevirmek için bunları Databricks SQL, not defterleri, Lakeflow Spark Bildirimli İşlem Hatları veya İş Akışları'ndan çalıştırın.

İki işlev stili arasından seçim yapın:

• Task'a özgü işlevlerai_classify, ai_extract ve ai_parse_document tek bir görev için iyileştirilmiştir ve Azure Databricks yönetilen, araştırma destekli sistemleri kullanır.
• ai_query genel amaçlı işlevdir; kendi isteminizi sağlayın ve desteklenen herhangi bir temel modeli seçin. Bkz . kullanma ai_query.

Uçtan uca bir örnek için bkz. AI İşlevlerini kullanarak müşteri incelemelerini analiz etme.

Sorgu aracıları

Bir aracı oluşturup dağıttığınızda, aracıyı uygulamanızdan sorgularsınız. Aracılar Databricks Uygulamalarında veya Mozaik Yapay Zeka Modeli Sunma uç noktaları üzerinde barındırılabilir. Azure Databricks üç sorgu yöntemini destekler:

• Databricks OpenAI İstemcisi : Yerel akış ve tam özellik desteğine sahip yeni uygulamalar için önerilir.
• OpenAI uyumlu REST API — dil bağımsızdır, OpenAI API'sini zaten konuşan tüm platformlarla çalışır.
• ai_query — SQL'den Model Sunma uç noktaları üzerinde barındırılan eski aracıları sorgular.

Temel modeller

Mosaic AI Model Sunumu, açık, Azure Databricks tarafından yönetilen ve harici temel modelleri birleşik bir API üzerinden sunar. İş yükünüz için uygun dağıtım seçeneğini belirtin:

• Belirteç başına ödeme — Altyapı taahhüdü olmadan çalışma alanınızda önceden yapılandırılmış uç noktaları sorgular. Denemeler için iyidir.
• Sağlanan aktarım hızı — üretim için iyileştirilmiş sunum ve performans garantileri ile ince ayarlı modeller dağıtın.
• External models — openAI veya Anthropic gibi sağlayıcılara Azure Databricks idare aracılığıyla istekleri yönlendirir.