Databricks Foundation Model API'leri
Bu makalede, Azure Databricks'te Temel Model API'lerine genel bir bakış sağlanır. Kullanım gereksinimlerini, desteklenen modelleri ve sınırlamaları içerir.
Databricks Foundation Model API'leri nedir?
Mozaik AI Modeli Sunma artık hizmet veren bir uç noktadan son modellere erişmenizi ve bunları sorgulamanızı sağlayan Temel Model API'lerini destekliyor. Bu modeller Databricks tarafından barındırılır ve kendi model dağıtımınızı korumadan bunları kullanan uygulamaları hızlı ve kolay bir şekilde oluşturabilirsiniz. Temel Model API'leri bir Databricks Atanmış Hizmeti, bu da müşteri içeriğini işlerken veri yerleşimi yönetmek için Databricks Geos kullandığı anlamına gelir.
Temel Model API'leri aşağıdaki fiyatlandırma modlarında sağlanır:
- Belirteç başına ödeme: Bu, Databricks'te temel modellere erişmeye başlamanın en kolay yoludur ve Temel Model API'leriyle yolculuğunuza başlamak için önerilir. Bu mod yüksek aktarım hızına sahip uygulamalar veya yüksek performanslı üretim iş yükleri için tasarlanmamıştır.
- Sağlanan aktarım hızı: Bu mod, özellikle yüksek aktarım hızı, performans garantileri, ince ayarlı modeller gerektiren veya ek güvenlik gereksinimleri olan tüm üretim iş yükleri için önerilir. Sağlanan aktarım hızı uç noktaları HIPAA gibi uyumluluk sertifikalarıyla kullanılabilir.
Bu modları ve desteklenen modelleri kullanma hakkında yönergeler için bkz. Temel Model API'lerini kullanma.
Temel Model API'lerini kullanarak aşağıdakileri yapabilirsiniz
- Daha fazla kaynak yatırımı yapmadan önce projenin geçerliliğini doğrulamak için genelleştirilmiş bir LLM'yi sorgulayın.
- Özel bir modelin eğitimi ve dağıtımına yatırım yapmadan önce, LLM tabanlı bir uygulama için hızlı bir kavram kanıtı oluşturmak amacıyla genelleştirilmiş bir LLM'yi sorgulamak gerekir.
- Kurtarma destekli üretim (RAG) kullanarak bir sohbet botu oluşturmak için bir temel model ve bir vektör veritabanı kullanın.
- Maliyet ve performans için iyileştirme yapmak için özel modelleri açık alternatiflerle değiştirin.
- Kullanım örneğiniz için en iyi adayı görmek için LLM'leri verimli bir şekilde karşılaştırın veya üretim modelini daha iyi performans gösteren bir modelle değiştirin.
- Üretim trafiği artışlarınızı destekleyebilen ölçeklenebilir, SLA destekli bir LLM sunan çözümün üzerine geliştirme veya üretim için bir LLM uygulaması oluşturun.
Gereksinimleri
- Uç nokta isteklerinin kimliğini doğrulamak için Databricks API belirteci.
- Sunucusuz işlem (sağlanan aktarım hızı modelleri için).
- Aşağıdaki desteklenen bölgelerden birinde bir çalışma alanı:
Temel Model API'lerini Kullanma
Temel Model API'lerini kullanmak için birden çok seçeneğiniz vardır.
API'ler OpenAI ile uyumludur, bu nedenle sorgulama için OpenAI istemcisini kullanabilirsiniz. Desteklenen modelleri sorgulamak için kullanıcı arabirimini, Temel Modeller API'leri Python SDK'sını, MLflow Dağıtımları SDK'sını veya REST API'yi de kullanabilirsiniz. Databricks, genişletilmiş etkileşimler için OpenAI istemci SDK'sını veya API'yi ve özelliği denemek için kullanıcı arabirimini kullanmanızı önerir.
Puanlama örnekleri için Temel modelleri sorgulama bölümüne bakınız.
Token Başına Ödeme Sunan Temel Model API'leri
Belirteç başına ödeme modellerine hizmet veren önceden yapılandırılmış uç noktalara Azure Databricks çalışma alanınızdan erişilebilir. Başlangıç için jeton başına ödeme modelleri önerilir. Çalışma alanınızda bunlara erişmek için sol kenar çubuğundaki Sunma sekmesine gidin. Temel Model API'leri Uç Noktalar liste görünümünün en üstünde bulunur.
- Desteklenen jeton başına ödeme modelleri.
- Temel Model API'lerini sorgulama konusunda yönergeler için Temel Model Sorgusu bölümüne bakın.
- Gerekli parametreler ve söz dizimi için bkz. Foundation modeli REST API başvurusu.
Sağlanan aktarım hızı Temel Modeli API'leri
Sağlanan aktarım hızı, uç noktalara performans garantisi gerektiren temel model iş yükleri için iyileştirilmiş çıkarım sağlar. Databricks, üretim iş yükleri için sağlanan aktarım hızını önerir.
- Sağlanan aktarım hızını destekleyen model mimarileri.
- Sağlanan aktarım hızı Temel Modeli API'leri ile Temel Model API'lerini sağlanan aktarım hızı modunda dağıtma konusunda adım adım kılavuz için bkz.
Sağlanan aktarım hızı desteği şunları içerir:
- Tüm Boyutlardaki Temel Modeller. Temel modellere Databricks Marketi kullanılarak erişilebilir veya alternatif olarak Yüz Tanıma'dan veya başka bir dış kaynaktan indirip Unity Kataloğu'na kaydedebilirsiniz. İkinci yaklaşım, desteklenen modellerin herhangi bir ince ayarlı varyantında çalışır.
- gibi, özel veriler üzerinde ince ayar yapılmış modeller, temel modellerin ince ayarlı varyantlarıdır.
- Tamamen özelleştirilmiş ağırlıklar ve belirteçler,sıfırdan eğitilenler veya önceden eğitilmişlerin devamı olarak ya da temel model mimarisi (örneğin, CodeLlama) kullanılarak elde edilen diğer varyasyonlar gibi.
Sınırlama
Bkz. Foundation Model API'lerin sınırları.
Ek kaynaklar
ai_query kullanarak toplu LLM çıkarımı gerçekleştirme
Belirteç başına ödeme için desteklenen modeller