Databricks Temel Model API'leri
Bu makalede, Azure Databricks'teki Temel Model API'lerine genel bir bakış sağlanır. Kullanım gereksinimlerini, desteklenen modelleri ve sınırlamaları içerir.
Databricks Foundation Model API'leri nedir?
Mozaik AI Model Sunma artık bir sunum uç noktasından son modellere erişmenize ve bunları sorgulamanıza olanak tanıyan Temel Model API'lerini destekliyor. Temel Model API'leri ile, kendi model dağıtımınızı korumadan yüksek kaliteli üretken bir yapay zeka modelinden yararlanan uygulamaları hızlı ve kolay bir şekilde oluşturabilirsiniz. Temel Model API'leri bir Databricks Atanmış Hizmetidir ve bu da müşteri içeriğini işlerken veri yerleşimi yönetmek için Databricks Geos'un kullanıldığı anlamına gelir.
Temel Model API'leri iki fiyatlandırma modunda sağlanır:
- Belirteç başına ödeme: Bu, Databricks'te temel modellere erişmeye başlamanın en kolay yoludur ve Temel Model API'leriyle yolculuğunuza başlamak için önerilir. Bu mod yüksek aktarım hızına sahip uygulamalar veya yüksek performanslı üretim iş yükleri için tasarlanmamıştır.
- Sağlanan aktarım hızı: Bu mod, özellikle yüksek aktarım hızı, performans garantileri, ince ayarlı modeller gerektiren veya ek güvenlik gereksinimleri olan tüm üretim iş yükleri için önerilir. Sağlanan aktarım hızı uç noktaları HIPAA gibi uyumluluk sertifikalarıyla kullanılabilir.
Bu iki modu ve desteklenen modelleri kullanma yönergeleri için bkz . Temel Model API'lerini kullanma.
Temel Model API'lerini kullanarak aşağıdakileri yapabilirsiniz:
- Daha fazla kaynak yatırımı yapmadan önce projenin geçerliliğini doğrulamak için genelleştirilmiş bir LLM'yi sorgulayın.
- Eğitime ve özel model dağıtmaya yatırım yapmadan önce LLM tabanlı bir uygulama için hızlı bir kavram kanıtı oluşturmak için genelleştirilmiş bir LLM'yi sorgular.
- Alma artırılmış nesli (RAG) kullanarak sohbet botu oluşturmak için vektör veritabanıyla birlikte bir temel model kullanın.
- Maliyet ve performans için iyileştirme yapmak için özel modelleri açık alternatiflerle değiştirin.
- Kullanım örneğiniz için en uygun adayı görmek için LLM'leri verimli bir şekilde karşılaştırın veya bir üretim modelini daha iyi performans gösteren bir modelle değiştirin.
- Üretim trafiği artışlarınızı destekleyebilen ölçeklenebilir, SLA destekli bir LLM sunan çözümün üzerine geliştirme veya üretim için bir LLM uygulaması oluşturun.
Gereksinim -leri
- Uç nokta isteklerinin kimliğini doğrulamak için Databricks API belirteci.
- Sunucusuz işlem (sağlanan aktarım hızı modelleri için).
- Desteklenen bir bölgedeki çalışma alanı:
Not
DBRX Temel modelini kullanan sağlanan aktarım hızı iş yükleri için bkz . Bölge kullanılabilirliği için Temel Model API'leri sınırları .
Temel Model API'lerini kullanma
Temel Model API'lerini kullanmak için birden çok seçeneğiniz vardır.
API'ler OpenAI ile uyumludur, bu nedenle sorgulama için OpenAI istemcisini kullanabilirsiniz. Desteklenen modelleri sorgulamak için kullanıcı arabirimini, Temel Modeller API'leri Python SDK'sını, MLflow Dağıtımları SDK'sını veya REST API'yi de kullanabilirsiniz. Databricks, genişletilmiş etkileşimler için OpenAI istemci SDK'sını veya API'yi ve özelliği denemek için kullanıcı arabirimini kullanmanızı önerir.
Puanlama örnekleri için bkz . Sorgu oluşturma yapay zeka modelleri .
Belirteç başına ödeme temel modeli API'leri
Belirteç başına ödeme modellerine Azure Databricks çalışma alanınızdan erişilebilir ve kullanmaya başlamanız önerilir. Çalışma alanınızda bunlara erişmek için sol kenar çubuğundaki Sunum sekmesine gidin. Temel Model API'leri Uç Noktalar liste görünümünün en üstünde bulunur.
Aşağıdaki tabloda belirteç başına ödeme için desteklenen modeller özetlenmektedir. Ek model bilgileri için bkz . Belirteç başına ödeme için desteklenen modeller.
Test etmek ve bu modellerle sohbet etmek istiyorsanız yapay zeka Oyun Alanı'nı kullanarak bunu yapabilirsiniz. Bkz . AI Playground kullanarak LLM'lerle sohbet edin ve GenAI uygulamalarının prototiplerini oluşturun.
Önemli
- 23 Temmuz 2024'den itibaren Meta-Llama-3.1-70B-Instruct, Temel Model API'leri belirteç başına ödeme uç noktaları için Meta-Llama-3-70B-Instruct desteğinin yerini alır.
- Meta-Llama-3.1-405B-Instruct, Meta tarafından derlenip eğitilen ve Azure Machine Learning tarafından AzureML Model Kataloğu kullanılarak dağıtılan, en büyük açık kullanıma açık büyük dil modelidir.
- Aşağıdaki modeller artık kullanımdan kaldırılmıştır. Önerilen yeni modeller için bkz. Kullanımdan kaldırılan modeller.
- Lama 2 70B Sohbet
- MPT 7B Yönergesi
- MPT 30B Yönergesi
| Model | Görev türü | Uç nokta | Notlar |
|---|---|---|---|
| GTE Large (İngilizce) | Ekleme | databricks-gte-large-en |
Normalleştirilmiş eklemeler oluşturmaz. |
| Meta-Llama-3.1-70B-Instruct | Sohbet | databricks-meta-llama-3-1-70b-instruct |
|
| Meta-Llama-3.1-405B-Instruct* | Sohbet | databricks-meta-llama-3-1-405b-instruct |
Bkz . Bölge kullanılabilirliği için Temel Model API'leri sınırları . |
| DBRX Yönergesi | Sohbet | databricks-dbrx-instruct |
Bkz . Bölge kullanılabilirliği için Temel Model API'leri sınırları . |
| Mixtral-8x7B Yönergesi | Sohbet | databricks-mixtral-8x7b-instruct |
Bkz . Bölge kullanılabilirliği için Temel Model API'leri sınırları . |
| BGE Large (İngilizce) | Ekleme | databricks-bge-large-en |
Bkz . Bölge kullanılabilirliği için Temel Model API'leri sınırları . |
* Bu modeli kullanırken uç nokta hataları veya sabitleme hatalarıyla karşılaşırsanız Databricks hesap ekibinize ulaşın.
- Temel Model API'lerini sorgulama hakkında yönergeler için bkz . Sorgu oluşturucu yapay zeka modelleri .
- Gerekli parametreler ve söz dizimi için bkz . Temel model REST API başvurusu .
Sağlanan aktarım hızı Temel Model API'leri
Sağlanan aktarım hızı, uç noktalara performans garantisi gerektiren temel model iş yükleri için iyileştirilmiş çıkarım sağlar. Databricks, üretim iş yükleri için sağlanan aktarım hızını önerir. Temel Model API'lerini sağlama modunda dağıtma hakkında adım adım kılavuz için bkz. Sağlanan aktarım hızı Temel Model API'leri.
Sağlanan aktarım hızı desteği şunları içerir:
- DBRX Tabanı gibi tüm boyutlardaki temel modeller. Temel modellere Databricks Marketi kullanılarak erişilebilir veya alternatif olarak Yüz Tanıma'dan veya başka bir dış kaynaktan indirip Unity Kataloğu'na kaydedebilirsiniz. İkinci yaklaşım, kullanılan ince ayar yönteminden bağımsız olarak desteklenen modellerin herhangi bir ince ayarlı çeşidiyle çalışır.
- LlamaGuard-7B gibi temel modellerin ince ayarlı varyantları. Bu, özel veriler üzerinde ince ayarlı modeller içerir.
- Sıfırdan eğitilenler veya temel model mimarisini (CodeLlama gibi) kullanarak devam eden önceden eğitilmiş veya diğer çeşitlemeler gibi tamamen özel ağırlıklar ve belirteç oluşturucular.
Aşağıdaki tabloda sağlanan aktarım hızı için desteklenen model mimarileri özetlenmektedir.
Önemli
Meta Llama 3.2, LLAMA 3.2 Topluluk Lisansı, Telif Hakkı © Meta Platformları, Inc. Tüm Hakları Saklıdır. Müşteriler, bu lisansın koşullarına ve Llama 3.2 Kabul Edilebilir Kullanım İlkesi'ne uyumluluğunu sağlamakla sorumludur.
Meta Llama 3.1, LLAMA 3.1 Topluluk Lisansı, Telif Hakkı © Meta Platformları, Inc. Tüm Hakları Saklıdır. Müşteriler, geçerli model lisanslarıyla uyumluluğu sağlamakla sorumludur.
| Model mimarisi | Görev türleri | Notlar |
|---|---|---|
| Meta Lama 3.2 3B | Sohbet veya Tamamlama | |
| Meta Llama 3.2 1B | Sohbet veya Tamamlama | |
| Meta Lama 3.1 | Sohbet veya Tamamlama | |
| Meta Lama 3 | Sohbet veya Tamamlama | |
| Meta Lama 2 | Sohbet veya Tamamlama | |
| DBRX | Sohbet veya Tamamlama | Bkz . Bölge kullanılabilirliği için Temel Model API'leri sınırları . |
| Mistral | Sohbet veya Tamamlama | |
| Mixtral | Sohbet veya Tamamlama | |
| MPT | Sohbet veya Tamamlama | |
| GTE v1.5 (İngilizce) | Ekleme | Normalleştirilmiş eklemeler oluşturmaz. |
| BGE v1.5 (İngilizce) | Ekleme |
Sınırlamalar
Bkz. Temel Model API'leri sınırları.