Model Kataloğu ve Koleksiyonları
Azure Machine Learning stüdyosu'daki Model Kataloğu, Oluşturucu yapay zeka uygulamaları oluşturmanıza olanak tanıyan çok çeşitli modelleri keşfedip kullanan merkezdir. Model kataloğunda Microsoft tarafından eğitilen modeller de dahil olmak üzere Azure OpenAI hizmeti, Mistral, Meta, Cohere, Nvidia, Hugging Face gibi model sağlayıcıları genelinde yüzlerce model bulunur. Microsoft dışındaki sağlayıcılardan gelen modeller, Microsoft'un Ürün Koşulları'nda tanımlandığı gibi Microsoft Dışı Ürünlerdir ve modelle birlikte sağlanan koşullara tabidir.
Model Koleksiyonları
Modeller, Model Kataloğu'ndaki Koleksiyonlar'a göre düzenlenir. Model Kataloğu'nda üç tür koleksiyon vardır:
- Azure AI tarafından seçilen modeller: Azure AI platformunda sorunsuz çalışacak şekilde paketlenmiş ve iyileştirilmiş en popüler üçüncü taraf açık ağırlık ve özellik modelleri. Bu modellerin kullanımı, model sağlayıcısının modelle birlikte sağlanan lisans koşullarına tabidir. Azure Machine Learning'de dağıtıldığında, modelin kullanılabilirliği ilgili Azure SLA'sına tabidir ve Microsoft dağıtım sorunları için destek sağlar. Meta, NVIDIA, Mistral AI gibi iş ortaklarının modelleri, Katalogdaki "Azure AI Tarafından Seçilmiş" koleksiyonunda bulunan modellere örnek olarak verilebilir. Bu modeller, katalogdaki model kutucuklarındaki yeşil onay işaretiyle tanımlanabilir veya "Azure AI tarafından seçilmiş" koleksiyonuna göre filtreleyebilirsiniz.
- Azure OpenAI modelleri: Azure OpenAI Hizmeti ile tümleştirme aracılığıyla 'Azure OpenAI' koleksiyonu aracılığıyla yalnızca Azure'da kullanılabilen amiral gemisi Azure OpenAI modelleri. Bu modeller Microsoft tarafından desteklenir ve kullanımları Azure OpenAI Hizmeti için ürün koşullarına ve SLA'ya tabidir.
- Yüz Tanıma hub'ından açık modeller: HuggingFace hub'ından yüzlerce modele çevrimiçi uç noktalarla gerçek zamanlı çıkarım için 'Hugging Face' koleksiyonu aracılığıyla erişilebilir. Hugging face, HuggingFace koleksiyonunda listelenen modelleri oluşturur ve korur. Yardım için Hugging Face forumu veya Hugging Face desteğini kullanın. Yüz Tanıma'dan modelleri dağıtma hakkında daha fazla bilgi edinin.
Model Kataloğu'na ekleme önerme: Bu formu kullanarak model kataloğuna model ekleme isteği gönderebilirsiniz.
Model Kataloğu özelliklerine genel bakış
Azure OpenAI modelleri hakkında bilgi için bkz. Azure OpenAI Hizmeti.
Yüz Tanıma Hub'ından Azure AI ve Open modelleriyle seçilen modeller için, bunların bazıları Gerçek zamanlı uç noktalar olarak dağıtılabilir ve bazıları Kullandıkça öde faturalaması (Hizmet Olarak Modeller) kullanılarak dağıtılabilir. Bu modeller bulunabilir, karşılaştırılabilir, değerlendirilebilir, ince ayarlanabilir (desteklendiğinde) ve büyük ölçekte dağıtılabilir ve kurumsal düzeyde güvenlik ve veri idaresi ile Üretken Yapay Zeka uygulamalarınıza tümleştirilebilir.
- Keşfedin: Model kartlarını gözden geçirin, örnek çıkarım yapmayı deneyin ve modeli değerlendirmek, ince ayar yapmak veya dağıtmak için kod örneklerine göz atın.
- Karşılaştırma: Sektördeki modeller ve veri kümeleri arasındaki karşılaştırmaları karşılaştırarak hangisinin iş senaryonuza uygun olduğunu değerlendirin.
- Değerlendirme: Kendi test verilerinizi sağlayarak modelin belirli iş yükünüz için uygun olup olmadığını değerlendirin. Değerlendirme ölçümleri, seçilen modelin senaryonuzda ne kadar iyi performans sergilediğini görselleştirmeyi kolaylaştırır.
- İnce ayar: Kendi eğitim verilerinizi kullanarak ince ayarlanabilir modelleri özelleştirin ve tüm ince ayar işlerinizdeki ölçümleri karşılaştırarak en iyi modeli seçin. Yerleşik iyileştirmeler, ince ayarlamayı hızlandırarak ince ayar için gereken bellek ve işlem miktarını azaltır.
- Dağıtma: Çıkarım için önceden eğitilmiş modelleri veya hassas ayarlanmış modelleri sorunsuz bir şekilde dağıtın. Gerçek zamanlı uç noktalara dağıtılabilir modeller de indirilebilir.
Model dağıtımı: Gerçek zamanlı uç noktalar ve Hizmet Olarak Modeller (Kullandıkça öde)
Model Kataloğu, kullanımınız için katalogdan modelleri dağıtmak için iki farklı yol sunar: gerçek zamanlı uç noktalar ve kullandıkça öde çıkarım. Her model için kullanılabilen dağıtım seçenekleri farklılık gösterir; Aşağıdaki tablolarda dağıtım seçeneklerinin özellikleri ve belirli modeller için kullanılabilir seçenekler hakkında daha fazla bilgi edinin. Dağıtım seçenekleriyle veri işleme hakkında daha fazla bilgi edinin.
| Özellikler | Yönetilen Çevrimiçi Uç Noktalar ile gerçek zamanlı çıkarım | Hizmet Olarak Modeller ile kullandıkça öde |
|---|---|---|
| Dağıtım deneyimi ve faturalama | Model ağırlıkları Yönetilen Çevrimiçi Uç Noktalar ile ayrılmış Sanal Makineler dağıtılır. Bir veya daha fazla dağıtıma sahip olabilecek yönetilen çevrimiçi uç nokta, çıkarım için bir REST API kullanılabilir hale getirir. Dağıtımlar tarafından kullanılan Sanal Makine çekirdek saatleri için faturalandırılırsınız. | Modellere erişim, modele erişmek için bir API sağlayan bir dağıtımdan geçer. API, çıkarım için Microsoft tarafından yönetilen merkezi bir GPU havuzunda barındırılan modele erişim sağlar. Bu erişim modu "Hizmet Olarak Modeller" olarak adlandırılır. API'lere girişler ve çıkışlar için genellikle belirteçler halinde faturalandırılırsınız; fiyatlandırma bilgileri dağıtmadan önce sağlanır. |
| API kimlik doğrulaması | Anahtarlar ve Microsoft Entra Id kimlik doğrulaması. Daha fazla bilgi edinin. | Yalnızca anahtarlar. |
| İçerik güvenliği | Azure content Kasa ty hizmet API'lerini kullanın. | Azure AI İçerik Kasa ty filtreleri çıkarım API'leriyle tümleşik olarak kullanılabilir. Azure AI İçerik Kasa ty filtreleri ayrı olarak faturalandırılabilir. |
| Ağ yalıtımı | Çevrimiçi Uç Noktalar ile yönetilen Sanal Ağ. Daha fazla bilgi edinin. |
Dağıtım seçenekleri
| Model | Gerçek zamanlı uç noktalar | Kullandıkça öde |
|---|---|---|
| Lama aile modelleri | Lama-2-7b Lama-2-7b-sohbet Lama-2-13b Lama-2-13b-sohbet Lama-2-70b Lama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Lama-3-8B Lama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Lama-2-7b Lama-2-7b-sohbet Lama-2-13b Lama-2-13b-sohbet Lama-2-70b Lama-2-70b-chat |
| Mistral aile modelleri | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large Mistral-small |
| Aile modellerini uyumlu yapma | Kullanılamaz | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
| Diğer modeller | Kullanılabilir | Yok |
Gerçek zamanlı uç noktalar
Modelleri gerçek zamanlı uç noktalara dağıtma özelliği, Model Kataloğu'ndaki geniş model koleksiyonunun LLMOps yaşam döngüsünün tamamında sorunsuz tümleştirme sağlamak için Azure Machine Learning'in platform özelliklerini kullanır.
Modeller gerçek zamanlı uç noktalar için nasıl kullanılabilir hale getiriliyor?
Modeller, model ağırlıkları, modelleri çalıştırmak için kapsayıcı çalışma zamanları, karşılaştırmalar ve örnekler için modelleri ve veri kümelerini değerlendirmeye ve hassas ayarlamaya yönelik işlem hatları gibi Machine Learning varlıklarını barındırmaya ve dağıtmaya yönelik ilk ML yaklaşımını sağlayan Azure Machine Learning kayıt defterleri aracılığıyla kullanıma sunulur. Bu ML Kayıt Defterleri, aşağıdakiler için yüksek oranda ölçeklenebilir ve kurumsal kullanıma hazır altyapının üzerine inşa edilir:
Yerleşik coğrafi çoğaltma ile tüm Azure bölgelerine düşük gecikme süreli erişim modeli yapıtları sunar.
yönetilen sanal ağlarla Azure İlkesi ve güvenli dağıtıma sahip modellere erişimi sınırlamak için kurumsal güvenlik gereksinimlerini destekler.
Gerçek zamanlı uç nokta olarak dağıtılan modelleri değerlendirme ve hassas ayarlamalar yapma
Azure Machine Learning İşlem Hatlarını kullanarak Azure Machine Learning'deki "Azure AI Tarafından Seçilmiş" koleksiyonunda değerlendirme yapabilir ve ince ayarlar yapabilirsiniz. Kendi değerlendirmenizi ve ince ayarlama kodunuzu getirmeyi ve yalnızca model ağırlıklarına erişmeyi seçebilir veya yerleşik değerlendirme ve ince ayarlama özellikleri sunan Azure Machine Learning bileşenlerini kullanabilirsiniz. Daha fazla bilgi edinmek için bu bağlantıyı izleyin.
Gerçek zamanlı uç nokta olarak çıkarım için modelleri dağıtma
Gerçek zamanlı uç noktalara dağıtım için kullanılabilen modeller, gerçek zamanlı çıkarım için Azure Machine Learning Çevrimiçi Uç Noktalarına dağıtılabilir veya verilerinizi toplu olarak işlemek için Azure Machine Learning Batch Çıkarımı için kullanılabilir. Çevrimiçi uç noktalara dağıtmak, modeli en iyi şekilde çalıştırmak için gereken belirli SKU'lar için Azure Aboneliğinizde Sanal Makine kotasına sahip olmanız gerekir. Bazı modeller, modeli test etmek için geçici olarak paylaşılan kotaya dağıtım yapmanızı sağlar. Modelleri dağıtma hakkında daha fazla bilgi edinin:
- Meta Llama modellerini dağıtma
- Azure AI tarafından oluşturulan Açık modelleri dağıtma
- Sarılma Yüzü modellerini dağıtma
Gerçek zamanlı uç noktalarla Üretken Yapay Zeka Uygulamaları oluşturma
İstem akışı, yapay zeka uygulamalarınızı prototip oluşturmaya, denemelere, yinelemeye ve dağıtmaya yönelik özellikler sunar. Açık Model LLM aracıyla prompt Flow'da gerçek zamanlı uç nokta olarak dağıtılan modelleri kullanabilirsiniz. Azure Machine Learning uzantısıyla LangChain gibi popüler LLM araçlarında gerçek zamanlı uç noktalar tarafından kullanıma sunulan REST API'yi de kullanabilirsiniz.
Gerçek zamanlı uç nokta olarak dağıtılan modeller için içerik güvenliği
Azure AI content Kasa ty (AACS) hizmeti, cinsel içerik, şiddet, nefret ve kendine zarar verme gibi çeşitli zararlı içerik kategorilerini ve Jailbreak risk algılama ve Korumalı malzeme metin algılama gibi gelişmiş tehditleri filtrelemek için gerçek zamanlı uç noktalarla kullanılabilir. Lama 2 için AACS ile başvuru tümleştirmesi için bu not defterine başvurabilir veya modelden gelen yanıtları tarama için AACS'ye geçirmek için prompt Flow'daki İçerik Kasa ty (Metin) aracını kullanabilirsiniz. Bu tür kullanım için AACS fiyatlandırmasına göre ayrı olarak faturalandırılırsınız.
Model Kataloğu'nda olmayan modellerle çalışma
Model Kataloğu'nda bulunmayan modeller için Azure Machine Learning, seçtiğiniz modellerle çalışmak için açık ve genişletilebilir bir platform sağlar. Azure Machine Learning'in çerçeveleri ve çalışma zamanlarını paketleyebilecek kapsayıcılar için Azure Machine Learning ortamları ve kodların modelleri değerlendirmesi veya ince ayarlaması için Azure Machine Learning işlem hatları gibi açık ve genişletilebilir platform özelliklerini kullanarak herhangi bir çerçeveye veya çalışma zamanına sahip bir model getirebilirsiniz. Modelleri içeri aktarmak ve yerleşik çalışma zamanları ve işlem hatlarıyla çalışmak için örnek başvuru için bu not defterine bakın.
Hizmet Olarak Modeller (Kullandıkça Öde)
Model Kataloğu'ndaki bazı modeller Kullandıkça öde faturalaması kullanılarak dağıtılabilir; Bu dağıtım yöntemi Hizmet Olarak Modeller (MaaS) olarak adlandırılır. MaaS aracılığıyla kullanılabilen modeller Microsoft tarafından yönetilen altyapıda barındırılır ve bu da model sağlayıcısının modeline API tabanlı erişim sağlar. API tabanlı erişim, bir modele erişim maliyetini önemli ölçüde azaltabilir ve sağlama deneyimini önemli ölçüde basitleştirebilir. MaaS modellerinin çoğu belirteç tabanlı fiyatlandırmayla gelir.
MaaS'ta üçüncü taraf modeller nasıl kullanılabilir?
Kullandıkça öde dağıtımı için kullanılabilen modeller model sağlayıcısı tarafından sunulur, ancak Microsoft tarafından yönetilen Azure altyapısında barındırılır ve API aracılığıyla erişilir. Model sağlayıcıları lisans koşullarını tanımlar ve modellerinin kullanım fiyatını belirlerken, Azure Machine Learning hizmeti barındırma altyapısını yönetir, çıkarım API'lerini kullanılabilir hale getirir ve MaaS aracılığıyla dağıtılan modeller tarafından gönderilen istemler ve içerik çıkışı için veri işlemcisi görevi görür. Veri gizliliği makalesinde MaaS için veri işleme hakkında daha fazla bilgi edinin.
MaaS'ta model kullanımı için ödeme
MaaS aracılığıyla dağıtılan modeller için bulma, abonelik ve tüketim deneyimi Azure AI Studio'da ve Azure Machine Learning stüdyosu. Kullanıcılar modellerin kullanımı için lisans koşullarını kabul ediyor ve dağıtım sırasında tüketime yönelik fiyatlandırma bilgileri sağlanıyor. Üçüncü taraf sağlayıcılardan gelen modeller Ticari Market Kullanım Koşulları'na uygun olarak Azure Market üzerinden faturalandırılır; Microsoft'un modelleri Birinci Taraf Tüketim Hizmetleri olarak Azure ölçümleri kullanılarak faturalandırılır. Ürün Koşulları'nda açıklandığı gibi, Birinci Taraf Tüketim Hizmetleri Azure ölçümleri kullanılarak satın alınır ancak Azure hizmet koşullarına tabi değildir; bu modellerin kullanımı sağlanan lisans koşullarına tabidir.
MaaS aracılığıyla çıkarım için modelleri dağıtma
MaaS aracılığıyla model dağıtmak, kullanıcıların altyapı yapılandırmaya veya GPU'lar sağlamaya gerek kalmadan çıkarım API'lerini kullanmaya hazır erişim elde etmesini sağlayarak mühendislik süresi ve kaynak tasarrufu sağlar. Bu API'ler birkaç LLM aracıyla tümleştirilebilir ve kullanım, önceki bölümde açıklandığı gibi faturalandırılır.
Kullandıkça öde ile MaaS aracılığıyla modellerde ince ayar yapma
MaaS aracılığıyla sunulan ve ince ayarlamayı destekleyen modeller için kullanıcılar, sağladıkları verileri kullanarak modelleri uyarlamak için kullandıkça öde faturalaması ile barındırılan ince ayarlamadan yararlanabilir. Daha fazla bilgi için bkz . Azure AI Studio'da Lama 2 modelinde ince ayarlamalar yapma.
MaaS aracılığıyla dağıtılan modellerle RAG
Azure AI Studio, kullanıcıların Vektör Dizinleri ve Alma Artırılmış Nesil'i kullanmasına olanak tanır. MaaS aracılığıyla dağıtılabilir modeller, kullanım örneğine özgü yanıtlar oluşturmak üzere özel verilere dayalı eklemeler ve çıkarımlar oluşturmak için kullanılabilir. Daha fazla bilgi için bkz . Artırılmış oluşturma ve dizinleri alma.
Tekliflerin ve modellerin bölgesel kullanılabilirliği
Kullandıkça öde dağıtımı yalnızca Azure aboneliği, model sağlayıcısının teklifi kullanıma sunduğu bir ülkedeki bir ödeme hesabına ait olan kullanıcılar tarafından kullanılabilir (sonraki bölümdeki tabloda yer alan "teklif kullanılabilirlik bölgesi" bölümüne bakın). Teklif ilgili bölgede kullanılabiliyorsa, kullanıcının Azure bölgesinde modelin dağıtım veya ince ayar için kullanılabildiği bir Çalışma Alanı olmalıdır (aşağıdaki tabloda yer alan "Çalışma alanı bölgesi" sütunlarına bakın).
| Model | Teklif kullanılabilirlik bölgesi | Dağıtım için Çalışma Alanı Bölgesi | Finetuning için Çalışma Alanı Bölgesi |
|---|---|---|---|
| Llama-3-70B-Instruct Llama-3-8B-Instruct |
Microsoft Tarafından Yönetilen Ülkeler | Doğu ABD 2, Orta İsveç | Kullanılamaz |
| Lama-2-7b Lama-2-13b Lama-2-70b |
Microsoft Tarafından Yönetilen Ülkeler | Doğu ABD 2, Batı ABD 3 | Batı ABD 3 |
| Lama-2-7b-sohbet Lama-2-13b-sohbet Lama-2-70b-chat |
Microsoft Tarafından Yönetilen Ülkeler | Doğu ABD 2, Batı ABD 3 | Kullanılamaz |
| Mistral-Large Mistral Small |
Microsoft Tarafından Yönetilen Ülkeler | Doğu ABD 2, Orta İsveç | Kullanılamaz |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
Microsoft Tarafından Yönetilen Ülkeler Japonya |
Doğu ABD 2, Orta İsveç | Kullanılamaz |
MaaS aracılığıyla dağıtılan modeller için içerik güvenliği
Azure Machine Learning, MaaS aracılığıyla dağıtılan dil modelleri için zararlı içerik (cinsel içerik, şiddet, nefret ve kendine zarar verme) için Kasa metin denetimi filtrelerinin varsayılan bir yapılandırmasını uygular. İçerik filtreleme hakkında daha fazla bilgi edinin. Hizmet içerik oluşturma istemlerini işlediğinden içerik filtreleme zaman uyumlu olarak gerçekleşir ve bu tür kullanım için AACS fiyatlandırmasına göre ayrı olarak faturalandırılabilirsiniz. Hizmet olarak dağıtılan modeller için içerik filtrelemeyi devre dışı bırakmak için bu formu doldurun.
Daha fazla bilgi edinin
- Azure Machine Learning stüdyosu kullanıcı arabirimini veya kod tabanlı yöntemleri kullanarak ince ayar, değerlendirme ve dağıtım için Azure Machine Learning'de temel Modelleri kullanmayı öğrenin.
- Azure Machine Learning stüdyosu'da Model Kataloğu'nu keşfedin. Kataloğu keşfetmek için bir Azure Machine Learning çalışma alanı gerekir.
- Azure Machine Learning tarafından seçilen modelleri değerlendirin, ince ayar yapın ve dağıtın.