Model Kataloğu ve Koleksiyonlar
Azure Machine Learning stüdyosu'daki model kataloğu, Oluşturucu yapay zeka uygulamaları oluşturmanıza olanak tanıyan çok çeşitli modelleri keşfedip kullanan merkezdir. Model kataloğunda Microsoft tarafından eğitilen modeller de dahil olmak üzere Azure OpenAI hizmeti, Mistral, Meta, Cohere, Nvidia, Hugging Face gibi model sağlayıcılarından yüzlerce model bulunur. Microsoft dışındaki sağlayıcılardan gelen modeller, Microsoft'un Ürün Koşulları'nda tanımlandığı gibi Microsoft Dışı Ürünlerdir ve modelle birlikte sağlanan koşullara tabidir.
Model Koleksiyonları
Modeller, model kataloğundaki Koleksiyonlar'a göre düzenlenir. Model kataloğunda üç tür koleksiyon vardır:
- Azure Yapay Zeka tarafından seçki olarak sunulan modeller: Azure Yapay Zeka platformunda sorunsuz çalışacak şekilde paketlenmiş ve iyileştirilmiş en popüler üçüncü taraf açık ağırlık ve özellik modelleri. Bu modellerin kullanımı, model sağlayıcısının modelle birlikte sağlanan lisans koşullarına tabidir. Azure Machine Learning'de dağıtıldığında modelin kullanılabilirliği, ilgili Azure SLA'sına tabidir. Microsoft, dağıtım sorunları için destek sağlar. Meta, NVIDIA, Mistral AI gibi iş ortaklarının modelleri, katalogdaki "Azure AI Tarafından Seçilmiş" koleksiyonunda bulunan modellere örnek olarak verilebilir. Bu modelleri, katalogdaki model kutucuklarında bulunan yeşil onay işaretiyle belirleyebilir veya "Azure Yapay Zeka tarafından seçki olarak sunulan" koleksiyona göre filtreleyebilirsiniz.
- Azure OpenAI modelleri: Azure OpenAI Hizmeti ile tümleştirme aracılığıyla 'Azure OpenAI' koleksiyonu aracılığıyla yalnızca Azure'da kullanılabilen amiral gemisi Azure OpenAI modelleri. Bu modeller Microsoft tarafından desteklenir. Kullanımları ürün koşullarına ve Azure OpenAI Service İçin SLA'ya tabidir.
- Yüz Tanıma hub'ından açık modeller: HuggingFace hub'ından yüzlerce modele çevrimiçi uç noktalarla gerçek zamanlı çıkarım için 'Hugging Face' koleksiyonu aracılığıyla erişilebilir. Hugging Face, Hugging Face koleksiyonunda listelenen modelleri oluşturur ve korur. Yardım için Hugging Face forumu veya Hugging Face desteğini kullanın. Hugging Face'teki modelleri dağıtma hakkında daha fazla bilgi edinin.
Model kataloğuna ekleme önerme: Bu formu kullanarak model kataloğuna model ekleme isteği gönderebilirsiniz.
Model kataloğu özelliklerine genel bakış
Azure OpenAI modelleri hakkında bilgi için Azure OpenAI Service sayfasına bakın.
Yüz Tanıma Hub'ından Azure AI ve Open modelleriyle seçilen modeller için, bunların bazıları yönetilen işlem seçeneğiyle dağıtılabilir ve bazıları kullandıkça öde faturalaması olan sunucusuz API'ler kullanılarak dağıtılabilir. Bu modeller bulunabilir, karşılaştırılabilir, değerlendirilebilir, ince ayarlanabilir (desteklendiğinde) ve büyük ölçekte dağıtılabilir ve kurumsal düzeyde güvenlik ve veri idaresi ile Üretken Yapay Zeka uygulamalarınıza tümleştirilebilir.
- Keşfedin: Model kartlarını gözden geçirin, örnek çıkarım yapmayı deneyin ve modeli değerlendirmek, ince ayar yapmak veya dağıtmak için kod örneklerine göz atın.
- Karşılaştırma: Sektördeki modeller ve veri kümeleri arasındaki karşılaştırmaları karşılaştırarak hangisinin iş senaryonuza uygun olduğunu değerlendirin.
- Değerlendirme: Kendi test verilerinizi sağlayarak modelin belirli iş yükünüz için uygun olup olmadığını değerlendirin. Değerlendirme ölçümleri, seçilen modelin senaryonuzda ne kadar iyi performans sergilediğini görselleştirmeyi kolaylaştırır.
- İnce ayar: Kendi eğitim verilerinizi kullanarak ince ayarlanabilir modelleri özelleştirin ve tüm ince ayar işlerinizdeki ölçümleri karşılaştırarak en iyi modeli seçin. Yerleşik iyileştirmeler, ince ayarlamayı hızlandırarak ince ayar için gereken bellek ve işlem miktarını azaltır.
- Dağıtma: Çıkarım için önceden eğitilmiş modelleri veya hassas ayarlanmış modelleri sorunsuz bir şekilde dağıtın. Yönetilen işlem için dağıtılabilir modeller de indirilebilir.
Model dağıtımı: Yönetilen işlem ve sunucusuz API (kullandıkça öde)
Model Kataloğu, kullanımınız için katalogdan modelleri dağıtmak için iki farklı yol sunar: yönetilen işlem ve sunucusuz API'ler. Her model için kullanılabilen dağıtım seçenekleri farklılık gösterir; Aşağıdaki tablolarda dağıtım seçeneklerinin özellikleri ve belirli modeller için kullanılabilir seçenekler hakkında daha fazla bilgi edinin. Dağıtım seçenekleriyle veri işleme hakkında daha fazla bilgi edinin.
| Özellikler | Yönetilen işlem | Sunucusuz API (kullandıkça öde) |
|---|---|---|
| Dağıtım deneyimi ve faturalama | Model ağırlıkları, yönetilen çevrimiçi uç noktalara sahip ayrılmış Sanal Makineler dağıtılır. Bir veya daha fazla dağıtıma sahip olabilecek yönetilen çevrimiçi uç nokta, çıkarım için bir REST API kullanılabilir hale getirir. Dağıtımlar tarafından kullanılan Sanal Makine çekirdek saatleri için faturalandırılırsınız. | Modellere erişim, modele erişmek için bir API sağlayan bir dağıtımdan geçer. API, çıkarım için Microsoft tarafından yönetilen merkezi bir GPU havuzunda barındırılan modele erişim sağlar. Bu erişim modu "Hizmet Olarak Modeller" olarak adlandırılır. API'lere girişler ve çıkışlar için genellikle belirteçler halinde faturalandırılırsınız; fiyatlandırma bilgileri dağıtmadan önce sağlanır. |
| API kimlik doğrulaması | Anahtarlar ve Microsoft Entra Id kimlik doğrulaması. Daha fazla bilgi edinin. | Yalnızca anahtarlar. |
| İçerik güvenliği | Azure Content Safety hizmet API'lerini kullanın. | Azure AI İçerik Güvenliği filtreleri çıkarım API'leriyle tümleşik olarak kullanılabilir. Azure AI İçerik Güvenliği filtreleri ayrı olarak faturalandırılabilir. |
| Ağ yalıtımı | Çevrimiçi Uç Noktalar ile yönetilen Sanal Ağ. Daha fazla bilgi edinin. |
Dağıtım seçenekleri
| Model | Yönetilen işlem | Sunucusuz API (kullandıkça öde) |
|---|---|---|
| Lama aile modelleri | Lama-2-7b Lama-2-7b-sohbet Lama-2-13b Lama-2-13b-sohbet Lama-2-70b Lama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Lama-3-8B Lama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Lama-2-7b Lama-2-7b-sohbet Lama-2-13b Lama-2-13b-sohbet Lama-2-70b Lama-2-70b-chat |
| Mistral aile modelleri | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large Mistral-small |
| Aile modellerini uyumlu yapma | Kullanılamaz | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
| JAIS | Kullanılamaz | jais-30b-chat |
| Phi3 aile modelleri | Phi-3-small-128k-Instruct Phi-3-small-8k-Instruct Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-orta-4k-yapısı |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-orta-4k-yapısı |
| Nixtla | Kullanılamaz | TimeGEN-1 |
| Diğer modeller | Kullanılabilir | Yok |
Yönetilen işlem
Azure Machine Learning'in platform özelliklerine dayalı yönetilen işlem derlemelerine sahip modelleri dağıtma özelliği, model kataloğundaki geniş model koleksiyonundan LLMOps yaşam döngüsünün tamamında sorunsuz tümleştirmeyi sağlar.
Modeller yönetilen işlem için nasıl kullanılabilir hale getiriliyor?
Modeller, model ağırlıkları, modelleri çalıştırmak için kapsayıcı çalışma zamanları, karşılaştırmalar ve örnekler için modelleri ve veri kümelerini değerlendirmeye ve hassas ayarlamaya yönelik işlem hatları gibi Machine Learning varlıklarını barındırmaya ve dağıtmaya yönelik ilk ML yaklaşımını sağlayan Azure Machine Learning kayıt defterleri aracılığıyla kullanıma sunulur. Bu ML Kayıt Defterleri, aşağıdakiler için yüksek oranda ölçeklenebilir ve kurumsal kullanıma hazır altyapının üzerine inşa edilir:
Yerleşik coğrafi çoğaltma ile tüm Azure bölgelerine düşük gecikme süreli erişim modeli yapıtları sunar.
yönetilen sanal ağlarla Azure İlkesi ve güvenli dağıtıma sahip modellere erişimi sınırlamak için kurumsal güvenlik gereksinimlerini destekler.
Yönetilen işlemle dağıtılan modelleri değerlendirme ve hassas ayarlamalar yapma
Azure Machine Learning İşlem Hatlarını kullanarak Azure Machine Learning'deki "Azure AI Tarafından Seçilmiş" koleksiyonunda değerlendirme yapabilir ve ince ayarlar yapabilirsiniz. Kendi değerlendirmenizi ve ince ayarlama kodunuzu getirmeyi ve yalnızca model ağırlıklarına erişmeyi seçebilir veya yerleşik değerlendirme ve ince ayarlama özellikleri sunan Azure Machine Learning bileşenlerini kullanabilirsiniz. Daha fazla bilgi edinmek için bu bağlantıyı izleyin.
Yönetilen işlemle çıkarım için modelleri dağıtma
Yönetilen işlemle dağıtım için kullanılabilen modeller gerçek zamanlı çıkarım için Azure Machine Learning çevrimiçi uç noktalarına dağıtılabilir veya verilerinizi toplu olarak işlemek için Azure Machine Learning toplu çıkarımı için kullanılabilir. Yönetilen işleme dağıtım, modeli en iyi şekilde çalıştırmak için gereken belirli SKU'lar için Azure Aboneliğinizde Sanal Makine kotasına sahip olmanız gerekir. Bazı modeller, modeli test etmek için geçici olarak paylaşılan kotaya dağıtım yapmanızı sağlar. Modelleri dağıtma hakkında daha fazla bilgi edinin:
- Meta Llama modellerini dağıtma
- Azure AI tarafından oluşturulan Açık modelleri dağıtma
- Sarılma Yüzü modellerini dağıtma
Yönetilen işlemle Üretken Yapay Zeka Uygulamaları oluşturma
İstem akışı, yapay zeka uygulamalarınızı prototip oluşturmaya, denemelere, yinelemeye ve dağıtmaya yönelik özellikler sunar. Open Model LLM aracıyla Prompt Flow'da yönetilen işlemle dağıtılan modelleri kullanabilirsiniz. Azure Machine Learning uzantısıyla LangChain gibi popüler LLM araçlarında yönetilen işlemlerin sunduğu REST API'yi de kullanabilirsiniz.
Yönetilen işlemle dağıtılan modeller için içerik güvenliği
Azure AI İçerik Güvenliği (AACS) hizmeti cinsel içerik, şiddet, nefret ve kendine zarar verme gibi çeşitli zararlı içerik kategorilerini ve Jailbreak risk algılama ve Korumalı malzeme metin algılama gibi gelişmiş tehditleri filtrelemek üzere yönetilen işlem için dağıtılan modellerle kullanılabilir. Lama 2 için AACS ile başvuru tümleştirmesi için bu not defterine başvurabilir veya modelden gelen yanıtları tarama için AACS'ye geçirmek üzere İstem Akışı'ndaki İçerik Güvenliği (Metin) aracını kullanabilirsiniz. Bu tür kullanım için AACS fiyatlandırmasına göre ayrı olarak faturalandırılırsınız.
Model kataloğunda olmayan modellerle çalışma
Model kataloğunda bulunmayan modeller için Azure Machine Learning, seçtiğiniz modellerle çalışmak için açık ve genişletilebilir bir platform sağlar. Azure Machine Learning'in çerçeveleri ve çalışma zamanlarını paketleyebilecek kapsayıcılar için Azure Machine Learning ortamları ve kodların modelleri değerlendirmesi veya ince ayarlaması için Azure Machine Learning işlem hatları gibi açık ve genişletilebilir platform özelliklerini kullanarak herhangi bir çerçeveye veya çalışma zamanına sahip bir model getirebilirsiniz. Modelleri içeri aktarmak ve yerleşik çalışma zamanları ve işlem hatlarıyla çalışmak için örnek başvuru için bu not defterine bakın.
Kullandıkça öde faturalaması ile sunucusuz API'ler
Model kataloğundaki bazı modeller kullandıkça öde faturalaması ile sunucusuz API'ler olarak dağıtılabilir; Bu dağıtım yöntemi Hizmet Olarak Modeller (MaaS) olarak adlandırılır. MaaS aracılığıyla kullanılabilen modeller Microsoft tarafından yönetilen altyapıda barındırılır ve bu da model sağlayıcısının modeline API tabanlı erişim sağlar. API tabanlı erişim, bir modele erişim maliyetini önemli ölçüde azaltabilir ve sağlama deneyimini önemli ölçüde basitleştirebilir. MaaS modellerinin çoğu belirteç tabanlı fiyatlandırmayla gelir.
MaaS'ta üçüncü taraf modeller nasıl kullanılabilir?
Kullandıkça öde faturalaması ile sunucusuz API'ler olarak dağıtım için kullanılabilen modeller model sağlayıcısı tarafından sunulur, ancak Microsoft tarafından yönetilen Azure altyapısında barındırılır ve API aracılığıyla erişilir. Model sağlayıcıları lisans koşullarını tanımlar ve modellerinin kullanım fiyatını belirlerken, Azure Machine Learning hizmeti barındırma altyapısını yönetir, çıkarım API'lerini kullanılabilir hale getirir ve MaaS aracılığıyla dağıtılan modeller tarafından gönderilen istemler ve içerik çıkışı için veri işlemcisi görevi görür. Veri gizliliği makalesinde MaaS için veri işleme hakkında daha fazla bilgi edinin.
MaaS'ta model kullanımı için ödeme
MaaS aracılığıyla dağıtılan modeller için bulma, abonelik ve tüketim deneyimi Azure AI Studio'da ve Azure Machine Learning stüdyosu. Kullanıcılar modellerin kullanımı için lisans koşullarını kabul ediyor ve dağıtım sırasında tüketime yönelik fiyatlandırma bilgileri sağlanıyor. Üçüncü taraf sağlayıcılardan gelen modeller Ticari Market Kullanım Koşulları'na uygun olarak Azure Market üzerinden faturalandırılır; Microsoft'un modelleri Birinci Taraf Tüketim Hizmetleri olarak Azure ölçümleri kullanılarak faturalandırılır. Ürün Koşulları'nda açıklandığı gibi, Birinci Taraf Tüketim Hizmetleri Azure ölçümleri kullanılarak satın alınır ancak Azure hizmet koşullarına tabi değildir; bu modellerin kullanımı sağlanan lisans koşullarına tabidir.
MaaS aracılığıyla çıkarım için modelleri dağıtma
MaaS aracılığıyla model dağıtmak, kullanıcıların altyapı yapılandırmaya veya GPU'lar sağlamaya gerek kalmadan çıkarım API'lerini kullanmaya hazır erişim elde etmesini sağlayarak mühendislik süresi ve kaynak tasarrufu sağlar. Bu API'ler birkaç LLM aracıyla tümleştirilebilir ve kullanım, önceki bölümde açıklandığı gibi faturalandırılır.
Kullandıkça öde ile MaaS aracılığıyla modellerde ince ayar yapma
MaaS aracılığıyla sunulan ve ince ayarlamayı destekleyen modeller için kullanıcılar, sağladıkları verileri kullanarak modelleri uyarlamak için kullandıkça öde faturalaması ile barındırılan ince ayarlamadan yararlanabilir. Daha fazla bilgi için bkz . Azure AI Studio'da Lama 2 modelinde ince ayarlamalar yapma.
MaaS aracılığıyla dağıtılan modellerle RAG
Azure AI Studio, kullanıcıların Vektör Dizinleri ve Alma Artırılmış Nesil'i kullanmasına olanak tanır. Sunucusuz API'ler olarak dağıtılabilir modeller, kullanım örneğine özgü yanıtlar oluşturmak üzere özel verilere dayalı eklemeler ve çıkarımlar oluşturmak için kullanılabilir. Daha fazla bilgi için bkz . Artırılmış oluşturma ve dizinleri alma.
Tekliflerin ve modellerin bölgesel kullanılabilirliği
Kullandıkça öde dağıtımı yalnızca Azure aboneliği, model sağlayıcısının teklifi kullanıma sunduğu bir ülkedeki bir ödeme hesabına ait olan kullanıcılar tarafından kullanılabilir (sonraki bölümdeki tabloda yer alan "teklif kullanılabilirlik bölgesi" bölümüne bakın). Teklif ilgili bölgede kullanılabiliyorsa, kullanıcının Azure bölgesinde modelin dağıtım veya ince ayar için kullanılabildiği bir Çalışma Alanı olmalıdır (aşağıdaki tabloda yer alan "Çalışma alanı bölgesi" sütunlarına bakın).
| Model | Teklif kullanılabilirlik bölgesi | Dağıtım için Çalışma Alanı Bölgesi | Finetuning için Çalışma Alanı Bölgesi |
|---|---|---|---|
| Llama-3-70B-Instruct Llama-3-8B-Instruct |
Microsoft Tarafından Yönetilen Ülkeler | Doğu ABD 2, Orta İsveç, Orta Kuzey ABD, Orta Güney ABD, Batı ABD, Doğu ABD, Batı ABD 3 | Kullanılamaz |
| Lama-2-7b Lama-2-13b Lama-2-70b |
Microsoft Tarafından Yönetilen Ülkeler | Doğu ABD 2, Doğu ABD, Batı ABD 3, Batı ABD, Orta Kuzey ABD, Orta Güney ABD | Batı ABD 3 |
| Lama-2-7b-sohbet Lama-2-13b-sohbet Lama-2-70b-chat |
Microsoft Tarafından Yönetilen Ülkeler | Doğu ABD 2, Doğu ABD, Batı ABD 3, Batı ABD, Orta Kuzey ABD, Orta Güney ABD | Kullanılamaz |
| Mistral Small | Microsoft Tarafından Yönetilen Ülkeler | Doğu ABD 2, Orta İsveç, Orta Kuzey ABD, Orta Güney ABD, Doğu ABD, Batı ABD 3, Batı ABD | Kullanılamaz |
| Mistral-Large | Microsoft Tarafından Yönetilen Ülkeler Brezilya Hong Kong İsrail |
Doğu ABD, Doğu ABD 2, Orta Fransa, Orta Kuzey ABD, Orta Güney ABD, Orta İsveç, Batı ABD, Batı ABD 3 | Kullanılamaz |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
Microsoft Tarafından Yönetilen Ülkeler Japonya |
Doğu ABD 2, Orta İsveç, Orta Kuzey ABD, Orta Güney ABD, Doğu ABD, Batı ABD 3, Batı ABD | Kullanılamaz |
| TimeGEN-1 | Microsoft Tarafından Yönetilen Ülkeler Meksika İsrail |
Doğu ABD, Doğu ABD 2, Orta Kuzey ABD, Orta Güney ABD, Orta İsveç, Batı ABD, Batı ABD 3 | Kullanılamaz |
| jais-30b-chat | Microsoft Tarafından Yönetilen Ülkeler | Doğu ABD 2, Orta İsveç, Orta Kuzey ABD, Orta Güney ABD, Doğu ABD, Batı ABD 3, Batı ABD | Kullanılamaz |
| Phi-3-mini-4k-instruct | Microsoft Tarafından Yönetilen Ülkeler | Doğu ABD 2, Orta İsveç, Orta Kanada, Batı ABD 3 | Kullanılamaz |
| Phi-3-mini-128k-instruct | Microsoft Tarafından Yönetilen Ülkeler | Doğu ABD 2, Orta İsveç | Kullanılamaz |
| Phi-3-orta-4k-yapısı, Phi-3-orta-128k-yapısı | Microsoft Tarafından Yönetilen Ülkeler | Doğu ABD 2, Orta İsveç | Kullanılamaz |
MaaS aracılığıyla dağıtılan modeller için içerik güvenliği
Önemli
Bu özellik şu anda genel önizlemededir. Bu önizleme sürümü hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için bu sürümü önermeyiz. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir.
Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.
Azure Machine Learning, MaaS ile dağıtılan dil modelleri için zararlı içerik (nefret, kendine zarar verme, cinsel ve şiddet) için Azure AI İçerik Güvenliği metin denetimi filtrelerinin varsayılan yapılandırmasını uygular. İçerik filtreleme (önizleme) hakkında daha fazla bilgi edinmek için bkz . Azure AI İçerik Güvenliği'nde zarar kategorileri. Hizmet içerik oluşturma istemlerini işlediğinden, içerik filtreleme (önizleme) zaman uyumlu olarak gerçekleşir ve bu tür kullanım için AACS fiyatlandırmasına göre ayrı olarak faturalandırılabilirsiniz. Bir dil modelini ilk kez dağıtırken veya dağıtım ayrıntıları sayfasında içerik filtreleme iki durumlu düğmesini seçerek tek tek sunucusuz uç noktalar için içerik filtrelemeyi (önizleme) devre dışı bırakabilirsiniz. İçerik filtrelerini kapatırsanız, kullanıcıları zararlı içeriğe maruz bırakma riskiniz daha yüksek olabilir.
Daha fazla bilgi edinin
- Azure Machine Learning stüdyosu kullanıcı arabirimini veya kod tabanlı yöntemleri kullanarak ince ayar, değerlendirme ve dağıtım için Azure Machine Learning'de temel Modelleri kullanmayı öğrenin.
- Azure Machine Learning stüdyosu'da Model Kataloğu'nu keşfedin. Kataloğu keşfetmek için bir Azure Machine Learning çalışma alanı gerekir.
- Azure Machine Learning tarafından seçilen modelleri değerlendirin, incelik sağlayın ve dağıtın.