Model Kataloğu ve Koleksiyonlar
Azure Machine Learning stüdyosu'daki model kataloğu, Oluşturucu yapay zeka uygulamaları oluşturmanıza olanak tanıyan çok çeşitli modelleri keşfedip kullanan merkezdir. Model kataloğunda Microsoft tarafından eğitilen modeller de dahil olmak üzere Azure OpenAI hizmeti, Mistral, Meta, Cohere, Nvidia, Hugging Face gibi model sağlayıcılarından yüzlerce model bulunur. Microsoft dışındaki sağlayıcılardan gelen modeller, Microsoft'un Ürün Koşulları'nda tanımlandığı gibi Microsoft Dışı Ürünlerdir ve modelle birlikte sağlanan koşullara tabidir.
Model Koleksiyonları
Modeller, model kataloğundaki Koleksiyonlar'a göre düzenlenir. Model kataloğunda üç tür koleksiyon vardır:
- Azure Yapay Zeka tarafından seçki olarak sunulan modeller: Azure Yapay Zeka platformunda sorunsuz çalışacak şekilde paketlenmiş ve iyileştirilmiş en popüler üçüncü taraf açık ağırlık ve özellik modelleri. Bu modellerin kullanımı, model sağlayıcısının modelle birlikte sağlanan lisans koşullarına tabidir. Azure Machine Learning'de dağıtıldığında modelin kullanılabilirliği, ilgili Azure SLA'sına tabidir. Microsoft, dağıtım sorunları için destek sağlar. Meta, NVIDIA, Mistral AI gibi iş ortaklarının modelleri, katalogdaki "Azure AI Tarafından Seçilmiş" koleksiyonunda bulunan modellere örnek olarak verilebilir. Bu modelleri, katalogdaki model kutucuklarında bulunan yeşil onay işaretiyle belirleyebilir veya "Azure Yapay Zeka tarafından seçki olarak sunulan" koleksiyona göre filtreleyebilirsiniz.
- Azure OpenAI modelleri: Azure OpenAI Hizmeti ile tümleştirme aracılığıyla 'Azure OpenAI' koleksiyonu aracılığıyla yalnızca Azure'da kullanılabilen amiral gemisi Azure OpenAI modelleri. Bu modeller Microsoft tarafından desteklenir. Kullanımları ürün koşullarına ve Azure OpenAI Service İçin SLA'ya tabidir.
- Yüz Tanıma hub'ından açık modeller: HuggingFace hub'ından yüzlerce modele çevrimiçi uç noktalarla gerçek zamanlı çıkarım için 'Hugging Face' koleksiyonu aracılığıyla erişilebilir. Hugging Face, Hugging Face koleksiyonunda listelenen modelleri oluşturur ve korur. Yardım için Hugging Face forumu veya Hugging Face desteğini kullanın. Hugging Face'teki modelleri dağıtma hakkında daha fazla bilgi edinin.
Model kataloğuna ekleme önerme: Bu formu kullanarak model kataloğuna model ekleme isteği gönderebilirsiniz.
Model kataloğu özelliklerine genel bakış
Azure OpenAI modelleri hakkında bilgi için Azure OpenAI Service sayfasına bakın.
Yüz Tanıma Hub'ından Azure AI ve Open modelleriyle seçilen modeller için, bunların bazıları yönetilen işlem seçeneğiyle dağıtılabilir ve bazıları kullandıkça öde faturalaması olan sunucusuz API'ler kullanılarak dağıtılabilir. Bu modeller bulunabilir, karşılaştırılabilir, değerlendirilebilir, ince ayarlanabilir (desteklendiğinde) ve büyük ölçekte dağıtılabilir ve kurumsal düzeyde güvenlik ve veri idaresi ile Üretken Yapay Zeka uygulamalarınıza tümleştirilebilir.
- Keşfedin: Model kartlarını gözden geçirin, örnek çıkarım yapmayı deneyin ve modeli değerlendirmek, ince ayar yapmak veya dağıtmak için kod örneklerine göz atın.
- Karşılaştırma: Sektördeki modeller ve veri kümeleri arasındaki karşılaştırmaları karşılaştırarak hangisinin iş senaryonuza uygun olduğunu değerlendirin.
- Değerlendirme: Kendi test verilerinizi sağlayarak modelin belirli iş yükünüz için uygun olup olmadığını değerlendirin. Değerlendirme ölçümleri, seçilen modelin senaryonuzda ne kadar iyi performans sergilediğini görselleştirmeyi kolaylaştırır.
- İnce ayar: Kendi eğitim verilerinizi kullanarak ince ayarlanabilir modelleri özelleştirin ve tüm ince ayar işlerinizdeki ölçümleri karşılaştırarak en iyi modeli seçin. Yerleşik iyileştirmeler, ince ayarlamayı hızlandırarak ince ayar için gereken bellek ve işlem miktarını azaltır.
- Dağıtma: Çıkarım için önceden eğitilmiş modelleri veya hassas ayarlanmış modelleri sorunsuz bir şekilde dağıtın. Yönetilen işlem için dağıtılabilir modeller de indirilebilir.
Model dağıtımı: Yönetilen işlem ve sunucusuz API (kullandıkça öde)
Model Kataloğu, kullanımınız için katalogdan modelleri dağıtmak için iki farklı yol sunar: Yönetilen işlem ve sunucusuz API'ler. Her model için kullanılabilen dağıtım seçenekleri farklılık gösterir; aşağıdaki tablolarda dağıtım seçeneklerinin özellikleri ve belirli modellerde kullanılabilir seçenekler hakkında daha fazla bilgi edinin. Dağıtım seçenekleriyle veri işleme hakkında daha fazla bilgi edinin.
| Özellikler | Yönetilen işlem | Sunucusuz API (kullandıkça öde) |
|---|---|---|
| Dağıtım deneyimi ve faturalama | Model ağırlıkları, yönetilen çevrimiçi uç noktalara sahip ayrılmış Sanal Makinelere dağıtılır. Bir veya daha fazla dağıtıma sahip olabilecek yönetilen çevrimiçi uç nokta, çıkarım için bir REST API'yi kullanılabilir hale getirir. Dağıtımlar tarafından kullanılan Sanal Makine çekirdek saatleri için faturalandırılırsınız. | Modellere erişim, modele erişmek için bir API sağlayan bir dağıtımdan geçer. API, çıkarım için Microsoft tarafından yönetilen merkezi bir GPU havuzunda barındırılan modele erişim sağlar. Bu erişim modu "Hizmet Olarak Modeller" olarak adlandırılır. API'lere girişler ve çıkışlar için genellikle belirteçler halinde faturalandırılırsınız; fiyatlandırma bilgileri dağıtmadan önce sağlanır. |
| API kimlik doğrulaması | Anahtarlar ve Microsoft Entra ID kimlik doğrulaması. Daha fazla bilgi edinin. | Yalnızca anahtarlar. |
| İçerik güvenliği | Azure Content Safety hizmet API'lerini kullanın. | Azure AI Content Safety filtreleri çıkarım API'leriyle tümleşik olarak kullanılabilir. Azure AI Content Safety filtreleri ayrı olarak faturalandırılabilir. |
| Ağ yalıtımı | Özel Uç Noktalarla Yönetilen Sanal Ağ. Daha fazla bilgi edinin. |
Dağıtım seçenekleri
| Model | Yönetilen işlem | Sunucusuz API (kullandıkça öde) |
|---|---|---|
| Llama aile modelleri | Lama-2-7b Lama-2-7b-sohbet Lama-2-13b Lama-2-13b-sohbet Lama-2-70b Lama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Lama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Lama-2-7b Lama-2-7b-sohbet Lama-2-13b Lama-2-13b-sohbet Lama-2-70b Llama-2-70b-chat |
| Mistral ailesi modelleri | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large (2402) Mistral-large (2407) Mistral-small Mistral-Nemo |
| Aile modellerini uyumlu yapma | Kullanılamaz | Cohere-command-r-plus-08-2024 Cohere-command-r-08-2024 Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual Cohere-rerank-v3-english Cohere-rerank-v3-multilingual |
| JAIS | Kullanılamaz | jais-30b-chat |
| Phi-3 aile modelleri | Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3-vision-128k-Instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
| Nixtla | Kullanılamaz | TimeGEN-1 |
| Diğer modeller | Kullanılabilir | Yok |
Yönetilen işlem
Model kataloğundaki geniş model koleksiyonunun GenAIOps (bazen LLMOps) yaşam döngüsünün tamamında sorunsuz tümleştirme sağlamak için Azure Machine Learning'in platform özellikleri üzerinde yönetilen işlem derlemelerine sahip modelleri dağıtma özelliği.
Modeller yönetilen işlem için nasıl kullanılabilir hale getirilir?
Modeller, model ağırlıkları, modelleri çalıştırmak için kapsayıcı çalışma zamanları, modelleri değerlendirmek ve ince ayar yapmak için işlem hatları ve karşılaştırmalar ve örnekler için veri kümeleri gibi Makine Öğrenimi varlıklarını barındırmak ve dağıtmak için ML ilk yaklaşımını etkinleştiren Azure Makine Öğrenimi kayıtları aracılığıyla kullanıma sunulur. Bu ML Kayıt Defterleri, aşağıdakiler için yüksek oranda ölçeklenebilir ve kurumsal kullanıma hazır altyapının üzerine inşa edilir:
Yerleşik coğrafi çoğaltma ile tüm Azure bölgelerine düşük gecikme süreli erişim modeli yapıları sunar.
Azure İlkesine sahip modellere erişimi sınırlama ve yönetilen sanal ağlarla güvenli dağıtım gibi kurumsal güvenlik gereksinimlerini destekler.
Yönetilen işlemle dağıtılan modelleri değerlendirme ve hassas ayarlamalar yapma
Azure Machine Learning İşlem Hatlarını kullanarak Azure Machine Learning'deki "Azure Yapay Zeka tarafından seçki olarak sunulan" koleksiyonda değerlendirme yapabilir ve ince ayar yapabilirsiniz. Kendi değerlendirmenizi ve ince ayar kodunuzu getirerek model ağırlıklarına erişmeyi tercih edebilir ya da yerleşik değerlendirme ve ince ayar özellikleri sunan Azure Machine Learning bileşenlerini kullanabilirsiniz. Daha fazla bilgi edinmek için bu bağlantıyı izleyin.
Yönetilen işlemle çıkarım için modelleri dağıtma
Yönetilen işlemle dağıtım için kullanılabilen modeller gerçek zamanlı çıkarım için Azure Machine Learning çevrimiçi uç noktalarına dağıtılabilir veya verilerinizi toplu olarak işlemek için Azure Machine Learning toplu çıkarımı için kullanılabilir. Yönetilen işleme dağıtım, modeli en iyi şekilde çalıştırmak için gereken belirli SKU'lar için Azure Aboneliğinizde Sanal Makine kotasına sahip olmanız gerekir. Bazı modeller, modeli test etmek için geçici olarak paylaşılan kotaya dağıtım yapmanızı sağlar. Modelleri dağıtma hakkında daha fazla bilgi edinin:
- Meta Llama modellerini dağıtma
- Azure AI tarafından oluşturulan Açık modelleri dağıtma
- Sarılma Yüzü modellerini dağıtma
Yönetilen işlemle Üretici AI Uygulamaları oluşturma
İstem akışı, yapay zeka uygulamalarınızı prototiplemek, denemek, yinelemek ve dağıtmak için yetenekler sunar. İstem Akışında yönetilen hesaplama ile dağıtılan modelleri Open Model LLM aracı ile kullanabilirsiniz. Azure Machine Learning uzantısı ile LangChain gibi popüler LLM araçlarında yönetilen hesaplamalar tarafından sunulan REST API'sini de kullanabilirsiniz.
Yönetilen işlemle dağıtılan modeller için içerik güvenliği
Azure AI İçerik Güvenliği (AACS) hizmeti cinsel içerik, şiddet, nefret ve kendine zarar verme gibi çeşitli zararlı içerik kategorilerini ve Jailbreak risk algılama ve Korumalı malzeme metin algılama gibi gelişmiş tehditleri filtrelemek üzere yönetilen işlem için dağıtılan modellerle kullanılabilir. Lama 2 için AACS ile başvuru tümleştirmesi için bu not defterine başvurabilir veya modelden gelen yanıtları tarama için AACS'ye geçirmek üzere İstem Akışı'ndaki İçerik Güvenliği (Metin) aracını kullanabilirsiniz. Bu tür kullanım için AACS fiyatlandırmasına göre ayrı olarak faturalandırılırsınız.
Model kataloğunda olmayan modellerle çalışma
Model kataloğunda bulunmayan modeller için Azure Machine Learning, seçtiğiniz modellerle çalışmak için açık ve genişletilebilir bir platform sağlar. Azure Machine Learning'in çerçeveleri ve çalışma zamanlarını paketleyebilecek kapsayıcılar için Azure Machine Learning ortamları ve kodların modelleri değerlendirmesi veya ince ayarlaması için Azure Machine Learning işlem hatları gibi açık ve genişletilebilir platform özelliklerini kullanarak herhangi bir çerçeveye veya çalışma zamanına sahip bir model getirebilirsiniz. Modelleri içeri aktarmak ve yerleşik çalışma zamanları ve işlem hatlarıyla çalışmak için örnek başvuru için bu not defterine bakın.
Kullandıkça öde faturalaması ile sunucusuz API'ler
Model kataloğundaki bazı modeller kullandıkça öde faturalaması ile sunucusuz API'ler olarak dağıtılabilir; Bu dağıtım yöntemi Hizmet Olarak Modeller (MaaS) olarak adlandırılır. MaaS aracılığıyla kullanılabilen modeller Microsoft tarafından yönetilen altyapıda barındırılır ve bu da model sağlayıcısının modeline API tabanlı erişim sağlar. API tabanlı erişim, bir modele erişim maliyetini önemli ölçüde azaltabilir ve sağlama deneyimini önemli ölçüde basitleştirebilir. MaaS modellerinin çoğu belirteç tabanlı fiyatlandırmayla gelir.
MaaS'ta üçüncü taraf modeller nasıl kullanılabilir?
Kullandıkça öde faturalandırması ile sunucusuz API'ler olarak dağıtılabilen modeller, model sağlayıcı tarafından sunulur ancak Microsoft tarafından yönetilen Azure altyapısında barındırılır ve API aracılığıyla erişilir. Model sağlayıcıları lisans koşullarını tanımlar ve modellerinin kullanım fiyatını belirlerken, Azure Machine Learning hizmeti barındırma altyapısını yönetir, çıkarım API'lerini kullanılabilir hale getirir ve MaaS aracılığıyla dağıtılan modeller tarafından gönderilen istemler ve içerik çıkışı için veri işlemcisi görevi görür. Veri gizliliği makalesinde MaaS için veri işleme hakkında daha fazla bilgi edinin.
MaaS'ta model kullanımı için ödeme
MaaS aracılığıyla dağıtılan modeller için bulma, abonelik ve tüketim deneyimi Azure AI Studio'da ve Azure Machine Learning stüdyosu. Kullanıcılar modellerin kullanımı için lisans koşullarını kabul ediyor ve dağıtım sırasında tüketime yönelik fiyatlandırma bilgileri sağlanıyor. Üçüncü taraf sağlayıcılardan gelen modeller Ticari Market Kullanım Koşulları'na uygun olarak Azure Market üzerinden faturalandırılır; Microsoft'un modelleri Birinci Taraf Tüketim Hizmetleri olarak Azure ölçümleri kullanılarak faturalandırılır. Ürün Koşulları'nda açıklandığı gibi, Birinci Taraf Tüketim Hizmetleri Azure ölçümleri kullanılarak satın alınır ancak Azure hizmet koşullarına tabi değildir; bu modellerin kullanımı sağlanan lisans koşullarına tabidir.
MaaS aracılığıyla çıkarım için modelleri dağıtma
MaaS aracılığıyla model dağıtmak, kullanıcıların altyapı yapılandırmaya veya GPU'lar sağlamaya gerek kalmadan çıkarım API'lerini kullanmaya hazır erişim elde etmesini sağlayarak mühendislik süresi ve kaynak tasarrufu sağlar. Bu API'ler birkaç LLM aracıyla tümleştirilebilir ve kullanım, önceki bölümde açıklandığı gibi faturalandırılır.
Kullandıkça öde ile MaaS aracılığıyla modellerde ince ayar yapma
MaaS aracılığıyla sunulan ve ince ayarlamayı destekleyen modeller için kullanıcılar, sağladıkları verileri kullanarak modelleri uyarlamak için kullandıkça öde faturalaması ile barındırılan ince ayarlamadan yararlanabilir. Daha fazla bilgi için bkz . Azure AI Studio'da Lama 2 modelinde ince ayarlamalar yapma.
MaaS aracılığıyla dağıtılan modellerle RAG
Azure AI Studio, kullanıcıların Vektör Dizinleri ve Alma Artırılmış Nesil'i kullanmasına olanak tanır. Sunucusuz API'ler olarak dağıtılabilir modeller, kullanım örneğine özgü yanıtlar oluşturmak üzere özel verilere dayalı eklemeler ve çıkarımlar oluşturmak için kullanılabilir. Daha fazla bilgi için bkz . Artırılmış oluşturma ve dizinleri alma.
Tekliflerin ve modellerin bölgesel kullanılabilirliği
Kullandıkça öde faturalaması yalnızca Azure aboneliği model sağlayıcısının teklifi kullanıma sunduğu bir ülkedeki bir ödeme hesabına ait olan kullanıcılar tarafından kullanılabilir. Teklif ilgili bölgede kullanılabiliyorsa, kullanıcının modelin dağıtım veya ince ayarlama için kullanılabildiği Azure bölgesinde bir Hub/Project'i olması gerekir. Ayrıntılı bilgi için bkz . Sunucusuz API uç noktalarındaki modeller için bölge kullanılabilirliği.
MaaS aracılığıyla dağıtılan modeller için içerik güvenliği
Önemli
Bu özellik şu anda genel önizlemededir. Bu önizleme sürümü hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için bu sürümü önermeyiz. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir.
Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.
Sunucusuz API'ler aracılığıyla dağıtılan dil modelleri için Azure AI, nefret, kendine zarar verme, cinsel içerik ve şiddet içeren içerik gibi zararlı içerikleri algılayan Azure AI İçerik Güvenliği metin denetim filtrelerinin varsayılan yapılandırmasını uygular. İçerik filtreleme (önizleme) hakkında daha fazla bilgi edinmek için bkz . Azure AI İçerik Güvenliği'nde Zarar kategorileri.
İpucu
Sunucusuz API'ler aracılığıyla dağıtılan belirli model türleri için içerik filtreleme (önizleme) kullanılamaz. Bu model türleri, ekleme modellerini ve zaman serisi modellerini içerir.
Hizmet içerik oluşturmak isteyip istemediğinizi sorarken içerik filtreleme (önizleme) zaman uyumlu olarak gerçekleşir. Bu tür kullanım için Azure AI İçerik Güvenliği fiyatlandırmasına göre ayrı olarak faturalandırılabilirsiniz. Tek tek sunucusuz uç noktalar için içerik filtrelemeyi (önizleme) devre dışı bırakabilirsiniz:
- Bir dil modelini ilk kez dağıttığınızda
- Daha sonra, dağıtım ayrıntıları sayfasında içerik filtreleme iki durumlu düğmesini seçerek
Sunucusuz API aracılığıyla dağıtılan bir modelle çalışmak için Azure AI Model Çıkarım API'sinden başka bir API kullanmaya karar verilmektedir. Böyle bir durumda, Azure AI content Safety kullanarak ayrı ayrı uygulamadığınız sürece içerik filtreleme (önizleme) etkinleştirilmez.
Azure AI İçerik Güvenliği'ni kullanmaya başlamak için bkz . Hızlı Başlangıç: Metin içeriğini analiz etme. Sunucusuz API'ler aracılığıyla dağıtılan modellerle çalışırken içerik filtreleme (önizleme) kullanmıyorsanız, kullanıcıları zararlı içeriğe maruz bırakarak daha yüksek bir riskle karşılaşırsınız.
Sunucusuz API'ler aracılığıyla dağıtılan modeller için ağ yalıtımı
Sunucusuz API'ler olarak dağıtılan modellerin uç noktaları, dağıtımın bulunduğu çalışma alanının genel ağ erişimi (PNA) bayrağı ayarını izler. MaaS uç noktanızın güvenliğini sağlamak için çalışma alanınızda PNA bayrağını devre dışı bırakın. Çalışma alanı için özel bir uç nokta kullanarak istemciden uç noktanıza gelen iletişimin güvenliğini sağlayabilirsiniz.
Çalışma alanının PNA bayrağını ayarlamak için:
- Azure portalına gidin.
- Azure Machine Learning'i arayın ve çalışma alanları listesinden çalışma alanınızı seçin.
- Genel Bakış sayfasında sol gezinti bölmesini kullanarak Ayarlar>Ağ'a gidin.
- Genel erişim sekmesinde, genel ağ erişim bayrağının ayarlarını yapılandırabilirsiniz.
- Değişikliklerinizi kaydedin. Değişikliklerinizin yayılması beş dakika kadar sürebilir.
Sınırlamalar
- 11 Temmuz 2024'e kadar oluşturulmuş özel uç nokta içeren bir çalışma alanınız varsa, bu çalışma alanına eklenen yeni MaaS uç noktaları ağ yapılandırmasını izlemez. Bunun yerine, çalışma alanı için yeni bir özel uç nokta oluşturmanız ve yeni dağıtımların çalışma alanının ağ yapılandırmasını izleyebilmesi için çalışma alanında yeni sunucusuz API dağıtımları oluşturmanız gerekir.
- 11 Temmuz 2024'e kadar MaaS dağıtımları oluşturulmuş bir çalışma alanınız varsa ve bu çalışma alanında özel bir uç noktayı etkinleştirirseniz, mevcut MaaS dağıtımları çalışma alanının ağ yapılandırmasını izlemez. Çalışma alanında sunucusuz API dağıtımlarının çalışma alanının yapılandırmasını izlemesi için dağıtımları yeniden oluşturmanız gerekir.
- Özel çalışma alanlarında PNA bayrağı devre dışı bırakıldığından, şu anda Verilerinizde desteği özel çalışma alanlarındaki MaaS dağıtımlarında kullanılamamaktadır.
- Herhangi bir ağ yapılandırması değişikliğinin (örneğin, PNA bayrağını etkinleştirme veya devre dışı bırakma) yayılması beş dakika kadar sürebilir.
Daha fazla bilgi edinin
- Azure Machine Learning stüdyosu kullanıcı arabirimini veya kod tabanlı yöntemleri kullanarak ince ayar, değerlendirme ve dağıtım için Azure Machine Learning'de temel Modelleri kullanmayı öğrenin.
- Azure Machine Learning stüdyosu'da Model Kataloğu'nu keşfedin. Kataloğu keşfetmek için bir Azure Machine Learning çalışma alanı gerekir.
- Azure Machine Learning tarafından seçilen modelleri değerlendirin, ince ayar yapın ve dağıtın.