Azure AI Studio'da Model Kataloğu ve Koleksiyonları

Önemli

Bu makalede açıklanan özelliklerden bazıları yalnızca önizleme aşamasında kullanılabilir. Bu önizleme, hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için önerilmez. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.

Azure AI Studio'daki model kataloğu, Oluşturucu yapay zeka uygulamaları oluşturmanıza olanak tanıyan çok çeşitli modelleri keşfedip kullanan merkezdir. Model kataloğunda Microsoft tarafından eğitilen modeller de dahil olmak üzere Azure OpenAI hizmeti, Mistral, Meta, Cohere, Nvidia, Hugging Face gibi model sağlayıcıları genelinde yüzlerce model bulunur. Microsoft dışındaki sağlayıcılardan gelen modeller, Microsoft'un Ürün Koşulları'nda tanımlandığı gibi Microsoft Dışı Ürünlerdir ve modelle birlikte sağlanan koşullara tabidir.

Model Koleksiyonları

Model kataloğu modelleri Koleksiyonlar halinde düzenler. Model kataloğunda üç tür koleksiyon vardır:

• Azure Yapay Zeka tarafından seçki olarak sunulan modeller: Azure Yapay Zeka platformunda sorunsuz çalışacak şekilde paketlenmiş ve iyileştirilmiş en popüler üçüncü taraf açık ağırlık ve özellik modelleri. Bu modellerin kullanımı, model sağlayıcısının modelle birlikte sağlanan lisans koşullarına tabidir. Azure AI Studio'da dağıtıldığında modelin kullanılabilirliği geçerli Azure SLA'sına tabidir ve Microsoft dağıtım sorunları için destek sağlar. Meta, NVIDIA, Mistral AI gibi iş ortaklarının modelleri, katalogdaki "Azure AI Tarafından Seçilmiş" koleksiyonunda bulunan modellere örnek olarak verilebilir. Bu modelleri, katalogdaki model kutucuklarında bulunan yeşil onay işaretiyle belirleyebilir veya "Azure Yapay Zeka tarafından seçki olarak sunulan" koleksiyona göre filtreleyebilirsiniz.
• Azure OpenAI modelleri: Azure OpenAI Hizmeti ile tümleştirme aracılığıyla 'Azure OpenAI' koleksiyonu aracılığıyla yalnızca Azure'da kullanılabilen amiral gemisi Azure OpenAI modelleri. Microsoft, bu modelleri ve bunların kullanımını Azure OpenAI Hizmeti için ürün koşullarına ve SLA'ya tabi olarak destekler.
• Yüz Tanıma hub'ından açık modeller: HuggingFace hub'ından yüzlerce modele yönetilen işlemle gerçek zamanlı çıkarım için 'Sarılma Yüzü' koleksiyonu aracılığıyla erişilebilir. Hugging Face, Hugging Face koleksiyonunda listelenen modelleri oluşturur ve korur. Yardım için Hugging Face forumu veya Hugging Face desteğini kullanın. Açık modelleri dağıtma bölümünde daha fazla bilgi edinin.

Model Kataloğu'na ekleme önerme: Bu formu kullanarak model kataloğuna model ekleme isteği gönderebilirsiniz.

Model Kataloğu özelliklerine genel bakış

Azure OpenAI modelleri hakkında bilgi için Azure OpenAI Service sayfasına bakın.

Yüz Tanıma hub'ı koleksiyonlarından Azure AI ve Open tarafından seçilen modellerden bazıları yönetilen işlem seçeneğiyle dağıtılabilir ve bazı modeller kullandıkça öde faturalaması olan sunucusuz API'ler kullanılarak dağıtılabilir. Bu modeller bulunabilir, karşılaştırılabilir, değerlendirilebilir, ince ayarlanabilir (desteklendiğinde) ve büyük ölçekte dağıtılabilir ve kurumsal düzeyde güvenlik ve veri idaresi ile Üretken Yapay Zeka uygulamalarınıza tümleştirilebilir.

• Keşfedin: Model kartlarını gözden geçirin, örnek çıkarım yapmayı deneyin ve modeli değerlendirmek, ince ayar yapmak veya dağıtmak için kod örneklerine göz atın.
• Karşılaştırma: Sektördeki modeller ve veri kümeleri arasındaki karşılaştırmaları karşılaştırarak hangisinin iş senaryonuza uygun olduğunu değerlendirin.
• Değerlendirme: Kendi test verilerinizi sağlayarak modelin belirli iş yükünüz için uygun olup olmadığını değerlendirin. Değerlendirme ölçümleri, seçilen modelin senaryonuzda ne kadar iyi performans sergilediğini görselleştirmeyi kolaylaştırır.
• İnce ayar: Kendi eğitim verilerinizi kullanarak ince ayarlanabilir modelleri özelleştirin ve tüm ince ayar işlerinizdeki ölçümleri karşılaştırarak en iyi modeli seçin. Yerleşik iyileştirmeler, ince ayarlamayı hızlandırarak ince ayar için gereken bellek ve işlemi azaltır.
• Dağıtma: Çıkarım için önceden eğitilmiş modelleri veya hassas ayarlanmış modelleri sorunsuz bir şekilde dağıtın. Yönetilen işlem için dağıtılabilir modeller de indirilebilir.

Model dağıtımı: Yönetilen işlem ve sunucusuz API (kullandıkça öde)

Model Kataloğu, kullanımınız için katalogdan modelleri dağıtmak için iki farklı yol sunar: Yönetilen işlem ve sunucusuz API'ler. Her model için kullanılabilen dağıtım seçenekleri farklılık gösterir; Aşağıdaki tablolarda dağıtım seçeneklerinin özellikleri ve belirli modeller için kullanılabilir seçenekler hakkında daha fazla bilgi edinin. Dağıtım seçenekleriyle veri işleme hakkında daha fazla bilgi edinin.

Özellikler	Yönetilen işlem	sunucusuz API (kullandıkça öde)
Dağıtım deneyimi ve faturalama	Model ağırlıkları Yönetilen Çevrimiçi Uç Noktalar ile ayrılmış Sanal Makineler dağıtılır. Bir veya daha fazla dağıtıma sahip olabilecek yönetilen çevrimiçi uç nokta, çıkarım için bir REST API'yi kullanılabilir hale getirir. Dağıtımlar tarafından kullanılan Sanal Makine çekirdek saatleri için faturalandırılırsınız.	Modellere erişim, modele erişmek için bir API sağlayan bir dağıtımdan geçer. API, çıkarım için Microsoft tarafından barındırılan ve yönetilen modele erişim sağlar. Bu erişim modu "Hizmet Olarak Modeller" olarak adlandırılır. API'lere girişler ve çıkışlar için genellikle belirteçler halinde faturalandırılırsınız; fiyatlandırma bilgileri dağıtmadan önce sağlanır.
API kimlik doğrulaması	Anahtarlar ve Microsoft Entra ID kimlik doğrulaması.	Yalnızca anahtarlar.
İçerik güvenliği	Azure Content Safety hizmet API'lerini kullanın.	Azure AI Content Safety filtreleri çıkarım API'leriyle tümleşik olarak kullanılabilir. Azure AI Content Safety filtreleri ayrı olarak faturalandırılabilir.
Ağ yalıtımı	Yönetilen Ağı yapılandırma. Daha fazla bilgi edinin.

Model	Yönetilen işlem	Sunucusuz API (kullandıkça öde)
Llama aile modelleri	Lama-2-7b Lama-2-7b-sohbet Lama-2-13b Lama-2-13b-sohbet Lama-2-70b Lama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Lama-3-8B Llama-3-70B	Llama-3-70B-Instruct Llama-3-8B-Instruct Lama-2-7b Lama-2-7b-sohbet Lama-2-13b Lama-2-13b-sohbet Lama-2-70b Llama-2-70b-chat
Mistral ailesi modelleri	mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01	Mistral-large Mistral-small
Aile modellerini uyumlu yapma	Kullanılamaz	Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual
JAIS	Kullanılamaz	jais-30b-chat
Phi3 aile modelleri	Phi-3-small-128k-Instruct Phi-3-small-8k-Instruct Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-orta-4k-yapısı	Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-orta-4k-yapısı
Nixtla	Kullanılamaz	TimeGEN-1
Diğer modeller	Kullanılabilir	Yok

Yönetilen işlem

Modelleri Yönetilen işlem olarak dağıtma özelliği, Model Kataloğu'ndaki geniş model koleksiyonunun LLMOps yaşam döngüsünün tamamında sorunsuz tümleştirme sağlamak için Azure Machine Learning'in platform özelliklerine dayalıdır.

Modeller Yönetilen işlem olarak dağıtım için nasıl kullanılabilir hale getiriliyor?

Modeller, model ağırlıkları, modelleri çalıştırmak için kapsayıcı çalışma zamanları, modelleri değerlendirmek ve ince ayar yapmak için işlem hatları ve karşılaştırmalar ve örnekler için veri kümeleri gibi Makine Öğrenimi varlıklarını barındırmak ve dağıtmak için ML ilk yaklaşımını etkinleştiren Azure Makine Öğrenimi kayıtları aracılığıyla kullanıma sunulur. Bu ML Kayıt Defterleri, aşağıdakiler için yüksek oranda ölçeklenebilir ve kurumsal kullanıma hazır altyapının üzerine inşa edilir:

• Yerleşik coğrafi çoğaltma ile tüm Azure bölgelerine düşük gecikme süreli erişim modeli yapıları sunar.

• Azure İlkesine sahip modellere erişimi sınırlama ve yönetilen sanal ağlarla güvenli dağıtım gibi kurumsal güvenlik gereksinimlerini destekler.

Yönetilen işlem ile çıkarım için modelleri dağıtma

Yönetilen bir işleme dağıtım için kullanılabilen modeller, gerçek zamanlı çıkarım için Azure Machine Learning Çevrimiçi Uç Noktalarına dağıtılabilir. Yönetilen işleme dağıtım, modeli en iyi şekilde çalıştırmak için gereken belirli SKU'lar için Azure Aboneliğinizde Sanal Makine kotasına sahip olmanız gerekir. Bazı modeller, modeli test etmek için geçici olarak paylaşılan kotaya dağıtım yapmanızı sağlar. Modelleri dağıtma hakkında daha fazla bilgi edinin:

• Meta Llama modellerini dağıtma
• Azure AI tarafından oluşturulan Açık modelleri dağıtma

Yönetilen işlem ile Üretken Yapay Zeka Uygulamaları oluşturma

İstem akışı prototip oluşturma için harika bir deneyim sunar. Open Model LLM aracıyla prompt Flow'da Yönetilen işlemlerle dağıtılan modelleri kullanabilirsiniz. Azure Machine Learning uzantısıyla LangChain gibi popüler LLM araçlarında yönetilen işlem tarafından kullanıma sunulan REST API'yi de kullanabilirsiniz.

Yönetilen işlem olarak dağıtılan modeller için içerik güvenliği

Azure AI İçerik Güvenliği (AACS) hizmeti, Cinsel içerik, şiddet, nefret ve kendine zarar verme gibi çeşitli zararlı içerik kategorilerini ve Jailbreak risk algılama ve Korumalı malzeme metin algılama gibi gelişmiş tehditleri taramak için Yönetilen işlemlerle kullanılabilir. Lama 2 için AACS ile başvuru tümleştirmesi için bu not defterine başvurabilir veya modelden gelen yanıtları tarama için AACS'ye geçirmek üzere İstem Akışı'ndaki İçerik Güvenliği (Metin) aracını kullanabilirsiniz. Bu tür kullanım için AACS fiyatlandırmasına göre ayrı olarak faturalandırılırsınız.

Kullandıkça öde faturalaması ile sunucusuz API'ler

Model Kataloğu'ndaki bazı modeller kullandıkça öde faturalaması ile sunucusuz API'ler olarak dağıtılabilir; Bu dağıtım yöntemi Hizmet Olarak Modeller (MaaS) olarak adlandırılır ve bunları aboneliğinizde barındırmadan API olarak kullanmanın bir yolunu sağlar. MaaS aracılığıyla kullanılabilen modeller Microsoft tarafından yönetilen altyapıda barındırılır ve bu da model sağlayıcısının modeline API tabanlı erişim sağlar. API tabanlı erişim, bir modele erişim maliyetini önemli ölçüde azaltabilir ve sağlama deneyimini önemli ölçüde basitleştirebilir. MaaS modellerinin çoğu belirteç tabanlı fiyatlandırmayla gelir.

MaaS'ta üçüncü taraf modeller nasıl kullanılabilir?

Kullandıkça öde faturalandırması ile sunucusuz API'ler olarak dağıtılabilen modeller, model sağlayıcı tarafından sunulur ancak Microsoft tarafından yönetilen Azure altyapısında barındırılır ve API aracılığıyla erişilir. Model sağlayıcıları lisans koşullarını tanımlar ve modellerinin kullanım fiyatını belirlerken, Azure Machine Learning hizmeti barındırma altyapısını yönetir, çıkarım API'lerini kullanılabilir hale getirir ve MaaS aracılığıyla dağıtılan modeller tarafından gönderilen istemler ve içerik çıkışı için veri işlemcisi görevi görür. Veri gizliliği makalesinde MaaS için veri işleme hakkında daha fazla bilgi edinin.

MaaS'ta model kullanımı için ödeme

MaaS aracılığıyla dağıtılan modeller için bulma, abonelik ve tüketim deneyimi Azure AI Studio'da ve Azure Machine Learning stüdyosu. Kullanıcılar modellerin kullanımı için lisans koşullarını kabul ediyor ve dağıtım sırasında tüketime yönelik fiyatlandırma bilgileri sağlanıyor. Üçüncü taraf sağlayıcılardan gelen modeller Ticari Market Kullanım Koşulları'na uygun olarak Azure Market üzerinden faturalandırılır; Microsoft'un modelleri Birinci Taraf Tüketim Hizmetleri olarak Azure ölçümleri kullanılarak faturalandırılır. Ürün Koşulları'nda açıklandığı gibi, Birinci Taraf Tüketim Hizmetleri Azure ölçümleri kullanılarak satın alınır ancak Azure hizmet koşullarına tabi değildir; bu modellerin kullanımı sağlanan lisans koşullarına tabidir.

MaaS aracılığıyla çıkarım için modelleri dağıtma

MaaS aracılığıyla model dağıtmak, kullanıcıların altyapı yapılandırmaya veya GPU'lar sağlamaya gerek kalmadan çıkarım API'lerini kullanmaya hazır erişim elde etmesini sağlayarak mühendislik süresi ve kaynak tasarrufu sağlar. Bu API'ler birkaç LLM aracıyla tümleştirilebilir ve kullanım, önceki bölümde açıklandığı gibi faturalandırılır.

Kullandıkça öde ile MaaS aracılığıyla modellerde ince ayar yapma

MaaS aracılığıyla sunulan ve ince ayarlamayı destekleyen modeller için kullanıcılar, sağladıkları verileri kullanarak modelleri uyarlamak için kullandıkça öde faturalaması ile barındırılan ince ayarlamadan yararlanabilir. Daha fazla bilgi için bkz. ince ayarlamaya genel bakış.

Sunucusuz API'ler olarak dağıtılan modellerle RAG

Azure AI Studio, kullanıcıların Vektör Dizinleri ve Alma Artırılmış Nesil'i kullanmasına olanak tanır. Sunucusuz API aracılığıyla dağıtılabilir modeller, kullanım örneğine özgü yanıtlar oluşturmak üzere özel verilere dayalı eklemeler ve çıkarımlar oluşturmak için kullanılabilir. Daha fazla bilgi için bkz . Vektör dizini oluşturma.

Tekliflerin ve modellerin bölgesel kullanılabilirliği

Kullandıkça öde faturalaması yalnızca Azure aboneliği model sağlayıcısının teklifi kullanıma sunduğu bir ülkedeki bir ödeme hesabına ait olan kullanıcılar tarafından kullanılabilir (sonraki bölümdeki tabloda yer alan "teklif kullanılabilirlik bölgesi" bölümüne bakın). Teklif ilgili bölgede kullanılabiliyorsa, kullanıcının modelin dağıtım veya ince ayar için kullanılabildiği Azure bölgesinde bir Hub/Project'i olmalıdır (aşağıdaki tabloda "hub/proje bölgesi" sütunlarına bakın).

Model	Teklif kullanılabilirlik bölgesi	Dağıtım için Hub/Proje Bölgesi	İnce Ayar için Merkez/Proje Bölgesi
Llama-3-70B-Instruct Llama-3-8B-Instruct	Microsoft Tarafından Yönetilen Ülkeler	Doğu ABD, Doğu ABD 2, Orta Kuzey ABD, Orta Güney ABD, Orta İsveç, Batı ABD, Batı ABD 3	Kullanılamaz
Lama-2-7b Lama-2-13b Lama-2-70b	Microsoft Tarafından Yönetilen Ülkeler	Doğu ABD, Doğu ABD 2, Orta Kuzey ABD, Orta Güney ABD, Batı ABD, Batı ABD 3	Batı ABD 3
Lama-2-7b-sohbet Lama-2-13b-sohbet Llama-2-70b-chat	Microsoft Tarafından Yönetilen Ülkeler	Doğu ABD, Doğu ABD 2, Orta Kuzey ABD, Orta Güney ABD, Batı ABD, Batı ABD 3,	Kullanılamaz
Mistral Small	Microsoft Tarafından Yönetilen Ülkeler	Doğu ABD, Doğu ABD 2, Orta Kuzey ABD, Orta Güney ABD, Orta İsveç, Batı ABD, Batı ABD 3	Kullanılamaz
Mistral-Large	Microsoft Tarafından Yönetilen Ülkeler Brezilya Hong Kong İsrail	Doğu ABD, Doğu ABD 2, Orta Kuzey ABD, Orta Güney ABD, Orta İsveç, Batı ABD, Batı ABD 3	Kullanılamaz
Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual	Microsoft Tarafından Yönetilen Ülkeler Japonya	Doğu ABD, Doğu ABD 2, Orta Kuzey ABD, Orta Güney ABD, Orta İsveç, Batı ABD, Batı ABD 3	Kullanılamaz
TimeGEN-1	Microsoft Tarafından Yönetilen Ülkeler Meksika İsrail	Doğu ABD, Doğu ABD 2, Orta Kuzey ABD, Orta Güney ABD, Orta İsveç, Batı ABD, Batı ABD 3	Kullanılamaz
jais-30b-chat	Microsoft Tarafından Yönetilen Ülkeler	Doğu ABD, Doğu ABD 2, Orta Kuzey ABD, Orta Güney ABD, Orta İsveç, Batı ABD, Batı ABD 3	Kullanılamaz
Phi-3-mini-4k-instruct	Microsoft Tarafından Yönetilen Ülkeler	Doğu ABD 2, Orta Kanada, Orta İsveç, Batı ABD 3	Kullanılamaz
Phi-3-mini-128k-instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct	Microsoft Tarafından Yönetilen Ülkeler	Doğu ABD 2, Orta İsveç	Kullanılamaz

Sunucusuz API aracılığıyla dağıtılan modeller için içerik güvenliği

Önemli

Bu makalede açıklanan özelliklerden bazıları yalnızca önizleme aşamasında kullanılabilir. Bu önizleme, hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için önerilmez. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.

Azure AI Studio, MaaS ile dağıtılan dil modellerinde zararlı içerik (nefret, kendine zarar verme, cinsel ve şiddet) için Azure AI content Safety metin denetim filtrelerinin varsayılan yapılandırmasını uygular. İçerik filtreleme (önizleme) hakkında daha fazla bilgi edinmek için bkz. Azure Yapay Zeka İçerik Güvenliği'nde zarar kategorileri. İçerik filtreleme (önizleme), hizmet içerik oluşturmak için istemleri işlerken eşzamanlı olarak gerçekleşir ve bu tür kullanım için AACS fiyatlandırması uyarınca ayrıca faturalandırılabilirsiniz. Bir dil modelini ilk kez dağıtırken veya dağıtım ayrıntıları sayfasında içerik filtreleme iki durumlu düğmesini tıklatarak tek tek sunucusuz uç noktalar için içerik filtrelemeyi devre dışı bırakabilirsiniz. İçerik filtrelerini kapatırsanız kullanıcıları zararlı içeriğe maruz bırakma riskiniz daha yüksek olabilir.

Sonraki adımlar

• Azure AI Studio'da Azure AI foundation modellerini keşfetme