Azure AI Studio'da model kataloğu ve koleksiyonları
Önemli
Bu makalede işaretlenen (önizleme) öğeler şu anda genel önizleme aşamasındadır. Bu önizleme, hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için önerilmez. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.
Azure AI Studio'daki model kataloğu, üretken yapay zeka uygulamaları oluşturmak için çok çeşitli modelleri keşfedip kullanan merkezdir. Model kataloğunda Microsoft tarafından eğitilen modeller de dahil olmak üzere Azure OpenAI Hizmeti, Mistral, Meta, Cohere, NVIDIA ve Hugging Face gibi model sağlayıcıları genelinde yüzlerce model bulunur. Microsoft dışındaki sağlayıcılardan gelen modeller, Microsoft Ürün Koşulları'nda tanımlanan Microsoft Dışı Ürünlerdir ve modellerle birlikte sağlanan koşullara tabidir.
Model koleksiyonları
Model kataloğu modelleri üç koleksiyon halinde düzenler:
Azure AI tarafından seçki: Azure AI platformunda sorunsuz çalışacak şekilde paketlenmiş ve iyileştirilmiş en popüler Microsoft dışı açık ağırlık ve özel modeller. Bu modellerin kullanımı model sağlayıcılarının lisans koşullarına tabidir. Bu modelleri Azure AI Studio'da dağıttığınızda, bunların kullanılabilirliği geçerli Azure hizmet düzeyi sözleşmesine (SLA) tabidir ve Microsoft dağıtım sorunları için destek sağlar.
Meta, NVIDIA ve Mistral AI gibi iş ortaklarının modelleri, katalogdaki bu koleksiyonda bulunan modellere örnek olarak verilebilir. Katalogdaki model kutucuklarında yeşil bir onay işareti arayarak bu modelleri tanımlayabilirsiniz. İsterseniz, Azure AI tarafından seçilen koleksiyonuna göre filtreleyebilirsiniz.
Azure OpenAI modelleri yalnızca Azure'da kullanılabilir: Azure OpenAI Hizmeti ile tümleştirme aracılığıyla sunulan amiral gemisi Azure OpenAI modelleri. Microsoft, bu modelleri ve bunların Azure OpenAI Hizmeti için ürün koşullarına ve SLA'ya göre kullanımını destekler.
Yüz Tanıma hub'ından modelleri açın: Yönetilen işlemle gerçek zamanlı çıkarım için Yüz Tanıma hub'ından yüzlerce model. Yüz Tanımayı Kucaklama, bu koleksiyonda listelenen modelleri oluşturur ve korur. Yardım için Yüz Tanıma forumunu veya YüzLeri Kucaklama desteğini kullanın. Azure AI Studio ile açık modelleri dağıtma bölümünde daha fazla bilgi edinin.
Bu formu kullanarak model kataloğuna model ekleme isteği gönderebilirsiniz.
Model kataloğu özelliklerine genel bakış
Yönetilen işlem seçeneğiyle Yüz Tanıma hub'ı koleksiyonlarını kucaklama seçeneğinden Azure AI ve Open modellerine göre seçilen bazı modelleri dağıtabilirsiniz. Bazı modeller kullandıkça öde faturalaması ile sunucusuz API'ler aracılığıyla dağıtılabilir.
Bu modelleri büyük ölçekte bulabilir, karşılaştırabilir, değerlendirebilir, ince ayar yapabilir (desteklendiğinde) ve dağıtabilirsiniz. Ardından kurumsal düzeyde güvenlik ve veri idaresi ile modelleri üretken yapay zeka uygulamalarınızla tümleştirebilirsiniz. Aşağıdaki listede etkinlikler ayrıntılı olarak açıklanmaktadır:
- Keşfedin: Model kartlarını gözden geçirin, örnek çıkarımını deneyin ve modeli değerlendirmek, ince ayar yapmak veya dağıtmak için kod örneklerine göz atın.
- Karşılaştırma: Sektördeki modeller ve veri kümeleri arasındaki karşılaştırmaları karşılaştırarak hangisinin iş senaryonuza uygun olduğunu değerlendirin.
- Değerlendirme: Kendi test verilerinizi sağlayarak modelin belirli iş yükünüz için uygun olup olmadığını değerlendirin. Seçilen modelin senaryonuzda ne kadar iyi performans sergileyeğini görselleştirmek için değerlendirme ölçümlerini kullanın.
- İnce ayar: Kendi eğitim verilerinizi kullanarak ince ayarlanabilir modelleri özelleştirin ve tüm ince ayar işleriniz genelinde ölçümleri karşılaştırarak en iyi modeli seçin. Yerleşik iyileştirmeler, ince ayarlamayı hızlandırarak gerekli bellek ve işlem miktarını azaltır.
- Dağıtma: Çıkarım için önceden eğitilmiş modelleri veya hassas ayarlanmış modelleri sorunsuz bir şekilde dağıtın. Yönetilen işlem için dağıtılabilir modelleri de indirebilirsiniz.
Azure OpenAI modelleri hakkında daha fazla bilgi için bkz . Azure OpenAI Hizmeti nedir?.
Model dağıtımı: Yönetilen işlem ve sunucusuz API (kullandıkça öde)
Model kataloğu, kullanımınız için modelleri dağıtmak için iki farklı yol sunar: yönetilen işlem ve sunucusuz API'ler.
Her model için kullanılabilen dağıtım seçenekleri ve özellikleri, aşağıdaki tablolarda açıklandığı gibi farklılık gösterir. Dağıtım seçenekleriyle veri işleme hakkında daha fazla bilgi edinin.
Model dağıtım seçeneklerinin özellikleri
| Özellikler | Yönetilen işlem | Sunucusuz API (kullandıkça öde) |
|---|---|---|
| Dağıtım deneyimi ve faturalama | Model ağırlıkları, yönetilen işlem içeren ayrılmış sanal makinelere dağıtılır. Bir veya daha fazla dağıtıma sahip olabilecek yönetilen bir işlem, çıkarım için bir REST API'sini kullanıma hazır hale getirir. Dağıtımların kullandığı sanal makine çekirdek saatleri için faturalandırılırsınız. | Modellere erişim, modele erişmek için bir API sağlayan bir dağıtımdan geçer. API, Çıkarım için Microsoft'un barındırıp yönettiği modele erişim sağlar. API'lere girişler ve çıkışlar için genellikle belirteçler halinde faturalandırılırsınız. Fiyatlandırma bilgileri dağıtmadan önce sağlanır. |
| API kimlik doğrulaması | Anahtarlar ve Microsoft Entra kimlik doğrulaması. | Yalnızca anahtarlar. |
| İçerik güvenliği | Azure AI İçerik Güvenliği hizmeti API'lerini kullanın. | Azure AI Content Safety filtreleri çıkarım API'leriyle tümleşik olarak kullanılabilir. Azure AI İçerik Güvenliği filtreleri ayrı olarak faturalandırılır. |
| Ağ yalıtımı | Azure AI Studio hub'ları için yönetilen ağları yapılandırın. | Yönetilen işlem, hub'ınızın genel ağ erişimi (PNA) bayrağı ayarını izler. Daha fazla bilgi için bu makalenin devamında Yer alan Sunucusuz API'ler aracılığıyla dağıtılan modeller için ağ yalıtımı bölümüne bakın. |
Desteklenen dağıtım seçenekleri için kullanılabilir modeller
| Model | Yönetilen işlem | Sunucusuz API (kullandıkça öde) |
|---|---|---|
| Llama aile modelleri | Lama-2-7b Lama-2-7b-sohbet Lama-2-13b Lama-2-13b-sohbet Lama-2-70b Lama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Lama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Lama-2-7b Lama-2-7b-sohbet Lama-2-13b Lama-2-13b-sohbet Lama-2-70b Llama-2-70b-chat |
| Mistral ailesi modelleri | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large (2402) Mistral-large (2407) Mistral-small Ministral-3B Mistral-NeMo |
| Aile modellerini uyumlu yapma | Kullanılamaz | Cohere-command-r-plus-08-2024 Cohere-command-r-08-2024 Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual Cohere-rerank-v3-english Cohere-rerank-v3-multilingual |
| JAIS | Kullanılamaz | jais-30b-chat |
| Sağlık Hizmetleri Yapay ZekaSı Aile Modelleri | MedImageInsight CxrReportGen MedImageParse |
Kullanılabilir Değil |
| Phi-3 aile modelleri | Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3-vision-128k-Instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
| Nixtla | Kullanılamaz | TimeGEN-1 |
| Diğer modeller | Kullanılabilir | Yok |
Yönetilen işlem
Modelleri yönetilen işlem olarak dağıtma özelliği, büyük dil modeli (LLM) işlemlerinin tüm yaşam döngüsü boyunca model kataloğundaki geniş model koleksiyonunun sorunsuz bir şekilde tümleştirilmesini sağlamak için Azure Machine Learning'in platform özelliklerini temel alır.
Yönetilen işlem olarak dağıtım için modellerin kullanılabilirliği
Modeller Azure Machine Learning kayıt defterleri aracılığıyla kullanılabilir hale getiriliyor. Bu kayıt defterleri, Azure Machine Learning varlıklarını barındırmak ve dağıtmak için makine öğrenmesi öncelikli bir yaklaşım sağlar. Bu varlıklar model ağırlıklarını, modelleri çalıştırmaya yönelik kapsayıcı çalışma zamanlarını, modelleri değerlendirmeye ve ince ayarlamaya yönelik işlem hatlarını ve karşılaştırmalar ve örnekler için veri kümelerini içerir.
Kayıt defterleri, aşağıdakileri sağlayan yüksek oranda ölçeklenebilir ve kurumsal kullanıma hazır bir altyapının üzerine inşa edilir:
Yerleşik coğrafi çoğaltma ile tüm Azure bölgelerine düşük gecikme süreli erişim modeli yapıtları sunar.
Azure İlkesi kullanarak modellere erişimi sınırlama ve yönetilen sanal ağları kullanarak güvenli dağıtım gibi kurumsal güvenlik gereksinimlerini destekler.
Yönetilen işlemle çıkarım için modellerin dağıtımı
Yönetilen işleme dağıtım için kullanılabilen modeller, gerçek zamanlı çıkarım için Azure Machine Learning tarafından yönetilen işleme dağıtılabilir. Yönetilen işleme dağıtım, modeli en iyi şekilde çalıştırmak için ihtiyacınız olan belirli ürünler için Azure aboneliğinizde bir sanal makine kotası olmasını gerektirir. Bazı modeller, model testi için geçici olarak paylaşılan bir kotaya dağıtım yapmanızı sağlar.
Modelleri dağıtma hakkında daha fazla bilgi edinin:
Yönetilen işlemle üretken yapay zeka uygulamaları oluşturma
Azure Machine Learning'deki istem akışı özelliği prototip oluşturma için harika bir deneyim sunar. Open Model LLM aracıyla komut istemi akışında yönetilen işlemle dağıtılan modelleri kullanabilirsiniz. Azure Machine Learning uzantısıyla LangChain gibi popüler LLM araçlarında yönetilen işlem tarafından kullanıma sunulan REST API'yi de kullanabilirsiniz.
Yönetilen işlem olarak dağıtılan modeller için içerik güvenliği
Azure AI İçerik Güvenliği hizmeti, cinsel içerik, şiddet, nefret ve kendine zarar verme gibi çeşitli zararlı içerik kategorilerini taramak için yönetilen işlemle kullanılabilir. Jailbreak risk algılama ve korumalı malzeme metin algılama gibi gelişmiş tehditleri taramak için de hizmeti kullanabilirsiniz.
Llama 2 için Azure AI content Safety ile başvuru tümleştirmesi için bu not defterine başvurabilirsiniz. Alternatif olarak, modelden gelen yanıtları tarama için Azure AI Content Safety'e geçirmek için istem akışında İçerik Güvenliği (Metin) aracını da kullanabilirsiniz. Azure AI İçerik Güvenliği fiyatlandırmasında açıklandığı gibi bu tür kullanımlar için ayrı olarak faturalandırılırsınız.
Kullandıkça öde faturalaması ile sunucusuz API'ler
Model kataloğundaki belirli modelleri kullandıkça öde faturalaması ile sunucusuz API'ler olarak dağıtabilirsiniz. Bazen hizmet olarak model (MaaS) olarak da adlandırılan bu dağıtım yöntemi, modelleri aboneliğinizde barındırmadan API olarak kullanmanın bir yolunu sağlar. Modeller, model sağlayıcısının modeline API tabanlı erişim sağlayan Microsoft tarafından yönetilen bir altyapıda barındırılır. API tabanlı erişim, modele erişim maliyetini önemli ölçüde azaltabilir ve sağlama deneyimini basitleştirebilir.
Kullandıkça öde faturalaması ile sunucusuz API'ler olarak dağıtım için kullanılabilen modeller model sağlayıcısı tarafından sunulur, ancak bunlar Microsoft tarafından yönetilen bir Azure altyapısında barındırılır ve API aracılığıyla erişilir. Model sağlayıcıları lisans koşullarını tanımlar ve modellerinin kullanım fiyatını belirler. Azure Machine Learning hizmeti:
- Barındırma altyapısını yönetir.
- Çıkarım API'lerini kullanılabilir hale getirir.
- MaaS aracılığıyla dağıtılan modeller tarafından gönderilen istemler ve içerik çıkışı için veri işlemcisi görevi görür.
Veri gizliliği hakkındaki makalede MaaS için veri işleme hakkında daha fazla bilgi edinin.
Faturalandırma
MaaS aracılığıyla dağıtılan modeller için bulma, abonelik ve tüketim deneyimi Azure AI Studio'da ve Azure Machine Learning stüdyosu. Kullanıcılar, modellerin kullanımı için lisans koşullarını kabul edebilir. Tüketim için fiyatlandırma bilgileri dağıtım sırasında sağlanır.
Microsoft dışı sağlayıcılardan gelen modeller, Microsoft Ticari Market Kullanım Koşulları'na uygun olarak Azure Market üzerinden faturalandırılır.
Microsoft modelleri, Azure ölçümleri aracılığıyla Birinci Taraf Tüketim Hizmetleri olarak faturalandırılır. Ürün Koşulları'nda açıklandığı gibi, Birinci Taraf Tüketim Hizmetleri'ni Azure ölçümlerini kullanarak satın alırsınız, ancak Bunlar Azure hizmet koşullarına tabi değildir. Bu modellerin kullanımı, sağlanan lisans koşullarına tabidir.
Modellerde ince ayar
Bazı modeller sunucusuz ince ayarlamayı da destekler. Bu modeller için, sağladığınız verileri kullanarak modelleri uyarlamak için kullandıkça öde faturalamasıyla barındırılan ince ayarlamalardan yararlanabilirsiniz. Daha fazla bilgi için bkz. ince ayarlamaya genel bakış.
Sunucusuz API'ler olarak dağıtılan modellerle RAG
Azure AI Studio'da vektör dizinlerini ve alma artırılmış nesli (RAG) kullanabilirsiniz. Özel verilere göre ekleme ve çıkarım oluşturmak için sunucusuz API'ler aracılığıyla dağıtılabilir modelleri kullanabilirsiniz. Bu eklemeler ve çıkarımlar daha sonra kullanım örneğinize özgü yanıtlar oluşturabilir. Daha fazla bilgi için bkz . Azure AI Studio'da vektör dizinleri oluşturma ve kullanma.
Tekliflerin ve modellerin bölgesel kullanılabilirliği
Kullandıkça öde faturalaması yalnızca Azure aboneliği model sağlayıcısının teklifi kullanıma sunduğu bir ülkedeki bir ödeme hesabına ait olan kullanıcılar tarafından kullanılabilir. Teklif ilgili bölgede kullanılabiliyorsa, kullanıcının modelin dağıtım veya ince ayarlama için kullanılabildiği Azure bölgesinde bir Hub/Project'i olması gerekir. Bkz. Sunucusuz API uç noktalarındaki modeller için bölge kullanılabilirliği | Ayrıntılı bilgi için Azure AI Studio .
Sunucusuz API'ler aracılığıyla dağıtılan modeller için içerik güvenliği
Sunucusuz API'ler aracılığıyla dağıtılan dil modelleri için Azure AI, nefret, kendine zarar verme, cinsel içerik ve şiddet içeren içerik gibi zararlı içerikleri algılayan Azure AI İçerik Güvenliği metin denetim filtrelerinin varsayılan yapılandırmasını uygular. İçerik filtreleme (önizleme) hakkında daha fazla bilgi edinmek için bkz . Azure AI İçerik Güvenliği'nde Zarar kategorileri.
İpucu
Sunucusuz API'ler aracılığıyla dağıtılan belirli model türleri için içerik filtreleme (önizleme) kullanılamaz. Bu model türleri, ekleme modellerini ve zaman serisi modellerini içerir.
Hizmet içerik oluşturmak isteyip istemediğinizi sorarken içerik filtreleme (önizleme) zaman uyumlu olarak gerçekleşir. Bu tür kullanım için Azure AI İçerik Güvenliği fiyatlandırmasına göre ayrı olarak faturalandırılabilirsiniz. Tek tek sunucusuz uç noktalar için içerik filtrelemeyi (önizleme) devre dışı bırakabilirsiniz:
- Bir dil modelini ilk kez dağıttığınızda
- Daha sonra, dağıtım ayrıntıları sayfasında içerik filtreleme iki durumlu düğmesini seçerek
Sunucusuz API aracılığıyla dağıtılan bir modelle çalışmak için Azure AI Model Çıkarım API'sinden başka bir API kullanmaya karar verilmektedir. Böyle bir durumda, Azure AI content Safety kullanarak ayrı ayrı uygulamadığınız sürece içerik filtreleme (önizleme) etkinleştirilmez.
Azure AI İçerik Güvenliği'ni kullanmaya başlamak için bkz . Hızlı Başlangıç: Metin içeriğini analiz etme. Sunucusuz API'ler aracılığıyla dağıtılan modellerle çalışırken içerik filtreleme (önizleme) kullanmıyorsanız, kullanıcıları zararlı içeriğe maruz bırakarak daha yüksek bir riskle karşılaşırsınız.
Sunucusuz API'ler aracılığıyla dağıtılan modeller için ağ yalıtımı
Sunucusuz API'ler olarak dağıtılan modeller için yönetilen hesaplamalar, dağıtımın bulunduğu projenin bulunduğu AI Studio hub'ının genel ağ erişim bayrağı ayarını izler. Yönetilen işlemlerinizin güvenliğini sağlamaya yardımcı olmak için AI Studio hub'ınızdaki genel ağ erişim bayrağını devre dışı bırakın. Hub için özel bir uç nokta kullanarak bir istemciden yönetilen işlemle gelen iletişimin güvenliğini sağlamaya yardımcı olabilirsiniz.
AI Studio hub'ına yönelik genel ağ erişim bayrağını ayarlamak için:
- Azure portala gidin.
- Hub'ın ait olduğu kaynak grubunu arayın ve bu kaynak grubu için listelenen kaynaklardan AI Studio hub'ınızı seçin.
- Hub'a genel bakış sayfasında, sol bölmede Ayarlar>Ağ'a gidin.
- Genel erişim sekmesinde, genel ağ erişim bayrağı ayarlarını yapılandırabilirsiniz.
- Değişikliklerinizi kaydedin. Değişikliklerinizin yayılması beş dakika kadar sürebilir.
Sınırlamalar
11 Temmuz 2024'te oluşturulmuş yönetilen işlem içeren bir AI Studio hub'ına sahipseniz, bu hub'daki projelere eklenen yönetilen işlemlerde hub'ın ağ yapılandırmasına uyulmayacak. Bunun yerine, hub için yeni bir yönetilen işlem oluşturmanız ve yeni dağıtımların hub'ın ağ yapılandırmasını izleyebilmesi için projede yeni sunucusuz API dağıtımları oluşturmanız gerekir.
11 Temmuz 2024'te maaS dağıtımları oluşturulmuş bir AI Studio hub'ına sahipseniz ve bu hub'da yönetilen bir işlem etkinleştirirseniz, mevcut MaaS dağıtımları hub'ın ağ yapılandırmasını izlemez. Hub'daki sunucusuz API dağıtımlarının hub'ın ağ yapılandırmasını izlemesi için dağıtımları yeniden oluşturmanız gerekir.
Şu anda, özel hub'larda genel ağ erişim bayrağı devre dışı bırakıldığından, Verilerinizde Azure OpenAI desteği özel hub'lardaki MaaS dağıtımlarında kullanılamamaktadır.
Tüm ağ yapılandırma değişikliklerinin (örneğin, genel ağ erişim bayrağını etkinleştirme veya devre dışı bırakma) yayılması beş dakika kadar sürebilir.