Azure Machine Learning'de Microsoft Foundry Modellerini keşfedin

Microsoft Foundry Modelleri, güçlü yapay zeka modellerini bulmak, değerlendirmek ve dağıtmak için tek durağınızdır. Özel bir yardımcı pilot oluşturuyor, bir ajan tasarlıyor, mevcut bir uygulamayı geliştiriyor veya yeni yapay zeka yeteneklerini keşfediyor olun, Foundry Modelleri destek sağlar.

DökümHane Modellerini kullanarak şunları yapabilirsiniz:

  • Microsoft, OpenAI, DeepSeek, Hugging Face, Meta ve daha birçok yeni modelden oluşan zengin bir kataloğu keşfedin.
  • Gerçek dünya görevlerini ve kendi verilerinizi kullanarak modelleri yan yana karşılaştırın ve değerlendirin.
  • Hassas ayarlama, gözlemlenebilirlik ve sorumlu yapay zeka için yerleşik araçlar sayesinde güvenle dağıtın.
  • Yolunuzu seçin: Kendi modelinizi getirin, barındırılan bir modeli kullanın veya Azure hizmetleriyle sorunsuz bir şekilde tümleştirin.
  • İster geliştirici, veri bilimcisi ister kurumsal mimar olun, Foundry Modelleri size güvenli, sorumlu ve hızlı ölçeklendirilen yapay zeka çözümleri oluşturma esnekliği ve denetimi sağlar.

Foundry, yapay zeka modellerinin kapsamlı bir kataloğunu sunar. Temel Modeller, Akıl Yürütme Modelleri, Küçük Dil Modelleri, Çok Modüllü Modeller, Etki Alanına Özgü Modeller, Sektör Modelleri ve daha birçok farklı modelden oluşan 1.900'den fazla model vardır.

Katalog iki ana kategoride düzenlenmiştir:

Bu kategoriler arasındaki ayrımı anlamak, özel gereksinimlerinize ve stratejik hedeflerinize göre doğru modelleri seçmenize yardımcı olur.

Azure tarafından satılan Foundry Modelleri

Microsoft, bu modelleri Microsoft Ürün Koşulları kapsamında barındırıp satar. Bu modeller sıkı bir değerlendirmeden geçer ve Azure'ın yapay zeka ekosistemine derinden tümleştirilmiştir. Bunlar çeşitli üst düzey sağlayıcılardan gelir ve kurumsal düzeyde hizmet düzeyi sözleşmeleri (SLA) dahil olmak üzere gelişmiş tümleştirme, iyileştirilmiş performans ve doğrudan Microsoft desteği sunar.

Bu doğrudan modellerin özellikleri:

  • Microsoft'tan resmi birinci taraf desteği
  • Azure hizmetleri ve altyapısıyla yüksek düzeyde tümleştirme
  • Kapsamlı performans karşılaştırması ve doğrulama
  • Microsoft'un Sorumlu yapay zeka standartlarına uyma
  • Kurumsal düzeyde ölçeklenebilirlik, güvenilirlik ve güvenlik

Bu modeller aynı zamanda esnek bir şekilde tahsis edilebilen aktarım kapasitesi avantajına sahiptir; başka bir deyişle, kotanızı ve rezervasyonlarınızı bu modellerin herhangi birinde esnek bir şekilde kullanabilirsiniz.

İş ortaklarından ve topluluktan modeller

Bu modeller, Dökümhane Modellerinin çoğunu oluşturur. Güvenilir kuruluşlar, iş ortakları, araştırma laboratuvarları ve topluluk katkıda bulunanları bu modelleri sağlar. Çok çeşitli senaryoları, endüstrileri ve yenilikleri kapsayan özel ve çeşitli yapay zeka özellikleri sunar.

İş ortakları ve topluluktan gelen modellerin özellikleri:

  • Dış iş ortakları ve topluluk katkıda bulunanları tarafından geliştirilmiş ve desteklenmektedir
  • Niş veya geniş kullanım örneklerine hitap eden çeşitli özel modeller
  • Genellikle sağlayıcılar tarafından, Azure tarafından sağlanan tümleştirme yönergeleriyle doğrulanır
  • Topluluk odaklı yenilikler ve son teknoloji modellerin hızlı kullanılabilirliği
  • Standart Azure AI entegrasyonu, ilgili sağlayıcılar tarafından yönetilen destek ve bakım ile sağlanır.

Modelleri Yönetilen İşlem veya Standart (kullandıkça öde) dağıtım seçenekleri olarak dağıtabilirsiniz. Model sağlayıcısı, modellerin nasıl dağıtılabilir olduğunu seçer.

Doğrudan modeller ile iş ortağı ve topluluk modelleri arasında seçim

DökümHane Modelleri'nden modelleri seçerken aşağıdaki faktörleri göz önünde bulundurun:

  • Kullanım örneği ve gereksinimleri: Azure tarafından satılan modeller, derin Azure tümleştirmesi, garantili destek ve kurumsal SLA'lar gerektiren senaryolar için idealdir. Azure ekosistemi modelleri, özelleştirilmiş kullanım örneklerinde ve yenilik odaklı senaryolarda üstünlük sağlar.
  • Destek beklentileri: Azure tarafından satılan modeller, sağlam Microsoft sağlanan destek ve bakım ile gelir. Sağlayıcılar modellerini farklı SLA düzeyleri ve destek yapıları ile destekler.
  • Yenilik ve uzmanlık: İş ortaklarının ve topluluğun modelleri, genellikle önde gelen araştırma laboratuvarları ve gelişmekte olan yapay zeka sağlayıcıları tarafından geliştirilen özel yeniliklere ve niş özelliklere hızlı erişim sağlar.

Model koleksiyonları

Model kataloğu, modelleri farklı koleksiyonlar halinde düzenler.

  • Azure OpenAI modelleri yalnızca Azure üzerinde kullanılabilir: Amiral gemisi Azure OpenAI modelleri, Döküm Modellerinde Azure OpenAI ile tümleştirme aracılığıyla kullanılabilir. Microsoft, bu modelleri ve bunların kullanımını Foundry Modelleri'ndeki Azure OpenAI için ürün koşullarına ve SLA'ya göre destekler.

  • Hugging Face hubundan açık modeller: Yönetilen hesaplama ile gerçek zamanlı çıkarım için Hugging Face hubundan yüzlerce model. Hugging Face, bu koleksiyonda listelenen modelleri oluşturur ve sürdürür. Yardım almak için Hugging Face forumu veya Hugging Face desteğini kullanın. Daha fazla bilgi için bkz. Foundry ile açık modelleri dağıtma.

Model kataloğuna model ekleme isteğinde bulunmak için bu formu kullanın.

Model kataloğu özelliklerine genel bakış

Foundry portalındaki model kataloğu, üretken yapay zeka uygulamaları oluşturmak için çok çeşitli modelleri keşfedip kullanan merkezdir. Model kataloğunda Azure OpenAI, Mistral, Meta, Cohere, NVIDIA ve Hugging Face gibi microsoft tarafından eğitilen modeller de dahil olmak üzere model sağlayıcıları genelinde yüzlerce model bulunur. Microsoft dışındaki sağlayıcıların modelleri, Microsoft Ürün Koşulları kapsamında tanımlandığı üzere Microsoft Olmayan Ürünlerdir ve modellerle birlikte sağlanan koşullara tabidir.

Anahtar sözcük arama ve filtreler aracılığıyla ihtiyacınızı karşılayan modelleri arayabilir ve keşfedebilirsiniz. Model kataloğu, belirli modeller için model performans puan tablosu ve karşılaştırma ölçümleri de sunar. bunlara Puan Tablosunu Gözden Geçir ve Modelleri Karşılaştır seçeneklerini seçerek erişebilirsiniz. Karşılaştırma verilerine model kartı Karşılaştırma sekmesinden de erişilebilir.

Model kataloğu filtrelerinde şunları bulursunuz:

  • Koleksiyon: Model sağlayıcı koleksiyonuna göre modelleri filtreleyin.
  • Sektör: Sektöre özgü veri kümesinde eğitilen modeller için filtre uygulayın.
  • Özellikler: Akıl yürütme ve araç çağrısı gibi benzersiz model özellikleri için filtre uygular.
  • Dağıtım seçenekleri: Belirli bir dağıtım seçeneklerini destekleyen modeller için filtre uygulama.
    • Standart: API çağrısı başına ödeme.
    • Tahsis edilmiş: Büyük ve tutarlı hacimler için gerçek zamanlı puanlamaya en uygun olanıdır.
    • Batch: Gecikme süresine değil maliyet için iyileştirilmiş toplu işler için en uygun olanıdır. Toplu dağıtım için oyun alanı desteği sağlanmadı.
    • Yönetilen hesaplama: Bir modeli Azure sanal makinesine dağıtma. Barındırma ve tahmin yürütme için faturalandırılırsınız.
  • Çıkarım görevleri: Çıkarım görev türüne göre modelleri filtreleyin.
  • Hassas ayarlama görevleri: Modelleri hassas ayarlı görev türüne göre filtreleyin.
  • Lisanslar: Modelleri lisans türüne göre filtreleyin.

Model kartında şunları bulursunuz:

  • Hızlı bilgiler: Hızlı bir bakışta modelle ilgili önemli bilgiler.
  • Ayrıntılar: Açıklama, sürüm bilgileri, desteklenen veri türü ve daha fazlası dahil olmak üzere model hakkında ayrıntılı bilgiler.
  • Karşılaştırmalar: Belirli modeller için performans karşılaştırma ölçümleri.
  • Mevcut dağıtımlar: Modeli zaten dağıttıysanız, mevcut dağıtımlar sekmesinde bulabilirsiniz.
  • Lisans: Model lisanslama ile ilgili yasal bilgiler.
  • Artifaktlar: Yalnızca açık modeller için görüntülenir. Model varlıklarını görebilir ve kullanıcı arabirimi aracılığıyla indirebilirsiniz.

Model dağıtımı: Yönetilen hesaplama ve sunucusuz dağıtımlar

Azure OpenAI modellerine ek olarak model kataloğu, kullanımınız için modelleri dağıtmak için iki farklı yol sunar: yönetilen işlem ve sunucusuz dağıtımlar.

Her model için mevcut olan dağıtım seçenekleri ve özellikleri, aşağıdaki tablolar açıklandığı gibi değişiklik gösterir. Dağıtım seçenekleriyle veri işlemi hakkında daha fazla bilgi edinin.

Model dağıtım seçeneklerinin yetenekleri

Özellikler Yönetilen hesaplama Sunucusuz dağıtımlar
Dağıtım deneyimi ve faturalama Yönetilen hesaplama kullanarak ayrılmış sanal makinelere model ağırlıkları dağıtın. Yönetilen hesaplama bir veya daha fazla dağıtıma sahip olabilir ve çıkarım için bir REST API erişime açar. Dağıtımların kullandığı sanal makine çekirdek saatleri için faturalandırılırsınız. Modele erişmek için bir API sağlayan bir dağıtım aracılığıyla modellere erişin. API, Microsoft'un barındırıp yönettiği modele çıkarım yapmak için erişim sağlar. API'lere yapılan giriş ve çıkışlar için genellikle token olarak faturalandırılırsınız. Dağıtım yapmadan önce fiyat bilgisi sağlanır.
API kimlik doğrulama Anahtarlar ve Microsoft Entra kimlik doğrulama. Anahtarlar ve Microsoft Entra kimlik doğrulama.
İçerik Güvenliği Azure Yapay Zeka İçerik Güvenliği hizmet API'lerini kullanın. Azure Yapay Zeka İçerik Güvenliği filtreleri çıkarım API'leriyle tümleşik olarak kullanılabilir. Azure Yapay Zeka İçerik Güvenliği filtreleri ayrı olarak faturalandırılır.
Ağ izolasyonu Foundry hub'ları için yönetilen ağları yapılandırın. Sunucusuz dağıtımlar, hub'ınızın genel ağ erişimi (PNA) bayrağı ayarını izler. Daha fazla bilgi için makalenin ilerleyen kısımlarında yer alan standart dağıtımlar aracılığıyla dağıtılan modeller için ağ yalıtımı bölümüne bakın.

Yönetilen hesaplama

Azure Machine Learning platformunun özelliklerini temel alarak yönetilen işlem derlemelerini kullanarak modelleri dağıtma yeteneği, model kataloğundaki geniş model koleksiyonunu GenAIOps (bazen LLMOps olarak da adlandırılır) yaşam döngüsünün tamamı boyunca sorunsuz bir şekilde tümleştirmeyi sağlıyor.

LLMops yaşam döngüsünü gösteren diyagram.

Yönetilen hesaplama olarak dağıtım için modellerin kullanılabilirliği

Bu modellere Azure Machine Learning kayıt defterleri aracılığıyla erişebilirsiniz. Model ağırlıkları, modelleri çalıştırmak için kapsayıcı çalışma zamanları, modelleri değerlendirmek ve ince ayarlamak için işlem hatları ve karşılaştırmalar ve örnekler için veri kümeleri gibi Machine Learning varlıklarını barındırmak ve dağıtmak için ML öncelikli bir yaklaşım sağlar. Bu ML Kayıt Defterleri, aşağıdakiler için yüksek oranda ölçeklenebilir ve kurumsal kullanıma hazır altyapıyı kullanır:

Modellerin çıkarım için yönetilen hesaplama ile dağıtımı

Azure Machine Learning ile çevrimiçi uç noktalarda yönetilen hesaplama gücü kullanarak gerçek zamanlı çıkarım için modelleri dağıtın veya verilerinizi toplu olarak işlemek için Azure Machine Learning toplu çıkarımını kullanın. Azure Aboneliğinizde belirli SKU'lar için Sanal Makine kotasına ihtiyaç duyulmaktadır; böylece model, yönetilen bilişim ortamında en verimli şekilde çalıştırılabilir. Bazı modeller, modeli test etmek için geçici olarak paylaşılan kotaya dağıtım yapmanızı sağlar. Modelleri dağıtma hakkında daha fazla bilgi edinin:

Yönetilen bilişimle üretken yapay zeka uygulamaları oluşturma

İstem akışı, yapay zeka uygulamalarınızı prototiplemek, denemeler yapmak, yinelemek ve dağıtmak için yetiler sunar. Yönetimli hesaplama ile dağıtılan modelleri, Azure AI modeli çıkarım API'si aracılığıyla kullanılabilen tüm modelleri destekleyen LLM aracıyla istem akışında kullanabilirsiniz. LangChain gibi popüler LLM araçlarında yönetilen işlemlerle kullanıma sunulan REST API'yi langchain-azure-ai paketiyle de kullanabilirsiniz.

Yönetilen hesaplama olarak dağıtılan modeller için içerik güvenliği

Azure AI İçerik Güvenliği, yönetilen hesaplama kaynaklarına dağıtılan modellerle, cinsel içerik, şiddet, nefret ve kendine zarar verme gibi çeşitli zararlı içerik kategorilerini ve jailbreak risk algılama ve korumalı malzeme algılama gibi gelişmiş tehditleri taramak için kullanılabilir. Model yanıtlarını tarama için Azure Yapay Zeka İçerik Güvenliği'ne geçirmek veya doğrudan Azure AI İçerik Güvenliği API'lerini kullanarak tümleştirmek için, istem akışında İçerik Güvenliği (Metin) aracını kullanın. Bu tür kullanım için Azure AI İçerik Güvenliği fiyatlandırmasına göre ayrı olarak faturalandırılırsınız.

Sunucusuz dağıtımlar

Model kataloğunda belirli modelleri sunucusuz dağıtımlar olarak dağıtabilirsiniz. Microsoft, modelleri yönetilen altyapıda barındırarak model sağlayıcısının modeline API tabanlı erişim sağlar. API tabanlı erişim, modele erişim maliyetini önemli ölçüde azaltabilir ve sağlama deneyimini önemli ölçüde basitleştirebilir. Sunucusuz dağıtımların çoğu belirteç tabanlı fiyatlandırma kullanır.

Microsoft dışı modeller sunucusuz dağıtımlar olarak nasıl kullanılabilir?

Bir model yayımcı hizmet döngüsünü gösteren diyagram.

Model sağlayıcıları sunucusuz dağıtım için modeller sunar, ancak Microsoft bu modelleri Azure altyapısında barındırıp API'ler aracılığıyla erişim sağlar. Model sağlayıcıları, modelleri için lisans koşullarını ve fiyatını ayarlar. Azure Machine Learning hizmeti barındırma altyapısını yönetir, çıkarım API'lerini kullanılabilir hale getirir ve sunucusuz dağıtım olarak dağıtılan modeller tarafından gönderilen istemler ve içerik çıkışı için veri işlemcisi olarak görev yapar. Veri işleme hakkında daha fazla bilgi için veri gizliliği makalesine bakın.

Uyarı

Bulut Çözüm Sağlayıcısı (CSP) abonelikleri standart dağıtım modellerini satın alma olanağına sahip değil.

Faturalandırma

Foundry Platformu ve Azure Machine Learning Studio, sunucusuz altyapı olarak dağıtılan modeller için keşif, abonelik ve tüketim deneyimini sağlar. Kullanıcılar, modellerin kullanımı için lisans koşullarını kabul eder. Tüketim için fiyat bilgisi, dağıtım sırasında sağlanır.

Microsoft Ticari Market Kullanım Koşulları'na uygun olarak Azure Market aracılığıyla Microsoft dışı sağlayıcılardan gelen modeller için ödeme yapılır.

Microsoft'tan alınan modeller için Azure ölçüm birimlerini Birinci Parti Tüketim Hizmetleri olarak ödersiniz. Ürün Koşulları'nda açıklandığı gibi, Birinci Taraf Tüketim Hizmetleri'ni Azure ölçümlerini kullanarak satın alırsınız, ancak bu hizmetler Azure hizmet koşullarına tabi değildir. Bu modellerin kullanımı, sağlanan lisans şartlarına tabidir.

Modellerde ince ayar

hassas ayarlamayı destekleyen sunucusuz dağıtımlar olarak kullanılabilen modeller için, modelleri kendi verilerinizi kullanarak uyarlamak için barındırılan ince ayarlamadan yararlanabilirsiniz. Daha fazla bilgi için bkz. Foundry portalında modellerde ince ayar yapma.

Modellerin standart dağıtım olarak dağıtıldığı RAG

Foundry, kullanıcıların Vektör Dizinleri ve Alım Destekli Üretim'den yararlanmasına olanak tanır. Standart dağıtımlar olarak dağıttığınız modelleri kullanarak özel verileri temel alan eklemeler ve çıkarımlar oluşturarak kullanım örneğinize özgü yanıtlar oluşturabilirsiniz. Daha fazla bilgi için Alma artırılmış oluşturma ve dizinler kısmına bakın.

Tekliflerin ve modellerin bölgesel kullanılabilirliği

Kullanıcılar sunucusuz dağıtımlara yalnızca Azure abonelikleri, model sağlayıcısının teklifi sunduğu bir ülkede veya bölgede bulunan bir ödeme hesabına aitse erişebilir. Teklif ilgili bölgede kullanılabiliyorsa, kullanıcının modelin dağıtım veya ince ayar için uygun olduğu Azure bölgesinde bir Hub'a veya Projeye sahip olması gerekir. Ayrıntılı bilgi için bkz . Standart dağıtımlardaki modeller için bölge kullanılabilirliği.

Standart dağıtımlar aracılığıyla dağıtılan modeller için içerik güvenliği

Önemli

Bu özellik şu anda genel önizlemededir. Bu önizleme sürümü, bir hizmet düzeyi anlaşması olmaksızın sağlanmaktadır ve üretim iş yükleri için önerilmemektedir. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir.

Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri için Uygun Kullanım Koşulları.

Sunucusuz API aracılığıyla dağıtılan dil modelleri için Azure yapay zeka, nefret, kendine zarar verme, cinsel ve şiddet içeren içerik gibi zararlı içerikleri algılayan Azure Yapay Zeka İçerik Güvenliği metin denetim filtrelerinin varsayılan yapılandırmasını uygular. İçerik filtreleme hakkında daha fazla bilgi edinmek için Azure tarafından satılan Modeller için güvenlik önlemleri ve denetimler bölümüne bakın.

Tavsiye

sunucusuz API aracılığıyla dağıtılan belirli model türleri için içerik filtreleme kullanılamaz. Bu model türleri, gömme modelleri ve zaman serisi modellerini içerir.

Hizmet içerik oluşturmak için istemleri işlediğinde içerik filtreleme zaman uyumlu olarak gerçekleşir. Bu tür kullanım için Azure Yapay Zeka İçerik Güvenliği fiyatlandırma göre ayrı olarak faturalandırılabilirsiniz. Tek tek sunucusuz uç noktalar için içerik filtrelemeyi devre dışı bırakabilirsiniz:

  • Bir dil modelini ilk kez devreye aldığınızda
  • Daha sonra, dağıtım detayları sayfasında içerik filtreleme geçişini seçerek

Sunucusuz bir API ile dağıtılan bir modelle çalışmak için Model Çıkarım API dışında başka bir API kullanmaya karar verdiğinizi varsayalım. Böyle bir durumda, Azure Yapay Zeka İçerik Güvenliği kullanarak ayrı ayrı uygulamadığınız sürece içerik filtreleme etkinleştirilmez.

Azure Yapay Zeka İçerik Güvenliği ile başlamak için, Hızlı Başlangıç: Metin içeriğini çözümleme başlıklı bölüme bakın. Sunucusuz API aracılığıyla dağıtılan modellerle çalışırken içerik filtreleme kullanmıyorsanız, kullanıcıları zararlı içeriğe maruz bırakarak daha yüksek bir riskle karşılaşırsınız.

Standart dağıtımlar aracılığıyla dağıtılan modeller için ağ yalıtımı

Standart dağıtım olarak dağıtılan modellerin uç noktaları, dağıtımın bulunduğu çalışma alanının genel ağ erişim (PNA) bayrağı ayarlarını izler. Sunucusuz dağıtım uç noktanızın güvenliğini sağlamak için çalışma alanınızda PNA bayrağını devre dışı bırakın. Çalışma alanı için özel bir uç nokta kullanarak istemciden uç noktanıza gelen iletişimin güvenliğini sağlayabilirsiniz.

Çalışma alanının PNA bayrağını ayarlamak için:

  • Azure portal gidin.
  • Azure Machine Learning araması yapın ve çalışma alanı listesinden çalışma alanınızı seçin.
  • Genel Bakış sayfasında, sol paneli kullanarak Ayarlar>Ağ bölümüne gidin.
  • Genel erişim sekmesinin altında, genel ağ erişim bayrağı ayarlarını yapılandırın.
  • Değişikliklerinizi kaydedin. Değişikliklerinizin yayılması beş dakika kadar sürebilir.

Sınırlamalar

  • 11 Temmuz 2024'e kadar oluşturulmuş özel uç nokta içeren bir çalışma alanınız varsa, bu çalışma alanına eklenen yeni sunucusuz dağıtım uç noktaları ağ yapılandırmasını izlemez. Bunun yerine, yeni dağıtımların çalışma alanının ağ yapılandırmasını izleyebilmesi için çalışma alanı için yeni bir özel uç nokta oluşturmanız ve çalışma alanında yeni sunucusuz dağıtımlar oluşturmanız gerekir.
  • 11 Temmuz 2024'e kadar sunucusuz dağıtımlar oluşturulan bir çalışma alanınız varsa ve bu çalışma alanında özel bir uç noktayı etkinleştirirseniz, mevcut sunucusuz dağıtımlar çalışma alanının ağ yapılandırmasını izlemez. Çalışma alanında sunucusuz dağıtımları ağ uyumluluğuna getirmek için dağıtımları yeniden oluşturmanız gerekir.
  • Özel çalışma alanlarında PNA bayrağı devre dışı bırakıldığından, şu anda Verilerinizde desteği özel çalışma alanlarında sunucusuz dağıtımlar için kullanılamamaktadır.
  • Herhangi bir ağ yapılandırması değişikliğinin (örneğin, PNA bayrağını etkinleştirme veya devre dışı bırakma) yayılması beş dakika kadar sürebilir.

İlgili içerik

  • Last updated on