Aracılığıyla paylaş


Microsoft Foundry Modelleri için dağıtıma genel bakış

Uyarı

Bu belge , Microsoft Foundry (klasik) portalını ifade eder.

🔍Yeni portal hakkında bilgi edinmek için Microsoft Foundry (yeni) belgelerini görüntüleyin.

Microsoft Foundry'deki model kataloğu, üretken yapay zeka uygulamaları oluşturmak için çok çeşitli Foundry Modellerini keşfedip kullanan merkezdir. Çıkarım isteklerini almak için modelleri kullanılabilir hale getirmek amacıyla dağıtmanız gerekir. Foundry, gereksinimlerinize ve model gereksinimlerinize bağlı olarak Dökümhane Modelleri için kapsamlı bir dağıtım seçenekleri paketi sunar.

Dağıtım seçenekleri

Dökümhane, sağlamanız gereken modellerin ve kaynakların türüne bağlı olarak çeşitli dağıtım seçenekleri sağlar. Aşağıdaki dağıtım seçenekleri kullanılabilir:

  • Foundry kaynaklarında standart dağıtım
  • Sunucusuz API uç noktalarına dağıtım
  • Yönetilen hesaplamalara dağıtım

Dökümhane portalı, ortamınıza ve yapılandırmanıza göre otomatik olarak bir dağıtım seçeneği seçebilir. Mümkün olduğunda dağıtım için Foundry kaynaklarını kullanın. Birden çok dağıtım seçeneğini destekleyen modeller, varsayılan olarak dağıtım için Foundry kaynaklarını kullanır. Diğer dağıtım seçeneklerine erişmek için, dağıtım için Azure CLI veya Azure Machine Learning SDK'sını kullanın.

Foundry kaynaklarında standart dağıtım

Dökümhane kaynakları (eski adıyla Azure AI Services kaynakları), Foundry'de tercih edilen dağıtım seçeneğidir . Bölgesel, veri bölgesi veya genel işleme dahil olmak üzere en geniş özellik yelpazesini sunar ve standart ve sağlanan aktarım hızı (PTU) seçenekleri sunar. Döküm Modellerindeki amiral gemisi modeller bu dağıtım seçeneğini destekler.

Bu dağıtım seçeneği şu durumlarda kullanılabilir:

  • Dökümhane kaynakları
  • Azure OpenAI kaynakları1
  • Bir Foundry kaynağına bağlanıldığında Azure AI hub'ı

1Azure OpenAI kaynaklarını kullanıyorsanız, model kataloğu yalnızca dağıtım için DökümHane Modellerinde Azure OpenAI'yi gösterir. Bir Dökümhane kaynağına yükselterek DökümHane Modellerinin tam listesini alabilirsiniz.

Foundry kaynaklarında standart dağıtımı kullanmaya başlamak için bkz. Nasıl yapılır: Modelleri Foundry Modelleri'ne dağıtma.

Sunucusuz API uç noktası

Bu dağıtım seçeneği yalnızcaAzure AI hub kaynaklarında kullanılabilir. Modeli barındırmak için api aracılığıyla erişilebilen ayrılmış uç noktalar oluşturmanıza olanak tanır. Dökümhane Modelleri, kullanım başına ücretlendirme ile sunucusuz API uç noktalarını destekler ve sunucusuz API uç noktaları için yalnızca bölgesel dağıtımlar oluşturabilirsiniz.

Sunucusuz API uç noktasına dağıtım yapmaya başlamak için bkz. Modelleri sunucusuz API dağıtımları olarak dağıtma.

Yönetilen işlem

Bu dağıtım seçeneği yalnızcaAzure AI hub kaynaklarında kullanılabilir. Modeli ayrılmış bir işlemde barındırmak için ayrılmış bir uç nokta oluşturmanıza olanak tanır. Modeli barındırmak için aboneliğinizde işlem kotanız olması gerekir ve işlem çalışma süresi başına faturalandırılırsınız.

Yönetilen işlem dağıtımı, aşağıdakileri içeren model koleksiyonları için gereklidir:

  • Yüzü Kucaklama
  • NVIDIA çıkarım mikro hizmetleri (NIM'ler)
  • Endüstri modelleri (Saifr, Rockwell, Bayer, Cerence, Sight Machine, Page AI, SDAIA)
  • Veri Tuğlaları
  • Özel modeller

Başlamak için bkz. Yönetilen işlem dağıtımının yapılması ve çıkarsanması ve Kullandıkça öde faturalaması ile yönetilen işlemde Foundry Modellerini dağıtma.

Dağıtım seçenekleri için özellikler

Mümkün olduğunda Foundry kaynaklarında Standart dağıtımları kullanın. Bu dağıtım seçeneği, kullanılabilir dağıtım seçenekleri arasında en fazla özelliği sağlar. Aşağıdaki tabloda, her dağıtım seçeneği için belirli özelliklerle ilgili ayrıntılar listelemektedir:

Kapasite Foundry kaynaklarında standart dağıtım Sunucusuz API Uç Noktası Yönetilen işlem
Hangi modeller dağıtılabilir? Dökümhane Modelleri Kullandıkça öde faturalaması ile Foundry Modelleri Açık ve özel modeller
Dağıtım kaynağı Dökümhane kaynağı Yapay zeka projesi (AI hub kaynağında) Yapay zeka projesi (AI hub kaynağında)
Bu AI Hubs gerektirir Hayı Evet Evet
Veri işleme seçenekleri Bölgesel
Veri bölgesi
Küresel
Bölgesel Bölgesel
Özel ağ oluşturma Evet Evet Evet
İçerik filtrelemesi Evet Evet Hayı
Özel içerik filtreleme Evet Hayı Hayı
Anahtarsız kimlik doğrulaması Evet Hayı Hayı
Faturalama temelleri Jeton kullanımı ve sağlanan aktarım hızı birimleri Token kullanımı2 İşlem çekirdek saatleri3

2 Dakika başına minimum uç nokta altyapısı faturalandırılır. Sunucusuz dağıtımda modeli barındıran altyapı için faturalandırmazsınız. Uç noktayı sildikten sonra başka ücret tahakkuk ettirilmez.

3 Faturalama, ürün katmanına ve oluşturma anından bu yana dağıtımda kullanılan örneklerin sayısına bağlı olarak dakika başına ücretlendirilir. Uç noktayı sildikten sonra başka ücret tahakkuk ettirilmez.