Pay-as-you-go faturalama (klasik) ile yönetilen işlem için Microsoft Foundry Modelleri'ni dağıtma

Yalnızca şunlar için geçerlidir:Dökümhane (klasik) portalı. Bu makale yeni Dökümhane portalında kullanılamaz. Yeni portal hakkında daha fazla bilgi edinin.

Not

Bu makaledeki bağlantılar, şu anda görüntülediğiniz Dökümhane (klasik) belgeleri yerine yeni Microsoft Foundry belgelerinde içerik açabilir.

Microsoft Döküm Modelleri, iki kategoride düzenlenmiş kapsamlı bir model kataloğu içerir: Azure tarafından satılan Döküm Modelleri ve iş ortakları ve topluluktan Modeller. İş ortakları ve topluluktan gelen, yönetilen işlem altyapısında dağıtabileceğiniz modeller ya açık ya da korumalı modellerdir. Bu makalede, Azure Market aracılığıyla sunulan iş ortaklarına ve topluluğa ait korumalı modelleri, kullandıkça öde faturalamasıyla yönetilen işlem kaynaklarında dağıtmak için nasıl kullanacağınızı öğreneceksiniz.

Önkoşullar

• Geçerli bir ödeme yöntemine sahip Azure aboneliği. Ücretsiz veya deneme Azure abonelikler çalışmaz. Azure aboneliğiniz yoksa başlamak için ücretli bir Azure hesabı oluşturun.

• Yoksa , Foundry için bir hub projesi oluşturun. Bir hub projesi kullanarak yönetilen hesaplama için dağıtabilirsiniz. Dökümhane projesi bu amaçla çalışmaz.

• Azure aboneliğiniz için Azure Market satın almalar etkin.

• Azure rol tabanlı erişim denetimleri (Azure RBAC), Foundry portalında işlemlere erişim izni verir. Bu makaledeki adımları gerçekleştirmek için kullanıcı hesabınıza aşağıdaki izinlere sahip özel bir rol atanmalıdır. Azure aboneliği için Owner veya Contributor rolü atanmış kullanıcı hesapları da dağıtım oluşturabilir. İzinler hakkında daha fazla bilgi için bkz. Foundry portalında rol tabanlı erişim denetimi.

• Azure aboneliği üzerinde çalışma alanını veya projeyi Azure Market teklifine abone etmek için:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft. MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft. SaaS/register/action

• Kaynak grubunda — SaaS kaynağını oluşturmak ve kullanmak için:

  • Microsoft. SaaS/kaynaklar/okuma
  • Microsoft.SaaS/kaynaklar/yazma

• Çalışma alanında— uç noktaları dağıtmak için:

  • Microsoft. MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft. MachineLearningServices/workspaces/onlineEndpoints/*

Azure Market teklifi için abonelik kapsamı ve ölçü birimi

Foundry, ayrılmış model dağıtımlarınızı büyük ölçekte oluşturup tükettiğinizde korumalı modeller için sorunsuz bir abonelik ve işlem deneyimi sağlar. Yönetilen bilişimde korumalı modellerin uygulanması, müşteri için kullandıkça öde faturalandırmasını iki boyutta içerir:

• Dağıtımda kullanılan sanal makineler için saatlik Azure Machine Learning işlem faturalaması.
• Azure Market teklifinde model yayımcısı tarafından belirlenen model için ek ücret faturalaması.

Azure işlem hizmetleri ve modele ilişkin ek ücretlerin kullandıkça öde faturalandırması, yönetilen çevrimiçi dağıtımların aktivite süresine göre dakika başına oranlanır. Modelin ek ücreti, Azure Market üzerinde iş ortağı (veya modelin yayımcısı) tarafından belirlenen gpu saati başına bir fiyattır ve modeli Foundry tarafından yönetilen işlemde dağıtmak için kullanabileceğiniz tüm desteklenen GPU'lar için geçerlidir.

Kullanıcının Azure Market teklifleri aboneliği Foundry'de proje kaynağı ile sınırlandırılmıştır. Projede belirli bir model için Azure Market teklifine yönelik bir abonelik zaten varsa, dağıtım sihirbazında kullanıcıya aboneliğin proje için zaten var olduğu bildirilir.

Not

NVIDIA çıkarım mikro hizmetleri (NIM) için birden çok model tek bir market teklifiyle ilişkilendirildiğinden, NVIDIA tarafından sunulan tüm NIM'leri Döküm modeli kataloğunda dağıtabilmek için bir projede yalnızca bir kez NIM teklifine abone olmanız gerekir. NIC'leri mevcut SaaS aboneliği olmayan farklı bir projeye dağıtmak istiyorsanız teklife yeniden abone olmanız gerekir.

Azure aboneliğinde bulunan tüm SaaS aboneliklerini bulmak için:

1. Azure portalında oturum açın ve Azure aboneliğinize gidin.

2. Ubscriptions öğesini seçin ve ardından genel bakış sayfasını açmak için Azure aboneliğinizi seçin.

3. Kaynak listesini görmek için Ayarlar>Kaynaklar'ı seçin.

4. SaaS kaynak türünü seçmek için Tür filtresini kullanın.

Tüketime dayalı ek ücret, ilişkili SaaS aboneliğine gider ve kullanıcıyı Azure Market aracılığıyla faturalar. Faturayı ilgili SaaS aboneliğinin Genel Bakış sekmesinde görüntüleyebilirsiniz.

Yönetilen hesaplamada abone ol ve kurulum yap

Ipucu

Microsoft Foundry portalında sol bölmeyi customize edebileceğinizden, bu adımlarda gösterilenden farklı öğeler görebilirsiniz. Aradığınızı görmüyorsanız ... seçeneğini belirleyin. Sol bölmenin en altında daha fazlası.

1. Microsoft Foundry oturum açın. Yeni Dökümhane açma/kapama düğmesinin kapalı olduğundan emin olun. Bu adımlar Foundry (klasik) ile ilgilidir.

   

2. Henüz projenizde değilseniz seçin.

3. Sol bölmeden Model kataloğu'nu seçin.

4. İstediğiniz Koleksiyon ve modeli seçerek modeller listesini filtreleyin. Bu makalede, çizim için desteklenen modeller listesindenCohere Command A kullanılır.

5. Modelin sayfasından Bu modeli kullan'ı seçerek dağıtım sihirbazını açın.

6. Satın alma seçenekleri sunulursa Yönetilen İşlem seçin.

7. Ayrılmış kotanız yoksa, deyiminin yanındaki onay kutusunu seçin: Paylaşılan kota kullanmak istiyorum ve bu uç noktanın 168 saat içinde silineceğini kabul ediyorum.

8. Model için desteklenen sanal makine (VM) SKU'larından birini seçin. Azure aboneliğinizde bu SKU için Azure Machine Learning işlem kotanız olması gerekir.

9. Örnek sayısı gibi parametreler için dağıtım yapılandırmanızı belirtmek için Özelleştir'i seçin. Ayrıca dağıtım için mevcut bir uç noktayı seçebilir veya yeni bir uç nokta oluşturabilirsiniz. Bu örnek için 1 örnek sayısını belirtin ve dağıtım için yeni bir uç nokta oluşturun.

   

10. Fiyatlandırma dökümü sayfasına gitmek için İleri'yi seçin.

11. Azure Market'da modelin teklifiyle ilişkili dağıtım, kullanım koşulları ve lisans sözleşmesi için fiyatlandırma dökümünü gözden geçirin. Fiyatlandırma dökümü, dağıtılan model için toplu fiyatlandırmanın ne olacağını, modelin ek ücretinin önceki adımlarda seçtiğiniz VM örneğindeki GPU sayısının bir işlevi olduğunu bildirir. Model için geçerli ek ücrete ek olarak, dağıtım yapılandırmanıza bağlı olarak Azure işlem ücretleri de uygulanır. Mevcut rezervasyonlarınız veya Azure tasarruf planınız varsa, işlem ücretlerine ilişkin fatura geçerli olur ve indirimli VM fiyatlandırmasını yansıtır.

    

12. Kullanım koşullarını anlayıp kabul ettiğinizi onaylamak için onay kutusunu seçin. Ardından Dağıt'ı seçin. Foundry, pazar teklifi aboneliğinizi oluşturur ve ardından modelin yönetilen bir hesaplamada dağıtımını yapar. Dağıtımın tamamlanması yaklaşık 15-20 dakika sürer.

Dağıtımları kullanma

Dağıtımınızı başarıyla oluşturduktan sonra, kullanmak için şu adımları izleyin:

1. Foundry projenizdeki Varlıklarım'ın altında Modeller + Uç Noktalar'ı seçin.
2. Model dağıtımları sekmesinden dağıtımınızı seçin.
3. Uç noktaya örnek çıkarım için Test sekmesine gidin.
4. Kodla çıkarım çalıştırmak için kullanabileceğiniz dağıtımın "Hedef URI'sini" kopyalamak için Ayrıntılar sekmesine dönün.
5. Tüketime yönelik kod örneklerini bulmak için dağıtımın Kullan sekmesine gidin.

Dağıtımların ağ yalıtımı

Çalışma alanı yönetimli sanal ağı kullanarak yalıtılmış ağlarınızın içindeki model kataloğunda koleksiyonları kurabilirsiniz. Yönetilen çalışma alanı ağlarınızı nasıl yapılandıracağınız hakkında daha fazla bilgi için bkz. İnternet çıkışına izin vermek için yönetilen bir sanal ağı yapılandırma.

Sınırlama

Giriş Genel Ağ Erişimi devre dışı bırakılmış bir Dökümhane projesi, katalogdaki korumalı modellerden yalnızca birinin tek bir etkin dağıtımını destekleyebilir. Daha etkin dağıtımlar oluşturma girişimleri dağıtım oluşturma hatalarına neden olur.

Desteklenen modeller

Koleksiyona göre gruplandırılmış olarak, kullandıkça öde faturalaması ile yönetilen hesaplama dağıtımı için desteklenen modeller aşağıdaki bölümlerde listelenmiştir.

Boson AI

Modeli	Görev
bosonai-higgs-audio-3-instruct	Sohbet tamamlama
bosonai-higgs-audio-v3-stt	Otomatik konuşma tanıma
Higgs-Audio-v2.5	Ses oluşturma

Cohere

Modeli	Görev
Komut A	Sohbet tamamlama
Ekleme v4	Eklemeler
Rerank v3.5	Metin sınıflandırması
Cohere-rerank-v4.0-pro	metin sınıflandırmayı yeniden değiştirme
Cohere-rerank-v4.0-fast	metin sınıflandırmayı yeniden değiştirme

Domyn

Modeli	Görev
Domyn-Large	Sohbet tamamlama

Inception Labs

Modeli	Görev
Cıva	Sohbet tamamlama, Metin oluşturma, Özetleme

Insilico Medicine

Modeli	Görev
LFM2-2.6B-InsilicoMMAI-Chem-SSRS-1.1	Sohbet tamamlama

NTT Data Corporation

Modeli	Görev
tsuzumi2	Sohbet tamamlama

Nixtla

Modeli	Görev
TimeGPT-1	Zaman serisi tahmini
TimeGPT-1-long-horizon	Zaman serisi tahmini
TimeGPT-2.1	Zaman serisi tahmini
TimeGPT-2-mini	Zaman serisi tahmini

NVİDİA

NVIDIA çıkarım mikro hizmetler (NIM), optimizasyonu yapılmış önceden eğitilmiş ve özelleştirilmiş yapay zeka modellerini NVIDIA GPU'larında hizmete sunmak için NVIDIA'nın derlediği kapsayıcılardır. Azure Market üzerinde sunulan NVIDIA NIM SaaS teklifine Standart bir abonelikle Foundry model kataloğunda bulunan NVIDIA NIM'leri dağıtabilirsiniz.

NIM'ler hakkında dikkat edilmesi gereken bazı özel noktalar şunlardır:

• NIM'ler 90 günlük deneme sürümünü içerir. Deneme, belirli bir SaaS aboneliğiyle ilişkili tüm NIM'ler için geçerlidir ve SaaS aboneliği oluşturulduğu zamandan itibaren başlar.

• SaaS abonelikleri bir Foundry projesine yöneliktir. Birden çok model tek bir Azure Market teklifiyle ilişkilendirildiğinden, proje içindeki NIM teklifine yalnızca bir kez abone olmanız gerekir, ardından NVIDIA tarafından sunulan tüm NIM'leri Foundry model kataloğunda dağıtabilirsiniz. NIC'leri mevcut SaaS aboneliği olmayan farklı bir projeye dağıtmak istiyorsanız teklife yeniden abone olmanız gerekir.

Modeli	Görev
NVIDIA-Nemotron-3-Ultra-NIM-microservice	Sohbet tamamlama, Soru yanıtlama, Özetleme, Metin oluşturma, Metin özetleme
NVIDIA-Nemotron-3-Super-NIM-microservice	Sohbet tamamlama, Soru yanıtlama, Özetleme, Metin oluşturma, Metin özetleme
Openfold3_1_2_0-NIM mikro hizmeti	Biyomoleküler karmaşık yapı tahmini
Llama-3.3-Nemotron-Super-49B-v1-NIM-microservice	Sohbet tamamlama
Llama-3.1-Nemotron-Nano-8B-v1-NIM-microservice	Sohbet tamamlama
Deepseek-R1-Distill-Llama-8B-NIM-microservice	Sohbet tamamlama
Llama-3.3-70B-Instruct-NIM-microservice	Sohbet tamamlama
Llama-3.1-8B-Instruct-NIM-microservice	Sohbet tamamlama
Mistral-7B-Instruct-v0.3-NIM-microservice	Sohbet tamamlama
Mixtral-8x7B-Instruct-v0.1-NIM-microservice	Sohbet tamamlama
Llama-3.2-NV-embedqa-1b-v2-NIM-microservice	Eklemeler
Llama-3.2-NV-rerankqa-1b-v2-NIM-microservice	Metin sınıflandırması
Openfold2-NIM-microservice	Protein Bağlayıcısı
ProteinMPNN-NIM-mikroservis	Protein Bağlayıcısı
MSA-search-NIM-microservice	Protein Bağlayıcısı
Rfdiffusion-NIM-microservice	Protein Bağlayıcısı
NVIDIA-Nemotron-Nano-9b-v2-NIM-mikro hizmet	Sohbet tamamlama
Trellis-NIM-microservice	Görüntüden 3B'ye, Metinden 3B'ye, 3B oluşturma
Cosmos-reason1-NIM-microservice	Görev tamamlama doğrulaması, Eylem affordansı, Sonraki olası eylem tahmini
Evo2-40b-NIM-microservice	Genomik
Boltz2-NIM-microservice	Yapı Tahmini
Llama-3.3-Nemotron-Super-49B-v1.5-NIM-microservice	Sohbet tamamlama, Özetleme
NVIDIA-Nemotron-3-Content-Safety-NIM-microservice	Metin sınıflandırması, Görüntü sınıflandırması
Nemotron-Content-Safety-Reasoning-4B-NIM-microservice	Metin sınıflandırması

NVIDIA NIM dağıtımlarını kullanma

Dağıtımınızı oluşturduktan sonra, kullanmak için Dağıtımları kullanma bölümünde yer alan adımları izleyin.

Foundry'deki NVIDIA NIM'leri OpenAI uyumlu bir API'yi kullanıma sunar. Desteklenen yük hakkında daha fazla bilgi edinmek için API başvurusuna bakın. model Foundry'deki NIM'lerin parametresi kapsayıcı içinde varsayılan bir değere ayarlanır ve çevrimiçi uç noktanıza yönelik istek yükünde gerekli değildir. Foundry'deki NIM dağıtımının Tüket sekmesi, dağıtımınızın hedef URL'si ile çıkarım için kod örnekleri içerir.

NIM dağıtımlarını, sınırlamalarla birlikte Foundry Models SDK kullanarak kullanabilirsiniz.

• kullanarak load_clientistemci oluşturma ve kimlik doğrulaması desteği yoktur.
• get_model_info için istemci yöntemini çağırmalısınız.

NIM uç noktalarıyla aracı geliştirme ve çalıştırma

Model kataloğunda sohbet tamamlama görevi türündeki aşağıdaki NVIDIA NIM'leri, Agent Service ile desteklenen çeşitli araçları kullanarak ajanlar oluşturmak ve çalıştırmak için kullanılabilir ve aşağıdaki iki ek gereksinimi karşılamalıdır:

1. NIM uç noktasını ve anahtarını kullanarak projeye Sunucusuz Bağlantı oluşturun. Bağlantıdaki NIM uç noktasının hedef URL'si olmalıdır https://<endpoint-name>.region.inference.ml.azure.com/v1/.
2. İstek gövdesindeki model parametresini, aracı oluştururken ve çalıştırırken https://<endpoint>.region.inference.ml.azure.com/v1/@<parameter value per table below> şeklinde ayarlayın.

NVIDIA NIM	model parametre değeri
Llama-3.3-70B-Instruct-NIM-microservice	meta/llama-3.3-70b-instruct
Llama-3.1-8B-Instruct-NIM-microservice	meta/llama-3.1-8b-instruct
Mistral-7B-Instruct-v0.3-NIM-microservice	mistralai/mistral-7b-instruct-v0.3

Güvenlik taraması

NVIDIA, sınıfının en iyisi güvenlik açığı taraması, sıkı yama yönetimi ve şeffaf süreçler aracılığıyla NVIDIA NIM kapsayıcı görüntülerinin güvenliğini ve güvenilirliğini sağlar. Microsoft, Foundry'de güvenli, kararlı ve güvenilir üretim sınıfı yazılım sunmak üzere NIM'lerin en son yamalarını almak için NVIDIA ile birlikte çalışır.

Modelin genel bakış sayfasının sağ bölmesinde NIM için son güncelleştirme zamanına bakabilirsiniz. Foundry'de NVIDIA'dan NIM'in en son sürümünü kullanmak için yeniden dağıtım yapabilirsiniz.

Paige AI

Modeli	Görev
Virchow2G	Görüntü Özellikleri Çıkarma
Virchow2G-Mini	Görüntü Özellikleri Çıkarma

PriorLabs

Modeli	Görev
TabPFN-2.5	Regresyon, Sınıflandırma, Tahmin

RezolveAI

Modeli	Görev
brainpowa-general-conversational-m-v1	Sohbet tamamlama
brainpowa-general-conversational-l-v1	Sohbet tamamlama
brainpowa-general-toolcalling-m-v1	Sohbet tamamlama

Theai-Inc

Modeli	Görev
inworld-tts-1-5-max	Metni sese dönüştürme
inworld-tts-1-5-mini	Metni sese dönüştürme

Voyage AI

Modeli	Görev
voyage-3.5-embedding-model	Eklemeler
voyage-4-lite-embedding	Eklemeler
voyage-4-embedding	Eklemeler
voyage-4-large-embedding	Eklemeler

İlgili içerik

• Yönetilen bir işlem dağıtımını nasıl dağıtır ve çıkarım yaparsınız
• Dökümhane Modellerini Keşfedin