Modelleri uç noktalara dağıtma

Tamamlandı

Tip

Daha fazla ayrıntı için Metin ve resimler sekmesine bakın!

Katalogdan bir model seçtikten sonra, uygulamalarınızın kullanabileceği uç noktalar aracılığıyla erişilebilir hale getirmek için modeli dağıtırsınız. Microsoft Foundry portalı, dağıtım süreci boyunca size rehberlik eder ve dağıtılan modelinizi anında test etmek için araçlar sağlar.

Dağıtım türlerini anlama

Microsoft Foundry, her biri veri yerleşimi, ölçeklendirme ve faturalama için farklı özellikler sunan çeşitli dağıtım türlerini destekler:

• Genel Standart model dağıtımları, belirteç başına ödeme temelinde herhangi bir Azure bölgesini kullanabilir. Bunlar genel iş yükleri için en iyisidir ve en yüksek kotayı sağlar.
• Genel Sağlanan dağıtımlar herhangi bir Azure bölgesini kullanabilir ve bunların kullanımı, öngörülebilir yüksek aktarım hızı sağlamak için ayrılmış sağlama aktarım hızı birimlerine (PTU) dayanır.
• Genel Batch dağıtımları, 24 saat içinde büyük asenkron işler için %50 indirimle herhangi bir Azure bölgesini kullanabilir.
• Veri Bölgesi Standart dağıtımları, verilerin belirteç başına ödeme temelinde belirli bir veri bölgesinde kalmasını sağlar. Bunlar, AB/ABD veri bölgesi uyumluluğu gerektiren senaryolar için en iyisidir.
• Veri Bölgesi Sağlanan dağıtımlar, bir veri bölgesi içindeki ayrılmış PSU'ları temel alarak tahmin edilebilir aktarım hızı sağlar.
• Veri Bölgesi Toplu İş dağıtımları, bir veri bölgesi içindeki büyük zaman uyumsuz toplu işler için tasarlanmıştır/
• Standart kurulumlar, jeton başına ödeme temelinde tek bir bölgede gerçekleştirilir. Bölgesel veri yerleşimi uyumluluğuna veya düşük hacimli senaryolara ihtiyaç duyduğunuzda harikadır.
• Bölgesel Sağlanan dağıtımlar tek bir bölge içinde ayrılmış PTU'lar sağlar.
• Geliştirici Geliştirici dağıtımları herhangi bir Azure bölgesini belirteç başına ödeme temelinde kullanır ve yalnızca ince ayarlı model değerlendirmesi içindir.

Katalogdaki her model, hangi dağıtım türlerini desteklediğini gösterir. Portal, ortamınıza ve model gereksinimlerinize göre en iyi dağıtım seçeneğini otomatik olarak seçer. Maksimum yetenekler için mümkün olduğunca Dökümhane kaynaklarındaki Genel Standart dağıtımlar kullanılmalıdır.

Bir model dağıtın

Microsoft Foundry portalından model dağıtmak için:

İlk olarak, Model kataloğunda seçtiğiniz modele gidin. Dökümhane portalının ana sayfasında navigasyonda Keşfet'i ve ardından sol bölümdeki Modeller'i seçin. Belirtimlerini ve desteklenen dağıtım türlerini gözden geçirmek için model kartını açın.

Dağıtım işlemini başlatmak için Dağıt'ı seçin. Şunları seçebilirsiniz:

• Önerilen yapılandırmalarla hızla dağıtılacak varsayılan ayarlar
• Dağıtım seçeneklerinizi özelleştirmek için özel ayarlar

Model bir Azure Market aboneliği gerektiriyorsa (iş ortaklarının ve topluluğun modelleri için ortaktır), kullanım koşullarını görürsünüz. Bu koşulları gözden geçirin ve kabul etmek için Kabul Et ve Devam Et'i seçin. GPT-4o-mini gibi Azure OpenAI modelleri gibi doğrudan Azure tarafından satılan modeller için market abonelikleri gerekmez.

Dağıtım ayarlarınızı yapılandırın:

• Dağıtım adı: Sistem varsayılan olarak model adını kullanır. Bunu değiştirerek aynı modelin birden çok dağıtımı için anlamlı adlar oluşturabilirsiniz. Çıkarım sırasında kodunuz istekleri yönlendirmek için parametresindeki model bu dağıtım adını kullanır.
• Dağıtım türü: Portal, modele ve ortamınıza göre uygun dağıtım türünü otomatik olarak seçer. Her model, farklı veri yerleşimi veya aktarım hızı garantileri sağlayan farklı dağıtım türlerini destekler.

Yönetilen işlem dağıtımları için şunları da yapılandırabilirsiniz:

• Sanal makine SKU'su: Desteklenen VM türleri arasından seçim yapın. Aboneliğinizde seçili SKU için Azure Machine Learning işlem kotanız olmalıdır.
• Örnek sayısı: Yük dağıtımı ve yedeklilik için dağıtılacak örnek sayısını belirtin.

Tüm ayarları yapılandırdıktan sonra Dağıt'ı seçin. Dağıtım tamamlandığında, modeli etkileşimli olarak test etmek için Foundry Playground'a inersiniz. Dağıtım durumunun dağıtım listenizde Başarılı olarak gösterildiğini doğrulayın.

Dağıtılan modelleri yönetme

Dağıtımdan sonra modellerinizi Microsoft Foundry portalındaki Derleme bölümünden yönetirsiniz. Kaynağınızdaki dağıtımların listesini görmek için gezintide Oluştur'a ve ardından sol bölmedeki Modeller'e tıklayın.

Dağıtım listesinden ayrıntılarını görüntülemek için belirli bir modeli seçin:

• Dağıtım yapılandırması ve durumu
• API access için uç nokta URL'si
• Kimlik doğrulama anahtarları veya belirteçleri
• İzleme ve kullanım ölçümleri
• Dağıtım ayarlarını ayarlama veya dağıtımı silme seçeneği

Dağıtım ayrıntıları sayfası, uygulamalarınızın modele bağlanması ve modeli kullanması için gereken bilgileri sağlar.

Oyun alanında test edin

Microsoft Foundry portalı, dağıtılan modelleri kod yazmadan hemen test ettiğiniz etkileşimli oyun alanları içerir. Dağıtım tamamlandıktan sonra, oyun alanına otomatik olarak inersiniz veya oyun parkını açmak için modeller listenizden bir dağıtım seçebilirsiniz.

Oyun alanı dağıtımınızı önceden seçer, böylece teste hemen başlayabilirsiniz. Sohbet arabiriminde:

İleti kutusuna istemler girin ve yanıtları gözlemleyin. Oyun alanı hem girişinizi hem de modelin oluşturulan çıkışını görüntüleyip davranışı ve kaliteyi anlamanıza yardımcı olur.

Çeşitli özellikleri test etmek için farklı istem türleriyle denemeler yapın:

• Temel anlamanın doğrulanması için basit sorular
• Karmaşık çok adımlı akıl yürütme sorunları
• Belirli biçimler veya stiller için istekler
• Sınırlamaları ortaya çıkarabilecek uç durumlar

Model davranışına yol gösterecek şekilde sistem iletilerini ayarlayın. Sistem iletileri, tüm kullanıcı girişlerine uygulanan bağlam, ton ve yönergeleri ayarlar. Örneğin, modele "customer service temsilcisi olarak yanıt verme" veya "kısa, teknik açıklamalar sağlama" talimatı vekleyebilirsiniz.

Oluşturma davranışında ince ayar yapmak için sıcaklık (yaratıcılık ve tutarlılık), maksimum belirteçler (yanıt uzunluğu sınırları) ve top-p (çekirdek örnekleme) gibi parametreleri değiştirin.

Dağıtılan modelinizi program aracılığıyla çağırma örneklerini görmek için Kod sekmesini seçin. Kod örnekleri Python, C# ve JavaScript gibi dillerde kimlik doğrulamasını, uç nokta yapılandırmasını ve istek biçimlendirmesini gösterir. Bu örnekleri doğrudan uygulamanıza kopyalayabilirsiniz.

Oyun alanı, modeli uygulamanıza tümleştirmeden önce hızlı mühendislik ve test için geliştirme ortamınız olarak hizmet eder.

Programlı bir şekilde modellere erişim

Modeli uygulamanızla tümleştirmeye hazır olduğunuzda dağıtım ayrıntılarından üç temel bilgi parçasına ihtiyacınız vardır:

Uç nokta URL'si: Uygulamanızın istekleri gönderdiği API uç noktası. Microsoft Foundry, Foundry'ye özgü işlevler için proje uç noktalarını ve OpenAI model API'leriyle geniş uyumluluk için OpenAI v1 uç noktalarını destekler.

Kimlik doğrulama anahtarı: Uygulamanızın isteklerin kimliğini doğrulamak için sunduğu gizli anahtar veya belirteç. Alternatif olarak, Microsoft Entra Id kimlik doğrulamayı kullanabilir ve uygulamanızın kimlik tabanlı bir kimlik doğrulama belirteci sunabilmesini sağlayabilirsiniz. Üretim senaryoları için Entra Id kimlik doğrulaması önerilir.

Dağıtım adı: Dağıtım sırasında belirttiğiniz ad, api isteklerinin model parametresinde özel dağıtımınıza yönlendirmek için kullanılır.

Uygulamanız API istekleri oluşturmak için bu ayrıntıları kullanır. Microsoft Foundry portalı, çeşitli programlama dilleri için SDK'lar ve REST API belgelerinin yanı sıra istek biçimlendirmesini, kimlik doğrulamasını ve yanıt işlemeyi gösteren kod örnekleri sağlar.

Modeliniz dağıtılıp test edildiyse, bunu uygulamalarla tümleştirmeye veya otomatik ölçümleri ve test veri kümelerini kullanarak daha kapsamlı bir değerlendirmeye devam etmeye hazırsınız.