Yönetilen işlem altyapısı için bağdaştırıcı dağıtımına genel bakış (önizleme)

Important

Bu makalede önizleme olarak işaretlenmiş öğeler şu anda önizleme aşamasındadır. Bu önizleme, hizmet düzeyi sözleşmesi olmadan sağlanır ve Microsoft üretim iş yükleri için bunu önermez. Bazı özellikler desteklenmeyebilir veya kısıtlı özelliklere sahip olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları.

Bağdaştırıcı dağıtımı, Microsoft Foundry'de uyumlu yönetilen işlem hedefi dağıtımında düşük dereceli uyarlama (LoRA) bağdaştırıcısı sağlar. Adaptör dağıtımları ek bilgi işlem gerektirmez. Bunlar, hedef dağıtım olarak adlandırılan temel model dağıtımı tarafından sağlanan işlem kaynağını paylaşır. Adaptör dağıtımları ek işlem gerektirmese de, çıkarım isteklerini Foundry hesabının çıkarım uç noktası üzerinden yönlendirmenizi sağlayan kendilerine ait bir dağıtım adı ile gelir.

Birden çok uyumlu bağdaştırıcı tek bir hedef dağıtımı paylaşabilir. Bu yapılandırma multi-LoRA sunumu olarak adlandırılır.

Bu makale yalnızca Foundry'de ince ayarlama çıkışı olarak üretilen LoRA bağdaştırıcıları için geçerlidir. Henüz kendi bağdaştırıcılarınızı içeri aktaramazsınız.

LoRA bağdaştırıcıları temel modeli nasıl uzmanlaştırıyor?

Düşük dereceli uyarlama, temel modeldeki her parametreyi güncelleştirmek yerine küçük bir ek parametre kümesini eğitmeye dayanan bir ince ayar tekniğidir. Elde edilen LoRA bağdaştırıcısı, bir görev veya etki alanı için modeli özel hale getiren hafif bir öğrenilmiş değişiklikler kümesidir.

LoRA bağdaştırıcısı tek başına çalıştırılamaz. Çıkarım zamanında, servis çalışma zamanı bağdaştırıcıyı uyumlu temel modelle birleştirir. Bağdaştırıcının öğrendiği değişiklikler bu modelin mimarisi ve ağırlıkları için geçerli olduğundan, temel modelin ve sürümün tam olarak hangisi olduğu önemlidir.

Adaptör dağıtımındaki kaynaklar

Bağdaştırıcı sunumu, ilgili model ve dağıtım kaynaklarını kullanır. Her kaynağın ayrı bir sorumluluğu vardır.

Term	Meaning
Temel model	Bağdaştırıcıyı oluşturmak için kullanılan temel model ve sürüm. Hedef dağıtımın uyumlu bir temel model ve sürüm çalıştırması gerekir.
LoRA bağdaştırıcısı kaydedildi	Foundry ince ayarlama çıkışından oluşturulan model varlığı. Kayıt, bağdaştırıcıyı Build > Models üzerinde kullanılabilir hale getirir, ancak işlem sağlamaz veya bağdaştırıcıyı çağrılabilir hale getirmez.
Dağıtım şablonu	Hizmet çalışma zamanı ve hızlandırıcı yapılandırması da dahil olmak üzere bir modelin nasıl çalıştığını tanımlayan adlandırılmış, sürümlenmiş varlık. Adapter serving için LoRA'yı destekleyen bir şablon seçin.
Hedef ortama dağıtım	LoRA özellikli bir dağıtım şablonu kullanarak uyumlu temel modeli çalıştıran yönetilen işlem dağıtımı. Bağdaştırıcılarının paylaştığı hızlandırıcılara, kapasiteye, çoğaltmalara ve çıkarım uç noktasına sahiptir.
Bağdaştırıcı dağıtımı	Kayıtlı bir LoRA bağdaştırıcısı sürümü ile bir hedef dağıtım arasında dağıtıma alınmış bağlantı. Kendi dağıtım adı vardır, ancak ayrı işlem kaynağı, kapasite, çoğaltmalar veya uç nokta sağlamaz.
Multi-LoRA dağıtımı	Aynı hedef dağıtımı kullanan iki veya daha fazla uyumlu bağdaştırıcı dağıtımı. Her bağdaştırıcı, hedef dağıtımın altyapısını paylaşırken kendi dağıtım adını ve özel davranışını korur.

Örneğin, qwen-prod adlı bir hedef dağıtım, qwen-finance ve qwen-support adlı bağdaştırıcı dağıtımlarını barındırabilir. Her iki bağdaştırıcı da qwen-prod tarafından sağlanan temel modeli, işlem ve uç noktayı kullanır. Ayrı dağıtım adları, bir uygulamanın hangi ince ayarlı davranışı seçtiğini belirler.

Çoklu LoRA paylaşımı nasıl çalışır?

Hedef dağıtım, paylaşılan servis altyapısıdır. Dağıtım şablonu, çalışma zamanının LoRA'yı destekleyip desteklemediğini belirler ve hızlandırıcı türünü, model örneklerini ve diğer çalışma zamanı yapılandırmasını tanımlar.

Bağdaştırıcı eklemek başka bir model örneği oluşturmaz veya hedef dağıtımın kapasitesini artırmaz. Hedefteki her adaptör aynı hizmet kapasitesinden çeker. Hedef dağıtımın ölçeklendirilmesi, temel model ve tüm bağlı bağdaştırıcılar için kullanılabilir kapasiteyi değiştirir.

Çıkarım bir adaptörü nasıl seçer?

Bağdaştırıcının isteklere hizmet etmeden önce provizyonlamayı bitirmesi gerekir. Başarılı bir dağıtım, Succeeded provisioning durumunu bildirir.

qwen-support temel modelin hedef dağıtımı, qwen-finance ve qwen-prod ise onun bağdaştırıcı dağıtımları olsun. İstekleri Foundry hesabının /openai/v1/chat/completions uç noktasına gönderin. model öğesini çağırmak istediğiniz dağıtım adına ayarlayın:

model değeri	Seçili davranış
qwen-support	Destek bağdaştırıcısına sahip temel model.
qwen-finance	Finans adaptörü ile temel model.

Aşağıdaki istek destek adaptörünü seçer. Portaldaki bağdaştırıcı dağıtım ayrıntılarından hesap uç noktasını kopyalayın. Microsoft Entra ID kimlik doğrulaması için https://ai.azure.com/.default kapsamı için bir erişim belirteci alın.

POST {account-endpoint}/openai/v1/chat/completions
Authorization: Bearer {access-token}
Content-Type: application/json

{
  "model": "qwen-support",
  "messages": [
    {
      "role": "user",
      "content": "How do I reset my account password?"
    }
  ]
}

Finans bağdaştırıcısını çağırmak için model öğesini qwen-finance olarak değiştirin ve görevi için bir istem kullanın. Hizmet, bağdaştırıcının hedef dağıtımını kendi içinde belirler.

Kimlik doğrulaması ve test yönergeleri için bkz. Sohbet tamamlamalarıyla bağdaştırıcıyı test etme.

Uyumluluk ve kapasite gereksinimleri

Foundry, bağdaştırıcıyı sunmadan önce bağdaştırıcıyı ve hedef dağıtımı doğrular. Yapılandırma şu gereksinimleri karşılamalıdır:

• Bağdaştırıcı, Foundry ince ayarlama işinin kayıtlı çıktısıdır.
• Hedef dağıtım uyumlu temel modeli ve uyumlu sürümü çalıştırır.
• Hedef, LoRA'yı destekleyen bir dağıtım şablonu kullanır.
• Adaptör, şablonun desteklenen adaptör sayısı, LoRA rank ve kullanılabilir belleğe sığar.
• Hedef, hızlandırıcı ailesi ve bölgesi için yeterli yönetilen işlem kotasına ve kapasitesine sahiptir.

Bağdaştırıcı yaşam döngüsü ve bağımlılıkları

Bağdaştırıcı dağıtımı ve kayıtlı LoRA bağdaştırıcısı ayrı kaynaklardır. Aşağıdaki kurallar, dağıtım değişikliklerinin bağdaştırıcıyı ve hedef dağıtımı nasıl etkilediğini açıklar.

Mevcut bir bağdaştırıcı dağıtımı, temel modele değil, kayıtlı LoRA bağdaştırıcısının sabit bir sürümüne başvurur. Farklı bir bağdaştırıcı sürümü sunmak için yeni bir bağdaştırıcı dağıtımı oluşturun veya mevcut dağıtımı silin ve yeniden oluşturun.

Hedef dağıtım adını güncelleştirerek aynı bağdaştırıcı kaynağını başka bir uyumlu hedef dağıtıma taşıyabilirsiniz. İstekleri yeni hedefe yönlendirmeden önce güncelleştirmenin başarılı olmasını bekleyin.

Bir bağdaştırıcı dağıtımını silmek, kayıtlı model sürümünü veya hedef dağıtımı silmez. Hedefi paylaşan diğer bağdaştırıcıları da etkilemez.

Kayıtlı bir bağdaştırıcı modeli sürümünü veya hedef dağıtımı silmeden önce bağımlı bağdaştırıcı dağıtımlarını kaldırın. Bu sıralama, bağdaştırıcı dağıtımının artık mevcut olmayan bir kaynağa veya hedefe başvurmasını engeller.

Faturalama, kota ve sınırlar

Hedef dağıtım ortamı, hızlandırıcı başına saatlik olarak faturalandırılır. Yönetilen işlem kotası, Azure sanal makine kotasından ayrı olarak hızlandırıcı ailesi ve bölgesi başına ayrılır. Daha fazla bilgi için bkz. Yönetilen işlem faturalaması ve kotası.

Bağdaştırıcı dağıtımlarının ayrı bir fiyatlandırması yoktur. Faturalama, hedef dağıtımın işlem gücü için geçerlidir.

Bağdaştırıcı sayısı sınırı için bkz. Portalda bağdaştırıcıları dağıtma.

Geçerli yönetilen işlem ücretleri için bkz. Azure fiyatlandırma hesaplayıcısı.

Sonraki adım

Uyumlu bir hedef dağıtımda bir veya daha fazla kayıtlı LoRA bağdaştırıcısını dağıtın ve test edin.

Hassas ayarlı LoRA bağdaştırıcılarını yönetilen işlem kaynaklarına dağıtma