Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Bu makalede, Microsoft Foundry aracılığıyla dağıtılan bir Fireworks AI modelini çağıran Azure barındırılan bir uygulamayı çalıştırmanın en kısa yolu gösterilmektedir. Mimari, konteynerleştirilmiş bir uygulama, bir Fireworks dağıtım uç noktası ve temel gizli bilgi yönetimi ile başlar. Veritabanlarını, kuyrukları, API ağ geçitlerini, önbelleğe almayı ve diğer destekleyici hizmetleri yalnızca ürününüzün ihtiyacı olduğunda ekleyin.
Bu durum startup'lar için neden önemlidir?
Çıkarım, yapay zekâ odaklı bir şirket için kontrol edilebilir en büyük maliyet kalemlerinden biridir. Erken seçtiğiniz hizmet mimarisi maliyeti, operasyonel ek yükü, performansı ve gelecekteki esnekliği etkileyebilir.
Microsoft Foundry ve Fireworks AI şunları sağlar:
- Azure yerel idare ve faturalama
- Açık ağırlık ve özelleştirilebilir modellere erişim
- Yönetilen çıkarım altyapısı
- Tutarlı bir dağıtım deneyimi
- GPU altyapısı oluşturmadan denemeden üretime giden bir yol
Çıkarım seçeneklerinizi karşılaştırma
| Seçenek | Strengths | Sınırlamalar | Uygun olduğunda |
|---|---|---|---|
| GPU kümesinde kendinden barındırmalı vLLM | Model, zamanlama ve maliyet üzerinde tam denetim | Ayrılmış ML platformu mühendisliği ve devam eden operasyonlar gerektirir | Platform ekiplerine sahip Seri C+ şirketleri |
| Sınır kapalı kaynak API'leri | Denemelere giden en hızlı yol | Maliyetler büyük ölçekte artabilir ve ince ayar seçenekleri sınırlı olabilir | Erken prototip oluşturma |
| Genel bulut yapay zeka hizmetleri | Tümleştirmesi kolay | daha az iş yüküne özgü iyileştirme | Yapay zekanın çekirdek ayırıcı olmadığı uygulamalar |
| Microsoft Dökümhane'de havai fişek gösterisi | Açık ağırlıklı ve özelleştirilebilir modeller, Azure'a özgü yönetim ve faturalama, yönetilen çıkarım | Foundry kaynaklarının dağıtımını ve yapılandırmasını gerektirir | Azure üzerinde geliştirilen yapay zekâ odaklı girişimler |
Referans mimarisine genel bakış
Mimari kasıtlı olarak küçük başlar ve yalnızca gereksinimler ortaya çıktıktan sonra genişler.
Components
| Bileşen | Purpose |
|---|---|
| Azure Container Apps | Çıkarım istekleri gönderen uygulamayı veya API'yi barındırıyor |
| Microsoft Foundry + Fireworks AI modelleri | Model dağıtımı, idare, faturalama ve çıkarım sağlar |
| Azure Container Registry | Konteyner imajlarını depolar |
| Gizlilik yönetimi | Kimlik bilgilerini ve uç nokta bilgilerini güvenli bir şekilde depolar |
| Azure İzleyici (isteğe bağlı) | Gözlemlenebilirlik ve performans içgörüleri sağlar |
Ne inşa ettiğiniz
- Microsoft Foundry aracılığıyla barındırılan bir Fireworks dağıtımı
- Dağıtımı çağıran kapsayıcılı uygulama
- Kapsayıcı görüntü depolama
- Azure Container Apps dağıtımı
- Dağıtım kimlik bilgilerine güvenli erişim
- Temel gözlemlenebilirlik ve doğrulama
Başlamadan önce
Şunlara sahip olmanız gerekir:
- Azure aboneliği
- Microsoft Foundry projesi
- Foundry’de model dağıtım izinleri
- Container Apps kaynakları oluşturma izinleri
- Azure Container Registry oluşturma veya kullanma izinleri
Dağıtım iş akışı
1. Adım: Fireworks modeli dağıtma
- bir Microsoft Foundry projesi oluşturun veya açın.
- Model kataloğuna göz atın ve Fireworks AI tarafından yayımlanan bir modeli seçin (FW ile başlayan veya koleksiyona göre göz atan modelleri arayın).
- İş yükünüz için uygun bir dağıtım seçeneği belirleyin.
- Modeli dağıtın ve dağıtım ayrıntılarını kaydedin.
2. Adım: Güvenli dağıtım ayarları
Uygulamanızın şunlara erişmesi gerekir:
- Dağıtım uç noktası bilgileri
- Dağıtım kimlik bilgileri
- Dağıtım adı
Prototipler için uygulama düzeyindeki gizli bilgiler yeterli olabilir. Üretim iş yükleri için yönetilen kimlik ve Azure Key Vault göz önünde bulundurun.
3. Adım: Uygulamanızı bağlama
Fireworks dağıtımları, desteklenen SDK'ları kullanarak çağırabileceğiniz standartlara dayalı çıkarım uç noktasını kullanıma sunar. Uygulamalar genellikle şu bilgileri sağlar:
- Uç nokta konumu
- Kimlik doğrulama bilgileri
- Dağıtım adı
- İstek parametreleri
Tip
Python ve Azure Container Apps tam örnekler için, tam kod örnekleri içeren yardımcı GitHub deposuna bakın.
4. Adım: Uygulamayı dağıtma
En basit dağıtım yolu:
- Uygulamayı kapsayıcılaştırın.
- Görüntüyü Azure Container Registry'da depolayın.
- Görüntüyü Azure Container Apps dağıtın.
- Gizli anahtarları ve ortam ayarlarını yapılandırın.
- Bağlantıyı doğrulama.
Karmaşıklık eklemeden önce ölçme
Ek bileşenler eklemeden önce küçük bir ölçüm kümesi yakalayın:
- İlk tokena kadar geçen süre
- Toplam yanıt gecikme süresi
- İstek hacmi
- Hata oranı
- Yeniden deneme oranı
- Token tüketimi
- İstek başına tahmini maliyet
- Dağıtım kullanım desenleri
Gerçekte hangi mimari iyileştirmelerin gerekli olduğunu belirlemek için bu ölçümleri kullanın.
Yalnızca gerektiğinde üretim bileşenleri ekleme
| Gerekirse... | Ekle... |
|---|---|
| Kiracı oranı sınırlama ve API idaresi | Azure API Management |
| Yinelenen istemler ve önbelleğe alma | Azure Yönetimli Redis |
| Kullanıcı ve uygulama durumu | PostgreSQL için Azure Veri Tabanı veya Azure Cosmos DB |
| Dosya depolama | Azure Blob Depolama |
| Arka plan işleme | Azure Service Bus |
| Kurumsal ağ denetimleri | Özel uç noktalar ve sanal ağlar |
Sonraki Adımlar
- Microsoft Foundry'de bir Fireworks modelini dağıtın.
- Eşlikçi GitHub uygulamasını gözden geçirin.
- İzleme ve gözlemlenebilirlik ekleyin.
- Gerektiğinde kalıcılık ve önbelleklemeyi uygulayın.
- Üretim iş yükleri için API Management ve ağ yalıtımını değerlendirin.