Gerçek zamanlı çıkarım için akış dağıtımı (klasik)

Yalnızca şunlar için geçerlidir:Dökümhane (klasik) portalı. Bu makale yeni Dökümhane portalında kullanılamaz. Yeni portal hakkında daha fazla bilgi edinin.

Not

Bu makaledeki bağlantılar, şu anda görüntülediğiniz Dökümhane (klasik) belgeleri yerine yeni Microsoft Foundry belgelerinde içerik açabilir.

Uyarı

Microsoft Foundry ve Azure Machine Learning'daki istem akışı 20 Nisan 2027'de kullanımdan kaldırılacaktır. Prompt flow artık yeni geliştirmelerde önerilmemektedir. Mevcut prompt akışı uygulamalarını ve dağıtımlarını 20 Nisan 2027'den önce Microsoft Agent Framework'e geçirin.

Prompt flow kapsayıcı imajları, güvenlik ve paket güncellemeleri dahil, artık güncelleme almıyor. Bu, promptflow-runtime, promptflow-runtime-stable ve promptflow-python dahil olmak üzere Prompt flow çalışma zamanı görüntüleri için geçerlidir.

20 Nisan 2027'den sonra, Microsoft Foundry ve Azure Machine Learning’deki web tabanlı yazma deneyimi, VS Code uzantıları ve ilgili Prompt flow kapsayıcı görüntüleri dahil olmak üzere Prompt flow artık desteklenmeyecek veya kullanılamayacaktır.

Uygulamanız istem akışı dağıtımlarına veya çalışma zamanı görüntülerine bağımlıysa, bu iş yüklerini kullanımdan kaldırma tarihinden önce Microsoft Agent Framework gibi desteklenen alternatiflere taşımayı planlayın. Geçiş yönergeleri için bkz. Prompt flow geçiş kılavuzu ve geçiş kod örnekleri.

Bir istem akışı oluşturup test ettikten sonra çevrimiçi uç nokta olarak dağıtabilirsiniz. Dağıtımlar bir uç noktada barındırılır. İstemcilerden veri alabilir ve yanıtları gerçek zamanlı olarak gönderebilirler.

Sohbet, yardımcı pilot veya başka bir üretken yapay zeka uygulaması için gerçek zamanlı çıkarım için uç noktayı çağırabilirsiniz. İstem akışları bir akıştan veya toplu test çalıştırmasından uç nokta dağıtımını destekler.

Bu makalede, gerçek zamanlı çıkarım için bir akışı yönetilen çevrimiçi uç nokta olarak dağıtmayı öğreneceksiniz.

• Akışınızı test edin ve dağıtım için hazırlayın.
• Çevrimiçi dağıtım oluşturma.
• Uçbirime izinleri tanıyın.
• Uç noktayı test edin.
• Uç noktayı kullanma.

Önkoşullar

Önemli

Bu makale, merkez tabanlı projeler için eski sistem desteği sağlar. Foundry projeleri için çalışmaz. Bkz. Ne tür bir projem olduğunu nasıl bilebilirim?

SDK uyumluluk notu: Kod örnekleri için belirli bir Microsoft Döküm SDK'sı sürümü gerekir. Uyumluluk sorunlarıyla karşılaşırsanız hub tabanlı bir projeden Foundry projesine geçiş yapmayı göz önünde bulundurun.

• Etkin aboneliği olan bir Azure hesabı. Hesabınız yoksa ücretsiz deneme aboneliği içeren bir free Azure hesabı oluşturun.
• Bir projeniz yoksa merkez tabanlı bir proje oluşturun.

İstem akışını çevrimiçi uç nokta olarak dağıtmak için şunlar gerekir:

• Azure aboneliği. Azure aboneliğiniz yoksa free hesabı oluşturun.
• Microsoft Foundry projesi.
• Aboneliğinizde kayıtlı bir Microsoft.PolicyInsights kaynak sağlayıcısı. Daha fazla bilgi için Kaynak sağlayıcısı kaydetme kısmına bakın.

Çevrimiçi dağıtım oluşturma

Bir akış oluşturup test ettikten sonra gerçek zamanlı çıkarım için çevrimiçi uç noktanızı oluşturun.

Bir istem akışını Foundry portalında çevrimiçi uç nokta olarak dağıtmak için:

1. Dağıtım için bir istem akışını hazır hale getirin. Eğer sizin yoksa bakınız İstem akışı geliştirmek için.

2. İsteğe bağlı: Akışın düzgün çalışıp çalışmadiğini test etmek için Sohbet'i seçin. Dağıtımdan önce akışınızı test yapmanızı öneririz.

3. Akış düzenleyicisinde Dağıt'ı seçin.

   

4. Temel Ayarlar sayfasında gerekli bilgileri sağlayın.

   

5. Gözden Geçir + Oluştur'u seçin. Öte yandan, bu makale için gerekli olmayan gelişmiş ayarlar sayfalarına gitmek için İleri'yi seçin.

6. İstem akışını dağıtmak için Oluştur'u seçin.

7. Dağıtımınızın durumunu görüntülemek için sol bölmede Modeller + uç noktalar'ı seçin. Dağıtım başarıyla oluşturulduktan sonra daha fazla bilgi görmek için dağıtımı seçin.

   

8. Uygulamanızda dağıtılan modeli kullanmak için kullanabileceğiniz kod örneklerini görmek için Kullan sekmesini seçin.

   Bu sayfada, uç noktayı tüketmek için kullanabileceğiniz URL'yi de görebilirsiniz.

   

9. REST uç noktasını doğrudan kullanabilir veya burada gösterilen örneklerden birini kullanmaya başlayabilirsiniz.

   

Temel modeli dağıtma hakkında bilgi için bkz. Foundry ile model dağıtma.

Ayarlar ve yapılandırmalar

Gereksinimler metin dosyası

İsteğe bağlı olarak, içinde requirements.txtihtiyacınız olan ek paketleri belirtebilirsiniz. Akış klasörünüzün kök klasöründe bulabilirsiniz requirements.txt . Kullanıcı arabiriminde yönetilen çevrimiçi uç noktaya bir istem akışı dağıttığınızda, dağıtım varsayılan olarak içinde belirtilen temel görüntüye ve içinde flow.dag.yamlrequirements.txtbelirtilen bağımlılıklara göre oluşturulan ortamı kullanır.

içinde flow.dag.yaml belirtilen temel görüntü, istem akışı temel görüntüsüne mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version>göre oluşturulur. En son sürümü görmek için bu listeye bakın. içinde temel görüntüyü flow.dag.yamlbelirtmezseniz, dağıtım varsayılan temel görüntüyü mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latestkullanır.

Temel ayarlar

Bu adımda, akış düzenleyicisinde Dağıt'ı seçtiğinizde temel ayarları yapılandıracaksınız.

Özellik	Açıklama
Bitiş noktası	Yeni bir uç nokta dağıtmak mı yoksa var olan bir uç noktayı güncelleştirmek mi istediğinizi seçin. Yeni'yi seçerseniz uç nokta adını belirtmeniz gerekir.
Dağıtım adı	- Aynı uç noktada dağıtım adı benzersiz olmalıdır. - Mevcut bir uç noktayı seçip mevcut bir dağıtım adı girerseniz, bu dağıtım yeni yapılandırmalarla üzerine yazılır.
Sanal makine	Dağıtım için kullanılacak sanal makine boyutu.
Örnek sayısı	Dağıtım için kullanılacak sunucu örneği sayısı. Beklediğiniz iş yükündeki değeri belirtin. Yüksek kullanılabilirlik için değerini en az 3olarak ayarlamanızı öneririz. Yükseltmeleri gerçekleştirmek için fazladan 20% ayırıyoruz.
Çıkarım verisi toplama	Bu ayarı etkinleştirirseniz akış girişleri ve çıkışları bir Azure Machine Learning veri varlığında otomatik olarak bir araya gelir. Bunları daha sonra izlemek için kullanabilirsiniz.

Temel ayarları tamamladıktan sonra, oluşturma işlemini tamamlamak için Gözden Geçir + Oluştur'u seçin. Gelişmiş ayarları yapılandırmak için İleri'yi de seçebilirsiniz.

Gelişmiş ayarlar: Uç nokta

Uç nokta için aşağıdaki ayarları belirtebilirsiniz.

Gelişmiş ayarlar iş akışında dağıtım etiketlerini belirtebilir ve özel bir ortam seçebilirsiniz.

Kimlik doğrulama türü

Bu ayar, uç nokta için kimlik doğrulama yöntemini tanımlar. Anahtar tabanlı kimlik doğrulaması süresi dolmayan bir birincil ve ikincil anahtar sağlar. Azure Machine Learning belirteç tabanlı kimlik doğrulaması, düzenli aralıklarla yenilenen bir belirteç sağlar.

Kimlik türü

Uç noktanın çıkarım için Azure Container Registry veya Foundry hub bağlantılarınız gibi Azure kaynaklara erişmesi gerekir. Yönetilen kimliğine izin vererek, uç nokta izinlerini Azure kaynaklara erişimine açabilirsiniz.

Sistem tarafından atanan kimlik, uç noktanız oluşturulduktan sonra oluşturulur. Kullanıcı, kullanıcı tarafından atanan kimliği oluşturur. Daha fazla bilgi için bkz. Azure kaynakları için kimlikleri yönetme.

Sistem tarafından atanan

Bağlantı sırlarına erişimi zorunlu kılma (önizleme) seçeneği varsayılan olarak etkindir. Akışınız bağlantılar kullanıyorsa, çıkarım gerçekleştirmek için uç noktanın bağlantılara erişmesi gerekir.

Bağlantı gizli dizileri okuyucu izniniz varsa uç noktaya bağlantılara erişmek için Azure Machine Learning Çalışma Alanı Bağlantı Gizli Dizileri Okuyucusu rolüne erişim verilir. Bu seçeneği devre dışı bırakırsanız, bu rolü sistem tarafından atanan kimliğe el ile vermeniz veya yöneticinizden yardım istemeniz gerekir. Daha fazla bilgi için bkz. Uç nokta kimliğine izin verme.

Kullanıcı atanmış

Dağıtımı oluşturduğunuzda, Azure kullanıcı kapsayıcı görüntüsünü Foundry hub'ına ait kapsayıcı kayıt defterinden çekmeye çalışır ve kullanıcı modelini ve kod yapıtlarını hub'ın depolama hesabından kullanıcı kapsayıcısına bağlar.

İlişkili uç noktayı Kullanıcı Tarafından Atanan Kimlik seçeneğiyle oluşturursanız, dağıtımı oluşturmadan önce kullanıcı tarafından atanan kimliğe aşağıdaki rolleri verin. Aksi takdirde dağıtım oluşturma işlemi başarısız olur.

Kapsam	Rolü	Neden gereklidir?
Dökümhane projesi	Azure Machine Learning Çalışma Alanı Gizli Bilgileri Okuyucu rolü veya ile özelleştirilmiş bir rol	Proje bağlantılarını alır.
Dökümhane projesi kapsayıcı kayıt defteri	ACR Çekme	Kapsayıcı görüntülerini çeker.
Dökümhane projesi varsayılan depolama alanı	Storage Blob Veri Okuyucusu	Bir modeli depolama alanından yükler.
Dökümhane projesi	Azure Machine Learning Ölçüm Yazıcısı (önizleme)	Uç noktayı dağıttığınızda CPU/GPU/Disk/Bellek kullanımı gibi uç noktayla ilgili ölçümleri izlemek istiyorsanız, kimliğe bu izni verin. Isteğe bağlı.

Uç nokta kimliğine izin verme hakkında daha fazla bilgi için bkz. Uç noktaya izin verme.

Önemli

Akışınız Microsoft Entra ID tabanlı kimlik doğrulama bağlantıları kullanıyorsa, yönetilen kimliğe her zaman ilgili kaynaklar için uygun roller vermeniz gerekir, böylece bu kaynağa API çağrıları yapabilir. İster sistem tarafından atanan kimlik ister kullanıcı tarafından atanan kimlik kullansanız da bu yapılandırma gereklidir.

Örneğin, Azure OpenAI bağlantınız Microsoft Entra ID tabanlı kimlik doğrulaması kullanıyorsa, uç nokta yönetilen kimliğinize ilgili Azure OpenAI kaynaklarının Bilişsel Hizmetler OpenAI Kullanıcısı veya Bilişsel Hizmetler OpenAI Katkıda Bulunanı rolünü vermeniz gerekir.

Gelişmiş ayarlar: Çıkışlar ve bağlantılar

Bu adımda, tüm akış çıkışlarını görüntüleyebilir ve dağıttığınız uç noktanın yanıtına hangi çıkışların dahilleneceğini belirtebilirsiniz. Varsayılan olarak, tüm akış çıkışları seçilir.

Uç noktanın çıkarım yaparken kullandığı bağlantıları da belirtebilirsiniz. Varsayılan olarak uç nokta bağlantıları akıştan devralır.

Önceki tüm adımları yapılandırıp gözden geçirdikten sonra, oluşturma işlemini tamamlamak için Gözden Geçir + Oluştur'u seçin.

Uç nokta oluşturma işleminin 15 dakikadan uzun sürmesini bekleyebilirsiniz. Aşamalar arasında uç nokta oluşturma, model kaydetme ve dağıtım oluşturma yer alır.

Dağıtım oluşturma ilerleme durumu , prompt flow deployment ile başlayan bir bildirim gönderir.

Application Insights tanılamasını açarak izlemeyi etkinleştirme (önizleme)

Bu özelliği etkinleştirirseniz çıkarım süresi boyunca izleme verileri ve sistem ölçümleri çalışma alanına bağlı Application Insights'ta toplanır. Bu ölçümler belirteç sayısını, akış gecikme süresini ve akış isteğini içerir. Daha fazla bilgi için bkz. Akış dağıtımı için izlemeyi etkinleştirme ve geri bildirim toplama.

Uç noktaya izin verme

Önemli

Rol ataması ekleyerek yalnızca Azure kaynaklarının sahibi izin verebilir. Azure aboneliğinizin sahibine başvurmanız gerekebilir. Bu kişi BT yöneticiniz olabilir.

Uç nokta oluşturma işlemi biter bitmez kullanıcı tarafından atanan kimliğe roller vermenizi öneririz. Verilen iznin geçerlilik kazanması 15 dakikadan fazla sürebilir.

Azure portalında gerekli izinleri vermek için şu adımları izleyin:

1. Azure portalında Döküm projesine genel bakış sayfasına gidin.

2. Erişim denetimi (IAM) öğesini ve ardından Rol ataması ekle'yi seçin.

   

3. Azure Machine Learning Çalışma Alanı Bağlantı Şifreleri Okuyucusu'nu seçin ve İleri'ye tıklayın.

   Azure Machine Learning Çalışma Alanı Bağlantı Sırları Okuyucu rolü, hub bağlantılarını alma iznine sahip yerleşik bir roldür.

   Özelleştirilmiş bir rol kullanmak istiyorsanız, özelleştirilmiş rolün Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action iznine sahip olduğundan emin olun. Özel roller oluşturma hakkında daha fazla bilgi edinin.

4. Yönetilen kimlik seçeneğini ve ardından üyeleri seçin.

   • Sistem tarafından atanan kimlik: Sistem tarafından atanan yönetilen kimlik'in altında Makine öğrenmesi çevrimiçi uç noktasını seçin ve uç nokta adına göre arama yapın.
   • Kullanıcı tarafından atanan kimlik: Kullanıcı tarafından atanan yönetilen kimlik'i seçin ve kimlik adına göre arama yapın.

5. Kullanıcı tarafından atanan kimlik için hub kapsayıcı kayıt defterine ve depolama hesabına izinler verin. Kapsayıcı kayıt defteri ve depolama hesabını Azure portalındaki hub'a genel bakış sayfasında bulabilirsiniz.

   Hub kapsayıcısı kayıt defterine genel bakış sayfasına gidin ve Erişim denetimi>Rol ataması ekle'yi seçin. Uç nokta kimliğine ACR Çek atayın.

   Hub varsayılan depolamaya genel bakış sayfasına gidin ve Erişim denetimi>Rol ataması ekle'yi seçin. Uç nokta kimliğine Depolama Blobu Veri Okuyucusu atayın.

6. İsteğe bağlı: Kullanıcı tarafından atanan kimlik için CPU/GPU/Disk/Bellek kullanımı gibi uç noktayla ilgili ölçümleri izlemek istiyorsanız, hub'ın Çalışma Alanı ölçüm yazıcı rolünü kimliğe vermeniz gerekir.

Uç noktanın durumunu denetleme

Dağıtım tamamlandıktan sonra bildirimler alırsınız. Uç nokta ve dağıtım başarıyla oluşturulduktan sonra, bildirimi açın ve "Ayrıntıları görüntüle"ye tıklayarak dağıtım detayları sayfasına gidin.

Ayrıca, sol bölmedeki Model + uç noktalar sayfasına doğrudan gidebilir ve durumu denetlemek için dağıtımı seçebilirsiniz.

Uç noktayı test edin

Dağıtım ayrıntıları sayfasında Test sekmesini seçin.

Standart akıştan dağıtılan uç noktalar için, uç noktayı test etmek için form düzenleyicisine veya JSON düzenleyicisine değerler girebilirsiniz.

Sohbet akışı sürecinden dağıtılan uç noktayı test edin

Sohbet akışından dağıtılan uç noktaları sürükleyici bir sohbet penceresinde test edebilirsiniz.

İleti, chat_input sohbet akışının geliştirilmesi sırasında ayarlanmıştır. İletiyi chat_input giriş kutusuna yerleştirebilirsiniz. Akışınızda birden çok giriş varsa, sağ taraftaki chat_input bölmesindeki iletinin yanı sıra diğer girişlerin değerlerini belirtin.

Uç noktayı kullan

Dağıtım ayrıntıları sayfasında , Tüket sekmesini seçin. Uç noktanızı kullanmak için REST uç noktasını ve anahtarı/belirteci bulabilirsiniz. Örnek kod, uç noktayı farklı dillerde kullanmanız için de kullanılabilir.

RequestBody veya data ve api_key için değerleri girmeniz gerekir. Örneğin, akışınızda iki giriş location varsa ve urlverileri aşağıdaki örnek olarak belirtin:

 {
"location": "LA",
"url": "<the_url_to_be_classified>"
}

Kaynakları temizleme

Bu öğreticiyi tamamladıktan sonra uç noktayı kullanmayacaksanız, onu silin. Silme işleminin tamamlanması 20 dakika sürebilir.

İlgili içerik

• Foundry'de neler yapabileceğiniz hakkında daha fazla bilgi edinin.
• Foundry SSS bölümünde sık sorulan soruların yanıtlarını alın.
• dağıtımınız için izleme özelliğini etkinleştirin ve geri bildirim toplayın.