Gerçek zamanlı çıkarım için akış dağıtma
Önemli
Bu makalede işaretlenen (önizleme) öğeler şu anda genel önizleme aşamasındadır. Bu önizleme, hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için önerilmez. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.
Bir istem akışı oluşturup düzgün bir şekilde test ettikten sonra çevrimiçi uç nokta olarak dağıtmak isteyebilirsiniz. Dağıtımlar bir uç nokta içinde barındırılır ve istemcilerden veri alabilir ve yanıtları gerçek zamanlı olarak geri gönderebilir.
Sohbet, yardımcı pilot veya başka bir üretken yapay zeka uygulaması için gerçek zamanlı çıkarım için uç noktayı çağırabilirsiniz. İstem akışı, bir akıştan veya toplu test çalıştırmasından uç nokta dağıtımlarını destekler.
Bu makalede, gerçek zamanlı çıkarım için bir akışı yönetilen çevrimiçi uç nokta olarak dağıtmayı öğreneceksiniz. Gerçekleştirdiğiniz adımlar şunlardır:
- Akışınızı test edin ve dağıtım için hazırlayın.
- Çevrimiçi dağıtım oluşturma.
- Uç noktaya izinler verin.
- Uç noktayı test edin.
- Uç noktayı kullanma.
Önkoşullar
İstem akışını çevrimiçi uç nokta olarak dağıtmak için şunlar gerekir:
- Azure aboneliği. Aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.
- Azure AI Studio projesi.
Çevrimiçi dağıtım oluşturma
Artık bir akış oluşturup doğru şekilde test ettiğinize göre, gerçek zamanlı çıkarım için çevrimiçi uç noktanızı oluşturmanın zamanı geldi.
Azure AI Studio'da çevrimiçi uç nokta olarak istem akışı dağıtmak için aşağıdaki adımları izleyin.
Bir istem akışının dağıtım için hazır olması. Yoksa, nasıl istem akışı oluşturabileceğinize bakın.
İsteğe bağlı: Akışın düzgün çalışıp çalışmadiğini test etmek için Sohbet'i seçin. Dağıtımdan önce akışınızı test etme en iyi yöntem önerilir.
Akış düzenleyicisinde Dağıt'ı seçin.
dağıtım sihirbazının Temel Ayarlar sayfasında istenen bilgileri sağlayın.
Ayarları gözden geçirmek ve dağıtımı oluşturmak için Gözden Geçir + Oluştur'u seçin. Aksi takdirde İleri'yi seçerek gelişmiş ayarlar sayfalarına geçebilirsiniz.
İstem akışını dağıtmak için Oluştur'u seçin.
Dağıtımınızın durumunu görüntülemek için sol gezinti bölmesinden Dağıtımlar'ı seçin. Dağıtım başarıyla oluşturulduktan sonra, ayrıntıları görüntülemek için dağıtımı seçebilirsiniz.
Uygulamanızda dağıtılan modeli kullanmak için kullanılabilecek kod örneklerini görmek için Kullan sekmesini seçin.
Not
Bu sayfada, uç noktayı kullanmak için kullanabileceğiniz uç nokta URL'sini de görebilirsiniz.
REST uç noktasını doğrudan kullanabilir veya burada gösterilen örneklerden birini kullanmaya başlayabilirsiniz.
Daha fazla bilgi için aşağıdaki bölümlere bakın.
İpucu
Temel modeli dağıtma hakkında bir kılavuz için bkz . Azure AI Studio ile model dağıtma.
Ayarlar ve yapılandırmalar
Gereksinimler metin dosyası
İsteğe bağlı olarak içinde ihtiyacınız olan requirements.txtek paketleri belirtebilirsiniz. Akış klasörünüzün kök klasöründe bulabilirsiniz requirements.txt . kullanıcı arabiriminde yönetilen çevrimiçi uç noktaya istem akışı dağıttığınızda, dağıtım varsayılan olarak akışın içinde belirtilen ve bağımlılıklarında flow.dag.yaml requirements.txt belirtilen temel görüntüye göre oluşturulan ortamı kullanır.
Not
içinde flow.dag.yaml belirtilen temel görüntü, istem akışı temel görüntüsüne mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version> göre oluşturulmalıdır ve en son sürümü burada bulabilirsiniz. içinde temel görüntüyü flow.dag.yamlbelirtmezseniz, dağıtım varsayılan temel görüntüsünü mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latestkullanır.
Temel ayarlar
Bu adım, dağıtımın temel ayarlarını yapılandırmanıza olanak tanır.
| Özellik | Açıklama |
|---|---|
| Uç nokta | Yeni bir uç nokta dağıtmak mı yoksa var olan bir uç noktayı güncelleştirmek mi istediğinizi seçebilirsiniz. Yeni'yi seçerseniz uç nokta adını belirtmeniz gerekir. |
| Dağıtım adı | - Aynı uç nokta içinde dağıtım adı benzersiz olmalıdır. - Mevcut bir uç noktayı seçip var olan bir dağıtım adını girdiğinizde, yeni yapılandırmalarla bu dağıtımın üzerine yazılır. |
| Sanal makine | Dağıtım için kullanılacak VM boyutu. |
| Örnek sayısı | Dağıtım için kullanılacak örnek sayısı. Beklediğiniz iş yükündeki değeri belirtin. Yüksek kullanılabilirlik için değerini en az 3olarak ayarlamanızı öneririz. Yükseltmeleri gerçekleştirmek için fazladan %20 ayırıyoruz. |
| Çıkarım verisi toplama | Bunu etkinleştirirseniz akış girişleri ve çıkışları bir Azure Machine Learning veri varlığında otomatik olarak toplanır ve daha sonra izlemek için kullanılabilir. |
Temel ayarları tamamladıktan sonra, oluşturma işlemini tamamlamak için doğrudan Gözden Geçir + Oluştur'u veya gelişmiş ayarları yapılandırmak için İleri'yi seçebilirsiniz.
Gelişmiş ayarlar - Uç nokta
Uç nokta için aşağıdaki ayarları belirtebilirsiniz.
Gelişmiş ayarlar iş akışında dağıtım etiketlerini belirtebilir ve özel bir ortam seçebilirsiniz.
Authentication type
Uç nokta için kimlik doğrulama yöntemi. Anahtar tabanlı kimlik doğrulaması süresi dolmayan bir birincil ve ikincil anahtar sağlar. Azure Machine Learning belirteç tabanlı kimlik doğrulaması, düzenli aralıklarla otomatik olarak yenilenen bir belirteç sağlar.
Kimlik türü
Uç noktanın çıkarım için Azure Container Registry veya AI Studio hub bağlantıları gibi Azure kaynaklarına erişmesi gerekir. Yönetilen kimliğine izin vererek uç noktanın Azure kaynaklarına erişmesine izin vekleyebilirsiniz.
Sistem tarafından atanan kimlik, uç noktanız oluşturulduktan sonra otomatik olarak oluşturulurken, kullanıcı tarafından atanan kimlik kullanıcı tarafından oluşturulur. Yönetilen kimlikler hakkında daha fazla bilgi edinin.
Sistem tarafından atanan
Bağlantı gizli dizilerine erişimi zorunlu kılma (önizleme) seçeneğinin olduğunu fark edeceksiniz. Akışınız bağlantılar kullanıyorsa, çıkarım gerçekleştirmek için uç noktanın bağlantılara erişmesi gerekir. Seçenek varsayılan olarak etkindir; bağlantı gizli dizileri okuyucu izniniz varsa bağlantılara otomatik olarak erişmek için uç noktaya Azure Machine Learning Çalışma Alanı Bağlantı Gizli Dizileri Okuyucusu rolü verilir. Bu seçeneği devre dışı bırakırsanız, bu rolü sistem tarafından atanan kimliğe kendiniz vermeniz veya yöneticinizden yardım istemeniz gerekir. Uç nokta kimliğine izin verme hakkında daha fazla bilgi edinin.
Kullanıcı tarafından atanan
Dağıtımı oluşturduğunuzda Azure, Azure AI Studio merkezinin Azure Container Registry'sinden (ACR) kullanıcı kapsayıcı görüntüsünü çekmeye çalışır ve kullanıcı modelini ve kod yapıtlarını hub'ın depolama hesabından kullanıcı kapsayıcısına bağlar.
Kullanıcı Tarafından Atanan Kimlik ile ilişkili uç noktayı oluşturduysanız, dağıtım oluşturmadan önce kullanıcı tarafından atanan kimliğe aşağıdaki rollerin verilmesi gerekir; aksi takdirde dağıtım oluşturma başarısız olur.
| Kapsam | Rol | Neden gereklidir? |
|---|---|---|
| AI Studio projesi | Azure Machine Learning Çalışma Alanı Bağlantı Gizli Dizileri Okuyucusu rolü VEYA Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action ile özelleştirilmiş bir rol |
Proje bağlantılarını alma |
| AI Studio projesi kapsayıcı kayıt defteri | ACR çekme | Kapsayıcı görüntüsünü çekme |
| AI Studio projesi varsayılan depolama alanı | Depolama Blob Verileri Okuyucusu | Modeli depolama alanından yükleme |
| AI Studio projesi | Çalışma alanı ölçümleri yazıcısı | Uç noktayı dağıttığınızda CPU/GPU/Disk/Bellek kullanımı gibi uç noktayla ilgili ölçümleri izlemek istiyorsanız kimlik için bu izni vermeniz gerekir. İsteğe bağlı |
Uç noktaya izin verme bölümünde uç nokta kimliğine izin verme hakkında ayrıntılı yönergelere bakın.
Önemli
Akışınız Microsoft Entra Id tabanlı kimlik doğrulama bağlantıları kullanıyorsa, sistem tarafından atanan kimliği veya kullanıcı tarafından atanan kimliği kullanmanız fark etmez, yönetilen kimliğe ilgili kaynakların ilgili rolleri vermeniz gerekir; böylece bu kaynağa API çağrıları yapabilir. Örneğin, Azure OpenAI bağlantınız Microsoft Entra ID tabanlı kimlik doğrulaması kullanıyorsa, ilgili Azure OpenAI kaynaklarının uç nokta yönetilen kimliğine Bilişsel Hizmetler OpenAI Kullanıcısı veya Bilişsel Hizmetler OpenAI Katkıda Bulunanı rolü vermeniz gerekir.
Gelişmiş ayarlar - Çıkışlar ve Bağlantılar
Bu adımda, tüm akış çıkışlarını görüntüleyebilir ve dağıttığınız uç noktanın yanıtına hangi çıkışların dahilleneceğini belirtebilirsiniz. Varsayılan olarak tüm akış çıkışları seçilir.
Çıkarım gerçekleştirirken uç nokta tarafından kullanılan bağlantıları da belirtebilirsiniz. Bunlar varsayılan olarak akıştan devralınır.
Yukarıdaki tüm adımları yapılandırıp gözden geçirdikten sonra, oluşturma işlemini tamamlamak için Gözden Geçir + Oluştur'u seçebilirsiniz.
Not
Uç nokta oluşturma, modeli kaydetme, dağıtım oluşturma gibi çeşitli aşamalar içerdiğinden uç nokta oluşturma işleminin yaklaşık 15 dakikadan uzun sürmesini bekleyebilirsiniz.
Akış dağıtımı istemiyle başlayan bildirim aracılığıyla dağıtım oluşturma işleminin ilerleme durumunu anlayabilirsiniz.
Application Insights tanılamasını açarak izlemeyi etkinleştirme (önizleme)
Bunu etkinleştirirseniz, çıkarım zamanındaki izleme verileri ve sistem ölçümleri (belirteç sayısı, akış gecikme süresi, akış isteği vb.) çalışma alanına bağlı Application Insights'a toplanır. Daha fazla bilgi edinmek için bkz . İzleme verilerini ve ölçümlerini sunan istem akışı.
Uç noktaya izin verme
Önemli
İzin verme (rol ataması ekleme) yalnızca belirli Azure kaynaklarının Sahibi için etkinleştirilir. Azure aboneliği sahibinizden (BT yöneticiniz olabilir) yardım istemeniz gerekebilir.
Dağıtım oluşturmadan önce kullanıcı tarafından atanan kimliğe rol verilmesi önerilir. Verilen iznin geçerlilik kazanması 15 dakikadan fazla sürebilir.
Aşağıdaki adımları izleyerek Azure portal kullanıcı arabiriminde gerekli izinleri verilmektedir.
Azure portalında Azure AI Studio projesine genel bakış sayfasına gidin.
Erişim denetimi'ni ve ardından Rol ataması ekle'yi seçin.
Azure Machine Learning Çalışma Alanı Bağlantı Gizli Dizileri Okuyucusu'na tıklayın ve İleri'ye gidin.
Not
Azure Machine Learning Çalışma Alanı Bağlantı Gizli Dizileri Okuyucusu rolü, hub bağlantılarını alma izni olan yerleşik bir roldür.
Özelleştirilmiş bir rol kullanmak istiyorsanız, özelleştirilmiş rolün iznine
Microsoft.MachineLearningServices/workspaces/connections/listsecrets/actionsahip olduğundan emin olun. Özel roller oluşturma hakkında daha fazla bilgi edinin.Yönetilen kimlik'i ve ardından üyeleri seçin.
Sistem tarafından atanan kimlik için Sistem tarafından atanan yönetilen kimlik'in altında Makine öğrenmesi çevrimiçi uç noktasını seçin ve uç nokta adına göre arama yapın.
Kullanıcı tarafından atanan kimlik için Kullanıcı tarafından atanan yönetilen kimlik'i seçin ve kimlik adına göre arama yapın.
Kullanıcı tarafından atanan kimlik için hub kapsayıcı kayıt defterine ve depolama hesabına da izin vermeniz gerekir. Kapsayıcı kayıt defteri ve depolama hesabını Azure portalındaki hub'a genel bakış sayfasında bulabilirsiniz.
Hub kapsayıcısı kayıt defterine genel bakış sayfasına gidin, Erişim denetimi'ni ve rol ataması ekle'yi seçin ve ACR çekmesi atayın |Kapsayıcı görüntüsünü uç nokta kimliğine çekin.
Hub varsayılan depolamaya genel bakış sayfasına gidin, Erişim denetimi'ni seçin ve Rol ataması ekle'yi seçin ve uç nokta kimliğine Depolama Blob Veri Okuyucusu atayın.
(isteğe bağlı) Kullanıcı tarafından atanan kimlik için CPU/GPU/Disk/Bellek kullanımı gibi uç noktayla ilgili ölçümleri izlemek istiyorsanız, kimliğe hub'ın Çalışma Alanı ölçümleri yazıcı rolünü de vermeniz gerekir.
Uç noktanın durumunu denetleme
Dağıtım sihirbazını tamamladıktan sonra bildirimler olacaktır. Uç nokta ve dağıtım başarıyla oluşturulduktan sonra dağıtım ayrıntılarına bildirim sayfasında Ayrıntıları görüntüle'yi seçebilirsiniz.
Ayrıca, sol gezinti bölmesinden doğrudan Dağıtımlar sayfasına gidebilir, dağıtımı seçebilir ve durumu de kontrol edebilirsiniz.
Uç noktayı test edin
Dağıtım ayrıntıları sayfasında Test sekmesine geçin.
Standart akıştan dağıtılan uç noktalar için, değerleri form düzenleyicisine veya JSON düzenleyicisine girerek uç noktayı test edebilirsiniz.
Sohbet akışından dağıtılan uç noktayı test edin
Sohbet akışından dağıtılan uç noktalar için bunu çevreleyici bir sohbet penceresinde test edebilirsiniz.
, chat_input sohbet akışının geliştirilmesi sırasında ayarlanmıştır. İletiyi chat_input giriş kutusuna girebilirsiniz. Akışınız birden çok girişe sahipse, sağ taraftaki Girişler paneli, dışında chat_inputdiğer girişlerin değerlerini belirtmenize yöneliktir.
Uç noktayı kullanma
Dağıtım ayrıntıları sayfasında, Tüket sekmesine geçin. Uç noktanızı kullanmak için REST uç noktasını ve anahtarı/belirteci bulabilirsiniz. Uç noktayı farklı dillerde kullanmanız için örnek kod da vardır.
veya data ve api_keydeğerlerini RequestBody girmeniz gerekir. Örneğin, akışınızda 2 giriş location ve urlvarsa verileri aşağıdaki gibi belirtmeniz gerekir.
{
"location": "LA",
"url": "<the_url_to_be_classified>"
}
Kaynakları temizleme
Bu öğreticiyi tamamladıktan sonra uç noktayı kullanmayacaksanız uç noktayı silmeniz gerekir.
Not
Tam silme işlemi yaklaşık 20 dakika sürebilir.
Sonraki Adımlar
- Azure AI Studio'da neler yapabileceğiniz hakkında daha fazla bilgi edinin
- Azure AI SSS makalesinde sık sorulan soruların yanıtlarını alma
- [dağıtımınız için izlemeyi etkinleştirme ve geri bildirim toplama] (./develop/trace-production-sdk.md)