Machine Learning Studio (klasik) işlevleriyle Stream Analytics işinizi ölçeklendirme
İpucu
Performansı ve güvenilirliği artırmak için Machine Learning Studio (klasik) UDF yerine Azure Machine Learning UDF'lerinin kullanılması kesinlikle önerilir.
Önemli
Azure Machine Learning Studio (klasik) desteği 31 Ağustos 2024'te sona erecektir. Bu tarihe kadar Azure Machine Learning'e geçmenizi öneririz.
1 Aralık 2021 itibarıyla yeni Machine Learning Studio (klasik) kaynakları (çalışma alanı ve web hizmeti planı) oluşturamazsınız. 31 Ağustos 2024'e kadar mevcut Machine Learning Studio (klasik) denemelerini ve web hizmetlerini kullanmaya devam edebilirsiniz. Daha fazla bilgi için bkz.
Machine Learning Studio (klasik) belgeleri kullanımdan kaldırılıyor ve gelecekte güncelleştirilmeyebilir.
Bu makalede Machine Learning Studio (klasik) işlevlerini kullanan Azure Stream Analytics işlerini verimli bir şekilde ölçeklendirme işlemi açıklanır. Stream Analytics işlerini genel olarak ölçeklendirme hakkında bilgi için İşleri ölçeklendirme makalesine bakın.
Stream Analytics'te Studio (klasik) işlevi nedir?
Stream Analytics'teki bir Machine Learning Studio (klasik) işlevi, Stream Analytics sorgu dilindeki normal bir işlev çağrısı gibi kullanılabilir. Ancak arka planda bu işlev çağrıları aslında Studio (klasik) Web Hizmeti istekleridir.
Aynı web hizmeti API çağrısında birden çok satırı birlikte "toplu işleyerek" Studio (klasik) web hizmeti isteklerinin aktarım hızını geliştirebilirsiniz. Bu gruplandırma mini toplu iş olarak adlandırılır. Daha fazla bilgi için bkz . Machine Learning Studio (klasik) Web Hizmetleri. Stream Analytics'te Studio (klasik) desteği.
Studio (klasik) işlevleriyle Stream Analytics işi yapılandırma
Stream Analytics işiniz tarafından kullanılan Studio (klasik) işlevini yapılandırmak için iki parametre vardır:
- Studio (klasik) işlev çağrılarının toplu iş boyutu.
- Stream Analytics işi için sağlanan Akış Birimi (SU) sayısı.
SU'lar için uygun değerleri belirlemek için Stream Analytics işinin gecikme süresini mi yoksa her SU'nun aktarım hızını mı iyileştirmek istediğinize karar verin. İyi bölümlenmiş bir Stream Analytics sorgusunun aktarım hızını artırmak için SU'lar her zaman bir işe eklenebilir. Ek SU'lar işi çalıştırma maliyetini artırır.
Stream Analytics işinizin gecikme toleransını belirleyin. Toplu iş boyutunun artırılması, Studio (klasik) isteklerinizin gecikme süresini ve Stream Analytics işinin gecikme süresini artırır.
Toplu iş boyutunu artırmak, Stream Analytics işinin aynı sayıda Studio (klasik) web hizmeti isteğiyle daha fazla olayı işlemesine olanak tanır. Studio (klasik) web hizmeti gecikme süresinin artması genellikle toplu iş boyutunun artmasına alt çizgi oluşturur.
Herhangi bir durumda Bir Studio (klasik) web hizmeti için en uygun maliyetli toplu iş boyutunu göz önünde bulundurmak önemlidir. Web hizmeti istekleri için varsayılan toplu iş boyutu 1000'dir. Stream Analytics REST API'sini veya Stream Analytics için PowerShell istemcisini kullanarak bu varsayılan boyutu değiştirebilirsiniz.
Toplu iş boyutuna karar verdikten sonra, işlevin saniye başına işlemesi gereken olay sayısına göre akış birimi (SU) sayısını ayarlayabilirsiniz. Akış birimleri hakkında daha fazla bilgi için bkz . Stream Analytics ölçeklendirme işleri.
Her 6 SU, Studio (klasik) web hizmetine 20 eşzamanlı bağlantı alır. Ancak 1 SU işi ve 3 SU işi 20 eşzamanlı bağlantı alır.
Uygulamanız saniyede 200.000 olay oluşturuyorsa ve toplu iş boyutu 1000 ise, sonuçta elde edilen web hizmeti gecikme süresi 200 ms'dir. Bu oran, her bağlantının Studio (klasik) web hizmetine her saniye beş istekte bulunabileceği anlamına gelir. Stream Analytics işi, 20 bağlantıyla 200 ms'de 20.000 olayı ve saniyede 100.000 olayı işleyebilir.
Saniyede 200.000 olayı işlemek için Stream Analytics işinin 12 SU'ya kadar çıkan 40 eşzamanlı bağlantıya ihtiyacı vardır. Aşağıdaki diyagramda Stream Analytics işinden Studio (klasik) web hizmeti uç noktasına yönelik istekler gösterilmektedir: Her 6 SU'nun studio (klasik) web hizmetine en fazla 20 eşzamanlı bağlantısı vardır.
Genel olarak, toplu iş boyutu için B, B toplu iş boyutundaki web hizmeti gecikme süresi için milisaniye cinsinden L, N SU'ları olan bir Stream Analytics işinin aktarım hızı şöyledir:
Ayrıca Studio (klasik) web hizmetinde 'maksimum eşzamanlı çağrıları' yapılandırabilirsiniz. Bu parametrenin en yüksek değere (şu anda 200) ayarlanması önerilir.
Bu ayar hakkında daha fazla bilgi için Machine Learning Studio (klasik) Web Hizmetleri için Ölçeklendirme makalesini gözden geçirin.
Örnek – Yaklaşım Analizi
Aşağıdaki örnek, Stream Analytics Machine Learning Studio (klasik) tümleştirme öğreticisinde açıklandığı gibi yaklaşım analizi Studio (klasik) işlevine sahip bir Stream Analytics işi içerir.
Sorgu, aşağıdaki örnekte gösterildiği gibi basit bir tam bölümlenmiş sorgudur ve ardından yaklaşım işlevi gelir:
WITH subquery AS (
SELECT text, sentiment(text) as result from input
)
Select text, result.[Score]
Into output
From subquery
Şimdi saniyede 10.000 tweet hızında tweetlerin yaklaşım analizini yapan bir Stream Analytics işi oluşturmak için gereken yapılandırmayı inceleyelim.
1 SU kullanarak bu Stream Analytics işi trafiği işleyebilir mi? İş, varsayılan toplu iş boyutu olan 1000'i kullanarak girişe ayak uydurabilir. Yaklaşım analizi Studio (klasik) web hizmetinin (varsayılan toplu iş boyutu 1000 olan) varsayılan gecikme süresi bir saniyeden fazla gecikme süresi oluşturmaz.
Stream Analytics işinin genel veya uçtan uca gecikme süresi genellikle birkaç saniye olur. Özellikle Studio (klasik) işlev çağrıları olmak üzere bu Stream Analytics işine daha ayrıntılı bir bakış atın. 1000 toplu iş boyutuyla, 10.000 olaylık aktarım hızı web hizmetine yaklaşık 10 istek alır. Tek bir SU ile bile bu giriş trafiğini karşılamak için yeterli eşzamanlı bağlantı vardır.
Giriş olayı hızı 100 kat artarsa Stream Analytics işinin saniyede 1.000.000 tweet işlemesi gerekir. Artan ölçeği gerçekleştirmek için iki seçenek vardır:
- Toplu iş boyutunu artırın.
- Olayları paralel olarak işlemek için giriş akışını bölümleyin.
İlk seçenekle, iş gecikme süresi artar.
İkinci seçenekle, daha fazla eşzamanlı Studio (klasik) web hizmeti isteğine sahip olmak için daha fazla SU sağlamanız gerekir. Bu kadar çok SAYıDA SU, iş maliyetini artırır.
Şimdi her toplu iş boyutu için aşağıdaki gecikme süresi ölçümlerini kullanarak ölçeklendirmeye bakalım:
| Gecikme süresi | Toplu iş boyutu |
|---|---|
| 200 ms | 1000 olaylı toplu işlemler veya daha küçük |
| 250 ms | 5.000 olaylı toplu iş |
| 300 ms | 10.000 olaylık toplu işlemler |
| 500 ms | 25.000 olaylı toplu iş |
- İlk seçeneği kullanma (daha fazla SU sağlamama ). Toplu iş boyutu 25.000'e yükseltilebilir. Toplu iş boyutunu bu şekilde artırmak, işin Studio (klasik) web hizmetine 20 eşzamanlı bağlantıyla (çağrı başına 500 ms gecikme süresiyle) 1.000.000 olayı işlemesine olanak sağlar. Bu nedenle, Studio (klasik) web hizmeti isteklerine yönelik yaklaşım işlevi istekleri nedeniyle Stream Analytics işinin ek gecikme süresi 200 ms'den 500 ms'yeyükseltilebilir. Ancak, Studio (klasik) web hizmetleri bir isteğin yük boyutunun 4 MB veya daha küçük olmasını gerektirdiğinden ve web hizmeti 100 saniyelik işlemden sonra zaman aşımı istediğinden toplu iş boyutu sonsuz olarak artırılamaz .
- İkinci seçenek kullanıldığında, toplu iş boyutu 1000'de bırakılır ve 200 ms web hizmeti gecikme süresiyle, web hizmetine yapılan her 20 eşzamanlı bağlantı saniyede 1000 * 20 * 5 olay = 100.000 olay işlenebilir. Bu nedenle saniyede 1.000.000 olayı işlemek için işin 60 SU olması gerekir. Stream Analytics işi, ilk seçenekle karşılaştırıldığında daha fazla web hizmeti toplu iş isteğinde bulunarak daha fazla maliyet oluşturur.
Farklı SU'lar ve toplu iş boyutları (saniye başına olay sayısı cinsinden) için Stream Analytics işinin aktarım hızına yönelik bir tablo aşağıdadır.
| toplu iş boyutu (ML gecikme süresi) | 500 (200 ms) | 1.000 (200 ms) | 5.000 (250 ms) | 10.000 (300 ms) | 25.000 (500 ms) |
|---|---|---|---|---|---|
| 1 SU | 2.500 | 5.000 | 20,000 | 30,000 | 50,000 |
| 3 SU | 2.500 | 5.000 | 20,000 | 30,000 | 50,000 |
| 6 SU | 2.500 | 5.000 | 20,000 | 30,000 | 50,000 |
| 12 SU | 5.000 | 10,000 | 40,000 | 60.000 | 100.000 |
| 18 SU | 7.500 | 15.000 | 60.000 | 90,000 | 150,000 |
| 24 SU | Kategori 10,000 | 20,000 | 80,000 | 120.000 | 200,000 |
| ... | ... | ... | ... | ... | ... |
| 60 SU | 25,000 | 50,000 | 200,000 | 300,000 | 500,000 |
Şu anda Stream Analytics'teki Studio (klasik) işlevlerinin nasıl çalıştığını zaten anlamış olmanız gerekir. Ayrıca, Stream Analytics işlerinin veri kaynaklarından verileri "çektiğini" ve her "çekmenin" Stream Analytics işinin işlemesi için bir toplu olay döndürdüğünü de anlamışsınızdır. Bu çekme modeli Studio (klasik) web hizmeti isteklerini nasıl etkiler?
Normalde, Studio (klasik) işlevleri için ayarladığımız toplu iş boyutu, her Stream Analytics işinin "çekme" tarafından döndürülen olay sayısıyla tam olarak bölünemez. Bu durumda, Studio (klasik) web hizmeti "kısmi" toplu işlerle çağrılır. Kısmi toplu işlemlerin kullanılması, olayları çekmeden çekmeye birleştirme sırasında ek iş gecikmesi yükü oluşmasını önler.
İşlevle ilgili yeni izleme ölçümleri
Stream Analytics işinin İzleyici alanına işlevle ilgili üç ölçüm daha eklendi. Bunlar aşağıdaki grafikte gösterildiği gibi İşlev İstekLERI, İŞLEV OLAYLARı ve BAŞARISIZ İŞLEV İstekLERIdir.
aşağıdaki gibi tanımlanır:
İşlev İstekLERI: İşlev isteklerinin sayısı.
İşlev OLAYLARI: İşlev isteklerindeki sayı olayları.
BAŞARISIZ İşlev İstekLERI: Başarısız işlev isteklerinin sayısı.
Önemli Kalkışlar
Stream Analytics işini Studio (klasik) işlevleriyle ölçeklendirmek için aşağıdaki faktörleri göz önünde bulundurun:
- Giriş olayı hızı.
- Çalışan Stream Analytics işi (ve dolayısıyla Studio (klasik) web hizmeti isteklerinin toplu iş boyutu) için toleranslı gecikme süresi.
- Sağlanan Stream Analytics SU'ları ve Studio (klasik) web hizmeti isteklerinin sayısı (işlevle ilgili ek maliyetler).
Örnek olarak tam bölümlenmiş bir Stream Analytics sorgusu kullanılmıştır. Daha karmaşık bir sorgu gerekiyorsa, Azure Stream Analytics için Microsoft Soru-Cevap soru sayfası Stream Analytics ekibinden ek yardım almak için harika bir kaynaktır.
Sonraki adımlar
Stream Analytics hakkında daha fazla bilgi edinmek için bkz: