Bu mimari, sistemlerin ve son kullanıcı cihaz telemetri verilerinin gerçek zamanlı izlenmesini ve gözlemlenebilirliğini sağlayan bir çözümü açıklar. Medya endüstrisi için bir kullanım örneğine odaklanır.
Grafana , ilgili şirketinin ticari markasıdır. Bu işaretin kullanılması herhangi bir onay anlamına gelmez.
Mimari
Bu mimarinin bir Visio dosyasını indirin.
Veri akışı
Diyagramda gösterilen gözlemlenebilir sistemde ham telemetri, HTTP ve bağlayıcılar aracılığıyla Azure Blob Depolama akışı yapılır. Ham telemetri analiz için Azure Veri Gezgini işlenir, dönüştürülür, normalleştirilir ve kaydedilir. Grafana ve Azure Ölçüm Danışmanı gibi sistemler Veri Gezgini verilerini okur ve son kullanıcılara içgörüler sağlar.
Daha açık belirtmek gerekirse, diyagramdaki sistemin öğeleri şunlardır:
- İzleme. İzleme, verileri izlemek için sistemlerde yüklü olan yoklamalar veya aracılar aracılığıyla gerçekleşir. Bu aracılar çeşitli biçimlerde gelir. Örneğin, bir şirket, isteğe bağlı video akış platformunda müşterilerden Deneyim Kalitesi ölçümlerini toplamak için açık standartlar dash.js kullanabilir.
- Yenmesi. Bu ham telemetri, HTTP çağrıları aracılığıyla doğrudan son istemcilerden gelebilir. Alternatif olarak, üçüncü taraf sistemler aracılığıyla blob depolama gibi kalıcı depolama ve veri göllerine yükleyebilirsiniz. Blog Depolama, yeni bir dosya karşıya yüklendiğinde Azure işlevini çağırma özelliğini destekler. Ham telemetriyi yapılandırılmış veri ambarlarına taşımak için bu tetikleyici mekanizmasını kullanabilirsiniz.
- Dönüştürme ve kalıcılık. Verilerinizi normalleştirmek için bir dönüştürme sistemine ihtiyacınız olabilir. Azure İşlevleri uygulaması verileri gerektiği gibi dönüştürür ve Veri Gezgini yazar. Veri Gezgini, büyük veri kümelerinde yüksek performans ve aktarım hızı için tasarlandığından büyük veri analizi için idealdir.
- İzleme. Azure Yönetilen Grafana, Veri Gezgini ile tümleştirmeyi destekler. Grafana'nın sürükleyip bırakma özelliklerini kullanarak panoları ve grafikleri hızla oluşturabilirsiniz. Grafana, pano kutucuklarının alt dakika yenilenmesini sağladığından ve uyarı için de kullanılabildiğinden medya izleme için uygundur.
- Anomali algılama. Grafana panosu, NOC'de el ile izleme desteği sağlar. Ancak, coğrafi bölgelere yayılmış büyük bir veri kümesi ve kullanıcı tabanı ile ve çeşitli cihazlar kullanıldığında, sorunların grafikler aracılığıyla el ile tanımlanması ve sabit kodlanmış eşiklere sahip uyarı kuralları verimsiz hale gelir. Bu sorunu gidermek için yapay zekayı kullanabilirsiniz. Ölçüm Danışmanı gibi hizmetler, zaman serisi verilerine dayalı anomalileri otomatik olarak anlamak ve algılamak için makine öğrenmesi algoritmalarını kullanır. Ayrıca Kusto veri platformu, verilerdeki mevsimselliği ve temel eğilimleri hesaba katılan yerleşik anomali algılama işlevlerine sahiptir.
Bileşenler
- Veri Gezgini, büyük hacimli verilerin gerçek zamanlı analizi için yönetilen bir veri analizi hizmetidir. Veri Gezgini, yüksek hız ve veri alma aktarım hızı gerektiren büyük veri kümelerini işlemek için harika bir araçtır. Bu mimaride analiz için veri kümelerini depolamak ve sorgulamak için Veri Gezgini kullanılır.
- Blob Depolama ham telemetriyi tutmak için kullanılır. Bu telemetri uygulamalarınızdan ve hizmetlerinizden veya üçüncü taraf satıcılardan gelebilir. Daha sonra daha fazla analiz yapmanız gerekmiyorsa veriler geçici olarak ele alınabilir. Blob Depolama'dan alınan veriler Veri Gezgini kümelere alınır.
- Azure Event Grid bir olay teslim sistemidir. Blob Depolama tarafından yayımlanan olayları dinlemek için kullanılır. Azure Depolama olayları, uygulamaların blob oluşturma ve silme gibi olaylara tepki vermesine olanak tanır. Azure işlevi, Event Grid tarafından yayımlanan olaylara abonedir.
- Azure Event Hubs , herhangi bir kaynaktan saniyede milyonlarca olay almak için kullanabileceğiniz gerçek zamanlı bir veri alımı hizmetidir. Olay hub'ları, bir olay işlem hattı için genellikle olay almalayıcısı olarak adlandırılan ön kapıyı temsil eder. Olay alma, olay yayımcıları ile olay tüketicileri arasında bulunan bir bileşen veya hizmettir. Olay akışının üretimini olayların tüketiminden ayırır.
- Azure İşlevleri, HTTP ve blob uç noktaları aracılığıyla alınan verileri ayrıştırmak ve dönüştürmek ve Veri Gezgini kümesine yazmak için kullanılan sunucusuz bir çözümdür.
- Azure Yönetilen Grafana, Veri Gezgini kolayca bağlanır. Bu mimaride telemetri verilerini görselleştiren grafikler ve panolar oluşturur. Azure Yönetilen Grafana, panolara ve görünümlere rol tabanlı erişim uygulayabilmeniz için Microsoft Entra ID ile derin tümleştirme sağlar.
- Ölçüm Danışmanı, Azure Uygulaması yapay zeka hizmetlerinin bir parçasıdır. Zaman serisi verilerinde veri izleme ve anomali algılama gerçekleştirmek için yapay zeka kullanır. Ölçüm Danışmanı, verilere model uygulama sürecini otomatikleştirir ve veri alımı, anomali algılama ve tanılama için bir dizi API ve web tabanlı çalışma alanı sağlar. Makine öğrenmesi hakkında bilginiz olmasa bile kullanabilirsiniz.
Alternatifler
Azure Data Factory ve Azure Synapse Analytics , ETL iş akışları oluşturmaya yönelik araçlar ve çalışma alanları ile işleri grafik arabirimden izleme ve yeniden deneme olanağı sağlar. Data Factory ve Azure Synapse'in alım zamanından kalıcılığa kadar en az 5 dakika gecikme süresine sahip olduğunu unutmayın. Bu gecikme, izleme sisteminizde kabul edilebilir olabilir. Bu durumda, bu alternatifleri göz önünde bulundurmanızı öneririz.
Senaryo ayrıntıları
Kuruluşlar genellikle iş sorunlarını çözmek için çeşitli ve büyük ölçekli teknolojiler dağıtır. Bu sistemler ve son kullanıcı cihazları, büyük telemetri verileri kümeleri oluşturur.
Bu mimari, medya endüstrisi için bir kullanım örneğini temel alır. Canlı ve isteğe bağlı video kayıttan yürütme için medya akışı, uygulama sorunlarının neredeyse gerçek zamanlı olarak tanımlanmasını ve yanıtını gerektirir. Bu gerçek zamanlı senaryoya destek olmak için kuruluşların ölçeklenebilir mimari gerektiren büyük bir telemetri kümesi toplaması gerekir. Veriler toplandıktan sonra, büyük bir veri kümesindeki sorunları verimli bir şekilde tanımlamak için yapay zeka ve anomali algılama gibi diğer analiz türleri gerekir.
Büyük ölçekli teknolojiler dağıtıldığında, bunlarla etkileşim kuran sistem ve son kullanıcı cihazları çok büyük telemetri verileri kümesi oluşturur. Geleneksel senaryolarda bu veriler, yönetim kararlarını desteklemek için kullanılabilecek içgörüler oluşturmak için bir veri ambarı sistemi aracılığıyla analiz edilir. Bu yaklaşım bazı senaryolarda işe yarayabilir, ancak akış medyası kullanım örnekleri için yeterli yanıt vermemektedir. Bu sorunu çözmek için izleme sunucularından, ağlardan ve bunlarla etkileşim kuran son kullanıcı cihazlarından oluşturulan telemetri verileri için gerçek zamanlı içgörüler gerekir. Hataları ve hataları yakalayan izleme sistemleri yaygındır, ancak bunları neredeyse gerçek zamanlı olarak yakalamak zordur. Bu mimarinin odak noktası budur.
Canlı akış veya isteğe bağlı video ayarında, telemetri verileri sistemlerden ve heterojen istemcilerden (mobil, masaüstü ve TV) oluşturulur. Çözüm ham veri almayı ve bağlamı coğrafya, son kullanıcı işletim sistemi, içerik kimliği ve CDN sağlayıcısı gibi veri noktalarıyla ilişkilendirmeyi içerir. Ham telemetri toplanır, dönüştürülür ve analiz için Veri Gezgini kaydedilir. Daha sonra yapay zekayı kullanarak verileri anlayabilir ve gözlem ve uyarı işlemlerini el ile otomatikleştirebilirsiniz. Grafana ve Ölçüm Danışmanı gibi sistemleri kullanarak etkileşimli panoları göstermek ve uyarıları tetikleme amacıyla Veri Gezgini verilerini okuyabilirsiniz.
Dikkat edilmesi gereken noktalar
Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanabileceğiniz bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.
Güvenilirlik
Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesini sağlar. Daha fazla bilgi için bkz . Güvenilirlik sütununa genel bakış.
İş açısından kritik uygulamaların Azure bölgesi veya CDN kesintileri gibi kesintili olaylar sırasında bile çalışmaya devam etmesi gerekir. Sisteminizde yedeklilik oluşturmaya yönelik iki birincil strateji ve bir karma strateji vardır:
- Etkin/etkin. Yinelenen kod ve işlevler çalışıyor. Bir hata sırasında her iki sistem de devralabilir.
- Etkin/bekleme. Yalnızca bir düğüm etkin/birincildir. Diğer düğüm, birincil düğümün kapanması durumunda devralmaya hazırdır.
- Karışık. Bazı bileşenler/hizmetler etkin/etkin yapılandırmada, bazıları ise etkin/beklemededir.
Tüm Azure hizmetlerinin yerleşik yedekliliğe sahip olmadığını unutmayın. Örneğin, Azure İşlevleri bir işlev uygulamasını yalnızca belirli bir bölgede çalıştırır. Azure İşlevleri coğrafi olağanüstü durum kurtarma, işlevlerinizin nasıl tetiklendiğinden (HTTP ile pub/sub) bağlı olarak uygulayabileceğiniz çeşitli stratejileri açıklar.
Alma ve dönüştürme işlevi uygulaması etkin/etkin modda çalıştırılabilir. Veri Gezgini hem etkin/etkin hem de etkin/bekleme yapılandırmalarında çalıştırabilirsiniz.
Azure Yönetilen Grafana kullanılabilirlik alanı yedekliliğini destekler. Bölgeler arası yedeklilik oluşturmaya yönelik stratejilerden biri, Veri Gezgini kümenizin dağıtıldığı her bölgede Grafana'yı ayarlamaktır.
Maliyet iyileştirme
Maliyet iyileştirmesi gereksiz giderleri azaltmak ve operasyonel verimlilikleri iyileştirmektir. Daha fazla bilgi için bkz . Maliyet iyileştirme sütununa genel bakış.
Bu mimarinin maliyeti giriş telemetrisi olaylarının sayısına, Blob Depolama ve Veri Gezgini ham telemetri depolamanıza, Azure Yönetilen Grafana için saatlik maliyete ve Ölçüm Danışmanı'ndaki zaman serisi grafiklerinin sayısı için statik maliyete bağlıdır.
Saatlik veya aylık maliyetlerinizi tahmin etmek için Azure fiyatlandırma hesaplayıcısını kullanabilirsiniz.
Performans verimliliği
Performans verimliliği, kullanıcılar tarafından anlamlı bir şekilde yerleştirilen talepleri karşılamak amacıyla iş yükünüzü ölçeklendirme becerisidir. Daha fazla bilgi için bkz . Performans verimliliği sütununa genel bakış.
Gelen isteklerin ölçeğine ve sıklığına bağlı olarak işlev uygulaması iki ana nedenden dolayı bir performans sorunu olabilir:
- Soğuk başlangıç. Soğuk başlatma, sunucusuz yürütmelerin bir sonucudur. İşlev ilk kez çalışmaya başlamadan önce ortamın başlatılması için gereken zamanlama ve kurulum süresini ifade eder. En fazla, gerekli süre birkaç saniyedir.
- İstek sıklığı. 1.000 HTTP isteğiniz olduğunu ancak bunları işlemek için yalnızca tek iş parçacıklı bir sunucu olduğunu varsayalım. 1.000 HTTP isteğinin tümünü eşzamanlı olarak servis yapamazsınız. Bu istekleri zamanında sunmak için daha fazla sunucu dağıtmanız gerekir. Yani, yatay olarak ölçeklendirmeniz gerekir.
Aşağıdakiler için Premium veya Ayrılmış SKU'lar kullanmanızı öneririz:
- Soğuk başlangıcı ortadan kaldırın.
- Hizmet sanal makinelerinin sayısını artırarak veya azaltarak eşzamanlı isteklerin gereksinimlerini işleyin.
Daha fazla bilgi için bkz. Azure Veri Gezgini kümeniz için SKU seçme.
Bu senaryoyu dağıtın
Bu senaryoya dağıtma hakkında bilgi için bkz . GitHub'da gerçek zamanlı izleme ve medya için gözlemlenebilirlik. Bu kod örneği, geliştirmeyi önyüklemek için gerekli kod olarak altyapıyı (IaC) ve HTTP ve blob uç noktalarındaki verileri almak ve dönüştürmek için Azure işlevlerini içerir.
Katkıda Bulunanlar
Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.
Asıl yazarlar:
- John Hauppa | Üst Düzey Teknik Program Yöneticisi
- Uffaz Nathaniel | Baş Yazılım Mühendisi
Diğer katkıda bulunanlar:
- Mick Alberts | Teknik Yazar
- Dilmurod Makhamadaliev | Yazılım Mühendisi
- Omeed Musavi | Baş Yazılım Mühendisi Müşteri Adayı
- Ayo Mustapha | Teknik Program Yöneticisi
Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.
Sonraki adımlar
- Ek kod örnekleri
- Azure Veri Gezgini belgeleri
- Azure Veri Gezgini Giriş - Eğitim
- Azure İşlevleri’ne giriş