Aracılığıyla paylaş

Azure Batch'i izleme

  • Makale

Bu makalede şunlar açıklanmaktadır:

  • Bu hizmet için toplayabileceğiniz izleme verilerinin türleri.
  • Bu verileri analiz etmenin yolları.

Not

Bu hizmeti ve/veya Azure İzleyici'yi zaten biliyorsanız ve yalnızca izleme verilerinin nasıl çözümleneceğini öğrenmek istiyorsanız, bu makalenin sonundaki Çözümle bölümüne bakın.

Azure kaynaklarını kullanan kritik uygulamalarınız ve iş süreçleriniz varsa sisteminiz için uyarıları izlemeniz ve almanız gerekir. Azure İzleyici hizmeti, sisteminizin her bileşeninden ölçümleri ve günlükleri toplar ve toplar. Azure İzleyici kullanılabilirlik, performans ve dayanıklılığın bir görünümünü sağlar ve sorunları size bildirir. İzleme verilerini ayarlamak ve görüntülemek için Azure portalı, PowerShell, Azure CLI, REST API veya istemci kitaplıklarını kullanabilirsiniz.

  • Azure İzleyici hakkında daha fazla bilgi için bkz. Azure İzleyici'ye genel bakış.
  • Azure kaynaklarını genel olarak izleme hakkında daha fazla bilgi için bkz . Azure İzleyici ile Azure kaynaklarını izleme.

Kaynak türleri

Azure, abonelikteki her şeyi tanımlamak için kaynak türleri ve kimlikler kavramını kullanır. Kaynak türleri, Azure'da çalışan her kaynağın kaynak kimliklerinin de bir parçasıdır. Örneğin, bir sanal makine için kaynak türünden biri olur Microsoft.Compute/virtualMachines. Hizmetlerin ve ilişkili kaynak türlerinin listesi için bkz . Kaynak sağlayıcıları.

Azure İzleyici, çekirdek izleme verilerini benzer şekilde, ad alanları olarak da adlandırılan kaynak türlerine göre ölçümler ve günlükler halinde düzenler. Farklı kaynak türleri için farklı ölçümler ve günlükler kullanılabilir. Hizmetiniz birden fazla kaynak türüyle ilişkilendirilebilir.

Batch için kaynak türleri hakkında daha fazla bilgi için bkz . Batch izleme verileri başvurusu.

Veri depolama

Azure İzleyici için:

  • Ölçüm verileri Azure İzleyici ölçüm veritabanında depolanır.
  • Günlük verileri Azure İzleyici günlükleri deposunda depolanır. Log Analytics, Azure portalında bu depoyu sorgulayan bir araçtır.
  • Azure etkinlik günlüğü, Azure portalında kendi arabirimine sahip ayrı bir depodur.

İsteğe bağlı olarak ölçüm ve etkinlik günlüğü verilerini Azure İzleyici günlük deposuna yönlendirebilirsiniz. Ardından Log Analytics'i kullanarak verileri sorgulayabilir ve diğer günlük verileriyle ilişkilendirebilirsiniz.

Birçok hizmet, ölçüm ve günlük verilerini Azure İzleyici dışındaki diğer depolama konumlarına göndermek için tanılama ayarlarını kullanabilir. Örnek olarak Event Hubs kullanarak Azure Depolama, barındırılan iş ortağı sistemleri ve Azure dışı iş ortağı sistemleri verilebilir.

Azure İzleyici'nin verileri nasıl depolandığı hakkında ayrıntılı bilgi için bkz . Azure İzleyici veri platformu.

Depolamada tanılama günlüklerine erişme

Batch tanılama günlüklerini bir depolama hesabında arşivlerseniz, ilgili olay gerçekleşir gerçekleşmez depolama hesabında bir depolama kapsayıcısı oluşturulur. Bloblar aşağıdaki adlandırma düzenine göre oluşturulur:

insights-{log category name}/resourceId=/SUBSCRIPTIONS/{subscription ID}/
RESOURCEGROUPS/{resource group name}/PROVIDERS/MICROSOFT.BATCH/
BATCHACCOUNTS/{Batch account name}/y={four-digit numeric year}/
m={two-digit numeric month}/d={two-digit numeric day}/
h={two-digit 24-hour clock hour}/m=00/PT1H.json

Örneğin:

insights-metrics-pt1m/resourceId=/SUBSCRIPTIONS/XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX/
RESOURCEGROUPS/MYRESOURCEGROUP/PROVIDERS/MICROSOFT.BATCH/
BATCHACCOUNTS/MYBATCHACCOUNT/y=2018/m=03/d=05/h=22/m=00/PT1H.json

Her PT1H.json blob dosyası, blob URL'sinde belirtilen saat içinde gerçekleşen JSON biçimli olayları içerir (örneğin, h=12). Şu an için olaylar PT1H.json dosyasına eklenir. Tanılama günlüğü olayları saatte bir tek bloblara bölüneceğinden dakika değeri (m=00) her zaman 00olur. Tüm saatler UTC cinsindendir.

Aşağıdaki örnekte PT1H.json günlük dosyasındaki bir PoolResizeCompleteEvent giriş gösterilmektedir. Girdi, ayrılmış ve düşük öncelikli düğümlerin geçerli ve hedef sayısı ile işlemin başlangıç ve bitiş saati hakkında bilgi içerir.

{ "Tenant": "65298bc2729a4c93b11c00ad7e660501", "time": "2019-08-22T20:59:13.5698778Z", "resourceId": "/SUBSCRIPTIONS/XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX/RESOURCEGROUPS/MYRESOURCEGROUP/PROVIDERS/MICROSOFT.BATCH/BATCHACCOUNTS/MYBATCHACCOUNT/", "category": "ServiceLog", "operationName": "PoolResizeCompleteEvent", "operationVersion": "2017-06-01", "properties": {"id":"MYPOOLID","nodeDeallocationOption":"Requeue","currentDedicatedNodes":10,"targetDedicatedNodes":100,"currentLowPriorityNodes":0,"targetLowPriorityNodes":0,"enableAutoScale":false,"isAutoPool":false,"startTime":"2019-08-22 20:50:59.522","endTime":"2019-08-22 20:59:12.489","resultCode":"Success","resultMessage":"The operation succeeded"}}

Depolama hesabınızdaki günlüklere program aracılığıyla erişmek için Depolama API'lerini kullanın.

Azure İzleyici platform ölçümleri

Azure İzleyici çoğu hizmet için platform ölçümleri sağlar. Bu ölçümler şunlardır:

  • Her ad alanı için ayrı ayrı tanımlanır.
  • Azure İzleyici zaman serisi ölçüm veritabanında depolanır.
  • Hafif ve neredeyse gerçek zamanlı uyarıyı destekleyebilecek.
  • Bir kaynağın zaman içindeki performansını izlemek için kullanılır.

Koleksiyon: Azure İzleyici, platform ölçümlerini otomatik olarak toplar. Yapılandırma gerekmez.

Yönlendirme: Ayrıca bazı platform ölçümlerini Azure İzleyici Günlüklerine / Log Analytics'e yönlendirerek bunları diğer günlük verileriyle sorgulayabilirsiniz. Ölçümü Azure İzleyici Günlükleri/Log Analytics'e yönlendirmek için bir tanılama ayarı kullanıp kullanamadığını görmek için her ölçümün DS dışarı aktarma ayarını denetleyin.

  • Daha fazla bilgi için Ölçüm tanılama ayarına bakın.
  • Bir hizmetin tanılama ayarlarını yapılandırmak için bkz . Azure İzleyici'de tanılama ayarları oluşturma.

Azure İzleyici'deki tüm kaynaklar için toplamanın mümkün olduğu tüm ölçümlerin listesi için bkz . Azure İzleyici'de desteklenen ölçümler.

Batch hesabındaki ölçümlere örnek olarak Havuz Oluşturma Olayları, Düşük Öncelikli Düğüm Sayısı ve Görev Tamamlama Olayları verilebilir. Bu ölçümler eğilimleri tanımlamaya yardımcı olabilir ve veri analizi için kullanılabilir.

Not

Son 3 dakikada yayılan ölçümler yine toplanıyor olabilir, bu nedenle bu zaman diliminde değerler yetersiz raporlanabilir. Ölçüm teslimi garanti edilemez ve sipariş dışı teslim, veri kaybı veya yinelemeden etkilenebilir.

Batch için kullanılabilir ölçümlerin tam listesi için bkz . Batch izleme verileri başvurusu.

Azure İzleyici kaynak günlükleri

Kaynak günlükleri, bir Azure kaynağı tarafından yapılan işlemler hakkında içgörü sağlar. Günlükler otomatik olarak oluşturulur, ancak bunları kaydetmek veya sorgulamak için Azure İzleyici günlüklerine yönlendirmeniz gerekir. Günlükler kategoriler halinde düzenlenir. Belirli bir ad alanının birden çok kaynak günlüğü kategorisi olabilir.

Koleksiyon: Bir tanılama ayarı oluşturup günlükleri bir veya daha fazla konuma yönlendirene kadar kaynak günlükleri toplanmaz ve depolanmaz. Tanılama ayarı oluşturduğunuzda hangi günlük kategorilerinin toplanacağını belirtirsiniz. Azure portalı, program aracılığıyla ve ancak Azure İlkesi dahil olmak üzere tanılama ayarlarını oluşturmanın ve korumanın birden çok yolu vardır.

Yönlendirme: Önerilen varsayılan ayar, kaynak günlüklerini diğer günlük verileriyle sorgulayabileceğiniz Azure İzleyici Günlüklerine yönlendirmektir. Azure Depolama, Azure Event Hubs ve belirli Microsoft izleme iş ortakları gibi diğer konumlar da kullanılabilir. Daha fazla bilgi için bkz . Azure kaynak günlükleri ve Kaynak günlüğü hedefleri.

Kaynak günlüklerini toplama, depolama ve yönlendirme hakkında ayrıntılı bilgi için bkz . Azure İzleyici'de tanılama ayarları.

Azure İzleyici'deki tüm kullanılabilir kaynak günlüğü kategorilerinin listesi için bkz . Azure İzleyici'de desteklenen kaynak günlükleri.

Azure İzleyici'deki tüm kaynak günlükleri aynı üst bilgi alanlarına ve ardından hizmete özgü alanlara sahiptir. Ortak şema, Azure İzleyici kaynak günlüğü şemasında özetlenmiştir.

Kullanılabilir kaynak günlüğü kategorileri, ilişkili Log Analytics tabloları ve Batch için günlük şemaları için bkz . Batch izleme verileri başvurusu.

İzlemek istediğiniz her Batch hesabı için tanılama ayarlarını açıkça etkinleştirmeniz gerekir.

Batch hizmeti için aşağıdaki günlükleri toplayabilirsiniz:

  • ServiceLog: Batch hizmeti tarafından havuz veya görev gibi tek bir kaynağın ömrü boyunca yayılan olaylar.
  • AllMetrics: Batch hesabı düzeyindeki ölçümler.

Aşağıdaki ekran görüntüsünde allLogs ve AllMetrics değerlerini Log Analytics çalışma alanına gönderen örnek bir tanılama ayarı gösterilmektedir.

Bir örneği gösteren Tanılama ayarı sayfasının ekran görüntüsü.

Azure Batch havuzu oluşturduğunuzda, verileri toplamak ve analiz etmek için işlem düğümlerine aşağıdaki izlemeyle ilgili uzantılardan herhangi birini yükleyebilirsiniz:

Farklı uzantıların ve aracıların ve topladıkları verilerin karşılaştırması için bkz . Aracıları karşılaştırma.

Azure etkinlik günlüğü

Etkinlik günlüğü, bu kaynağın dışından görüldüğü gibi her Azure kaynağı için işlemleri izleyen abonelik düzeyinde olaylar içerir; örneğin, yeni bir kaynak oluşturma veya sanal makine başlatma.

Koleksiyon: Etkinlik günlüğü olayları otomatik olarak oluşturulur ve Azure portalında görüntülemek üzere ayrı bir depoda toplanır.

Yönlendirme: Etkinlik günlüğü verilerini Azure İzleyici Günlüklerine göndererek diğer günlük verileriyle birlikte analiz edebilirsiniz. Azure Depolama, Azure Event Hubs ve belirli Microsoft izleme iş ortakları gibi diğer konumlar da kullanılabilir. Etkinlik günlüğünü yönlendirme hakkında daha fazla bilgi için bkz . Azure etkinlik günlüğüne genel bakış.

Özellikle Batch hesapları için etkinlik günlüğü, hesap oluşturma, silme ve anahtar yönetimiyle ilgili olayları toplar.

İzleme verilerini analiz etme

İzleme verilerini analiz etmek için birçok araç vardır.

Azure İzleyici araçları

Azure İzleyici aşağıdaki temel araçları destekler:

Daha karmaşık görselleştirmelere olanak sağlayan araçlar şunlardır:

Ayrılmış Çekirdek Sayısı veya Düşük Öncelikli Düğüm Sayısı gibi sayı tabanlı Batch ölçümlerini analiz ederken Ortalama toplamayı kullanın. Havuz Yeniden Boyutlandırma Tamamlandı Olayları gibi olay tabanlı ölçümler için Sayı toplamayı kullanın. Grafiğin süresi boyunca alınan tüm veri noktalarının değerlerini toplayan Toplam toplamasını kullanmaktan kaçının.

Azure İzleyici dışarı aktarma araçları

Aşağıdaki yöntemleri kullanarak Azure İzleyici'nin verilerini diğer araçlara alabilirsiniz:

  • Ölçümler: Azure İzleyici ölçüm veritabanından ölçüm verilerini ayıklamak için ölçümler için REST API'sini kullanın. API, alınan verileri iyileştirmek için filtre ifadelerini destekler. Daha fazla bilgi için bkz . Azure İzleyici REST API başvurusu.

  • Günlükler: REST API'sini veya ilişkili istemci kitaplıklarını kullanın.

  • Bir diğer seçenek de çalışma alanı verilerini dışarı aktarmadır.

Azure İzleyici için REST API'yi kullanmaya başlamak için bkz . Azure izleme REST API'sini izleme kılavuzu.

Kusto sorguları

Kusto sorgu dilini (KQL) kullanarak Azure İzleyici Günlükleri/Log Analytics deposundaki izleme verilerini analiz edebilirsiniz.

Önemli

Portaldaki hizmetin menüsünden Günlükler'i seçtiğinizde Log Analytics açılır ve sorgu kapsamı geçerli hizmete ayarlanır. Bu kapsam, günlük sorgularının yalnızca bu kaynak türündeki verileri içereceği anlamına gelir. Diğer Azure hizmetlerinden veri içeren bir sorgu çalıştırmak istiyorsanız Azure İzleyici menüsünden Günlükler'i seçin. Ayrıntılar için bkz . Azure İzleyici Log Analytics'te günlük sorgusu kapsamı ve zaman aralığı.

Herhangi bir hizmet için yaygın sorguların listesi için bkz . Log Analytics sorguları arabirimi.

Örnek sorgular

Batch için birkaç örnek günlük sorgusu aşağıda verilmişti:

Havuz yeniden boyutlandırıyor: Havuza ve sonuç koduna göre yeniden boyutlandırma sürelerini listeler (başarı veya başarısızlık):

AzureDiagnostics
| where OperationName=="PoolResizeCompleteEvent"
| summarize operationTimes=make_list(startTime_s) by poolName=id_s, resultCode=resultCode_s

Görev süreleri: Görev başlangıcından görevin tamamlanmasına kadar geçen süreyi saniye cinsinden verir.

AzureDiagnostics
| where OperationName=="TaskCompleteEvent"
| extend taskId=id_s, ElapsedTime=datetime_diff('second', executionInfo_endTime_t, executionInfo_startTime_t) // For longer running tasks, consider changing 'second' to 'minute' or 'hour'
| summarize taskList=make_list(taskId) by ElapsedTime

İş başına başarısız görevler: Başarısız görevleri üst işe göre listeler.

AzureDiagnostics
| where OperationName=="TaskFailEvent"
| summarize failedTaskList=make_list(id_s) by jobId=jobId_s, ResourceId

Uyarılar

Azure İzleyici uyarıları, izleme verilerinizde belirli koşullar bulunduğunda sizi proaktif olarak bilgilendirir. Uyarılar, müşterileriniz fark etmeden önce sisteminizdeki sorunları tanımlamanıza ve çözmenize olanak sağlar. Daha fazla bilgi için bkz . Azure İzleyici uyarıları.

Azure kaynakları için birçok yaygın uyarı kaynağı vardır. Azure kaynaklarına yönelik yaygın uyarı örnekleri için bkz . Örnek günlük uyarısı sorguları. Azure İzleyici Temel Uyarıları (AMBA) sitesi, önemli platform ölçüm uyarılarını, panolarını ve yönergelerini uygulamak için yarı otomatik bir yöntem sağlar. Site, Azure Giriş Bölgesi'nin (ALZ) parçası olan tüm hizmetler de dahil olmak üzere Azure hizmetlerinin sürekli olarak genişleyen bir alt kümesi için geçerlidir.

Ortak uyarı şeması, Azure İzleyici uyarı bildirimlerinin kullanımını standartlaştırır. Daha fazla bilgi için bkz . Ortak uyarı şeması.

Uyarı türleri

Azure İzleyici veri platformundaki herhangi bir ölçüm veya günlük veri kaynağı hakkında uyarı alabilirsiniz. İzlediğiniz hizmetlere ve topladığınız izleme verilerine bağlı olarak birçok farklı uyarı türü vardır. Farklı uyarı türlerinin çeşitli avantajları ve dezavantajları vardır. Daha fazla bilgi için bkz . Doğru izleme uyarı türünü seçme.

Aşağıdaki listede oluşturabileceğiniz Azure İzleyici uyarılarının türleri açıklanmaktadır:

  • Ölçüm uyarıları , kaynak ölçümlerini düzenli aralıklarla değerlendirir. Ölçümler platform ölçümleri, özel ölçümler, Azure İzleyici'den ölçümlere dönüştürülen günlükler veya Application Insights ölçümleri olabilir. Ölçüm uyarıları birden çok koşul ve dinamik eşik de uygulayabilir.
  • Günlük uyarıları , kullanıcıların önceden tanımlanmış bir sıklıkta kaynak günlüklerini değerlendirmek için Log Analytics sorgusu kullanmasına olanak sağlar.
  • Etkinlik günlüğü uyarıları , tanımlı koşullarla eşleşen yeni bir etkinlik günlüğü olayı oluştuğunda tetikler. Kaynak Durumu uyarıları ve Hizmet Durumu uyarıları, hizmetiniz ve kaynak durumunuz hakkında rapor veren etkinlik günlüğü uyarılarıdır.

Bazı Azure hizmetleri akıllı algılama uyarılarını, Prometheus uyarılarını veya önerilen uyarı kurallarını da destekler.

Bazı hizmetler için, aynı Azure bölgesinde bulunan aynı türdeki birden çok kaynağa aynı ölçüm uyarı kuralını uygulayarak büyük ölçekte izleyebilirsiniz. İzlenen her kaynak için tek tek bildirimler gönderilir. Desteklenen Azure hizmetleri ve bulutları için bkz . Tek bir uyarı kuralıyla birden çok kaynağı izleme.

Not

Hizmetinizde çalışan bir uygulama oluşturuyor veya çalıştırıyorsanız Azure İzleyici uygulama içgörüleri daha fazla uyarı türü sunabilir.

Toplu uyarı kuralları

Ölçüm teslimi sıra dışı teslim, veri kaybı veya yineleme gibi tutarsızlıklara maruz kalabileceğinden, tek bir veri noktasında tetikleyen uyarılardan kaçınmanız gerekir. Bunun yerine, belirli bir süre boyunca bu tutarsızlıkları hesaba eklemek için eşikleri kullanın.

Örneğin, düşük öncelikli çekirdek sayınız belirli bir düzeye düştüğünde bir ölçüm uyarısı yapılandırmak isteyebilirsiniz. Daha sonra havuzlarınızın bileşimini ayarlamak için bu uyarıyı kullanabilirsiniz. En iyi sonuçlar için, ortalama düşük öncelikli çekirdek sayısı tüm dönemin eşik değerinden düşükse uyarının tetiklendiği 10 veya daha fazla dakikalık bir süre ayarlayın. Bu zaman aralığı ölçümlerin toplanıp daha doğru sonuçlar elde etmenizi sağlar.

Aşağıdaki tabloda Batch için bazı uyarı kuralı tetikleyicileri listelanmaktadır. Bu uyarı kuralları yalnızca örnektir. Batch izleme verileri başvurusunda listelenen herhangi bir ölçüm, günlük girişi veya etkinlik günlüğü girişi için uyarılar ayarlayabilirsiniz.

Uyarı türü Koşul Açıklama
Metric Kullanılamayan düğüm sayısı Kullanılamaz Düğüm Sayısı 0'dan büyük olduğunda
Metric Görev Başarısız Olayları Toplam Görev Başarısız Olayları dinamik eşikten büyük olduğunda

Danışman önerileri

Bazı hizmetler için, kaynak işlemleri sırasında kritik koşullar veya yakın değişiklikler gerçekleşirse portaldaki hizmete Genel Bakış sayfasında bir uyarı görüntülenir. Uyarı için daha fazla bilgi ve önerilen düzeltmeleri soldaki menüde İzleme altında Danışman önerileri bölümünde bulabilirsiniz. Normal işlemler sırasında hiçbir danışman önerisi görüntülenmez.

Azure Danışmanı hakkında daha fazla bilgi için bkz . Azure Danışmanına genel bakış.

Diğer Batch izleme seçenekleri

Batch Explorer , Azure Batch uygulamalarını oluşturmaya, hata ayıklamaya ve izlemeye yardımcı olan ücretsiz, zengin özellikli, tek başına bir istemci aracıdır. Sanal makine (VM) performans sayaçları gibi Batch düğümlerinizin sistem istatistiklerini almak için Batch Gezgini ile Azure Batch Insights'ı kullanabilirsiniz.

Batch uygulamalarınızda Batch .NET kitaplığını kullanarak işler, görevler, düğümler ve havuzlar gibi kaynaklarınızın durumunu izleyebilir veya sorgulayabilirsiniz. Örneğin:

Batch işleri, görevler, işlem düğümleri ve diğer kaynaklar için liste sorguları oluşturmak için Batch API'lerini kullanabilirsiniz. Liste sorgularını filtreleme hakkında daha fazla bilgi için bkz . Batch kaynaklarını verimli bir şekilde listelemek için sorgu oluşturma.

Öte yandan, büyük görev veya düğüm koleksiyonları hakkında ayrıntılı bilgi döndüren zaman alıcı olabilecek liste sorguları yerine, Batch görevleri ve işlem düğümleri için sayıları almak için Görev Sayılarını Al ve Havuz Düğümü Sayılarını Listele işlemlerini kullanabilirsiniz. Daha fazla bilgi için bkz . Görevleri ve düğümleri duruma göre sayarak Batch çözümlerini izleme.

İçgörüler

Azure'daki bazı hizmetler, Azure portalında hizmetinizi izlemek için bir başlangıç noktası sağlayan yerleşik bir izleme panosuna sahiptir. Bu panolara içgörü adı verilir ve bunları Azure portalındaki Azure İzleyici İçgörüler Merkezi'nde bulabilirsiniz.

Application Insights

Kodunuzu özel ölçümler ve izleme ile işaretlemek için Application Insights'ı Azure Batch uygulamalarınızla tümleştirebilirsiniz. Batch .NET çözümüne Application Insights ekleme, uygulama kodunu izleme, Azure portalında uygulamayı izleme ve özel panolar oluşturma hakkında ayrıntılı bir kılavuz için bkz . Application Insights ve eşlik eden kod örneğiyle Azure Batch .NET uygulamasını izleme ve hatalarını ayıklama.

İlgili içerik

  • Batch için oluşturulan ölçümlerin, günlüklerin ve diğer önemli değerlerin başvurusu için bkz . Batch izleme veri başvurusu.
  • Azure kaynaklarını izleme hakkında genel ayrıntılar için bkz . Azure İzleyici ile Azure kaynaklarını izleme.
  • Batch çözümleri oluşturmak için kullanılabilen Batch API’leri ve araçları hakkında bilgi alın.