Azure Data Lake Analytics için tanılama günlüklerine erişme

Önemli

Azure Data Lake Analytics 29 Şubat 2024'te kullanımdan kaldırıldı. Bu duyuruyla daha fazla bilgi edinin.

Veri analizi için kuruluşunuz Azure Synapse Analytics veya Microsoft Fabric kullanabilir.

Tanılama günlüğü, veri erişiminde denetim izlerini toplamanıza olanak tanır. Bu günlükler aşağıdakiler gibi bilgiler sağlar:

  • Verilere erişen kullanıcıların listesi.
  • Verilere ne sıklıkta erişilir?
  • Hesapta ne kadar veri depolandığı.

Günlük kaydını etkinleştir

  1. Azure portalı üzerinde oturum açın.

  2. Data Lake Analytics hesabınızı açın ve İzlemebölümünden Tanılama ayarları'nı seçin. Ardından + Tanılama ayarı ekle'yi seçin.

  3. Tanılama ayarından bu günlük yapılandırması için bir ad girin ve günlüğe kaydetme seçeneklerini belirleyin.

    Denetim ve istek günlüklerini toplamak için tanılamayı açma ayarlarını gösteren ekran görüntüsü

    • Verileri dört farklı şekilde depolamayı/işlemeyi seçebilirsiniz.

      • Günlükleri bir Azure depolama hesabında depolamak için Depolama hesabında arşivle'yi seçin. Verileri arşivlemesini istiyorsanız bu seçeneği kullanın. Bu seçeneği seçerseniz, günlükleri kaydetmek için bir Azure depolama hesabı sağlamanız gerekir.

      • Azure Event Hubs'a günlük verilerini akıtmak için Olay hub'ına akış yap seçeneğini belirleyin. Gelen günlükleri gerçek zamanlı olarak analiz eden bir aşağı akış işleme işlem hattınız varsa bu seçeneği kullanın. Bu seçeneği belirtirseniz, kullanmak istediğiniz Azure Event Hubs için ayrıntıları sağlamanız gerekir.

      • Verileri Azure İzleyici hizmetine göndermek için Log Analytics çalışma alanına gönder'i seçin. Günlükleri toplamak ve analiz etmek için Azure İzleyici günlüklerini kullanmak istiyorsanız bu seçeneği kullanın.

      • İş ortağı tümleştirmemizi kullanmak istiyorsanız İş ortağı çözümüne gönder'i seçin. Daha fazla bilgi için bu bağlantıyı izleyebilirsiniz.

    • Denetim günlüklerini mi yoksa istek günlüklerini mi yoksa her ikisini birden mi almak istediğinizi belirtin. İstek günlüğü her API isteğini yakalar. Denetim günlüğü, bu API isteği tarafından tetiklenen tüm işlemleri kaydeder.

    • Depolama hesabında arşivle için, verilerin tutulacak gün sayısını belirtin.

    • Kaydetseçeneğini seçin.

      Uyarı

      Kaydet düğmesini seçmeden önce Depolama hesabına arşivle, Olay Hub'ına akışla aktar, Log Analytics çalışma alanına gönder veya İş ortağına gönder çözümünü seçmeniz gerekir.

Günlük verilerini içeren Azure Depolama hesabını kullanma

  1. Günlük verilerini tutan blob kapsayıcılarını görüntülemek için, Data Lake Analytics için günlüğe kaydetmek amacıyla kullanılan Azure Depolama hesabını açın ve ardından Kapsayıcılar'ı seçin.

    • Kapsayıcı insights-logs-audit denetim günlüklerini içerir.
    • kapsayıcı insights-logs-requests istek günlüklerini içerir.

  2. Kapsayıcılar içinde günlükler aşağıdaki dosya yapısı altında depolanır:

    resourceId=/
  SUBSCRIPTIONS/
    <<SUBSCRIPTION_ID>>/
      RESOURCEGROUPS/
        <<RESOURCE_GRP_NAME>>/
          PROVIDERS/
            MICROSOFT.DATALAKEANALYTICS/
              ACCOUNTS/
                <DATA_LAKE_ANALYTICS_NAME>>/
                  y=####/
                    m=##/
                      d=##/
                        h=##/
                          m=00/
                            PT1H.json

    Uyarı

    ## Yoldaki girdiler günlüğün oluşturulduğu yıl, ay, gün ve saati içerir. Data Lake Analytics saatte bir dosya oluşturduğundan m= her zaman 00 değerini içerir.

    Örneğin, bir denetim günlüğünün tam yolu şu olabilir:

    https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=04/m=00/PT1H.json

    Benzer şekilde, bir istek günlüğünün tam yolu şu olabilir:

    https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Günlük verilerini işle

Azure Data Lake Analytics, günlük verilerini işleme ve analiz etme hakkında bir örnek sağlar. Örneği https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSampleadresinde bulabilirsiniz.

Kayıt yapısı

Denetim ve istek günlükleri yapılandırılmış bir JSON biçimindedir.

Talep günlükleri

JSON biçimli istek günlüğünde örnek bir giriş aşağıda verilmiştır. Her blobun, bir dizi günlük nesnesi içeren adlı bir kök nesnesi vardır.

{
"records":
  [
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_analytics_account_name>",
         "category": "Requests",
         "operationName": "GetAggregatedJobHistory",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {
             "HttpMethod":"POST",
             "Path":"/JobAggregatedHistory",
             "RequestContentLength":122,
             "ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8",
             "StartTime":"2016-07-07T21:02:52.472Z",
             "EndTime":"2016-07-07T21:02:53.456Z"
             }
    }
    ,
    . . . .
  ]
}

İstek günlüğü şeması

İsim Türü Açıklama
Zaman Dize Günlüğün zaman damgası (UTC olarak)
kaynakId Dize İşlemin gerçekleştiği kaynağın tanımlayıcısı
kategori Dize Günlük kategorisi. Örneğin, İstekler.
işlemAdı Dize Günlüğe kaydedilen işlemin adı. Örneğin, GetAggregatedJobHistory.
sonuç türü Dize İşlemin durumu: Örneğin, 200.
arayanIpAdresi Dize İsteği yapan istemcinin IP adresi
correlationId Dize Günlüğün tanımlayıcısı. Bu değer, bir dizi ilgili günlük girdisini gruplandırmak için kullanılabilir.
kimlik Nesne Günlüğü yaratan kimlik
özellikler JSON Ayrıntılar için sonraki bölüme (İstek günlüğü özellikleri şeması) bakın

İstek kayıt özellikleri şeması

İsim Türü Açıklama
HTTP Yöntemi Dize İşlem için kullanılan HTTP Yöntemi. Örneğin, GET komutu.
Yol Dize İşlemin gerçekleştirildiği yol
İstek İçerik Uzunluğu Int HTTP isteğinin içerik uzunluğu
ClientRequestId Dize Bu isteği benzersiz olarak tanımlayan tanımlayıcı
Başlangıç Zamanı Dize Sunucunun isteği aldığı saat
BitişZamanı Dize Sunucunun yanıt gönderdiği saat

Denetim günlükleri

JSON biçimli denetim günlüğünde örnek bir giriş aşağıda verilmiştır. Her blobun, bir dizi günlük nesnesi içeren adlı bir kök nesnesi vardır.

{
"records":
  [
    {
         "time": "2016-07-28T19:15:16.245Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_ANALYTICS_account_name>",
         "category": "Audit",
         "operationName": "JobSubmitted",
         "identity": "user@somewhere.com",
         "properties": {
             "JobId":"D74B928F-5194-4E6C-971F-C27026C290E6",
             "JobName": "New Job",
             "JobRuntimeName": "default",
             "SubmitTime": "7/28/2016 7:14:57 PM"
             }
    }
  ]
}

Denetim günlüğü şeması

İsim Türü Açıklama
Zaman Dize Günlüğün zaman damgası (UTC olarak)
kaynakId Dize İşlemin gerçekleştiği kaynağın tanımlayıcısı
kategori Dize Günlük kategorisi. Örneğin, denetim.
işlemAdı Dize Günlüğe kaydedilen işlemin adı. Örneğin, JobSubmitted.
sonuç türü Dize İş durumu (operationName) için bir alt durum.
sonuç imzası Dize İş durumu (operationName) ile ilgili ek ayrıntılar.
kimlik Dize İşlemi isteyen kullanıcı. Örneğin, susan@contoso.com.
özellikler JSON Ayrıntılar için sonraki bölüme (Denetim günlüğü özellikleri şeması) bakın

Uyarı

resultType ve resultSignature bir işlemin sonucu hakkında bilgi sağlar ve yalnızca bir işlem tamamlandıysa bir değer içerir. Örneğin, bunlar yalnızca operationNamejobStarted veya JobEnded değerini içerdiğinde bir değer içerir.

Denetim günlüğü özellikleri şeması

İsim Türü Açıklama
JobId Dize Göreve atanan kimlik numarası
İşAdı Dize İş için verilen ad
İş Çalışma Süresi Dize İşi işlemek için kullanılan çalışma zamanı
Gönderim Zamanı Dize İşin gönderildiği saat (UTC)
Başlangıç Zamanı Dize gönderimden sonra işin çalışmaya başladığı saat (UTC olarak)
BitişZamanı Dize İşin sona erme zamanı
Paralellik Dize Gönderim sırasında bu iş için istenen Data Lake Analytics birimi sayısı

Uyarı

SubmitTime, StartTime, EndTime ve Parallelism bir işlem hakkında bilgi sağlar. Bu girdiler yalnızca bu işlem başlatıldıysa veya tamamlandıysa bir değer içerir. Örneğin , SubmitTime yalnızca operationNamejobSubmitted değerine sahip olduktan sonra bir değer içerir.

Sonraki adımlar

  • Last updated on