Aracılığıyla paylaş

Azure Data Lake Analytics’te tanılama günlüklerine erişim

  • Makale

Önemli

Azure Data Lake Analytics 29 Şubat 2024'te kullanımdan kaldırıldı. Bu duyuru ile daha fazla bilgi edinin.

Veri analizi için kuruluşunuz Azure Synapse Analytics veya Microsoft Fabric kullanabilir.

Tanılama günlüğü, veri erişimi denetim izlerini toplamanıza olanak tanır. Bu günlükler aşağıdakiler gibi bilgiler sağlar:

  • Verilere erişen kullanıcıların listesi.
  • Verilere ne sıklıkta erişilir?
  • Hesapta ne kadar veri depolandığı.

Günlü kaydını etkinleştir

  1. Azure portal oturum açın.

  2. Data Lake Analytics hesabınızı açın ve İzlemebölümünden Tanılama ayarları'nı seçin. Ardından + Tanılama ayarı ekle'yi seçin.

  3. Tanılama ayarından bu günlük yapılandırması için bir ad girin ve günlüğe kaydetme seçeneklerini belirleyin.

    Denetim ve istek günlüklerini toplamak için tanılamayı açma ayarlarını gösteren ekran görüntüsü

    • Verileri dört farklı yolla depolamayı/işlemeyi seçebilirsiniz.

      • Günlükleri bir Azure depolama hesabında depolamak için Depolama hesabında arşivle'yi seçin. Verileri arşivlemesini istiyorsanız bu seçeneği kullanın. Bu seçeneği seçerseniz, günlükleri kaydetmek için bir Azure depolama hesabı sağlamanız gerekir.

      • Günlük verilerinin bir Azure Event Hubs akışını yapmak için olay hub'ına Stream seçin. Gelen günlükleri gerçek zamanlı olarak analiz eden bir aşağı akış işleme işlem hattınız varsa bu seçeneği kullanın. Bu seçeneği seçerseniz, kullanmak istediğiniz Azure Event Hubs ayrıntılarını sağlamanız gerekir.

      • Verileri Azure İzleyici hizmetine göndermek için Log Analytics çalışma alanına gönder'i seçin. Günlükleri toplamak ve analiz etmek için Azure İzleyici günlüklerini kullanmak istiyorsanız bu seçeneği kullanın.

      • İş ortağı tümleştirmemizi kullanmak istiyorsanız İş ortağı çözümüne gönder'i seçin. Daha fazla bilgi için bu bağlantıyı izleyebilirsiniz.

    • Denetim günlüklerini mi yoksa istek günlüklerini mi yoksa her ikisini birden mi almak istediğinizi belirtin. İstek günlüğü her API isteğini yakalar. Denetim günlüğü, bu API isteği tarafından tetiklenen tüm işlemleri kaydeder.

    • Depolama hesabında arşivle için, verilerin tutulacak gün sayısını belirtin.

    • Kaydet’i seçin.

      Not

      Kaydet düğmesini seçmeden önce Depolama hesabına arşivle, Olay Hub'ına StreamLog Analytics çalışma alanına gönder veya İş ortağına gönder çözümünü seçmelisiniz.

Günlük verilerini içeren Azure Depolama hesabını kullanma

  1. Günlük verilerini tutan blob kapsayıcılarını görüntülemek için, günlüğe kaydetme için Data Lake Analytics için kullanılan Azure Depolama hesabını açın ve Kapsayıcılar'ı seçin.

    • Kapsayıcı içgörüleri-günlükleri-denetimi denetim günlüklerini içerir.
    • kapsayıcı içgörüleri-logs-requests istek günlüklerini içerir.

  2. Kapsayıcılar içinde günlükler aşağıdaki dosya yapısı altında depolanır:

    resourceId=/
  SUBSCRIPTIONS/
    <<SUBSCRIPTION_ID>>/
      RESOURCEGROUPS/
        <<RESOURCE_GRP_NAME>>/
          PROVIDERS/
            MICROSOFT.DATALAKEANALYTICS/
              ACCOUNTS/
                <DATA_LAKE_ANALYTICS_NAME>>/
                  y=####/
                    m=##/
                      d=##/
                        h=##/
                          m=00/
                            PT1H.json

    Not

    ## Yoldaki girdiler günlüğün oluşturulduğu yıl, ay, gün ve saati içerir. Data Lake Analytics saatte bir dosya oluşturur, bu nedenle m= her zaman değerini 00içerir.

    Örneğin, bir denetim günlüğünün tam yolu şu olabilir:

    https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=04/m=00/PT1H.json

    Benzer şekilde, bir istek günlüğünün tam yolu şu olabilir:

    https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Günlük verilerini işleme

Azure Data Lake Analytics, günlük verilerini işleme ve analiz etme hakkında bir örnek sağlar. Örneği adresinde https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSamplebulabilirsiniz.

Günlük yapısı

Denetim ve istek günlükleri yapılandırılmış JSON biçimindedir.

İstek günlükleri

JSON biçimli istek günlüğünde örnek bir giriş aşağıda verilmiştir. Her blob, günlük nesneleri dizisi içeren kayıtlar adlı bir kök nesneye sahiptir.

{
"records":
  [
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_analytics_account_name>",
         "category": "Requests",
         "operationName": "GetAggregatedJobHistory",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {
             "HttpMethod":"POST",
             "Path":"/JobAggregatedHistory",
             "RequestContentLength":122,
             "ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8",
             "StartTime":"2016-07-07T21:02:52.472Z",
             "EndTime":"2016-07-07T21:02:53.456Z"
             }
    }
    ,
    . . . .
  ]
}

İstek günlüğü şeması

Ad Tür Description
time Dize Günlüğün zaman damgası (UTC olarak)
resourceId Dize İşlemin gerçekleştiği kaynağın tanımlayıcısı
category Dize Günlük kategorisi. Örneğin , İstekler.
operationName Dize Günlüğe kaydedilen işlemin adı. Örneğin, GetAggregatedJobHistory.
resultType Dize İşlemin durumu, örneğin 200.
callerIpAddress Dize İsteği yapan istemcinin IP adresi
correlationId Dize Günlüğün tanımlayıcısı. Bu değer, bir dizi ilgili günlük girdisini gruplandırmak için kullanılabilir.
identity Nesne Günlüğü oluşturan kimlik
properties JSON Ayrıntılar için sonraki bölüme (günlük özellikleri şeması isteme) bakın

İstek günlüğü özellikleri şeması

Ad Tür Description
HttpMethod Dize İşlem için kullanılan HTTP Yöntemi. Örneğin, GET.
Yol Dize İşlemin gerçekleştirildiği yol
RequestContentLength int HTTP isteğinin içerik uzunluğu
ClientRequestId Dize Bu isteği benzersiz olarak tanımlayan tanımlayıcı
StartTime Dize Sunucunun isteği aldığı saat
EndTime Dize Sunucunun yanıt gönderdiği saat

Denetim günlükleri

JSON biçimli denetim günlüğünde örnek bir giriş aşağıda verilmiştır. Her blob, günlük nesneleri dizisi içeren kayıtlar adlı bir kök nesneye sahiptir.

{
"records":
  [
    {
         "time": "2016-07-28T19:15:16.245Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_ANALYTICS_account_name>",
         "category": "Audit",
         "operationName": "JobSubmitted",
         "identity": "user@somewhere.com",
         "properties": {
             "JobId":"D74B928F-5194-4E6C-971F-C27026C290E6",
             "JobName": "New Job",
             "JobRuntimeName": "default",
             "SubmitTime": "7/28/2016 7:14:57 PM"
             }
    }
  ]
}

Denetim günlüğü şeması

Ad Tür Description
time Dize Günlüğün zaman damgası (UTC olarak)
resourceId Dize İşlemin gerçekleştiği kaynağın tanımlayıcısı
category Dize Günlük kategorisi. Örneğin , Denetim.
operationName Dize Günlüğe kaydedilen işlemin adı. Örneğin, JobSubmitted.
resultType Dize İş durumu (operationName) için bir alt durum.
resultSignature Dize İş durumu (operationName) ile ilgili ek ayrıntılar.
identity Dize İşlemi talep eden kullanıcı. Örneğin, susan@contoso.com.
properties JSON Ayrıntılar için sonraki bölüme (Denetim günlüğü özellikleri şeması) bakın

Not

resultType ve resultSignature bir işlemin sonucu hakkında bilgi sağlar ve yalnızca bir işlem tamamlandıysa bir değer içerir. Örneğin, yalnızca operationName,JobStarted veya JobEnded değerini içerdiğinde bir değer içerir.

Denetim günlüğü özellikleri şeması

Ad Tür Description
JobId Dize İşe atanan kimlik
jobname Dize İş için sağlanan ad
JobRunTime Dize İşi işlemek için kullanılan çalışma zamanı
SubmitTime Dize İşin gönderildiği saat (UTC)
StartTime Dize Gönderimden sonra işin çalışmaya başladığı saat (UTC'de)
EndTime Dize İşin sona erişi
Parallelism Dize Gönderim sırasında bu iş için istenen Data Lake Analytics birimi sayısı

Not

SubmitTime, StartTime, EndTime ve Parallelism bir işlem hakkında bilgi sağlar. Bu girdiler yalnızca bu işlem başlatıldıysa veya tamamlandıysa bir değer içerir. Örneğin, SubmitTime yalnızca operationNamejobSubmitted değerine sahip olduktan sonra bir değer içerir.

Sonraki adımlar