Bagikan melalui

Mengakses log diagnostik untuk Azure Data Lake Analytics

Penting

Azure Data Lake Analytics pensiun pada 29 Februari 2024. Pelajari lebih lanjut dengan pengumuman ini.

Untuk analitik data, organisasi Anda dapat menggunakan Azure Synapse Analytics atau Microsoft Fabric.

Pembuatan log diagnostik memungkinkan Anda mengumpulkan jejak audit akses data. Log ini menyediakan informasi seperti:

  • Daftar pengguna yang mengakses data.
  • Seberapa sering data diakses.
  • Berapa banyak data yang disimpan di akun.

Aktifkan pengelogan

  1. Masuk ke portal Microsoft Azure.

  2. Buka akun Data Lake Analytics Anda dan pilih Pengaturan diagnostik dari bagian Pemantauan . Selanjutnya, pilih + Tambahkan pengaturan diagnostik.

    Cuplikan layar yang memperlihatkan tindakan

  3. Dari Pengaturan diagnostik, masukkan nama untuk konfigurasi pengelogan ini lalu pilih opsi pengelogan.

    Cuplikan layar memperlihatkan pengaturan untuk mengaktifkan diagnostik untuk mengumpulkan log audit dan permintaan

    • Anda dapat memilih untuk menyimpan/memproses data dengan empat cara berbeda.

      • Pilih Arsipkan ke akun penyimpanan untuk menyimpan log di akun penyimpanan Azure. Gunakan opsi ini jika Anda ingin mengarsipkan data. Jika Anda memilih opsi ini, Anda harus menyediakan akun penyimpanan Azure untuk menyimpan log.

      • Pilih Stream ke hub peristiwa untuk mengalirkan data log ke Azure Event Hubs. Gunakan opsi ini jika Anda memiliki alur pemrosesan hilir yang menganalisis log masuk secara real time. Jika Anda memilih opsi ini, Anda harus memberikan detail untuk Azure Event Hubs yang ingin Anda gunakan.

      • Pilih Kirim ke ruang kerja Analitik Log untuk mengirim data ke layanan Azure Monitor. Gunakan opsi ini jika Anda ingin menggunakan log Azure Monitor untuk mengumpulkan dan menganalisis log.

      • Pilih kirim ke solusi mitra jika Anda ingin menggunakan integrasi mitra kami. Untuk informasi selengkapnya, Anda dapat mengikuti tautan ini.

    • Tentukan apakah Anda ingin mendapatkan log audit atau log permintaan atau keduanya. Log permintaan merekam setiap permintaan API. Log audit mencatat semua operasi yang dipicu oleh permintaan API tersebut.

    • Untuk Arsipkan ke akun penyimpanan, tentukan jumlah hari untuk menyimpan data.

    • Pilih Simpan.

      Nota

      Anda harus memilih Arsipkan ke akun penyimpanan, Streaming ke Pusat Aktivitas, Kirim ke ruang kerja Analitik Log, atau Kirim ke solusi mitra sebelum memilih tombol Simpan .

Menggunakan akun Azure Storage yang berisi data log

  1. Untuk menampilkan kontainer blob yang menyimpan data pengelogan, buka akun Azure Storage yang digunakan untuk Data Lake Analytics untuk pengelogan, lalu pilih Kontainer.

    • Insights-logs-audit kontainer berisi log audit.
    • Insights-logs-requests kontainer berisi log permintaan.

  2. Dalam kontainer, log disimpan di bawah struktur file berikut:

    resourceId=/
  SUBSCRIPTIONS/
    <<SUBSCRIPTION_ID>>/
      RESOURCEGROUPS/
        <<RESOURCE_GRP_NAME>>/
          PROVIDERS/
            MICROSOFT.DATALAKEANALYTICS/
              ACCOUNTS/
                <DATA_LAKE_ANALYTICS_NAME>>/
                  y=####/
                    m=##/
                      d=##/
                        h=##/
                          m=00/
                            PT1H.json

    Nota

    Entri ## dalam jalur berisi tahun, bulan, hari, dan jam tempat log dibuat. Data Lake Analytics membuat satu file setiap jam, jadi m= selalu berisi nilai 00.

    Sebagai contoh, jalur lengkap ke log audit bisa menjadi:

    https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=04/m=00/PT1H.json

    Demikian pula, jalur lengkap ke log permintaan bisa menjadi:

    https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Memproses log data

Azure Data Lake Analytics menyediakan sampel tentang cara memproses dan menganalisis data log. Anda dapat menemukan sampel di https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Struktur log

Log audit dan permintaan dalam format JSON terstruktur.

Log permintaan

Berikut adalah contoh entri di log permintaan berformat JSON. Setiap blob memiliki satu objek akar yang disebut rekaman yang berisi array objek log.

{
"records":
  [
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_analytics_account_name>",
         "category": "Requests",
         "operationName": "GetAggregatedJobHistory",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {
             "HttpMethod":"POST",
             "Path":"/JobAggregatedHistory",
             "RequestContentLength":122,
             "ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8",
             "StartTime":"2016-07-07T21:02:52.472Z",
             "EndTime":"2016-07-07T21:02:53.456Z"
             }
    }
    ,
    . . . .
  ]
}

Skema log permintaan

Nama Tipe Deskripsi
waktu string Tanda waktu dari log (dalam UTC)
ID sumber daya string Pengidentifikasi sumber daya tempat operasi berlangsung
kategori string Kategori log. Misalnya, metrik Permintaan.
operationName string Nama operasi yang dicatat. Misalnya, GetAggregatedJobHistory.
jenisHasil string Status operasi, Misalnya, 200.
Alamat IP pemanggil string Alamat IP klien yang membuat permintaan
correlationId string Pengidentifikasi log. Nilai ini dapat digunakan untuk mengelompokkan sekumpulan entri log terkait.
identitas Objek Identitas yang membuat log
sifat JSON Lihat bagian berikutnya (Skema properti log permintaan) untuk detailnya

Skema properti permintaan log

Nama Tipe Deskripsi
Metode HTTP string Metode HTTP yang digunakan untuk operasi. Misalnya, GET.
Jalur string Jalur tempat operasi dilakukan
PanjangKontenPermintaan Integer Panjang konten permintaan HTTP
ClientRequestId string Pengidentifikasi yang secara unik mengidentifikasi permintaan ini
Waktu Mulai string Waktu ketika server menerima permintaan
Waktu Selesai string Waktu ketika server mengirim respons

Catatan audit

Berikut adalah contoh entri dalam log audit berformat JSON. Setiap blob memiliki satu objek akar yang disebut rekaman yang berisi array objek log.

{
"records":
  [
    {
         "time": "2016-07-28T19:15:16.245Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_ANALYTICS_account_name>",
         "category": "Audit",
         "operationName": "JobSubmitted",
         "identity": "user@somewhere.com",
         "properties": {
             "JobId":"D74B928F-5194-4E6C-971F-C27026C290E6",
             "JobName": "New Job",
             "JobRuntimeName": "default",
             "SubmitTime": "7/28/2016 7:14:57 PM"
             }
    }
  ]
}

Skema log audit

Nama Tipe Deskripsi
waktu string Tanda waktu dari log (dalam UTC)
ID sumber daya string Pengidentifikasi sumber daya tempat operasi berlangsung
kategori string Kategori log. Misalnya, Audit.
operationName string Nama operasi yang dicatat. Misalnya, JobSubmitted.
jenisHasil string Substatus untuk status pekerjaan (operationName).
tanda tangan hasil string Detail tambahan tentang status pekerjaan (operationName).
identitas string Pengguna yang melakukan permintaan operasi. Contohnya, susan@contoso.com.
sifat JSON Lihat bagian berikutnya (Skema properti log audit) untuk detailnya

Nota

resultType dan resultSignature memberikan informasi tentang hasil operasi, dan hanya berisi nilai jika operasi telah selesai. Misalnya, mereka hanya berisi nilai saat operationName berisi nilai JobStarted atau JobEnded.

Skema properti untuk log audit

Nama Tipe Deskripsi
JobId string ID yang ditetapkan untuk pekerjaan
NamaPekerjaan string Nama yang diberikan untuk pekerjaan
WaktuJalankanPekerjaan string Runtime yang digunakan untuk memproses pekerjaan
Waktu Pengiriman string Waktu (dalam UTC) tugas diajukan
Waktu Mulai string Waktu pekerjaan mulai berjalan setelah pengiriman (dalam UTC)
Waktu Selesai string Waktu pekerjaan berakhir
Paralelisme string Jumlah unit Data Lake Analytics yang diminta untuk pekerjaan ini saat pengiriman

Nota

SubmitTime, StartTime, EndTime, dan Parallelism memberikan informasi tentang operasi. Entri ini hanya berisi nilai jika operasi tersebut telah dimulai atau selesai. Misalnya, SubmitTime hanya berisi nilai setelah operationName memiliki nilai JobSubmitted.

Langkah berikutnya