Mengonfigurasi pengiriman log diagnostik

Artikel ini menjelaskan cara mengaktifkan pengiriman log diagnostik untuk ruang kerja Azure Databricks Anda.

Catatan

Log diagnostik memerlukan paket Premium.

1. Masuk ke portal Azure sebagai Pemilik atau Kontributor untuk ruang kerja Azure Databricks dan klik sumber daya Layanan Azure Databricks Anda.

2. Di bagian Pemantauan bilah sisi, klik tab Pengaturan diagnostik.

3. Klik Mengaktifkan diagnostik.

   

4. Pada halaman Pengaturan diagnostik, berikan konfigurasi berikut:

   Nama

   Masukkan nama untuk log yang akan dibuat.

   Mengarsipkan ke akun penyimpanan

   Untuk menggunakan opsi ini, Anda memerlukan akun penyimpanan yang sudah ada untuk disambungkan. Untuk membuat akun penyimpanan baru di portal, lihat Membuat akun penyimpanan dan ikuti petunjuk untuk membuat Azure Resource Manager, akun tujuan umum. Kemudian kembali ke halaman ini di portal untuk memilih akun penyimpanan Anda. Mungkin perlu waktu beberapa menit agar akun penyimpanan yang baru dibuat muncul di menu drop-down. Untuk informasi tentang biaya tambahan yang dikeluarkan dengan menulis ke akun penyimpanan, lihat harga Azure Storage.

   Melakukan streaming ke hub acara

   Untuk menggunakan opsi ini, Anda memerlukan ruang nama Azure Event Hubs dan hub aktivitas yang sudah ada untuk disambungkan. Untuk membuat namspace Event Hubs, lihat Buat ruang nama Event Hubs dan hub aktivitas menggunakan portal Azure. Kemudian kembali ke halaman ini di portal untuk memilih nama kebijakan dan ruang nama Event Hubs. Untuk informasi tentang biaya tambahan yang dikeluarkan dengan menulis ke hub aktivitas, lihat harga Azure Event Hubs.

   Mengirim ke Log Analytics

   Untuk menggunakan opsi ini, gunakan ruang kerja Analitik Log yang sudah ada atau buat yang baru dengan mengikuti langkah-langkah untuk Membuat ruang kerja baru di portal. Untuk informasi tentang biaya tambahan yang dikeluarkan dengan mengirimkan log ke Analitik Log, lihat Harga Azure Monitor.

   

5. Pilih layanan yang anda inginkan untuk log diagnostik.

6. Pilih Simpan.

7. Jika Anda menerima kesalahan yang mengatakan "Gagal memperbarui diagnostik untuk <workspace name>. Langganan <subscription id> tidak terdaftar untuk menggunakan microsoft.insights," ikuti instruksi Memecahkan Masalah Diagnostik Azure untuk mendaftarkan akun lalu coba lagi prosedur ini.

8. Jika Anda ingin mengubah cara log sumber daya disimpan kapan saja di masa mendatang, Anda bisa kembali ke halaman ini untuk mengubah pengaturan log diagnostik untuk akun anda.

Catatan

Jika Anda ingin mengatur kebijakan retensi penyimpanan, konfigurasikan kebijakan manajemen siklus hidup Azure.

Mengaktifkan pengelogan menggunakan PowerShell

1. Mulai sesi Azure PowerShell dan masuk ke akun Azure Anda dengan perintah berikut:

    Connect-AzAccount
   

   Untuk masuk ke akun Azure Anda sebagai pengguna, lihat Masuk PowerShell dengan akun pengguna Azure Databricks. Untuk masuk ke akun Azure Anda sebagai perwakilan layanan, lihat Login PowerShell dengan perwakilan layanan ID Microsoft Entra.

   Jika Anda belum menginstal Azure Powershell, gunakan perintah berikut untuk menginstal Azure PowerShell.

    Install-Module -Name Az -AllowClobber
   

2. Di jendela browser pop-up, masukkan nama pengguna dan kata sandi akun Azure Anda. Azure PowerShell mendapatkan semua langganan yang terkait dengan akun ini, dan secara default, menggunakan langganan pertama.

   Jika Anda memiliki lebih dari satu langganan, Anda mungkin harus menentukan langganan tertentu yang digunakan untuk membuat Azure Key Vault Anda. Untuk melihat langganan untuk akun Anda, ketik perintah berikut:

   Get-AzSubscription
   

   Untuk menentukan langganan yang terkait dengan akun Azure Databricks yang Anda masuk, ketik perintah berikut:

   Set-AzContext -SubscriptionId <subscription ID>
   

3. Atur nama sumber daya Log Analytics Anda ke variabel bernama logAnalytics, di mana ResourceName nama ruang kerja Log Analytics.

   $logAnalytics = Get-AzResource -ResourceGroupName <resource group name> -ResourceName <resource name> -ResourceType "Microsoft.OperationalInsights/workspaces"
   

4. Atur nama sumber daya layanan Azure Databricks ke variabel bernama databricks, di mana ResourceName nama layanan Azure Databricks.

   $databricks = Get-AzResource -ResourceGroupName <your resource group name> -ResourceName <your Azure Databricks service name> -ResourceType "Microsoft.Databricks/workspaces"
   

5. Untuk mengaktifkan pengelogan untuk Azure Databricks, gunakan cmdlet New-AzDiagnosticSetting dengan variabel untuk akun penyimpanan baru, layanan Azure Databricks, dan kategori untuk mengaktifkan pengelogan. Jalankan perintah berikut dan atur bendera -Enabled ke $true:

   New-AzDiagnosticSetting -ResourceId $databricks.ResourceId -WorkspaceId $logAnalytics.ResourceId -Enabled $true -name "<diagnostic setting name>" -Category <comma separated list>
   

Aktifkan pengelogan dengan menggunakan Azure CLI

1. Buka PowerShell.

2. Gunakan perintah berikut untuk terhubung ke akun Azure Anda:

   az login
   

   Untuk menyambungkan dengan menggunakan perwakilan layanan ID Microsoft Entra, lihat Login Azure CLI dengan perwakilan layanan ID Microsoft Entra.

   Untuk menyambungkan dengan menggunakan akun pengguna Azure Databricks, lihat Masuk Azure CLI dengan akun pengguna Azure Databricks.

3. Jalankan perintah pengaturan diagnostik berikut:

   az monitor diagnostic-settings create --name <diagnostic name>
   --resource-group <log analytics workspace resource group>
   --workspace <log analytics name or object ID>
   --resource <target resource object ID>
   --logs '[
   {
    \"category\": <category name>,
     \"enabled\": true
   }
   ]'
   

REST API

Gunakan API LogSettings.

Minta

PUT https://management.azure.com/{resourceUri}/providers/microsoft.insights/diagnosticSettings/{name}?api-version=2017-05-01-preview

Isi permintaan

{
    "properties": {
    "workspaceId": "<log analytics resourceId>",
    "logs": [
      {
        "category": "<category name>",
        "enabled": true,
        "retentionPolicy": {
          "enabled": false,
          "days": 0
        }
      }
    ]
  }
}

Latensi log diagnostik

Setelah pengelogan diaktifkan untuk akun Anda, Azure Databricks secara otomatis mengirim log diagnostik ke lokasi pengiriman Anda. Log biasanya tersedia dalam waktu 15 menit setelah aktivasi. Aktivitas yang dapat diaudit Azure Databricks biasanya muncul dalam log diagnostik dalam waktu 15 menit di wilayah Azure Commercial.

Log login SSH dikirimkan dengan latensi tinggi.

Catatan

Meskipun sebagian besar log diperkirakan akan dikirimkan dalam waktu 15 menit, Azure Databricks tidak menjamin jangka waktu untuk pengiriman log.