Pemantauan keamanan yang ditingkatkan
Artikel ini menjelaskan fitur pemantauan keamanan yang ditingkatkan dan cara mengonfigurasinya di ruang kerja atau akun Azure Databricks Anda.
Jika Mengaktifkan fitur ini, Anda akan dikenakan biaya untuk add-on Keamanan dan Kepatuhan yang Ditingkatkan seperti yang dijelaskan di halaman harga.
Gambaran umum pemantauan keamanan yang ditingkatkan
Pemantauan keamanan azure Databricks yang ditingkatkan menyediakan gambar disk yang diperkuat dan agen pemantauan keamanan tambahan yang menghasilkan baris log yang dapat Anda tinjau menggunakan log diagnostik.
Peningkatan keamanan hanya berlaku untuk sumber daya komputasi di bidang komputasi klasik, seperti kluster dan gudang SQL tanpa server.
Sumber daya bidang komputasi tanpa server, seperti gudang SQL tanpa server, tidak memiliki pemantauan ekstra saat pemantauan keamanan yang ditingkatkan diaktifkan.
Catatan
Sebagian besar jenis instans Azure didukung, tetapi komputer virtual berbasis generasi 2 (Gen2) dan Arm64 tidak didukung. Azure Databricks tidak mengizinkan memulai komputasi dengan jenis instans tersebut saat pemantauan keamanan yang ditingkatkan diaktifkan.
Pemantauan keamanan yang ditingkatkan meliputi:
Gambar sistem operasi yang diperkeras yang ditingkatkan berdasarkan Keunggulan Ubuntu.
Ubuntu Advantage adalah paket keamanan dan dukungan perusahaan untuk infrastruktur dan aplikasi sumber terbuka yang mencakup citra yang diperkeras CIS Level 1.
Agen pemantauan antivirus yang menghasilkan log yang dapat Anda tinjau.
Agen pemantauan integritas file yang menghasilkan log yang dapat Anda tinjau.
Memantau agen di gambar bidang komputasi Azure Databricks
Meskipun pemantauan keamanan yang ditingkatkan diaktifkan, ada agen pemantauan keamanan tambahan, termasuk dua agen yang telah diinstal sebelumnya dalam gambar bidang komputasi yang ditingkatkan. Anda tidak dapat menonaktifkan agen pemantauan yang berada dalam gambar disk sarana komputasi yang ditingkatkan.
| Agen pemantauan | Location | Deskripsi | Cara mendapatkan output |
|---|---|---|---|
| Pemantauan integritas file | Gambar bidang komputasi yang ditingkatkan | Memantau integritas file dan pelanggaran batas keamanan. Agen monitor ini berjalan pada VM pekerja di kluster Anda. | Aktifkan tabel sistem log audit dan tinjau log untuk baris baru. |
| Deteksi antivirus dan malware | Gambar bidang komputasi yang ditingkatkan | Memindai sistem file untuk virus setiap hari. Agen monitor ini berjalan pada VM di sumber daya komputasi Anda seperti kluster dan gudang SQL pro atau klasik. Agen deteksi antivirus dan malware memindai seluruh sistem file OS host dan sistem file kontainer Databricks Runtime. Apa pun di luar VM kluster berada di luar cakupan pemindaiannya. | Aktifkan tabel sistem log audit dan tinjau log untuk baris baru. |
| Pemindaian Kerentanan | Pemindaian terjadi dalam gambar yang representatif di lingkungan Azure Databricks. | Memindai host kontainer (VM) untuk kerentanan tertentu yang diketahui dan Kerentanan dan Paparan Umum (CVE). | Dikirim melalui email ke admin ruang kerja Azure Databricks. |
Untuk mendapatkan versi terbaru agen pemantauan, Anda dapat memulai ulang kluster Anda. Jika ruang kerja Anda menggunakan pembaruan kluster otomatis, secara default kluster dimulai ulang jika diperlukan selama jendela pemeliharaan terjadwal. Jika profil keamanan kepatuhan diaktifkan di ruang kerja, pembaruan kluster otomatis diaktifkan secara permanen di ruang kerja tersebut.
Pemantauan integritas file
Gambar bidang komputasi yang ditingkatkan mencakup layanan pemantauan integritas file yang menyediakan visibilitas runtime dan deteksi ancaman untuk sumber daya komputasi (pekerja kluster) di bidang komputasi klasik di ruang kerja Anda.
Output monitor integritas file dihasilkan dalam log audit Anda, yang dapat Anda akses dengan tabel sistem. Lihat Memantau penggunaan dengan tabel sistem. Untuk skema JSON untuk peristiwa baru yang dapat diaudit yang khusus untuk pemantauan integritas file, lihat Peristiwa pemantauan integritas file.
Penting
Anda bertanggung jawab untuk meninjau log ini. Databricks dapat, atas kebijakannya sendiri, meninjau log ini tetapi tidak membuat komitmen untuk melakukannya. Jika agen mendeteksi aktivitas berbahaya, Anda bertanggung jawab untuk melakukan triase peristiwa ini dan membuka tiket dukungan dengan Databricks jika resolusi atau remediasi memerlukan tindakan oleh Databricks. Databricks dapat mengambil tindakan berdasarkan log ini, termasuk menangguhkan atau mengakhiri sumber daya, tetapi tidak membuat komitmen untuk melakukannya.
Deteksi antivirus dan malware
Gambar bidang komputasi yang ditingkatkan mencakup mesin antivirus untuk mendeteksi trojan, virus, malware, dan ancaman berbahaya lainnya. Monitor antivirus memindai seluruh sistem file OS host dan sistem file kontainer Databricks Runtime. Apa pun di luar VM kluster berada di luar cakupan pemindaiannya.
Output monitor antivirus dihasilkan dalam log audit, yang dapat Anda akses dengan tabel sistem (Pratinjau Umum). Untuk skema JSON untuk peristiwa baru yang dapat diaudit yang khusus untuk pemantauan antivirus, lihat Peristiwa pemantauan antivirus.
Saat gambar komputer virtual baru dibuat, file tanda tangan yang diperbarui disertakan di dalamnya.
Penting
Anda bertanggung jawab untuk meninjau log ini. Databricks dapat, atas kebijakannya sendiri, meninjau log ini tetapi tidak membuat komitmen untuk melakukannya. Jika agen mendeteksi aktivitas berbahaya, Anda bertanggung jawab untuk melakukan triase peristiwa ini dan membuka tiket dukungan dengan Databricks jika resolusi atau remediasi memerlukan tindakan oleh Databricks. Databricks dapat mengambil tindakan berdasarkan log ini, termasuk menangguhkan atau mengakhiri sumber daya, tetapi tidak membuat komitmen untuk melakukannya.
Saat gambar AMI baru dibuat, file tanda tangan yang diperbarui disertakan dalam gambar AMI baru.
Pemindaian Kerentanan
Agen pemantau kerentanan melakukan pemindaian kerentanan host kontainer (VM) untuk CVE tertentu yang diketahui. Pemindaian terjadi dalam gambar yang representatif di lingkungan Azure Databricks. Laporan pemindaian kerentanan dikirim melalui email ke semua admin ruang kerja saat Azure Databricks merilis gambar disk AMI baru.
Ketika kerentanan ditemukan dengan agen ini, Databricks melacaknya terhadap SLA Manajemen Kerentanannya dan merilis gambar yang diperbarui jika tersedia.
Manajemen dan peningkatan agen pemantauan
Agen pemantauan tambahan yang ada pada gambar disk yang digunakan untuk sumber daya komputasi di bidang komputasi klasik adalah bagian dari proses Azure Databricks standar untuk meningkatkan sistem:
- Gambar disk dasar bidang komputasi klasik (AMI) dimiliki, dikelola, dan di-patch oleh Databricks.
- Databricks memberikan dan menerapkan patch keamanan dengan merilis gambar disk AMI baru. Jadwal pengiriman tergantung pada fungsionalitas baru dan SLA untuk kerentanan yang ditemukan. Pengiriman khas setiap dua hingga empat minggu.
- Sistem operasi dasar untuk bidang komputasi adalah Ubuntu Advantage.
- Kluster Azure Databricks dan gudang SQL pro atau klasik bersifat ephemeral secara default. Setelah diluncurkan, kluster dan gudang SQL pro atau klasik menggunakan gambar dasar terbaru yang tersedia. Versi lama yang mungkin memiliki kerentanan keamanan tidak tersedia untuk kluster baru.
- Anda bertanggung jawab untuk menghidupkan ulang kluster (menggunakan UI atau API) secara teratur untuk memastikan mereka menggunakan gambar VM host terbaru yang di-patch.
Memantau penghentian agen
Jika agen monitor pada VM pekerja ditemukan tidak berjalan karena crash atau penghentian lainnya, sistem akan mencoba memulai ulang agen.
Kebijakan penyimpanan data untuk memantau data agen
Log pemantauan dikirim ke tabel sistem log audit penyimpanan Anda sendiri di langganan Azure jika Anda mengonfigurasi log diagnostik. Retensi, penyerapan, dan analisis log ini adalah tanggung jawab Anda.
Laporan dan log pemindaian kerentanan dipertahankan setidaknya selama satu tahun oleh Databricks.
Mengaktifkan pemantauan keamanan yang ditingkatkan Azure Databricks
- Ruang kerja Azure Databricks Anda harus berada di paket Premium.
Untuk mengaktifkan pemantauan keamanan yang ditingkatkan pada ruang kerja, lihat Menggunakan portal Azure untuk mengaktifkan pengaturan di ruang kerja baru.
Pembaruan mungkin memakan waktu hingga enam jam untuk disebarluaskan ke semua lingkungan dan ke sistem hilir seperti penagihan. Beban kerja yang berjalan secara aktif dilanjutkan dengan pengaturan yang aktif pada saat memulai kluster atau sumber daya komputasi lainnya, dan pengaturan baru akan mulai diterapkan lain kali beban kerja ini dimulai.