Share via

Azure Data Lake Storage pertimbangan utama

  • Artikel

Pelajari tentang pertimbangan penyimpanan utama untuk data lake Azure Anda.

Manajemen siklus hidup

Azure Storage menawarkan berbagai tingkat akses, yang memungkinkan Anda menyimpan data objek blob dengan cara yang paling hemat biaya. Tingkat akses yang tersedia meliputi:

  • Panas: Dioptimalkan untuk menyimpan data yang sering diakses.
  • Keren: Dioptimalkan untuk menyimpan data yang jarang diakses. Data disimpan setidaknya selama 30 hari.
  • Tingkat dingin: Dioptimalkan untuk menyimpan data yang jarang diakses atau dimodifikasi. Data disimpan setidaknya selama 90 hari. Tingkat dingin memiliki biaya penyimpanan yang lebih rendah dan biaya akses yang lebih tinggi dibandingkan dengan tingkat panas.
  • Arsip: Dioptimalkan untuk menyimpan data yang jarang diakses. Data disimpan setidaknya selama 180 hari dengan persyaratan latensi fleksibel, berdasarkan urutan jam kerja.

Pertimbangkan informasi berikut saat menggunakan tingkat akses:

  • Hanya tingkat akses Panas dan Dingin yang dapat diatur di tingkat akun. Tingkat akses Arsip tidak tersedia di tingkat akun.

  • Tingkat Panas, Dingin, dan Arsip semuanya dapat diatur pada tingkat blob selama unggahan atau setelah diunggah.

  • Data di tingkat Dingin memiliki ketersediaan yang sedikit lebih rendah, tetapi menawarkan durabilitas tinggi, latensi pengambilan, dan karakteristik throughput yang sama dengan data tingkat Hot. Untuk data di tingkat Dingin, ketersediaan yang sedikit lebih rendah dan biaya akses yang lebih tinggi dapat menjadi trade-off yang dapat diterima untuk biaya penyimpanan keseluruhan yang lebih rendah dibandingkan dengan tingkat Hot.

  • Penyimpanan arsip menyimpan data secara offline dan menawarkan biaya penyimpanan terendah. Namun, ia juga membawa rehidrasi data dan biaya akses tertinggi.

Untuk informasi selengkapnya, lihat Tingkat akses Panas, Dingin, dan Arsip untuk data blob.

Perhatian

Untuk analitik skala cloud, kami sarankan Anda menerapkan manajemen siklus hidup menggunakan layanan mikro kustom dan dengan hati-hati mempertimbangkan dampak memindahkan data yang dapat ditemukan pengguna ke penyimpanan dingin.

Anda hanya boleh memindahkan bagian data lake Anda ke tingkat dingin untuk beban kerja yang dipahami dengan baik.

Konektivitas data lake

Setiap data lake Anda harus menggunakan titik akhir privat yang disuntikkan ke jaringan virtual zona pendaratan data Anda. Untuk menyediakan akses di seluruh zona pendaratan, hubungkan zona pendaratan data Anda melalui peering jaringan virtual. Koneksi ini memberikan solusi optimal dari perspektif biaya dan kontrol akses.

Untuk informasi selengkapnya, lihat Titik akhir privat dan Zona pendaratan manajemen data ke zona pendaratan data.

Penting

Data dari zona pendaratan data dapat diakses dari zona pendaratan data lain melalui peering jaringan virtual di antara zona. Ini dilakukan dengan menggunakan titik akhir privat yang terkait dengan setiap akun data lake. Sebaiknya nonaktifkan semua akses publik ke danau Anda dan menggunakan titik akhir privat. Tim operasi platform Anda harus mengontrol konektivitas jaringan di seluruh zona pendaratan data Anda.

Penghapusan sementara untuk kontainer

Penghapusan sementara untuk kontainer melindungi data Anda dari penghapusan yang tidak disengaja atau berbahaya. Jika Anda mengaktifkan penghapusan sementara kontainer untuk akun penyimpanan Anda, kontainer yang dihapus dan kontennya disimpan di Azure Storage untuk jangka waktu yang Anda pilih. Selama periode retensi data, Anda dapat memulihkan kontainer yang dihapus sebelumnya. Memulihkan kontainer juga memulihkan blob apa pun yang ada di dalam kontainer tersebut saat dihapus.

Aktifkan fitur perlindungan data berikut untuk mencapai perlindungan data blob end-to-end:

Peringatan

Menghapus akun penyimpanan tidak dapat dibatalkan. Penghapusan sementara kontainer tidak melindungi dari penghapusan akun penyimpanan, hanya terhadap penghapusan kontainer dalam akun. Untuk melindungi akun penyimpanan dari penghapusan, konfigurasikan kunci pada sumber daya akun penyimpanan. Untuk informasi lebih lengkap tentang mengunci sumber daya Azure Resource Manager, lihat Mengunci sumber daya untuk mencegah perubahan tak terduga.

Pemantauan

Di zona pendaratan data, semua pemantauan harus dikirim ke langganan manajemen skala perusahaan Anda untuk analisis.

Untuk mempelajari tentang data pemantauan yang digunakan Azure Storage, lihat Memantau sumber daya Azure dengan Azure Monitor. Untuk informasi selengkapnya tentang log dan metrik yang dibuat Azure Storage, lihat Memantau Azure Blob Storage.

Entri log hanya dibuat jika permintaan dibuat terhadap titik akhir layanan. Jenis permintaan yang diautentikasi yang dicatat dalam log adalah:

  • Permintaan berhasil
  • Permintaan yang gagal, termasuk waktu habis, pembatasan, jaringan, otorisasi, dan kesalahan lainnya
  • Permintaan yang menggunakan tanda tangan akses bersama (SAS) atau OAuth, termasuk permintaan yang gagal dan berhasil
  • Permintaan ke data analitik, seperti data log klasik dalam $logs kontainer dan data metrik kelas dalam $metric tabel

Permintaan yang dibuat oleh layanan penyimpanan itu sendiri, seperti pembuatan atau penghapusan log, tidak dicatat. Jenis permintaan anonim yang dicatat adalah:

  • Permintaan berhasil
  • Kesalahan server
  • Kesalahan waktu habis untuk klien dan server
  • Permintaan HTTP GET yang gagal dengan kode kesalahan 304 (Not Modified)

Semua permintaan anonim lainnya yang gagal tidak dicatat di log.

Penting

Atur kebijakan pemantauan default Anda ke penyimpanan audit dan kirim log ke langganan manajemen skala perusahaan Anda.

Langkah berikutnya