Bagikan melalui

Pertimbangan kunci Azure Data Lake Storage

  • Artikel

Pelajari tentang pertimbangan penyimpanan utama untuk data lake Azure Anda.

Manajemen siklus hidup

Azure Storage menawarkan tingkat akses yang berbeda, yang memungkinkan Anda menyimpan data objek blob dengan cara yang paling hemat biaya. Tingkat akses yang tersedia meliputi:

  • Panas: Dioptimalkan untuk menyimpan data yang sering diakses.
  • Dingin: Dioptimalkan untuk menyimpan data yang jarang diakses. Data disimpan setidaknya selama 30 hari.
  • Tingkat dingin: Dioptimalkan untuk menyimpan data yang jarang diakses atau dimodifikasi. Data disimpan setidaknya selama 90 hari. Tingkat dingin memiliki biaya penyimpanan yang lebih rendah dan biaya akses yang lebih tinggi dibandingkan dengan tingkat panas.
  • Arsip: Dioptimalkan untuk menyimpan data yang jarang diakses. Data disimpan setidaknya selama 180 hari dengan persyaratan latensi fleksibel, berdasarkan urutan jam kerja.

Penting

Tidak ada keandalan, keamanan, keunggulan operasional, atau tradeoff efisiensi performa antara berbagai tingkat akses online, yang meninggalkan pilihan tingkat online untuk menjadi keputusan keuangan, per blob, berdasarkan ukuran data akses beban kerja, interaksi operasional, dan waktu sebelum blob dihapus. Pilih tingkat yang benar, per blob, berdasarkan perhitungan faktor sebelumnya. Untuk informasi selengkapnya, lihat Merencanakan dan mengelola biaya untuk Azure Blob Storage .

Pertimbangkan informasi berikut saat menggunakan tingkat akses:

  • Hanya tingkat akses Panas dan Dingin yang dapat diatur di tingkat akun. Tingkat akses Arsip tidak tersedia di tingkat akun.

  • Tingkat Panas, Dingin, dan Arsip semuanya dapat diatur pada tingkat blob selama unggahan atau setelah diunggah.

  • Data di tingkat Dingin dan Dingin memiliki ketersediaan yang sedikit lebih rendah, tetapi menawarkan durabilitas tinggi, latensi pengambilan, dan karakteristik throughput yang sama dengan data tingkat Panas. Untuk data di tingkat Dingin atau Dingin, ketersediaan yang sedikit lebih rendah dan biaya akses yang lebih tinggi dapat menjadi trade-off yang dapat diterima untuk biaya penyimpanan keseluruhan yang lebih rendah dibandingkan dengan tingkat Hot.

  • Penyimpanan arsip menyimpan data secara offline dan menawarkan biaya penyimpanan terendah. Namun, ia juga membawa rehidrasi data dan biaya akses tertinggi.

Untuk informasi selengkapnya, lihat Tingkat akses untuk data blob.

Perhatian

Untuk analitik skala cloud, kami sarankan Anda menerapkan manajemen siklus hidup menggunakan layanan mikro kustom dan dengan hati-hati mempertimbangkan dampak memindahkan data yang dapat ditemukan pengguna ke penyimpanan dingin.

Anda hanya boleh memindahkan bagian data lake Anda ke tingkat dingin untuk beban kerja yang dipahami dengan baik.

Konektivitas data lake

Setiap data lake Anda harus menggunakan titik akhir privat yang disuntikkan ke jaringan virtual zona pendaratan data Anda. Untuk menyediakan akses di seluruh zona pendaratan, sambungkan zona pendaratan data Anda melalui peering jaringan virtual. Koneksi ini memberikan solusi optimal dari perspektif kontrol biaya dan akses.

Untuk informasi selengkapnya, lihat Titik akhir privat dan Zona pendaratan manajemen data ke zona pendaratan data.

Penting

Data dari zona pendaratan data dapat diakses dari zona pendaratan data lain melalui peering jaringan virtual di antara zona. Ini dilakukan dengan menggunakan titik akhir privat yang terkait dengan setiap akun data lake. Sebaiknya nonaktifkan semua akses publik ke danau Anda dan gunakan titik akhir privat. Tim operasi platform Anda harus mengontrol konektivitas jaringan di seluruh zona pendaratan data Anda.

Penghapusan kontainer sementara

Penghapusan sementara untuk kontainer melindungi data Anda dari penghapusan yang tidak disengaja atau berbahaya. Jika Anda mengaktifkan penghapusan sementara kontainer untuk akun penyimpanan Anda, kontainer yang dihapus dan kontennya disimpan di Azure Storage untuk jangka waktu yang Anda pilih. Selama periode retensi data, Anda dapat memulihkan kontainer yang dihapus sebelumnya. Memulihkan kontainer juga memulihkan blob apa pun yang berada dalam kontainer tersebut saat dihapus.

Aktifkan fitur perlindungan data berikut untuk mencapai perlindungan data blob end-to-end:

Peringatan

Menghapus akun penyimpanan tidak dapat dibatalkan. Penghapusan sementara kontainer tidak melindungi dari penghapusan akun penyimpanan, hanya terhadap penghapusan kontainer dalam akun. Untuk melindungi akun penyimpanan dari penghapusan, konfigurasikan kunci pada sumber daya akun penyimpanan. Untuk informasi lebih lengkap tentang mengunci sumber daya Azure Resource Manager, lihat Mengunci sumber daya untuk mencegah perubahan tak terduga.

Pemantauan

Di zona pendaratan data, semua pemantauan harus dikirim ke langganan manajemen skala perusahaan Anda untuk analisis.

Untuk mempelajari tentang data pemantauan yang digunakan Azure Storage, lihat Memantau sumber daya Azure dengan Azure Monitor. Untuk informasi selengkapnya tentang log dan metrik yang dibuat Azure Storage, lihat Memantau Azure Blob Storage.

Entri log hanya dibuat jika permintaan dibuat terhadap titik akhir layanan. Jenis permintaan yang diautentikasi yang dicatat dalam log adalah:

  • Permintaan berhasil
  • Permintaan gagal, termasuk waktu habis, pembatasan, jaringan, otorisasi, dan kesalahan lainnya
  • Permintaan yang menggunakan tanda tangan akses bersama (SAS) atau OAuth, termasuk permintaan yang gagal dan berhasil
  • Permintaan ke data analitik, seperti data log klasik dalam $logs kontainer dan data metrik kelas dalam $metric tabel

Permintaan yang dibuat oleh layanan penyimpanan itu sendiri, seperti pembuatan atau penghapusan log, tidak dicatat. Jenis permintaan anonim yang dicatat adalah:

  • Permintaan berhasil
  • Kesalahan server
  • Kesalahan waktu habis untuk klien dan server
  • Permintaan HTTP GET yang gagal dengan kode kesalahan 304 (Not Modified)

Semua permintaan anonim lainnya yang gagal tidak dicatat di log.

Penting

Atur kebijakan pemantauan default Anda untuk mengaudit penyimpanan dan mengirim log ke langganan manajemen skala perusahaan Anda.

Langkah berikutnya