Meningkatkan Azure Blob Storage dengan kemampuan Azure Data Lake Storage

2025-05-03

Artikel ini membantu Anda mengaktifkan namespace hierarkis dan membuka kunci kemampuan seperti keamanan tingkat file dan direktori dan operasi yang lebih cepat. Kemampuan ini banyak digunakan oleh beban kerja analitik big data dan disebut secara kolektif sebagai Azure Data Lake Storage.

Untuk mempelajari selengkapnya tentang kemampuan ini dan mengevaluasi dampak peningkatan ini pada beban kerja, aplikasi, biaya, integrasi layanan, alat, fitur, dan dokumentasi, lihat Meningkatkan Azure Blob Storage dengan kemampuan Azure Data Lake Storage.

Penting

Peningkatan merupakan proses satu arah. Tidak ada cara untuk mengembalikan akun Anda setelah melakukan peningkatan. Kami menyarankan Anda memvalidasi peningkatan Anda di lingkungan nonproduksi.

Siapkan diri untuk meningkatkan

Untuk bersiap meningkatkan akun penyimpanan Anda ke Data Lake Storage:

Tinjau dukungan fitur
Pastikan segmen dari setiap jalur blob diberi nama
Mencegah aktivitas tulis ke akun penyimpanan

Tinjau dukungan fitur

Akun penyimpanan Anda mungkin dikonfigurasi untuk menggunakan fitur yang belum didukung di akun yang diaktifkan Data Lake Storage. Jika akun Anda menggunakan fitur tersebut, peningkatan tidak akan melewati langkah validasi. Tinjau artikel dukungan fitur Blob Storage di akun Azure Storage untuk mengidentifikasi fitur yang tidak didukung. Jika Anda menggunakan fitur tersebut di akun Anda, nonaktifkan fitur tersebut sebelum memulai peningkatan.

Fitur berikut ini didukung untuk akun Data Lake Storage, tetapi tidak didukung oleh proses peningkatan:

Rekam jepret blob
Ruang Lingkup Enkripsi
Penyimpanan yang tidak bisa diubah
Hapus sementara untuk blob
Penghapusan kontainer sementara

Jika akun penyimpanan Anda mengaktifkan fitur tersebut, Anda harus menonaktifkannya sebelum melakukan peningkatan. Jika Anda ingin melanjutkan menggunakan fitur setelah peningkatan selesai, aktifkan kembali.

Dalam beberapa kasus, Anda harus menyediakan waktu untuk melakukan operasi pembersihan setelah menonaktifkan fitur sebelum melakukan peningkatan. Salah satu contohnya adalah fitur penghapusan sementara blob . Anda harus menonaktifkan penghapusan lunak blob lalu mengizinkan semua blob yang dihapus secara lunak untuk kedaluwarsa sebelum Anda dapat meningkatkan akun.

Menghapus blob halaman dari akun penyimpanan

Anda tidak dapat memperbarui akun penyimpanan yang berisi page blobs. Pastikan untuk menghapus blob halaman dari akun penyimpanan sebelum Anda melakukan peningkatan.

Pastikan segmen dari setiap jalur blob diberi nama

Proses migrasi membuat direktori untuk setiap segmen jalur blob. Direktori Data Lake Storage harus memiliki nama sehingga migrasi berhasil, setiap segmen jalur dalam direktori virtual harus memiliki nama. Persyaratan yang sama berlaku untuk segmen yang dinamai hanya dengan karakter spasi. Jika ada segmen jalur yang tidak disebutkan namanya (//) atau dinamai hanya dengan karakter spasi (_), maka sebelum melanjutkan migrasi, Anda harus menyalin blob tersebut ke jalur baru yang kompatibel dengan persyaratan penamaan ini.

Mencegah aktivitas tulis ke akun penyimpanan

Peningkatan mungkin gagal jika aplikasi menulis ke akun penyimpanan selama peningkatan. Untuk mencegah aktivitas tulis seperti itu:

Hentikan aplikasi atau layanan apa pun yang mungkin melakukan operasi tulis.
Lepaskan atau batalkan sewa yang ada pada kontainer dan blob di akun penyimpanan.

Setelah peningkatan selesai, putuskan sewa yang Anda buat untuk melanjutkan memungkinkan akses tulis ke kontainer dan blob.

Peringatan

Melanggar sewa aktif tanpa menonaktifkan aplikasi atau komputer virtual yang saat ini mengakses sumber daya tersebut dapat memiliki hasil yang tidak terduga. Pastikan untuk menghentikan sementara aktivitas tulis saat ini sebelum memutuskan perjanjian sewa saat ini.

Lakukan peningkatan

Masuk ke portal Azure untuk memulai.
Temukan akun penyimpanan Anda dan tampilkan gambaran umum akun.
Pilih opsi migrasi Data Lake Gen2.

Halaman Konfigurasi peningkatan ke akun Storage dengan kemampuan Azure Data Lake Gen2 muncul.
Perluas bagian Langkah 1: Tinjau perubahan akun sebelum memutakhirkan dan klik Tinjau dan setujui perubahan.
Di halaman Tinjau perubahan akun , pilih kotak centang lalu klik Setujui perubahan.
Perluas bagian Langkah 2: Validasi akun sebelum memutakhirkan lalu klik Mulai validasi.

Jika validasi gagal, kesalahan muncul di halaman. Dalam beberapa kasus, tautan Tampilkan kesalahan muncul. Jika tautan tersebut muncul, pilih tautan tersebut.

Kemudian, dari menu konteks file error.json , pilih Unduh.

Buka file yang diunduh untuk menentukan mengapa akun tidak melewati langkah validasi. JSON berikut menunjukkan bahwa fitur yang tidak kompatibel diaktifkan pada akun. Dalam hal ini, Anda akan menonaktifkan fitur dan kemudian memulai proses validasi lagi.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Setelah akun Anda berhasil divalidasi, perluas bagian Langkah 3: Tingkatkan akun , lalu klik Mulai peningkatan.

Penting

Anda tidak dapat melakukan operasi tulis saat akun Anda sedang dalam proses peningkatan. Operasi baca tidak dinonaktifkan, tetapi kami sangat menyarankan agar Anda menangguhkan operasi baca karena operasi tersebut mungkin mengganggu proses peningkatan.

Ketika migrasi berhasil diselesaikan, pesan yang mirip dengan yang berikut ini muncul.

Buka jendela perintah Windows PowerShell.
Pastikan Anda memiliki modul Azure PowerShell terbaru. Lihat Instal modul Azure PowerShell.
Masuk ke langganan Azure Anda dengan perintah Connect-AzAccount dan ikuti petunjuk pada layar.
```
Connect-AzAccount
```
Jika identitas Anda dikaitkan dengan lebih dari satu langganan, maka tetapkan langganan aktif Anda.
```
$context = Get-AzSubscription -SubscriptionId <subscription-id>
Set-AzContext $context
```
Ganti nilai placeholder <subscription-id> dengan ID langganan Anda.
Validasi akun penyimpanan Anda dengan menggunakan perintah berikut.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Validation -AsJob
```
- Ganti nilai placeholder <resource-group-name> dengan nama grup sumber daya.
- Ganti nilai placeholder <storage-account-name> dengan nama akun penyimpanan.
Tergantung pada ukuran akun Anda, proses ini dapat memakan waktu. Anda dapat menggunakan sakelar asJob untuk menjalankan perintah dalam pekerjaan latar belakang sehingga klien Anda tidak diblokir. Perintah berjalan dari jarak jauh, tetapi pekerjaan ada di komputer lokal Anda atau VM tempat Anda menjalankan perintah. Hasilnya ditransmisikan ke komputer lokal Anda atau VM.
Untuk memeriksa status pekerjaan dan menampilkan semua properti pekerjaan dalam daftar, salurkan variabel pengembalian ke cmdlet Format-List.
```
$result | Format-List -Property *
```
Jika validasi berhasil, properti Status akan diatur ke Selesai.

Jika validasi gagal, properti Status akan diatur ke Gagal, dan properti Kesalahan akan menampilkan kesalahan validasi.

Output berikut menunjukkan bahwa fitur yang tidak kompatibel diaktifkan pada akun. Dalam hal ini, Anda akan menonaktifkan fitur dan kemudian memulai proses validasi lagi.

Dalam beberapa kasus, properti Kesalahan memberi Anda jalur ke file bernama error.json. Anda dapat membuka file tersebut untuk menentukan mengapa akun tidak melewati langkah validasi.

JSON berikut menunjukkan bahwa fitur yang tidak kompatibel diaktifkan pada akun. Dalam hal ini, Anda akan menonaktifkan fitur dan kemudian memulai proses validasi lagi.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Setelah akun Anda berhasil divalidasi, mulai peningkatan dengan menjalankan perintah berikut.
```
$result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Upgrade -AsJob -Force
```
Seperti contoh validasi yang disebutkan sebelumnya, contoh ini menggunakan sakelar asJob untuk menjalankan perintah dalam pekerjaan latar belakang. Pengalihan Force mengambil alih permintaan untuk mengonfirmasi peningkatan. Jika Anda tidak menggunakan sakelar AsJob , Anda tidak perlu menggunakan sakelar Force karena Anda hanya dapat merespons perintah.

Penting

Anda tidak dapat melakukan operasi tulis saat akun Anda sedang dalam proses peningkatan. Operasi baca tidak dinonaktifkan, tetapi kami sangat menyarankan agar Anda menangguhkan operasi baca karena operasi tersebut mungkin mengganggu proses peningkatan.

Untuk memeriksa status pekerjaan, gunakan teknik yang sama seperti yang dijelaskan dalam langkah-langkah sebelumnya. Saat proses berjalan, properti Status akan diatur ke Berjalan.

Ketika migrasi berhasil diselesaikan, properti Status akan diatur ke Selesai dan properti Kesalahan tidak akan menampilkan kesalahan apa pun.

Penting

Perkiraan kasar dari waktu peningkatan adalah sekitar 5-10 menit per 2 juta blob. Misalnya, jika akun memiliki 10 juta blob, maka peningkatan akan memakan waktu sekitar 25-50 menit. Akun yang berisi kurang dari 2 juta blob biasanya ditingkatkan dalam waktu kurang dari 10 menit.

Pertama, buka Azure Cloud Shell, atau jika Anda telah menginstal Azure CLI secara lokal, buka aplikasi konsol perintah seperti Windows PowerShell.
Verifikasi bahwa versi Azure CLI yang telah diinstal adalah 2.29.0 atau lebih tinggi dengan menggunakan perintah berikut.
```
 az --version
```
Jika versi Azure CLI Anda lebih rendah dari 2.29.0, instal versi terbaru. Untuk informasi selengkapnya, lihat Menginstal Azure CLI.
Jika identitas Anda dikaitkan dengan lebih dari satu langganan, maka tetapkan langganan aktif Anda.
```
   az account set --subscription <subscription-id>
```
Ganti nilai placeholder <subscription-id> dengan ID langganan Anda.
Validasi akun penyimpanan Anda dengan menggunakan perintah berikut.
```
az storage account hns-migration start --type validation -n <storage-account-name> -g <resource-group-name>
```
- Ganti nilai placeholder <resource-group-name> dengan nama grup sumber daya.
- Ganti nilai placeholder <storage-account-name> dengan nama akun penyimpanan.
Jika validasi berhasil, proses selesai dan tidak ada kesalahan yang muncul.

Jika validasi gagal, kesalahan validasi akan muncul di konsol. Misalnya, kesalahan (IncompatibleValuesForAccountProperties) Values for account properties are incompatible: Versioning Enabled menunjukkan bahwa fitur yang tidak kompatibel (Penerapan Versi) diaktifkan pada akun. Dalam hal ini, Anda akan menonaktifkan fitur dan kemudian memulai proses validasi lagi.

Dalam beberapa kasus, jalur ke file bernama error.json muncul di konsol. Anda dapat membuka file tersebut untuk menentukan mengapa akun tidak melewati langkah validasi.

JSON berikut menunjukkan bahwa fitur yang tidak kompatibel diaktifkan pada akun. Dalam hal ini, Anda akan menonaktifkan fitur dan kemudian memulai proses validasi lagi.
```
{
 "startTime": "2021-08-04T18:40:31.8465320Z",
 "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
 "incompatibleFeatures": [
     "Blob Delete Retention Enabled"
 ],
 "blobValidationErrors": [],
 "scannedBlobCount": 0,
 "invalidBlobCount": 0,
 "endTime": "2021-08-04T18:40:34.9371480Z"
}
```
Setelah akun Anda berhasil divalidasi, mulai peningkatan dengan menjalankan perintah berikut.
```
az storage account hns-migration start --type upgrade -n storage-account-name -g <resource-group-name>
```
Penting

Anda tidak dapat melakukan operasi tulis saat akun Anda sedang dalam proses peningkatan. Operasi baca tidak dinonaktifkan, tetapi kami sangat menyarankan agar Anda menangguhkan operasi baca karena operasi tersebut mungkin mengganggu proses peningkatan.

Jika migrasi berhasil, proses selesai dan tidak ada kesalahan yang muncul.

Hentikan pembaruan

Anda dapat menghentikan migrasi sebelum selesai.

Untuk menghentikan peningkatan sebelum selesai, pilih Batalkan peningkatan saat peningkatan sedang berlangsung.

Batalkan pemutakhiran

Untuk menghentikan peningkatan sebelum selesai, gunakan Stop-AzStorageAccountHierarchicalNamespaceUpgrade perintah .

Stop-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName <resource-group-name> -Name <storage-account-name>

Untuk menghentikan peningkatan sebelum selesai, gunakan az storage account hns-migration stop perintah .

az storage account hns-migration stop -n <storage-account-name> -g <resource-group-name>

Memigrasikan data, beban kerja, dan aplikasi

Konfigurasikan layanan pada workload Anda untuk menunjuk ke salah satu dari titik akhir Blob service atau Data Lake storage.
Untuk beban kerja Hadoop yang menggunakan driver Windows Azure Storage Blob atau driver WASB , pastikan untuk memodifikasinya untuk menggunakan driver Azure Blob File System (ABFS ). Tidak seperti driver WASB yang membuat permintaan ke titik akhir Blob service, driver ABFS akan membuat permintaan ke titik akhir Data Lake Storage akun Anda.
Uji aplikasi kustom untuk memastikan bahwa aplikasi tersebut berfungsi seperti yang diharapkan dengan akun Anda yang ditingkatkan.

Akses multi-protokol pada Data Lake Storage memungkinkan sebagian besar aplikasi untuk terus menggunakan API Blob tanpa modifikasi. Jika Anda mengalami masalah atau ingin menggunakan API untuk bekerja dengan operasi direktori dan ACL, pertimbangkan untuk memindahkan beberapa kode Anda untuk menggunakan API Data Lake Storage. Lihat panduan untuk .NET, Java, Python, Node.js, dan REST.
Uji skrip kustom apa pun untuk memastikan bahwa skrip berfungsi seperti yang diharapkan dengan akun Anda yang ditingkatkan.

Seperti halnya dengan API Blob, banyak skrip Anda kemungkinan akan berfungsi tanpa mengharuskan Anda untuk memodifikasinya. Namun, jika diperlukan, Anda dapat meningkatkan file skrip untuk menggunakan cmdlet PowerShell Data Lake Storage, dan perintah Azure CLI.

Lihat juga

Pengantar penyimpanan Azure Data Lake

Bagikan melalui