Mengekspor data ke Azure Blob Storage

Anda dapat menyalin data dari sistem file Azure Managed Lustre ke penyimpanan jangka panjang di Azure Blob Storage. Artikel ini membahas dua metode untuk mengekspor data:

  • Pekerjaan ekspor manual — Ekspor data sesuai permintaan dengan menggunakan pekerjaan ekspor satu kali.
  • Ekspor otomatis — Terus sinkronkan file baru dan yang diubah dari sistem file Anda ke Blob Storage secara otomatis.

Nota

Pekerjaan ekspor hanya tersedia ketika Anda mengintegrasikan Azure Blob Storage dengan sistem file Azure Managed Lustre Anda pada saat pembuatan sistem file. Untuk informasi selengkapnya, lihat Integrasi Azure Blob Storage. Jika Anda tidak mengintegrasikan kontainer blob saat membuat sistem file, Anda dapat menggunakan perintah sistem file klien untuk menyalin data tanpa membuat pekerjaan ekspor.

Limitations

Batasan berikut berlaku untuk operasi ekspor:

  • Hanya satu tindakan impor atau ekspor yang dapat berjalan pada satu waktu. Misalnya, jika pekerjaan ekspor sedang berlangsung dan Anda mencoba memulai pekerjaan ekspor lain, Anda menerima kesalahan.
  • Tugas ekspor hanya menyalin file yang baru atau diubah. Jika file yang Anda impor dari kontainer blob selama pembuatan sistem file tidak berubah, maka tugas ekspor tidak akan mengekspor file tersebut.
  • File-file yang hanya mengalami perubahan metadata tidak diekspor. Perubahan metadata termasuk pemilik, izin, atribut yang diperluas, dan perubahan nama (diganti namanya). Batasan ini berlaku untuk ekspor manual dan ekspor otomatis.
  • File yang Anda hapus dalam sistem file Azure Managed Lustre tidak dihapus dalam kontainer blob asli selama pekerjaan ekspor. Tugas ekspor tidak menghapus file di kontainer blob.
  • Nama blob harus sesuai dengan aturan penamaan tertentu. Nama blob yang dapat diterima sedikit berbeda dari nama file POSIX yang dapat diterima. Proses ekspor mempertahankan karakter khusus pada nama file dengan mengeskapnya secara benar saat mengekspor ke blob. Namun, nama file yang melanggar aturan penamaan blob (misalnya, melebihi panjang nama blob maksimum) menghasilkan kesalahan saat Anda mencoba mengekspor file tersebut.
  • Untuk ekspor otomatis: Perubahan metadata seperti mengganti nama, pembaruan kepemilikan, atau penyesuaian izin saat ini tidak disinkronkan.
  • Untuk ekspor otomatis: Saat Anda menghapus file, direktori, atau tautan simbolis dalam sistem file, item-item tersebut tidak dihapus dari kontainer Blob Storage.
  • Azure Blob Storage tidak mendukung hard link. Setiap tautan keras diekspor sebagai blob unik. Jika Anda mengimpor blob tersebut, blob tersebut menjadi file independen.

Pekerjaan ekspor manual

Pekerjaan ekspor manual menyalin file baru atau yang diubah dari sistem file ke kontainer blob yang Anda tentukan saat membuat sistem file.

Membuat pekerjaan ekspor

Ikuti langkah-langkah ini untuk membuat pekerjaan ekspor di portal Microsoft Azure:

  1. Di portal Microsoft Azure, buka sistem file Azure Managed Lustre Anda. Di bagian Pengaturan, pilih Integrasi Blob.

  2. Pilih + Buat pekerjaan baru.

  3. Di menu dropdown Jenis Pekerjaan , pilih Ekspor.

  4. Di bidang Jalur sistem file , masukkan string untuk menentukan apa yang ingin Anda ekspor.

Pekerjaan ekspor mengekspor semua file baru atau yang diubah dalam sistem file yang nama filenya dimulai dengan string ini. Tugas ini menulis file ke kontainer blob dengan jalur file yang sama (atau awalan) seperti di sistem file Lustre. Untuk menghindari penimpaan file yang ada dalam kontainer blob, pastikan jalur file dalam sistem file Lustre Anda tidak tumpang tindih dengan jalur file yang ada dalam kontainer blob.

Cuplikan layar berikut menunjukkan pengaturan konfigurasi untuk pekerjaan ekspor di portal Microsoft Azure.

Cuplikan layar yang memperlihatkan penyiapan portal untuk membuat pekerjaan ekspor (arsip).

Memantau atau membatalkan pekerjaan ekspor

Anda dapat memantau atau membatalkan pekerjaan ekspor di bagian Pekerjaan terbaru di panel integrasi Blob .

Hanya satu pekerjaan arsip yang berjalan pada satu waktu. Untuk membatalkan pekerjaan yang sedang berlangsung, pilih tautan Batalkan untuk pekerjaan tersebut di tabel Pekerjaan terbaru . Tautan Batalkan tidak tersedia untuk pekerjaan yang sudah selesai.

Coba lagi pekerjaan ekspor

Jika pekerjaan ekspor tidak berhasil diselesaikan, Anda dapat mencoba kembali ekspor dengan membuat pekerjaan ekspor baru. Pekerjaan baru hanya menyalin file yang tidak disalin selama pekerjaan sebelumnya.

Percobaan ulang dapat menjadi umum ketika Anda mencoba mengekspor data dari sistem file aktif di mana data sering berubah. Untuk mempelajari selengkapnya tentang skenario ini, lihat Menjalankan pekerjaan ekspor di sistem file aktif.

Menjalankan pekerjaan ekspor pada sistem file yang aktif

Dalam sistem file aktif, perubahan pada file selama pekerjaan ekspor dapat menyebabkan pekerjaan gagal. Status kegagalan ini menunjukkan bahwa tidak semua data dalam sistem file diekspor ke Blob Storage. Dalam situasi ini, coba lagi ekspor dengan membuat tugas ekspor baru. Pekerjaan baru hanya menyalin file yang tidak disalin di pekerjaan sebelumnya.

Dalam sistem file dengan banyak aktivitas, percobaan ulang mungkin gagal beberapa kali karena file sering berubah. Untuk memverifikasi bahwa file berhasil diekspor ke Blob Storage, periksa stempel waktu pada blob yang sesuai. Setelah pekerjaan selesai, Anda juga dapat melihat kontainer pengelogan yang Anda konfigurasikan pada waktu penyebaran untuk melihat informasi terperinci tentang pekerjaan ekspor. Kontainer pengelogan menyediakan informasi diagnostik tentang file mana yang gagal, dan mengapa gagal.

Jika Anda bersiap untuk menarik kluster dari layanan dan ingin melakukan ekspor akhir ke Blob Storage, pastikan bahwa semua aktivitas I/O dihentikan sebelum Anda memulai pekerjaan ekspor. Pendekatan ini membantu menjamin bahwa semua data diekspor, karena menghindari kesalahan karena aktivitas sistem file.

Pelajari tentang metadata untuk file yang diekspor

Saat Anda mengekspor file dari sistem file Azure Managed Lustre ke kontainer blob, pekerjaan ekspor menyimpan metadata tambahan untuk menyederhanakan mengimpor ulang konten ke sistem file.

Tabel berikut mencantumkan atribut POSIX dari sistem file Lustre yang disimpan oleh pekerjaan ekspor dalam metadata blob sebagai pasangan kunci/nilai:

Atribut POSIX Type
owner int
group int
permissions oktal atau format rwxrwxrwx; bit lengket didukung

Pekerjaan ekspor menyimpan atribut direktori dalam blob kosong. Blob ini memiliki nama yang sama dengan jalur direktori dan berisi pasangan kunci/nilai berikut dalam metadata blob: hdi_isfolder : true.

Anda dapat memodifikasi atribut POSIX secara manual sebelum menggunakan kontainer untuk menghidrasi kluster Lustre baru. Edit atau tambahkan metadata blob dengan menggunakan pasangan kunci/nilai yang dijelaskan sebelumnya.

Menyalin kontainer blob Lustre dengan azcopy atau Storage Explorer

Anda dapat memindahkan atau menyalin kontainer blob yang digunakan sistem file Lustre dengan menggunakan azcopy atau Storage Explorer.

Untuk azcopy, Anda dapat menyertakan atribut direktori dengan menambahkan bendera berikut:

--include-directory-stub

Saat Anda menyertakan bendera ini, atribut POSIX direktori dipertahankan selama transfer (misalnya, , ownergroup, dan permissions). Jika Anda menggunakan azcopy pada kontainer penyimpanan tanpa bendera ini, atau dengan bendera diatur ke false, transfer menyertakan data dan direktori. Namun, direktori tidak mempertahankan atribut POSIX-nya.

Di Storage Explorer, Anda dapat mengaktifkan bendera ini di Pengaturan dengan memilih Transfer dan memilih kotak untuk Sertakan Stub Direktori.

Cuplikan layar yang memperlihatkan cara menyertakan stub direktori selama transfer di Storage Explorer.

Ekspor otomatis

Fitur ekspor otomatis untuk Azure Managed Lustre adalah kemampuan yang secara otomatis menyinkronkan perubahan dalam sistem file Azure Managed Lustre Anda dengan kontainer Azure Blob Storage yang ditautkan.

Dengan menggunakan fitur ini, Anda dapat membantu memastikan bahwa file baru dan yang dimodifikasi dalam sistem file tercermin dalam kontainer Blob Storage terkait tanpa intervensi manual. Fitur ini menyederhanakan manajemen data dan meningkatkan sinkronisasi untuk penyimpanan jangka panjang.

Fungsionalitas ekspor otomatis

Ekspor otomatis berfungsi dengan terus memantau perubahan dalam sistem file Azure Managed Lustre. Berdasarkan kebijakan ekspor yang Anda konfigurasi, konten kontainer Blob Storage terkait diperbarui untuk mencerminkan perubahan ini. Fitur ini menyediakan proses yang mulus dan otomatis untuk mereplikasi data.

Berikut cara ekspor otomatis menangani berbagai jenis perubahan:

  • Pembuatan file baru, direktori baru, dan perubahan konten file: Proses integrasi blob mengidentifikasi file baru, direktori baru, dan data yang berubah. Ini memulai pekerjaan ekspor secara otomatis. Ekspor otomatis memastikan bahwa versi terbaru file ditransfer ke Blob Storage.

Ekspor otomatis berfungsi melalui iterasi ekspor berkelanjutan. Ketika iterasi selesai, proses integrasi blob memindai sistem file untuk setiap file, direktori, atau perubahan konten baru. Ini memulai iterasi baru dari pekerjaan ekspor.

Log pekerjaan ekspor di kontainer pengelogan yang dikonfigurasi dapat membantu Anda mengidentifikasi masalah sinkronisasi dan memahami mengapa operasi gagal.

Konfigurasikan ekspor otomatis

Aktifkan ekspor otomatis pada sistem file Azure Managed Lustre yang ada yang memiliki kontainer Blob Storage terkait yang dikonfigurasi. Anda dapat mengonfigurasi ekspor otomatis dengan menggunakan pengaturan integrasi Blob di portal Microsoft Azure.

Untuk membuat pekerjaan ekspor otomatis baru, ikuti langkah-langkah berikut:

  1. Di portal Microsoft Azure, buka sistem file Azure Managed Lustre Anda. Di bagian Pengaturan, pilih Integrasi Blob.

  2. Pilih + Buat pekerjaan baru.

  3. Di menu dropdown Jenis Pekerjaan , pilih Ekspor Otomatis.

  4. Di bidang Jalur sistem file , tentukan jalur direktori dengan memasukkan string.

Sistem terus mengekspor semua file baru atau yang diubah dalam sistem file di bawah jalur ini (awalan). Sistem menulis file ke kontainer blob dengan jalur file yang sama (atau awalan) seperti di sistem file Lustre. Satu-satunya pengecualian adalah jika file Lustre Anda diimpor dari jalur tersebut di kontainer blob.

Cuplikan layar panel integrasi blob untuk Azure Managed Lustre yang memperlihatkan cara membuat pekerjaan impor atau ekspor.

Memantau dan mengelola ekspor otomatis

Gunakan portal Azure untuk memantau aktivitas ekspor otomatis dan mengelola konfigurasi.

Panel integrasi Blob menampilkan detail aktivitas ekspor di bagian Pekerjaan terbaru , termasuk status pekerjaan dan metrik terbaru yang terkait dengan sinkronisasi otomatis.

Untuk membatalkan pekerjaan dalam proses, pilih tautan Batalkan untuk pekerjaan tersebut di tabel Pekerjaan terbaru . Tautan Batalkan hanya tersedia untuk pekerjaan saat ini.

Untuk melihat metrik pekerjaan ekspor otomatis, pilih nilai Nama pekerjaan. Panel Metrik muncul di panel samping di portal.

Cuplikan layar yang memperlihatkan panel integrasi Blob dengan detail pekerjaan.

Metrik ekspor otomatis

Di portal, metrik dikelompokkan ke dalam dua kategori utama: Keseluruhan dan Iterasi Saat Ini.

Statistik keseluruhan

Statistik setelah mengaktifkan Ekspor Otomatis

Total Berkas yang Diekspor

Jumlah file berhasil disalin ke kontainer blob terkait setelah mengaktifkan ekspor otomatis.

Total MiB yang Diekspor

Ukuran file agregat (dalam MiB) berhasil disalin ke kontainer blob terkait setelah Anda mengaktifkan ekspor otomatis.

Perulangan Selesai

Jumlah frekuensi proses integrasi blob saat mengidentifikasi data baru atau yang mengalami perubahan dan memulai pekerjaan ekspor baru.

Perulangan Terakhir yang Berhasil

Stempel waktu selesai dari iterasi terakhir yang berhasil mengekspor semua data ke kontainer blob terkait.

Statistik Perulangan Saat Ini

Statistik tentang aktivitas saat ini

File Ditemukan

Jumlah file yang sedang diekspor oleh tugas ekspor saat ini, termasuk file yang sudah berhasil disalin ke dalam kontainer blob terkait pada iterasi ini.*

MiB Ditemukan

Ukuran file agregat di MiB yang saat ini diekspor oleh pekerjaan ekspor, termasuk file yang sudah berhasil disalin ke kontainer blob terkait dalam iterasi ini.*

File yang Diekspor

Jumlah total file baru dan yang diubah berhasil disalin dengan sukses ke kontainer blob terkait.

MiB Diekspor

Ukuran total file dalam MiB dari data baru dan yang diubah yang berhasil disalin ke kontainer blob terkait.

File Gagal

Jumlah total file yang gagal disalin selama iterasi saat ini. Pilih tautan ini untuk masuk ke halaman Kontainer Pengelogan untuk melihat log yang terkait dengan pekerjaan ekspor otomatis ini.

* Metrik untuk iterasi yang sedang berlangsung saat ini menunjukkan hasil sejauh ini. Misalnya, Files Discovered adalah jumlah file yang ditemukan untuk diekspor pada saat pelaporan. Siklus pelaporan berikutnya mungkin menunjukkan bahwa lebih banyak file ditemukan.

Pertimbangan dan praktik terbaik untuk ekspor otomatis

Saat Anda menggunakan fitur ekspor otomatis, pertimbangkan praktik terbaik berikut untuk memastikan operasi yang lancar:

  • Manajemen konflik: Jika file dimodifikasi dalam sistem file dan Blob Storage, terdapat risiko penimpaan. Gunakan koordinasi tingkat aplikasi untuk mencegah pengeditan yang bertentangan.
  • Nonaktifkan ekspor otomatis sebelum penghapusan: Sebelum Anda menghapus sistem file atau proses integrasi blob-nya, pastikan bahwa semua pembaruan antrean disinkronkan. Verifikasi bahwa Waktu Perulangan Terakhir Berhasil adalah terbaru dan metrik File Gagal adalah nol untuk menghindari kehilangan data. Kemudian, nonaktifkan ekspor otomatis.

Konten terkait

  • Terakhir diperbarui pada