Tambahkan target penyimpanan

Target penyimpanan adalah penyimpanan belakang untuk file yang diakses melalui Azure HPC Cache. Anda dapat menambahkan penyimpanan NFS (seperti sistem perangkat keras di lokasi), atau menyimpan data di Blob Azure.

Cache menyajikan semua target penyimpanan dalam satu ruang nama agregat. Jalur namespace dikonfigurasi secara terpisah setelah Anda menambahkan target penyimpanan.

Ingatlah bahwa ekspor penyimpanan harus dapat diakses dari jaringan virtual cache Anda. Untuk penyimpanan perangkat keras di lokasi, Anda mungkin perlu menyiapkan server DNS yang dapat menyelesaikan nama host untuk akses penyimpanan NFS. Baca lebih lanjut di akses DNS.

Tambahkan target penyimpanan setelah membuat cache Anda. Ikuti proses ini:

1. Membuat cache
2. Tentukan target penyimpanan (informasi dalam artikel ini)
3. Buat jalur yang menghadap klien (untuk namespace teragregasi)

Prosedur untuk menambahkan target penyimpanan sedikit berbeda tergantung pada jenis penyimpanan yang digunakan. Rincian untuk masing-masing ada di bawah ini.

Pilih jenis sasaran penyimpanan yang tepat

Anda dapat memilih dari tiga jenis target penyimpanan: NFS, Blob, dan ADLS-NFS. Pilih jenis yang sesuai dengan jenis sistem penyimpanan yang akan Anda gunakan untuk menyimpan file Anda selama proyek HPC Cache ini.

• NFS - Buat target penyimpanan NFS untuk mengakses data pada sistem penyimpanan terpasang jaringan (NAS). Sistem penyimpanan ini bisa berupa sistem penyimpanan di tempat atau jenis penyimpanan lain yang dapat diakses dengan NFS.

  • Persyaratan: persyaratan penyimpanan NFS
  • Instruksi: Tambahkan target penyimpanan NFS baru

• Blob - Gunakan target penyimpanan blob untuk menyimpan file kerja Anda dalam wadah Blob Azure baru. Kontainer ini hanya dapat dibaca atau ditulis dari Azure HPC Cache.

  • Prasyarat: Persyaratan penyimpanan Blob
  • Instruksi: Tambahkan target penyimpanan Azure Blob baru

• ADLS-NFS - Target penyimpanan ADLS-NFS mengakses data dari container Blob yang mendukung NFS. Anda dapat memuat awal wadah dengan menggunakan perintah NFS standar, dan file tersebut dapat dibaca nanti dengan NFS.

  • Prasyarat: ADLS-NFS storage requirements
  • Petunjuk: Tambahkan target penyimpanan ADLS-NFS baru

Tambahkan target penyimpanan Azure Blob baru

Sebuah target penyimpanan Blob baru memerlukan wadah Blob kosong atau wadah yang terisi dengan data dalam format sistem file cloud Azure HPC Cache. Baca lebih lanjut tentang pra-memuat kontainer Blob dalam Memindahkan data ke penyimpanan Azure Blob.

Halaman portal Azure Tambahkan target penyimpanan mencakup opsi untuk membuat kontainer Blob baru tepat sebelum Anda menambahkannya.

Catatan

• Untuk penyimpanan blob dengan NFS-mount, gunakan jenis sasaran penyimpanan ADLS-NFS.
• Konfigurasi cache throughput tinggi tidak mendukung target penyimpanan Azure Blob standar. Gunakan penyimpanan blob yang mendukung NFS (ADLS-NFS) sebagai gantinya.

Portal

Dari portal Azure, buka instance cache Anda dan klik Target penyimpanan di bilah sisi kiri.

Halaman Storage targets mencantumkan semua target yang ada dan memberikan tautan untuk menambahkan yang baru.

Klik tombol Tambah target penyimpanan.

Untuk mendefinisikan wadah Azure Blob, masukkan informasi ini.

• Storage target name - Tentukan nama yang mengidentifikasi target penyimpanan ini di Azure HPC Cache.

• Jenis target - Pilih Blob.

• Akun penyimpanan - Pilih akun yang ingin Anda gunakan.

  Anda perlu memberikan izin kepada instance cache untuk mengakses akun penyimpanan seperti dijelaskan di dalam Menambahkan peran akses.

  Untuk informasi tentang jenis akun penyimpanan yang dapat Anda gunakan, baca persyaratan penyimpanan Blob.

• Kontainer Penyimpanan - Pilih kontainer Blob untuk target ini, atau klik Buat baru.

  

Setelah selesai, klik OK untuk menambahkan target penyimpanan.

Catatan

Jika firewall akun penyimpanan Anda diatur untuk membatasi akses hanya ke "jaringan yang dipilih," gunakan solusi sementara yang didokumentasikan di Menangani pengaturan firewall akun penyimpanan Blob.

Tambahkan peran kontrol akses ke akun Anda

Azure HPC Cache menggunakan kontrol akses berbasis peran Azure (Azure RBAC) untuk mengotorisasi layanan cache mengakses akun penyimpanan Anda untuk target penyimpanan Azure Blob.

Pemilik akun penyimpanan harus secara eksplisit menambahkan peran Kontributor Akun Penyimpanan dan Kontributor Data Blok Penyimpanan untuk pengguna "Penyedia Sumber Daya HPC Cache".

Anda dapat melakukan ini sebelumnya, atau dengan mengklik tautan di halaman portal tempat Anda menambahkan target penyimpanan Blob. Perlu diingat bahwa dapat memerlukan waktu hingga lima menit agar pengaturan peran tersebar melalui lingkungan Azure. Tunggu beberapa menit setelah menambahkan peran sebelum membuat target penyimpanan.

1. Buka Kontrol akses (IAM) untuk akun penyimpanan Anda.

2. Pilih Add>Tambahkan penugasan peran untuk membuka halaman Tambahkan penugasan peran.

3. Tetapkan peran berikut, satu per satu. Untuk langkah-langkah terperinci, lihat Menetapkan peran Azure menggunakan portal Azure.

   Pengaturan	Nilai
   Peranan	Kontributor Akun Penyimpanan Kontributor Data untuk Blob Penyimpanan
   Tetapkan akses ke	Penyedia Sumber Daya Cache HPC atau Penyedia Sumber Daya Cache Penyimpanan

   

Azure CLI

Prasyarat: Akses akun penyimpanan

Siapkan Azure CLI untuk Azure HPC Cache.

Sebelum Anda menambahkan target penyimpanan blob, periksa apakah cache memiliki peran yang benar untuk mengakses akun penyimpanan, dan bahwa pengaturan firewall akan memungkinkan pembuatan target penyimpanan.

Azure HPC Cache menggunakan kontrol akses berbasis peran Azure (Azure RBAC) untuk mengotorisasi layanan cache mengakses akun penyimpanan Anda untuk target penyimpanan Azure Blob.

Pemilik akun penyimpanan harus secara eksplisit menambahkan peran Kontributor Akun Penyimpanan dan Kontributor Data Blok Penyimpanan untuk pengguna "Penyedia Sumber Daya HPC Cache".

Pembuatan target penyimpanan akan gagal jika cache tidak memiliki peran-peran ini.

Diperlukan waktu hingga lima menit agar pengaturan peran menyebar melalui lingkungan Azure, jadi Anda sebaiknya menunggu beberapa menit setelah menambahkan peran sebelum membuat target penyimpanan.

Baca Tambah atau hapus penugasan peran Azure menggunakan Azure CLI untuk instruksi terperinci.

Juga periksa pengaturan firewall akun penyimpanan Anda. Jika firewall disetel untuk membatasi akses hanya ke "jaringan yang dipilih", pembuatan target penyimpanan mungkin gagal. Gunakan solusi alternatif yang didokumentasikan dalam Mengatasi pengaturan firewall akun penyimpanan Blob.

Tambahkan target penyimpanan blob dengan Azure CLI

Gunakan antarmuka az hpc-cache blob-storage-target add untuk mendefinisikan target penyimpanan Azure Blob.

Catatan

Perintah Azure CLI saat ini mengharuskan Anda membuat jalur namespace ketika Anda menambahkan target penyimpanan. Ini berbeda dari proses yang digunakan dengan antarmuka portal Azure.

Selain parameter grup sumber daya dan nama cache standar, Anda harus menyediakan opsi ini untuk target penyimpanan:

• --name - Tetapkan nama yang mengidentifikasi target penyimpanan ini di Azure HPC Cache.

• --storage-account - Pengidentifikasi akun, dalam bentuk ini: /subscriptions/<subscription_id>/resourceGroups/<storage_resource_group>/providers/Microsoft.Storage/storageAccounts/<account_name>

  Untuk informasi tentang jenis akun penyimpanan yang dapat Anda gunakan, baca persyaratan penyimpanan Blob.

• --container-name - Tentukan nama wadah yang akan digunakan untuk target penyimpanan ini.

• --virtual-namespace-path - Tetapkan jalur file yang menghadap klien untuk target penyimpanan ini. Lampirkan jalur dengan tanda kutip. Baca Plan the aggregated namespace untuk mempelajari lebih lanjut tentang fitur namespace virtual.

Perintah contoh

az hpc-cache blob-storage-target add --resource-group "hpc-cache-group" \
    --cache-name "cache1" --name "blob-target1" \
    --storage-account "/subscriptions/<subscriptionID>/resourceGroups/myrgname/providers/Microsoft.Storage/storageAccounts/myaccountname" \
    --container-name "container1" --virtual-namespace-path "/blob1"

Tambahkan target penyimpanan NFS baru

Sasaran penyimpanan NFS memiliki pengaturan yang berbeda dari sasaran penyimpanan Blob, termasuk pengaturan model penggunaan yang memberi tahu cache cara menyimpan data dari sistem penyimpanan ini.

Catatan

Sebelum Anda membuat target penyimpanan NFS, pastikan sistem penyimpanan Anda dapat diakses dari Azure HPC Cache dan memenuhi persyaratan izin. Pembuatan target penyimpanan akan gagal jika cache tidak dapat mengakses sistem penyimpanan. Baca persyaratan penyimpanan NFS dan atasi masalah konfigurasi NAS dan masalah target penyimpanan NFS untuk detailnya.

Pilih model penggunaan

Ketika Anda membuat target penyimpanan yang menggunakan NFS untuk mengakses sistem penyimpanannya, Anda perlu memilih model penggunaan untuk target tersebut. Model ini menentukan bagaimana data Anda disimpan dalam cache.

Baca Pahami model penggunaan untuk detail lebih lanjut tentang semua pengaturan ini.

Model penggunaan bawaan HPC Cache memungkinkan Anda memilih cara menyeimbangkan respons cepat dengan risiko mendapatkan data yang sudah usang. Jika Anda ingin mengoptimalkan kecepatan untuk membaca file, Anda mungkin tidak peduli apakah file di cache diperiksa terhadap file di back-end. Sebagai alternatif, jika Anda ingin memastikan file Anda selalu diperbarui dengan penyimpanan jarak jauh, pilihlah model yang sering memeriksa.

Catatan

Cache bergaya throughput tinggi hanya mendukung cache pembacaan.

Ketiga opsi ini mencakup sebagian besar situasi:

• Baca berat, tulis tidak sering - Mempercepat akses baca ke file yang statis atau jarang diubah.

  Opsi ini menyimpan file dari pembacaan klien, tetapi langsung meneruskan penulisan klien ke penyimpanan di belakang. File yang disimpan dalam cache tidak secara otomatis dibandingkan dengan file pada volume penyimpanan NFS.

  Jangan gunakan opsi ini jika ada risiko file mungkin diubah langsung pada sistem penyimpanan tanpa terlebih dahulu menulisnya ke dalam cache. Jika itu terjadi, versi file yang disimpan dalam cache tidak akan sinkron dengan file back-end.

• Lebih dari 15% penulisan - Opsi ini mempercepat kinerja baca dan tulis.

  Pembacaan klien dan penulisan klien keduanya di-cache. File dalam cache diasumsikan lebih baru daripada file di sistem penyimpanan belakang. Berkas yang di-cache hanya diperiksa secara otomatis terhadap berkas di penyimpanan back-end setiap delapan jam sekali. File yang dimodifikasi dalam cache akan ditulis ke sistem penyimpanan back-end setelah berada dalam cache selama satu jam tanpa ada perubahan lain.

  Jangan gunakan opsi ini jika ada klien yang memasang volume penyimpanan back-end secara langsung, karena ada risiko berkas tersebut usang.

• Klien menulis ke target NFS, melewati cache - Pilih opsi ini jika ada klien dalam alur kerja Anda yang menulis data langsung ke sistem penyimpanan tanpa terlebih dahulu menulis ke cache, atau jika Anda ingin mengoptimalkan konsistensi data.

  File yang diminta oleh klien di-cache, tetapi setiap perubahan pada file-file tersebut dari klien langsung diteruskan ke sistem penyimpanan back-end. File di dalam cache sering diperiksa secara berkala terhadap versi back-end untuk pembaruan. Verifikasi ini mempertahankan konsistensi data ketika file diubah langsung pada sistem penyimpanan alih-alih melalui cache.

Untuk detail tentang opsi lainnya, baca Pahami model penggunaan.

Tabel ini merangkum perbedaan di antara semua model penggunaan.

Model Penggunaan	Mode Penyimpanan Sementara	Pengatur Waktu Verifikasi	Pengatur waktu tulis balik
Peng-cache-an hanya-baca	Baca	30 detik	Tidak ada
Caching baca-tulis	Baca/tulis	8 jam	1 jam

Catatan

Nilai Back-end verification muncul ketika cache secara otomatis membandingkan file-file-nya dengan file sumber di penyimpanan jarak jauh. Namun, Anda dapat memicu perbandingan dengan mengirimkan permintaan klien yang mencakup operasi readdirplus pada sistem penyimpanan backend. Readdirplus adalah API NFS standar (juga disebut pembacaan diperluas) yang mengembalikan metadata direktori, yang menyebabkan cache membandingkan dan memperbarui file.

Buat target penyimpanan NFS

Portal

Dari portal Azure, buka instance cache Anda dan klik Target penyimpanan di bilah sisi kiri.

Halaman Storage targets mencantumkan semua target yang ada dan memberikan tautan untuk menambahkan yang baru.

Klik tombol Tambah target penyimpanan.

Berikan informasi ini untuk target penyimpanan yang didukung NFS.

• Storage target name - Tentukan nama yang mengidentifikasi target penyimpanan ini di Azure HPC Cache.

• Jenis target - PilihNFS.

• Hostname - Masukkan alamat IP atau nama domain lengkap untuk sistem penyimpanan NFS Anda. (Gunakan nama domain hanya jika cache Anda memiliki akses ke server DNS yang dapat menyelesaikan nama tersebut.) Anda dapat memasukkan beberapa alamat IP jika sistem penyimpanan Anda direferensikan oleh beberapa IP.

• Model Penggunaan - Pilih salah satu profil caching data berdasarkan alur kerja Anda, yang dijelaskan di atas dalam Pilih model penggunaan.

Setelah selesai, klik OK untuk menambahkan target penyimpanan.

Azure CLI

Siapkan Azure CLI untuk Azure HPC Cache.

Gunakan perintah Azure CLI az hpc-cache nfs-storage-target add untuk membuat target penyimpanan.

Catatan

Perintah Azure CLI saat ini mengharuskan Anda membuat jalur namespace ketika Anda menambahkan target penyimpanan. Ini berbeda dari proses yang digunakan dengan antarmuka portal Azure.

Harap berikan nilai-nilai ini selain nama cache dan kelompok sumber daya cache.

• --name - Tetapkan nama yang mengidentifikasi target penyimpanan ini di Azure HPC Cache.

• --nfs3-target - Alamat IP dari sistem penyimpanan NFS Anda. Anda dapat menggunakan nama domain sepenuhnya yang memenuhi syarat di sini jika cache Anda memiliki akses ke server DNS yang dapat menyelesaikan nama tersebut.

• --nfs3-usage-model - Salah satu profil cache data, yang dijelaskan dalam Choose a usage model, di atas.

  Verifikasi nama model penggunaan dengan perintah az hpc-cache usage-model list.

• --junction - Parameter junction menghubungkan jalur file virtual yang menghadap klien dengan jalur ekspor pada sistem penyimpanan.

  Target penyimpanan NFS dapat memiliki beberapa jalur virtual, selama setiap jalur mewakili ekspor atau subdirektori yang berbeda pada sistem penyimpanan yang sama. Buat semua jalur untuk satu sistem penyimpanan pada satu target penyimpanan.

  Anda dapat menambah dan mengedit jalur namespace pada target penyimpanan kapan saja.

  Parameter --junction menggunakan nilai-nilai ini:

  • namespace-path - Jalur berkas virtual yang menghadap klien
  • nfs-export - Ekspor sistem penyimpanan untuk dihubungkan dengan jalur yang menghadap klien
  • target-path (opsional) - Subdirektori dari ekspor, jika diperlukan

  Contoh: --junction namespace-path="/nas-1" nfs-export="/datadisk1" target-path="/test"

  Baca Konfigurasi namespace teragregasi untuk mempelajari lebih lanjut tentang fitur namespace virtual.

Perintah contoh

az hpc-cache nfs-storage-target add --resource-group "hpc-cache-group" --cache-name "doc-cache0629" \
    --name nfsd1 --nfs3-target 10.0.0.4 --nfs3-usage-model WRITE_WORKLOAD_15 \
    --junction namespace-path="/nfs1/data1" nfs-export="/datadisk1" target-path=""

Keluaran:

{- Finished ..
  "clfs": null,
  "id": "/subscriptions/<subscriptionID>/resourceGroups/hpc-cache-group/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "hpc-cache-group",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}

Tambahkan target penyimpanan ADLS-NFS baru

Target penyimpanan ADLS-NFS menggunakan kontainer Azure Blob yang mendukung protokol Network File System (NFS) 3.0.

Bacalah dukungan protokol NFS 3.0 untuk mempelajari lebih lanjut tentang fitur ini.

Target penyimpanan ADLS-NFS memiliki beberapa kesamaan dengan target penyimpanan Blob dan beberapa dengan target penyimpanan NFS. Contohnya:

• Seperti target penyimpanan Blob, Anda perlu memberikan Azure HPC Cache izin untuk mengakses akun penyimpanan Anda.

• Seperti pada target penyimpanan NFS, Anda perlu mengatur model penggunaan cache .

• Karena kontainer blob yang mendukung NFS memiliki struktur hierarkis yang kompatibel dengan NFS, Anda tidak perlu menggunakan cache untuk menyerap data, dan kontainernya dapat dibaca oleh sistem NFS lainnya.

  Anda dapat memuat data sebelumnya ke dalam wadah ADLS-NFS, kemudian menambahkannya ke dalam HPC Cache sebagai target penyimpanan, dan kemudian mengakses data tersebut nanti dari luar HPC Cache. Ketika Anda menggunakan wadah blob standar sebagai target penyimpanan Cache HPC, data ditulis dalam format khusus dan hanya dapat diakses dari produk lain yang kompatibel dengan Azure HPC Cache.

Sebelum Anda dapat membuat target penyimpanan ADLS-NFS, Anda harus membuat akun penyimpanan yang mendukung NFS. Ikuti langkah-langkah di Prerequisites for Azure HPC Cache dan petunjuk di Mount Blob storage menggunakan NFS. Jika Anda tidak menggunakan jaringan virtual yang sama untuk cache dan akun penyimpanan, pastikan bahwa vnet dari cache dapat mengakses vnet dari akun penyimpanan.

Setelah akun penyimpanan Anda disiapkan, Anda dapat membuat kontainer baru saat Anda membuat target penyimpanan.

Baca Gunakan penyimpanan blob yang di-mount NFS dengan Azure HPC Cache untuk mempelajari lebih lanjut tentang konfigurasi ini.

Untuk membuat target penyimpanan ADLS-NFS, buka halaman Add storage target di portal Azure. (Metode lain sedang dalam pengembangan.)

Masukkan informasi ini.

• Storage target name - Tentukan nama yang mengidentifikasi target penyimpanan ini di Azure HPC Cache.

• Jenis target - Pilih ADLS-NFS.

• Akun penyimpanan - Pilih akun yang ingin Anda gunakan. Jika akun penyimpanan Anda yang diaktifkan NFS tidak muncul dalam daftar, periksa apakah itu sesuai dengan prasyarat dan bahwa cache dapat mengaksesnya.

  Anda perlu memberikan izin kepada instance cache untuk mengakses akun penyimpanan seperti dijelaskan di dalam Menambahkan peran akses.

• Wadah penyimpanan - Pilih wadah blob yang mendukung NFS untuk target ini, atau klik Buat baru.

• Model Penggunaan - Pilih salah satu profil caching data berdasarkan alur kerja Anda, yang dijelaskan di atas dalam Pilih model penggunaan.

Setelah selesai, klik OK untuk menambahkan target penyimpanan.

Lihat target penyimpanan

Anda dapat menggunakan portal Azure atau Azure CLI untuk menampilkan target penyimpanan yang sudah ditentukan untuk cache Anda.

Portal

Dari portal Azure, buka instans cache Anda dan klik Storage targets, yang ada di bawah tajuk Pengaturan pada bilah sisi kiri. Halaman target penyimpanan mencantumkan semua target yang ada serta kontrol untuk menambah atau menghapusnya.

Klik pada nama target penyimpanan untuk membuka halaman detailnya.

Baca Lihat dan kelola target penyimpanan dan Edit target penyimpanan untuk mempelajari lebih lanjut.

Azure CLI

Siapkan Azure CLI untuk Azure HPC Cache.

Gunakan opsi az hpc-cache storage-target list untuk menampilkan target penyimpanan yang ada untuk cache. Masukkan nama cache dan grup sumber daya (kecuali jika Anda sudah menetapkannya secara global).

az hpc-cache storage-target list --resource-group "scgroup" --cache-name "sc1"

Gunakan az hpc-cache storage-target show untuk melihat detail tentang target penyimpanan tertentu. (Tentukan target penyimpanan berdasarkan nama.)

Contoh

$ az hpc-cache storage-target show --cache-name doc-cache0629 --name nfsd1

{
  "clfs": null,
  "id": "/subscriptions/<subscription_ID>/resourceGroups/scgroup/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "scgroup",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}
$

Langkah selanjutnya

Setelah membuat target penyimpanan, lanjutkan dengan tugas-tugas ini untuk menyiapkan cache Anda siap digunakan:

• Menyiapkan namespace agregat
• Memasang cache Azure HPC
• Pindahkan data ke penyimpanan Azure Blob

Jika Anda perlu memperbarui pengaturan apa pun, Anda dapat mengedit target penyimpanan.