Menggunakan URI Azure Data Lake Storage Gen2

  • Artikel

Driver Hadoop Filesystem yang kompatibel dengan Azure Data Lake Storage Gen2 terkenal dengan pengidentifikasi skema abfs-nya (Azure Blob File System). Konsisten dengan driver Hadoop Filesystem lainnya, driver ABFS menggunakan format URI untuk mengatasi file dan direktori dalam akun yang diaktifkan Data Lake Storage Gen2.

Sintaks URI

Driver Azure Blob File System dapat digunakan dengan titik akhir Data Lake Storage akun meskipun akun tersebut tidak mengaktifkan namespace hierarkis. Jika akun penyimpanan tidak memiliki namespace hierarkis, maka sintaks URI singkatnya adalah:

abfs[s]1://<file_system>2@<account_name>3.dfs.core.windows.net/<path>4/<file_name>5

  1. Pengidentifikasi skema: Protokol abfs digunakan sebagai pengidentifikasi skema. Jika Anda menambahkan s di akhir (abfss) maka driver klien ABFS Hadoop akan selalu menggunakan Transport Layer Security (TLS) terlepas dari metode autentikasi yang dipilih. Jika Anda memilih OAuth sebagai autentikasi Anda, maka driver klien akan selalu menggunakan TLS meskipun Anda menentukan abfs alih-alih abfss karena OAuth hanya bergantung pada lapisan TLS. Terakhir, jika Anda memilih untuk menggunakan metode kunci akun penyimpanan yang lebih lama, maka driver klien menafsirkan abfs artinya Anda tidak ingin menggunakan TLS.

  2. Sistem file: Lokasi induk yang menyimpan file dan folder. Ini sama dengan kontainer di Azure Storage Blob service.

  3. Nama akun: Nama yang ditentukan untuk akun penyimpanan Anda selama pembuatan.

  4. Jalur: Representasi batasan garis miring ke depan (/) dari struktur direktori.

  5. Nama file: Nama file individual. Parameter ini bersifat opsional jika Anda menangani direktori.

Namun, jika akun yang ingin Anda alamat memang memiliki namespace hierarkis, maka sintaks URI singkatnya adalah:

/<path>1/<file_name>2

  1. Jalur: Representasi batasan garis miring ke depan (/) dari struktur direktori.

  2. Nama File: Nama file individual.

Langkah berikutnya