Share via

Memulai dengan Azure Data Lake Storage Gen1 menggunakan Azure CLI

  • Artikel

Catatan

Azure Data Lake Storage Gen1 sekarang dihentikan. Lihat pengumuman penghentian di sini. Data Lake Storage Gen1 sumber daya tidak lagi dapat diakses. Jika Anda memerlukan bantuan khusus, silakan hubungi kami.

Pelajari cara menggunakan Azure CLI untuk membuat akun Azure Data Lake Storage Gen1 dan melakukan operasi dasar seperti membuat folder, mengunggah, dan mengunduh file data, menghapus akun Anda, dll. Untuk informasi selengkapnya tentang Data Lake Storage Gen1, lihat Gambaran Umum Data Lake Storage Gen1.

Azure CLI adalah pengalaman baris perintah Azure untuk mengelola sumber daya Azure. Azure CLI dapat digunakan di macOS, Linux, dan Windows. Untuk informasi selengkapnya, lihat Gambaran Umum Azure CLI. Anda juga dapat melihat referensi Azure Data Lake Storage Gen1 CLI untuk daftar lengkap perintah dan sintaks.

Prasyarat

Sebelum memulai artikel ini, Anda harus memiliki yang berikut ini:

Autentikasi

Artikel ini menggunakan pendekatan autentikasi yang lebih sederhana dengan Data Lake Storage Gen1 tempat Anda masuk sebagai pengguna pengguna akhir. Tingkat akses ke akun dan sistem file Data Lake Storage Gen1 kemudian diatur oleh tingkat akses pengguna yang masuk. Namun, ada pendekatan lain untuk melakukan autentikasi dengan Data Lake Storage Gen1, yang merupakan autentikasi pengguna akhir atau autentikasi layanan ke layanan. Untuk instruksi dan informasi selengkapnya tentang cara mengautentikasi, lihat Autentikasi pengguna akhir atau Autentikasi layanan ke layanan.

Masuk ke langganan Azure Anda.

  1. Masuk ke langganan Azure Anda.

    az login

    Anda mendapatkan kode untuk digunakan di langkah berikutnya. Gunakan browser web untuk membuka halaman https://aka.ms/devicelogin dan memasukkan kode untuk mengautentikasi. Anda diminta untuk masuk menggunakan kredensial Anda.

  2. Setelah Anda masuk, jendela mencantumkan semua langganan Azure yang terkait dengan akun Anda. Gunakan perintah berikut untuk menggunakan langganan tertentu.

    az account set --subscription <subscription id>

Buat akun Azure Data Lake Storage Gen1

  1. Buat grup sumber daya baru. Dalam perintah berikut ini, berikan nilai parameter yang ingin Anda gunakan. Jika nama lokasi berisi spasi, masukkan ke dalam tanda kutip. Misalnya, "East US 2".

    az group create --location "East US 2" --name myresourcegroup

  2. Buat akun Data Lake Storage Gen1.

    az dls account create --account mydatalakestoragegen1 --resource-group myresourcegroup

Buat folder di akun Data Lake Storage Gen1

Anda dapat membuat folder di akun Azure Data Lake Storage Gen1 Anda untuk mengelola dan menyimpan data. Gunakan perintah berikut untuk membuat folder yang disebut mynewfolder di akar akun Data Lake Storage Gen1.

az dls fs create --account mydatalakestoragegen1 --path /mynewfolder --folder

Catatan

Parameter --folder memastikan bahwa perintah membuat folder. Jika parameter ini tidak ada, perintah membuat file kosong yang disebut mynewfolder di akar akun Data Lake Storage Gen1.

Unggah data ke akun Data Lake Storage Gen1

Anda dapat mengunggah data Anda ke akun Data Lake Storage Gen1 secara langsung di tingkat akar atau ke folder yang Anda buat di dalam akun. Cuplikan di bawah ini menunjukkan cara mengunggah beberapa data sampel ke folder(mynewfolder) yang Anda buat di bagian sebelumnya.

Jika Anda mencari data sampel untuk diunggah, Anda dapat mendapatkan folder Ambulance Data dari Repositori Git Azure Data Lake. Unduh file dan simpan di direktori lokal di komputer Anda, seperti C:\sampledata.

az dls fs upload --account mydatalakestoragegen1 --source-path "C:\SampleData\AmbulanceData\vehicle1_09142014.csv" --destination-path "/mynewfolder/vehicle1_09142014.csv"

Catatan

Untuk tujuan, Anda harus menentukan jalur lengkap termasuk nama file.

Buat daftar file di akun Data Lake Storage Gen1

Gunakan perintah berikut untuk mencantumkan file di akun Gen1 Penyimpanan Data Lake.

az dls fs list --account mydatalakestoragegen1 --path /mynewfolder

Output Anda harus sama dengan berikut ini.

[
    {
        "accessTime": 1491323529542,
        "aclBit": false,
        "blockSize": 268435456,
        "group": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
        "length": 1589881,
        "modificationTime": 1491323531638,
        "msExpirationTime": 0,
        "name": "mynewfolder/vehicle1_09142014.csv",
        "owner": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
        "pathSuffix": "vehicle1_09142014.csv",
        "permission": "770",
        "replication": 1,
        "type": "FILE"
    }
]

Ubah nama, unduh, dan hapus data dari akun Data Lake Storage Gen1

  • Untuk mengganti nama file, gunakan perintah berikut:

    az dls fs move --account mydatalakestoragegen1 --source-path /mynewfolder/vehicle1_09142014.csv --destination-path /mynewfolder/vehicle1_09142014_copy.csv

  • Untuk mengunduh file, gunakan perintah berikut. Pastikan jalur tujuan yang Anda tentukan sudah ada.

    az dls fs download --account mydatalakestoragegen1 --source-path /mynewfolder/vehicle1_09142014_copy.csv --destination-path "C:\mysampledata\vehicle1_09142014_copy.csv"

    Catatan

    Perintah membuat folder tujuan jika tidak ada.

  • Untuk menghapus file, gunakan perintah berikut:

    az dls fs delete --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014_copy.csv

    Jika Anda ingin menghapus folder mynewfolder dan file vehicle1_09142014_copy.csv secara bersamaan dalam satu perintah, gunakan parameter --recurse

    az dls fs delete --account mydatalakestoragegen1 --path /mynewfolder --recurse

Bekerja dengan izin dan ACL untuk akun Data Lake Storage Gen1

Di bagian ini Anda mempelajari cara mengelola ACL dan izin menggunakan Azure CLI. Untuk diskusi terperinci tentang cara ACL diterapkan di Azure Data Lake Storage Gen1, lihat Kontrol akses di Azure Data Lake Storage Gen1.

  • Untuk memperbarui pemilik file/folder, gunakan perintah berikut:

    az dls fs access set-owner --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv --group 80a3ed5f-959e-4696-ba3c-d3c8b2db6766 --owner 6361e05d-c381-4275-a932-5535806bb323

  • Untuk memperbarui izin file/folder, gunakan perintah berikut:

    az dls fs access set-permission --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv --permission 777

  • Untuk mendapatkan ACL untuk jalur tertentu, gunakan perintah berikut:

    az dls fs access show --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv

    Output harus sama dengan berikut ini.

    {
    "entries": [
    "user::rwx",
    "group::rwx",
    "other::---"
    ],
    "group": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
    "owner": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
    "permission": "770",
    "stickyBit": false
}

  • Untuk mengatur entri untuk ACL, gunakan perintah berikut:

    az dls fs access set-entry --account mydatalakestoragegen1 --path /mynewfolder --acl-spec user:6360e05d-c381-4275-a932-5535806bb323:-w-

  • Untuk menghapus entri untuk ACL, gunakan perintah berikut:

    az dls fs access remove-entry --account mydatalakestoragegen1 --path /mynewfolder --acl-spec user:6360e05d-c381-4275-a932-5535806bb323

  • Untuk menghapus seluruh ACL default, gunakan perintah berikut:

    az dls fs access remove-all --account mydatalakestoragegen1 --path /mynewfolder --default-acl

  • Untuk menghapus seluruh ACL non default, gunakan perintah berikut:

    az dls fs access remove-all --account mydatalakestoragegen1 --path /mynewfolder

Hapus akun Data Lake Storage Gen1

Gunakan perintah berikut untuk menghapus akun Data Lake Storage Gen1.

az dls account delete --account mydatalakestoragegen1

Jika diminta, masukkan Y untuk menghapus akun.

Langkah berikutnya