Mulai menggunakan Data Lake Storage Gen1 dengan Azure PowerShell
Catatan
Azure Data Lake Storage Gen1 sekarang dihentikan. Lihat pengumuman penghentian di sini. Sumber daya Data Lake Storage Gen1 tidak lagi dapat diakses.
Pelajari cara menggunakan Azure PowerShell untuk membuat akun Data Lake Storage Gen1 dan melakukan operasi dasar seperti membuat folder, mengunggah, dan mengunduh file data, menghapus akun Anda, dll. Untuk informasi selengkapnya tentang Data Lake Storage Gen1, lihat Ringkasan Data Lake Storage Gen1.
Prasyarat
Catatan
Sebaiknya Anda menggunakan modul Azure Az PowerShell untuk berinteraksi dengan Azure. Lihat Menginstal Azure PowerShell untuk memulai. Untuk mempelajari cara bermigrasi ke modul Az PowerShell, lihat Memigrasikan Azure PowerShell dari AzureRM ke Az.
- Langganan Azure. Lihat Mendapatkan uji coba gratis Azure.
- Azure PowerShell 1.0 atau yang lebih baru. Lihat Cara menginstal dan mengonfigurasikan Azure PowerShell.
Autentikasi
Artikel ini menggunakan pendekatan autentikasi yang lebih sederhana dengan Data Lake Storage Gen1 di mana Anda diminta untuk memasukkan kredensial akun Azure Anda. Tingkat akses ke akun Data Lake Storage Gen1 dan sistem file kemudian diatur oleh tingkat akses pengguna yang masuk. Namun, ada pendekatan lain untuk melakukan autentikasi dengan Data Lake Storage Gen1, yang merupakan autentikasi pengguna akhir atau autentikasi layanan ke layanan. Untuk instruksi dan informasi selengkapnya tentang cara mengautentikasi, lihat Autentikasi pengguna akhir atau Autentikasi layanan ke layanan.
membuat akun Data Lake Storage Gen1
Dari desktop Anda, buka jendela Windows PowerShell baru. Masukkan cuplikan berikut untuk masuk ke akun Azure Anda, mengatur langganan, dan mendaftarkan penyedia Data Lake Storage Gen1. Jika diminta untuk masuk, pastikan Anda masuk sebagai salah satu administrator/pemilik langganan:
# Log in to your Azure account Connect-AzAccount # List all the subscriptions associated to your account Get-AzSubscription # Select a subscription Set-AzContext -SubscriptionId <subscription ID> # Register for Azure Data Lake Storage Gen1 Register-AzResourceProvider -ProviderNamespace "Microsoft.DataLakeStore"
Akun Data Lake Storage Gen1 dikaitkan dengan grup sumber daya Azure. Memulai dengan membuat grup sumber daya.
$resourceGroupName = "<your new resource group name>" New-AzResourceGroup -Name $resourceGroupName -Location "East US 2"
Membuat akun Data Lake Storage Gen1. Nama yang Anda tentukan hanya boleh berisi huruf kecil dan angka.
$dataLakeStorageGen1Name = "<your new Data Lake Storage Gen1 account name>" New-AzDataLakeStoreAccount -ResourceGroupName $resourceGroupName -Name $dataLakeStorageGen1Name -Location "East US 2"
Pastikan bahwa akun berhasil dibuat.
Test-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name
Output untuk cmdlet harus Benar.
Membuat struktur direktori
Anda dapat membuat direktori pada akun Data Lake Storage Gen1 Anda untuk mengelola dan menyimpan data.
Tentukan direktori akar.
$myrootdir = "/"
Membuat direktori baru yang disebut mynewdirectory pada akar yang ditentukan.
New-AzDataLakeStoreItem -Folder -AccountName $dataLakeStorageGen1Name -Path $myrootdir/mynewdirectory
Pastikan bahwa direktori baru berhasil dibuat.
Get-AzDataLakeStoreChildItem -AccountName $dataLakeStorageGen1Name -Path $myrootdir
Ini akan menampilkan output seperti yang ditunjukkan pada cuplikan layar berikut:
Menggunggah data
Anda dapat mengunggah data Anda ke akun Data Lake Storage Gen1 secara langsung di tingkat akar atau ke direktori yang Anda buat di dalam akun. Cuplikan di bagian ini menunjukkan cara mengunggah beberapa data sampel ke direktori (mynewdirectory) yang Anda buat di bagian sebelumnya.
Jika Anda mencari data sampel untuk diunggah, Anda bisa mendapatkan folder Ambulance Data dari Repositori Git Azure Data Lake. Unduh file dan simpan di direktori lokal di komputer Anda, seperti C:\sampledata.
Import-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
-Path "C:\sampledata\vehicle1_09142014.csv" `
-Destination $myrootdir\mynewdirectory\vehicle1_09142014.csv
Mengganti nama, mengunduh, dan menghapus data
Untuk mengganti nama file, gunakan perintah berikut:
Move-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
-Path $myrootdir\mynewdirectory\vehicle1_09142014.csv `
-Destination $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv
Untuk mengunduh file, gunakan perintah berikut:
Export-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
-Path $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv `
-Destination "C:\sampledata\vehicle1_09142014_Copy.csv"
Untuk menghapus file, gunakan perintah berikut:
Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
-Paths $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv
Jika diminta, masukkan Y untuk menghapus item. Jika Anda memiliki lebih dari satu file untuk dihapus, Anda dapat menyediakan semua jalur yang dipisahkan oleh koma.
Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
-Paths $myrootdir\mynewdirectory\vehicle1_09142014.csv, $myrootdir\mynewdirectoryvehicle1_09142014_Copy.csv
Hapus akun Anda
Gunakan perintah berikut untuk menghapus akun Data Lake Storage Gen1 Anda.
Remove-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name
Jika diminta, masukkan Y untuk menghapus akun.
Langkah berikutnya
- Panduan penyetelan performa untuk menggunakan PowerShell dengan Azure Data Lake Storage Gen1
- Gunakan Azure Data Lake Storage Gen1 untuk persyaratan big data
- Mengamankan data dalam Data Lake Storage Gen1
- Gunakan Azure Data Lake Analytics dengan Data Lake Storage Gen1
- Gunakan Azure HDInsight dengan Data Lake Storage Gen1