Memulai dengan Azure Data Lake Analytics menggunakan Azure CLI

  • Artikel

Penting

Akun Azure Data Lake Analytics baru tidak dapat lagi dibuat kecuali langganan Anda telah diaktifkan. Jika Anda memerlukan dukungan kontak langganan diaktifkan dan memberikan skenario bisnis Anda.

Jika Anda sudah menggunakan Azure Data Lake Analytics, Anda harus membuat rencana migrasi ke Azure Synapse Analytics untuk organisasi Anda pada 29 Februari 2024.

Artikel ini menjelaskan cara menggunakan antarmuka baris perintah Azure CLI untuk membuat akun Azure Data Lake Analytics, mengirimkan pekerjaan USQL, dan katalog. Pekerjaan membaca file nilai terpisah tab (TSV) dan mengonversinya menjadi file nilai terpisah koma (CSV).

Prasyarat

Sebelum memulai, Anda memerlukan item berikut:

Masuk ke Azure

Untuk masuk ke langganan Azure Anda:

az login

Anda diminta untuk menelusuri URL, dan memasukkan kode autentikasi. Lalu ikuti instruksi untuk memasukkan kredensial Anda.

Setelah Anda masuk, perintah masuk mencantumkan langganan Anda.

Untuk menggunakan langganan tertentu:

az account set --subscription <subscription id>

Buat akun Data Lake Analytics

Anda memerlukan akun Data Lake Analytics sebelum dapat menjalankan pekerjaan apa pun. Untuk membuat akun Data Lake Analytics, Anda harus menentukan item berikut:

  • Grup Sumber Daya Azure. Akun Data Lake Analytics harus dibuat dalam grup Sumber Daya Azure. Azure Resource Manager memungkinkan Anda bekerja dengan sumber daya dalam aplikasi Anda sebagai grup. Anda dapat menyebarkan, memperbarui, memantau, atau menghapus semua sumber daya untuk aplikasi Anda dalam satu operasi terkoordinasi.

Untuk mencantumkan grup sumber daya yang sudah ada di bawah langganan Anda:

az group list

Untuk membuat grup sumber daya baru:

az group create --name "<Resource Group Name>" --location "<Azure Location>"
  • Nama akun Data Lake Analytics. Setiap akun Data Lake Analytics memiliki nama.
  • Lokasi. Gunakan salah satu pusat data Azure yang mendukung Data Lake Analytics.
  • Akun Data Lake Store default: Setiap akun Data Lake Analytics memiliki akun Data Lake Store default.

Untuk mencantumkan akun Data Lake Store yang sudah ada:

az dls account list

Untuk membuat akun Data Lake Store baru:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Gunakan sintaks berikut untuk membuat akun Data Lake Analytics:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

Setelah membuat akun, Anda bisa menggunakan perintah berikut untuk mencantumkan akun dan memperlihatkan detail akun:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Unggah data ke Data Lake Store

Dalam tutorial ini, Anda memproses beberapa log pencarian. Log pencarian dapat disimpan di penyimpanan Data Lake atau Azure Blob.

Portal Azure menyediakan antarmuka pengguna untuk menyalin beberapa file data sampel ke akun Data Lake Store default, yang menyertakan file log pencarian. Lihat Siapkan data sumber untuk mengunggah data ke akun Data Lake Store default.

Untuk mengunggah file menggunakan Azure CLI, gunakan perintah berikut:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

Data Lake Analytics juga dapat mengakses penyimpanan Azure Blob. Untuk mengunggah data ke penyimpanan Azure Blob, lihat Menggunakan Azure CLI dengan Azure Storage.

Kirim pekerjaan Data Lake Analytics

Pekerjaan Data Lake Analytics ditulis dalam bahasa U-SQL. Untuk mempelajari selengkapnya tentang U-SQL, lihat Mulai menggunakan bahasa U-SQL dan Referensi bahasa U-SQL.

Untuk membuat skrip pekerjaan Data Lake Analytics

Buat file teks dengan skrip U-SQL berikut, dan simpan file teks ke stasiun kerja Anda:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Skrip U-SQL ini membaca file data sumber menggunakan Extractors.Tsv() , lalu membuat file csv menggunakan Outputters.Csv() .

Jangan ubah kedua jalur kecuali Anda menyalin file sumber ke lokasi yang berbeda. Data Lake Analytics membuat folder output jika tidak ada.

Lebih mudah untuk menggunakan jalur relatif untuk file yang disimpan di akun Data Lake Store default. Anda juga dapat menggunakan jalur absolut. Contohnya:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

Anda harus menggunakan jalur absolut untuk mengakses file di akun Storage tertaut. Sintaks untuk file yang disimpan di akun Azure Storage tertaut adalah:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

Catatan

Kontainer Azure Blob dengan blob publik tidak didukung. Kontainer Azure Blob dengan kontainer publik tidak didukung.

Untuk mengirimkan pekerjaan

Gunakan sintaks berikut untuk mengirimkan pekerjaan.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

Contohnya:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

Untuk mencantumkan pekerjaan dan memperlihatkan detail pekerjaan

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Untuk membatalkan pekerjaan

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Ambil hasil pekerjaan

Setelah pekerjaan selesai, Anda dapat menggunakan perintah berikut untuk mencantumkan file output, dan mengunduh file:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"

Contohnya:

az dls fs download --account "myadlsaccount" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "C:\DLA\myfile.csv"

Langkah berikutnya