Azure CLI kullanarak Azure Data Lake Analytics'i kullanmaya başlama

Önemli

Aboneliğiniz etkinleştirilmediği sürece yeni Azure Data Lake Analytics hesapları artık oluşturulamaz. Aboneliğinizin etkinleştirilmesi gerekiyorsa desteğe başvurun ve iş senaryonuzu sağlayın.

Azure Data Lake Analytics'i zaten kullanıyorsanız, 29 Şubat 2024'e kadar kuruluşunuz için Azure Synapse Analytics bir geçiş planı oluşturmanız gerekir.

Bu makalede Azure Data Lake Analytics hesapları oluşturmak, USQL işleri ve katalogları göndermek için Azure CLI komut satırı arabiriminin nasıl kullanılacağı açıklanmaktadır. İş, sekmeyle ayrılmış değerler (TSV) dosyasını okur ve bunu virgülle ayrılmış değerler (CSV) dosyasına dönüştürür.

Önkoşullar

Başlamadan önce aşağıdaki öğelere ihtiyacınız vardır:

Bir Azure aboneliği. Bkz. Azure ücretsiz deneme sürümünü edinme.
Bu makale, Azure CLI 2.0 veya sonraki bir sürümünü çalıştırmanızı gerektirir. Yüklemeniz veya yükseltmeniz gerekiyorsa bkz. Azure CLI'yı yükleme.

Azure aboneliğinizde oturum açmak için:

az login

URL'ye göz atıp kimlik doğrulama kodu girmeniz istenir. Ardından kimlik bilgilerinizi girmek için yönergeleri izleyin.

Oturum açtıktan sonra oturum açma komutu aboneliklerinizi listeler.

Belirli bir aboneliği kullanmak için:

az account set --subscription <subscription id>

Data Lake Analytics hesabı oluşturma

Herhangi bir işi çalıştırabilmeniz için önce bir Data Lake Analytics hesabına ihtiyacınız vardır. Data Lake Analytics hesabı oluşturmak için aşağıdaki öğeleri belirtmeniz gerekir:

Azure Kaynak Grubu . Data Lake Analytics hesabı bir Azure Kaynak grubu içinde oluşturulmalıdır. Azure Resource Manager , uygulamanızdaki kaynaklarla grup olarak çalışmanızı sağlar. Tek, eşgüdümlü bir işlemle uygulamanızın tüm kaynaklarını dağıtabilir, güncelleştirebilir veya silebilirsiniz.

Aboneliğinizin altındaki mevcut kaynak gruplarını listelemek için:

az group list

Yeni bir kaynak grubu oluşturmak için:

az group create --name "<Resource Group Name>" --location "<Azure Location>"

Data Lake Analytics hesap adı. Her Data Lake Analytics hesabının bir adı vardır.
Konum. Data Lake Analytics'i destekleyen Azure veri merkezlerinden birini kullanın.
Varsayılan Data Lake Store hesabı: Her Data Lake Analytics hesabının varsayılan bir Data Lake Store hesabı vardır.

Mevcut Data Lake Store hesabını listelemek için:

az dls account list

Yeni bir Data Lake Store hesabı oluşturmak için:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Data Lake Analytics hesabı oluşturmak için aşağıdaki söz dizimini kullanın:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

Hesap oluşturduktan sonra, hesapları listelemek ve hesap ayrıntılarını göstermek için aşağıdaki komutları kullanabilirsiniz:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Data Lake Store'a veri yükleme

Bu öğreticide bazı arama günlüklerini işlersiniz. Arama günlüğü Data Lake deposunda veya Azure Blob depolamada depolanabilir.

Azure portalı, arama günlüğü dosyası içeren bazı örnek veri dosyalarını varsayılan Data Lake Store hesabına kopyalamak için bir kullanıcı arabirimi sağlar. Kaynak verilerini hazırlama bölümüne bakarak verileri varsayılan Data Lake Store hesabına yükleyin.

Azure CLI kullanarak dosyaları karşıya yüklemek için aşağıdaki komutları kullanın:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

Data Lake Analytics, Azure Blob depolamaya da erişebilir. Azure Blob depolamaya veri yüklemek için bkz. Azure Depolama ile Azure CLI kullanma.

Data Lake Analytics işlerini gönderme

Data Lake Analytics işleri U-SQL dilinde yazılır. U-SQL hakkında daha fazla bilgi edinmek için bkz. U-SQL dilini kullanmaya başlama ve U-SQL dil başvurusu.

Data Lake Analytics iş betiği oluşturmak için

Aşağıdaki U-SQL betiğini içeren bir metin dosyası oluşturun ve metin dosyasını iş istasyonunuza kaydedin:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Bu U-SQL betiği Extractors.Tsv() kullanarak kaynak veri dosyasını okur ve outputters.csv() kullanarak bir csv dosyası oluşturur.

Kaynak dosyayı farklı bir konuma kopyalamadığınız sürece iki yolu değiştirmeyin. Data Lake Analytics, çıkış klasörü mevcut değilse onu oluşturur.

Varsayılan Data Lake Store hesaplarında depolanan dosyalar için göreli yolları kullanmak daha kolaydır. Mutlak yolları da kullanabilirsiniz. Örneğin:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

Bağlı Depolama hesaplarındaki dosyalara erişmek için mutlak yollar kullanmanız gerekir. Bağlı Azure Depolama hesabında depolanan dosyaların söz dizimi şöyledir:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

Uyarı

Genel erişime açık blobları olan Azure Blob kapsayıcısı desteklenmez. Halka açık kapsayıcılı Azure Blob kapsayıcıları desteklenmez.

İşleri göndermek için

İş göndermek için aşağıdaki söz dizimini kullanın.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

Örneğin:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

İşleri listelemek ve iş ayrıntılarını göstermek için

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

İşleri iptal etmek için

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

İş sonuçlarını alma

Bir iş tamamlandıktan sonra, çıkış dosyalarını listelemek ve dosyaları indirmek için aşağıdaki komutları kullanabilirsiniz:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"