Aracılığıyla paylaş

Hızlı Başlangıç: Azure CLI kullanarak Azure Data Factory oluşturma

  • Makale

Bu hızlı başlangıçta Azure Data Factory oluşturmak için Azure CLI'nin nasıl kullanılacağı açıklanmaktadır. Bu veri fabrikasında oluşturduğunuz işlem hattı, verileri bir Azure Blob Depolama bir klasörden başka bir klasöre kopyalar. Azure Data Factory kullanarak verileri dönüştürme hakkında bilgi için bkz . Azure Data Factory'de verileri dönüştürme.

Azure Data Factory hizmetine giriş bilgileri için bkz. Azure Data Factory'ye giriş.

Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.

Önkoşullar

  • Azure Cloud Shell'de Bash ortamını kullanın. Daha fazla bilgi için bkz . Azure Cloud Shell'de Bash için hızlı başlangıç.

  • CLI başvuru komutlarını yerel olarak çalıştırmayı tercih ediyorsanız Azure CLI'yı yükleyin . Windows veya macOS üzerinde çalışıyorsanız Azure CLI’yi bir Docker kapsayıcısında çalıştırmayı değerlendirin. Daha fazla bilgi için bkz . Docker kapsayıcısında Azure CLI'yi çalıştırma.

    • Yerel yükleme kullanıyorsanız az login komutunu kullanarak Azure CLI ile oturum açın. Kimlik doğrulama işlemini tamamlamak için terminalinizde görüntülenen adımları izleyin. Diğer oturum açma seçenekleri için bkz . Azure CLI ile oturum açma.

    • İstendiğinde, ilk kullanımda Azure CLI uzantısını yükleyin. Uzantılar hakkında daha fazla bilgi için bkz. Azure CLI ile uzantıları kullanma.

    • Yüklü sürümü ve bağımlı kitaplıkları bulmak için az version komutunu çalıştırın. En son sürüme yükseltmek için az upgrade komutunu çalıştırın.

Dekont

Data Factory örnekleri oluşturmak için, Azure’da oturum açarken kullandığınız kullanıcı hesabı, katkıda bulunan, sahip veya yönetici rollerinin üyesi ya da bir Azure aboneliğinin yöneticisi olmalıdır. Daha fazla bilgi için bkz. Azure rolleri.

Kapsayıcı ve test dosyası hazırlama

Bu hızlı başlangıçta, dosya içeren bir kapsayıcı içeren bir Azure Depolama hesabı kullanılır.

  1. adlı ADFQuickStartRGbir kaynak grubu oluşturmak için az group create komutunu kullanın:

    az group create --name ADFQuickStartRG --location eastus

  2. az storage account create komutunu kullanarak bir depolama hesabı oluşturun :

    az storage account create --resource-group ADFQuickStartRG \
    --name adfquickstartstorage --location eastus

  3. az storage container create komutunu kullanarak adlı adftutorial bir kapsayıcı oluşturun:

    az storage container create --resource-group ADFQuickStartRG --name adftutorial \
    --account-name adfquickstartstorage --auth-mode key

  4. Yerel dizinde karşıya yüklenecek adlı emp.txt bir dosya oluşturun. Azure Cloud Shell'de çalışıyorsanız Bash komutunu kullanarak geçerli çalışma dizinini echo $PWD bulabilirsiniz. Dosya oluşturmak için gibi catstandart Bash komutlarını kullanabilirsiniz:

    cat > emp.txt
This is text.

    Yeni dosyanızı kaydetmek için Ctrl+D tuşlarını kullanın.

  5. Yeni dosyayı Azure depolama kapsayıcınıza yüklemek için az storage blob upload komutunu kullanın:

    az storage blob upload --account-name adfquickstartstorage --name input/emp.txt \
    --container-name adftutorial --file emp.txt --auth-mode key

    Bu komut adlı inputyeni bir klasöre yüklenir.

Veri fabrikası oluşturma

Azure veri fabrikası oluşturmak için az datafactory create komutunu çalıştırın:

az datafactory create --resource-group ADFQuickStartRG \
    --factory-name ADFTutorialFactory

Önemli

değerini, ADFTutorialFactorySP1127 gibi genel olarak benzersiz bir veri fabrikası adıyla değiştirin ADFTutorialFactory .

oluşturduğunuz veri fabrikasını az datafactory show komutunu kullanarak görebilirsiniz:

az datafactory show --resource-group ADFQuickStartRG \
    --factory-name ADFTutorialFactory

Bağlı hizmet ve veri kümeleri oluşturma

Ardından bağlı bir hizmet ve iki veri kümesi oluşturun.

  1. az storage account show-connection-string komutunu kullanarak depolama hesabınız için bağlantı dizesi alın:

    az storage account show-connection-string --resource-group ADFQuickStartRG \
    --name adfquickstartstorage --key primary

  2. Çalışma dizininizde, önceki adımdaki kendi bağlantı dizesi içeren bu içeriğe sahip bir JSON dosyası oluşturun. Dosyayı AzureStorageLinkedService.jsonadlandırın:

    {
    "type": "AzureBlobStorage",
    "typeProperties": {
        "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountName>;AccountKey=<accountKey>;EndpointSuffix=core.windows.net"
    }
}

  3. az datafactory linked-service create komutunu kullanarak adlı AzureStorageLinkedServicebir bağlı hizmet oluşturun:

    az datafactory linked-service create --resource-group ADFQuickStartRG \
    --factory-name ADFTutorialFactory --linked-service-name AzureStorageLinkedService \
    --properties AzureStorageLinkedService.json

  4. Çalışma dizininizde bu içeriğe sahip adlı InputDataset.jsonbir JSON dosyası oluşturun:

    {
    "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
    },
    "annotations": [],
    "type": "Binary",
    "typeProperties": {
        "location": {
            "type": "AzureBlobStorageLocation",
            "fileName": "emp.txt",
            "folderPath": "input",
            "container": "adftutorial"
        }
    }
}

  5. az datafactory dataset create komutunu kullanarak adlı InputDataset bir giriş veri kümesi oluşturun:

    az datafactory dataset create --resource-group ADFQuickStartRG \
    --dataset-name InputDataset --factory-name ADFTutorialFactory \
    --properties InputDataset.json

  6. Çalışma dizininizde bu içeriğe sahip adlı OutputDataset.jsonbir JSON dosyası oluşturun:

    {
    "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
    },
    "annotations": [],
    "type": "Binary",
    "typeProperties": {
        "location": {
            "type": "AzureBlobStorageLocation",
            "folderPath": "output",
            "container": "adftutorial"
        }
    }
}

  7. az datafactory dataset create komutunu kullanarak adlı OutputDataset bir çıkış veri kümesi oluşturun:

    az datafactory dataset create --resource-group ADFQuickStartRG \
    --dataset-name OutputDataset --factory-name ADFTutorialFactory \
    --properties OutputDataset.json

İşlem hattını oluşturma ve çalıştırma

Son olarak işlem hattını oluşturun ve çalıştırın.

  1. Çalışma dizininizde adlı bu içeriğe Adfv2QuickStartPipeline.jsonsahip bir JSON dosyası oluşturun:

    {
    "name": "Adfv2QuickStartPipeline",
    "properties": {
        "activities": [
            {
                "name": "CopyFromBlobToBlob",
                "type": "Copy",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "source": {
                        "type": "BinarySource",
                        "storeSettings": {
                            "type": "AzureBlobStorageReadSettings",
                            "recursive": true
                        }
                    },
                    "sink": {
                        "type": "BinarySink",
                        "storeSettings": {
                            "type": "AzureBlobStorageWriteSettings"
                        }
                    },
                    "enableStaging": false
                },
                "inputs": [
                    {
                        "referenceName": "InputDataset",
                        "type": "DatasetReference"
                    }
                ],
                "outputs": [
                    {
                        "referenceName": "OutputDataset",
                        "type": "DatasetReference"
                    }
                ]
            }
        ],
        "annotations": []
    }
}

  2. az datafactory pipeline create komutunu kullanarak adlı Adfv2QuickStartPipeline bir işlem hattı oluşturun:

    az datafactory pipeline create --resource-group ADFQuickStartRG \
    --factory-name ADFTutorialFactory --name Adfv2QuickStartPipeline \
    --pipeline Adfv2QuickStartPipeline.json

  3. az datafactory pipeline create-run komutunu kullanarak işlem hattını çalıştırın :

    az datafactory pipeline create-run --resource-group ADFQuickStartRG \
    --name Adfv2QuickStartPipeline --factory-name ADFTutorialFactory

    Bu komut bir çalıştırma kimliği döndürür. Sonraki komutta kullanmak üzere kopyalayın.

  4. az datafactory pipeline-run show komutunu kullanarak işlem hattı çalıştırmasının başarılı olduğunu doğrulayın:

    az datafactory pipeline-run show --resource-group ADFQuickStartRG \
    --factory-name ADFTutorialFactory --run-id 00000000-0000-0000-0000-000000000000

Azure portalını kullanarak işlem hattınızın beklendiği gibi çalıştığını da doğrulayabilirsiniz. Daha fazla bilgi için bkz . Dağıtılan kaynakları gözden geçirme.

Kaynakları temizleme

Bu hızlı başlangıçtaki tüm kaynaklar aynı kaynak grubunun bir parçasıdır. Tümünü kaldırmak için az group delete komutunu kullanın:

az group delete --name ADFQuickStartRG

Bu kaynak grubunu başka bir şey için kullanıyorsanız tek tek kaynakları silin. Örneğin, bağlı hizmeti kaldırmak için az datafactory linked-service delete komutunu kullanın.

Bu hızlı başlangıçta aşağıdaki JSON dosyalarını oluşturdunuz:

  • Azure Depolama LinkedService.json
  • InputDataset.json
  • OutputDataset.json
  • Adfv2QuickStartPipeline.json

Standart Bash komutlarını kullanarak bunları silin.

İlgili içerik