Quickstart: Een Azure Data Factory maken met behulp van Azure CLI

In deze quickstart wordt beschreven hoe u Azure CLI gebruikt om een Azure Data Factory te maken. De pijplijn die u in deze data factory maakt, kopieert gegevens van de ene map naar een andere map in een Azure Blob Storage. Zie Gegevens transformeren in Azure Data Factory voor informatie over het transformeren van gegevens met behulp van Azure Data Factory.

Zie Inleiding tot Azure Data Factory voor een inleiding tot Azure Data Factory-service.

Als u geen Azure-abonnement hebt, maakt u een gratis account voordat u begint.

Vereisten

• Gebruik de Bash-omgeving in Azure Cloud Shell. Zie quickstart voor Bash in Azure Cloud Shell voor meer informatie.

  

• Installeer de Azure CLI, indien gewenst, om CLI-referentieopdrachten uit te voeren. Als u in Windows of macOS werkt, kunt u Azure CLI uitvoeren in een Docker-container. Zie De Azure CLI uitvoeren in een Docker-container voor meer informatie.

  • Als u een lokale installatie gebruikt, meldt u zich aan bij Azure CLI met behulp van de opdracht az login. Volg de stappen die worden weergegeven in de terminal, om het verificatieproces te voltooien. Raadpleeg Aanmelden bij Azure CLI voor aanvullende aanmeldingsopties.

  • Installeer de Azure CLI-extensie bij het eerste gebruik, wanneer u hierom wordt gevraagd. Raadpleeg Extensies gebruiken met Azure CLI voor meer informatie over extensies.

  • Voer az version uit om de geïnstalleerde versie en afhankelijke bibliotheken te vinden. Voer az upgrade uit om te upgraden naar de nieuwste versie.

Notitie

Als u Data Factory-exemplaren wilt maken, moet het gebruikersaccount waarmee u zich bij Azure aanmeldt, lid zijn van de rol Inzender of Eigenaar, of moet dit een beheerder van het Azure-abonnement zijn. Zie Azure-rollen voor meer informatie.

Een container en testbestand voorbereiden

In deze quickstart wordt gebruikgemaakt van een Azure Storage-account, dat een container met een bestand bevat.

1. Als u een resourcegroep met de naam ADFQuickStartRGwilt maken, gebruikt u de opdracht az group create :

   az group create --name ADFQuickStartRG --location eastus
   

2. Maak een opslagaccount met behulp van de opdracht az storage account create :

   az storage account create --resource-group ADFQuickStartRG \
       --name adfquickstartstorage --location eastus
   

3. Maak een container met de naam adftutorial met behulp van de opdracht az storage container create :

   az storage container create --resource-group ADFQuickStartRG --name adftutorial \
       --account-name adfquickstartstorage --auth-mode key
   

4. Maak in de lokale map een bestand met de naam emp.txt dat u wilt uploaden. Als u in Azure Cloud Shell werkt, kunt u de huidige werkmap vinden met behulp van de echo $PWD Bash-opdracht. U kunt standaard Bash-opdrachten gebruiken, zoals cat, om een bestand te maken:

   cat > emp.txt
   This is text.
   

   Gebruik Ctrl+D om het nieuwe bestand op te slaan.

5. Als u het nieuwe bestand wilt uploaden naar uw Azure Storage-container, gebruikt u de opdracht az storage blob upload :

   az storage blob upload --account-name adfquickstartstorage --name input/emp.txt \
       --container-name adftutorial --file emp.txt --auth-mode key
   

   Met deze opdracht wordt geüpload naar een nieuwe map met de naam input.

Een data factory maken

Voer de opdracht az datafactory create uit om een Azure Data Factory te maken :

az datafactory create --resource-group ADFQuickStartRG \
    --factory-name ADFTutorialFactory

Belangrijk

Vervang door ADFTutorialFactory een wereldwijd unieke data factory-naam, bijvoorbeeld ADFTutorialFactorySP1127.

U kunt de data factory zien die u hebt gemaakt met behulp van de opdracht az datafactory show :

az datafactory show --resource-group ADFQuickStartRG \
    --factory-name ADFTutorialFactory

Een gekoppelde service en gegevenssets maken

Maak vervolgens een gekoppelde service en twee gegevenssets.

1. Haal de verbindingsreeks voor uw opslagaccount op met behulp van de opdracht az storage account show-connection-string:

   az storage account show-connection-string --resource-group ADFQuickStartRG \
       --name adfquickstartstorage --key primary
   

2. Maak in uw werkmap een JSON-bestand met deze inhoud, inclusief uw eigen verbindingsreeks uit de vorige stap. Geef het bestand AzureStorageLinkedService.jsonde naam:

   {
       "type": "AzureBlobStorage",
       "typeProperties": {
           "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountName>;AccountKey=<accountKey>;EndpointSuffix=core.windows.net"
       }
   }
   

3. Maak een gekoppelde service met de naam AzureStorageLinkedService, met behulp van de opdracht az datafactory linked-service create :

   az datafactory linked-service create --resource-group ADFQuickStartRG \
       --factory-name ADFTutorialFactory --linked-service-name AzureStorageLinkedService \
       --properties AzureStorageLinkedService.json
   

4. Maak in uw werkmap een JSON-bestand met deze inhoud met de naam InputDataset.json:

   {
       "linkedServiceName": {
           "referenceName": "AzureStorageLinkedService",
           "type": "LinkedServiceReference"
       },
       "annotations": [],
       "type": "Binary",
       "typeProperties": {
           "location": {
               "type": "AzureBlobStorageLocation",
               "fileName": "emp.txt",
               "folderPath": "input",
               "container": "adftutorial"
           }
       }
   }
   

5. Maak een invoergegevensset met de naam InputDataset met behulp van de opdracht az datafactory dataset create :

   az datafactory dataset create --resource-group ADFQuickStartRG \
       --dataset-name InputDataset --factory-name ADFTutorialFactory \
       --properties InputDataset.json
   

6. Maak in uw werkmap een JSON-bestand met deze inhoud met de naam OutputDataset.json:

   {
       "linkedServiceName": {
           "referenceName": "AzureStorageLinkedService",
           "type": "LinkedServiceReference"
       },
       "annotations": [],
       "type": "Binary",
       "typeProperties": {
           "location": {
               "type": "AzureBlobStorageLocation",
               "folderPath": "output",
               "container": "adftutorial"
           }
       }
   }
   

7. Maak een uitvoergegevensset met de naam OutputDataset az datafactory dataset create command:

   az datafactory dataset create --resource-group ADFQuickStartRG \
       --dataset-name OutputDataset --factory-name ADFTutorialFactory \
       --properties OutputDataset.json
   

De pijplijn maken en uitvoeren

Ten slotte maakt en voert u de pijplijn uit.

1. Maak in uw werkmap een JSON-bestand met deze inhoud met de naam Adfv2QuickStartPipeline.json:

   {
       "name": "Adfv2QuickStartPipeline",
       "properties": {
           "activities": [
               {
                   "name": "CopyFromBlobToBlob",
                   "type": "Copy",
                   "dependsOn": [],
                   "policy": {
                       "timeout": "7.00:00:00",
                       "retry": 0,
                       "retryIntervalInSeconds": 30,
                       "secureOutput": false,
                       "secureInput": false
                   },
                   "userProperties": [],
                   "typeProperties": {
                       "source": {
                           "type": "BinarySource",
                           "storeSettings": {
                               "type": "AzureBlobStorageReadSettings",
                               "recursive": true
                           }
                       },
                       "sink": {
                           "type": "BinarySink",
                           "storeSettings": {
                               "type": "AzureBlobStorageWriteSettings"
                           }
                       },
                       "enableStaging": false
                   },
                   "inputs": [
                       {
                           "referenceName": "InputDataset",
                           "type": "DatasetReference"
                       }
                   ],
                   "outputs": [
                       {
                           "referenceName": "OutputDataset",
                           "type": "DatasetReference"
                       }
                   ]
               }
           ],
           "annotations": []
       }
   }
   

2. Maak een pijplijn met de naam Adfv2QuickStartPipeline az datafactory pipeline create:

   az datafactory pipeline create --resource-group ADFQuickStartRG \
       --factory-name ADFTutorialFactory --name Adfv2QuickStartPipeline \
       --pipeline Adfv2QuickStartPipeline.json
   

3. Voer de pijplijn uit met behulp van de opdracht az datafactory pipeline create-run :

   az datafactory pipeline create-run --resource-group ADFQuickStartRG \
       --name Adfv2QuickStartPipeline --factory-name ADFTutorialFactory
   

   Met deze opdracht wordt een uitvoerings-id geretourneerd. Kopieer deze voor gebruik in de volgende opdracht.

4. Controleer of de pijplijnuitvoering is geslaagd met behulp van de opdracht az datafactory pipeline-run show :

   az datafactory pipeline-run show --resource-group ADFQuickStartRG \
       --factory-name ADFTutorialFactory --run-id 00000000-0000-0000-0000-000000000000
   

U kunt ook controleren of uw pijplijn is uitgevoerd zoals verwacht met behulp van Azure Portal. Zie Geïmplementeerde resources controleren voor meer informatie.

Resources opschonen

Alle resources in deze quickstart maken deel uit van dezelfde resourcegroep. Als u ze allemaal wilt verwijderen, gebruikt u de opdracht az group delete :

az group delete --name ADFQuickStartRG

Als u deze resourcegroep voor iets anders gebruikt, verwijdert u in plaats daarvan afzonderlijke resources. Als u bijvoorbeeld de gekoppelde service wilt verwijderen, gebruikt u de opdracht az datafactory linked-service delete .

In deze quickstart hebt u de volgende JSON-bestanden gemaakt:

• AzureStorageLinkedService.json
• InputDataset.json
• OutputDataset.json
• Adfv2QuickStartPipeline.json

Verwijder ze met behulp van standaard Bash-opdrachten.

Gerelateerde inhoud

• Pijplijnen en activiteiten in Azure Data Factory
• Gekoppelde services in Azure Data Factory
• Gegevenssets in Azure Data Factory
• Gegevens transformeren in Azure Data Factory