Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Tento rychlý start popisuje, jak pomocí Azure CLI vytvořit službu Azure Data Factory. Kanál, který vytvoříte v této datové továrně, kopíruje data z jedné složky do jiné složky ve službě Azure Blob Storage. Informace o tom, jak transformovat data pomocí služby Azure Data Factory, najdete v tématu Transformace dat ve službě Azure Data Factory.
Úvod do služby Azure Data Factory najdete v tématu Úvod do Azure Data Factory.
Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet.
Požadavky
Použijte prostředí Bash v Azure Cloud Shellu. Další informace najdete v tématu Začínáme s Azure Cloud Shellem.
Pokud dáváte přednost místnímu spouštění referenčních příkazů rozhraní příkazového řádku, nainstalujte Azure CLI. Pokud používáte Windows nebo macOS, zvažte spuštění Azure CLI v kontejneru Dockeru. Další informace najdete v tématu Jak spustit Azure CLI v kontejneru Dockeru.
Pokud používáte místní instalaci, přihlaste se k Azure CLI pomocí příkazu az login. Pokud chcete dokončit proces ověřování, postupujte podle kroků zobrazených v terminálu. Další možnosti přihlášení najdete v tématu Ověřování v Azure pomocí Azure CLI.
Po zobrazení výzvy nainstalujte rozšíření Azure CLI při prvním použití. Další informace o rozšířeních najdete v tématu Použití a správa rozšíření pomocí Azure CLI.
Spusťte az version a zjistěte verzi a nainstalované závislé knihovny. Pokud chcete upgradovat na nejnovější verzi, spusťte az upgrade.
Poznámka:
Aby bylo možné vytvářet instance služby Data Factory, musí být uživatelský účet, který používáte pro přihlášení k Azure, členem role přispěvatele nebo vlastníka nebo správcem předplatného Azure. Další informace naleznete v článku Role Azure.
Příprava kontejneru a testovacího souboru
V tomto rychlém startu se používá účet Azure Storage, který zahrnuje kontejner se souborem.
K vytvoření skupiny prostředků s názvem
ADFQuickStartRGpoužijte příkaz az group create :az group create --name ADFQuickStartRG --location eastusVytvořte účet úložiště pomocí příkazu az storage account create :
az storage account create --resource-group ADFQuickStartRG \ --name adfquickstartstorage --location eastusPomocí příkazu
adftutorialvytvořte kontejner s názvem:az storage container create --resource-group ADFQuickStartRG --name adftutorial \ --account-name adfquickstartstorage --auth-mode keyV místním adresáři vytvořte soubor s názvem
emp.txtpro nahrání. Pokud pracujete v Azure Cloud Shellu, můžete aktuální pracovní adresář najít pomocíecho $PWDpříkazu Bash. K vytvoření souboru můžete použít standardní příkazy Bash, napříkladcat:cat > emp.txt This is text.K uložení nového souboru použijte Ctrl+D .
K nahrání nového souboru do kontejneru úložiště Azure použijte příkaz az storage blob upload :
az storage blob upload --account-name adfquickstartstorage --name input/emp.txt \ --container-name adftutorial --file emp.txt --auth-mode keyTento příkaz se nahraje do nové složky s názvem
input.
Vytvoření datové továrny
Pokud chcete vytvořit objekt pro vytváření dat Azure, spusťte příkaz az datafactory create :
az datafactory create --resource-group ADFQuickStartRG \
--factory-name ADFTutorialFactory
Důležité
Nahraďte ADFTutorialFactory globálně jedinečným názvem datové továrny, například ADFTutorialFactorySP1127.
Datovou továrnu, kterou jste vytvořili, můžete zobrazit pomocí příkazu az datafactory show :
az datafactory show --resource-group ADFQuickStartRG \
--factory-name ADFTutorialFactory
Vytvoření propojené služby a datových sad
Dále vytvořte propojenou službu a dvě datové sady.
Pomocí příkazu az storage account show-connection-string získejte připojovací řetězec pro váš účet úložiště:
az storage account show-connection-string --resource-group ADFQuickStartRG \ --name adfquickstartstorage --key primaryV pracovním adresáři vytvořte soubor JSON s tímto obsahem, který obsahuje vlastní připojovací řetězec z předchozího kroku. Pojmenujte soubor
AzureStorageLinkedService.json:{ "type": "AzureBlobStorage", "typeProperties": { "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountName>;AccountKey=<accountKey>;EndpointSuffix=core.windows.net" } }Vytvořte propojenou službu s názvem
AzureStorageLinkedServicepomocí příkazu az datafactory linked-service create:az datafactory linked-service create --resource-group ADFQuickStartRG \ --factory-name ADFTutorialFactory --linked-service-name AzureStorageLinkedService \ --properties AzureStorageLinkedService.jsonV pracovním adresáři vytvořte soubor JSON s tímto obsahem s názvem
InputDataset.json:{ "linkedServiceName": { "referenceName": "AzureStorageLinkedService", "type": "LinkedServiceReference" }, "annotations": [], "type": "Binary", "typeProperties": { "location": { "type": "AzureBlobStorageLocation", "fileName": "emp.txt", "folderPath": "input", "container": "adftutorial" } } }Pomocí příkazu
InputDatasetvytvořte vstupní datovou sadu s názvem:az datafactory dataset create --resource-group ADFQuickStartRG \ --dataset-name InputDataset --factory-name ADFTutorialFactory \ --properties InputDataset.jsonV pracovním adresáři vytvořte soubor JSON s tímto obsahem s názvem
OutputDataset.json:{ "linkedServiceName": { "referenceName": "AzureStorageLinkedService", "type": "LinkedServiceReference" }, "annotations": [], "type": "Binary", "typeProperties": { "location": { "type": "AzureBlobStorageLocation", "folderPath": "output", "container": "adftutorial" } } }Pomocí příkazu
OutputDatasetvytvořte výstupní datovou sadu s názvem:az datafactory dataset create --resource-group ADFQuickStartRG \ --dataset-name OutputDataset --factory-name ADFTutorialFactory \ --properties OutputDataset.json
Vytvoření a spuštění potrubí
Nakonec vytvořte a spusťte pipeline.
V pracovním adresáři vytvořte soubor JSON s tímto obsahem s názvem
Adfv2QuickStartPipeline.json:{ "name": "Adfv2QuickStartPipeline", "properties": { "activities": [ { "name": "CopyFromBlobToBlob", "type": "Copy", "dependsOn": [], "policy": { "timeout": "7.00:00:00", "retry": 0, "retryIntervalInSeconds": 30, "secureOutput": false, "secureInput": false }, "userProperties": [], "typeProperties": { "source": { "type": "BinarySource", "storeSettings": { "type": "AzureBlobStorageReadSettings", "recursive": true } }, "sink": { "type": "BinarySink", "storeSettings": { "type": "AzureBlobStorageWriteSettings" } }, "enableStaging": false }, "inputs": [ { "referenceName": "InputDataset", "type": "DatasetReference" } ], "outputs": [ { "referenceName": "OutputDataset", "type": "DatasetReference" } ] } ], "annotations": [] } }Vytvořte kanál s názvem
Adfv2QuickStartPipelinepomocí příkazu az datafactory pipeline create :az datafactory pipeline create --resource-group ADFQuickStartRG \ --factory-name ADFTutorialFactory --name Adfv2QuickStartPipeline \ --pipeline Adfv2QuickStartPipeline.jsonSpusťte datový kanál pomocí příkazu az datafactory pipeline create-run:
az datafactory pipeline create-run --resource-group ADFQuickStartRG \ --name Adfv2QuickStartPipeline --factory-name ADFTutorialFactoryTento příkaz vrátí ID spuštění. Zkopírujte ho pro použití v dalším příkazu.
Pomocí příkazu az datafactory pipeline-run show ověřte, že spuštění kanálu proběhlo úspěšně:
az datafactory pipeline-run show --resource-group ADFQuickStartRG \ --factory-name ADFTutorialFactory --run-id 00000000-0000-0000-0000-000000000000
Pomocí webu Azure Portal můžete také ověřit, že váš kanál běžel podle očekávání. Další informace najdete v tématu Kontrola nasazených prostředků.
Upravte zdroje
Všechny prostředky v tomto rychlém startu jsou součástí stejné skupiny prostředků. Pokud je chcete odebrat všechny, použijte příkaz az group delete :
az group delete --name ADFQuickStartRG
Pokud tuto skupinu prostředků používáte pro cokoli jiného, odstraňte místo toho jednotlivé prostředky. Pokud například chcete odebrat propojenou službu, použijte příkaz az datafactory linked-service delete .
V tomto rychlém startu jste vytvořili následující soubory JSON:
- AzureStorageLinkedService.json
- InputDataset.json
- OutputDataset.json
- Adfv2QuickStartPipeline.json
Odstraňte je pomocí standardních příkazů Bash.