PowerShell を使用して、クラウド内のデータをコピーするための Data Factory パイプラインを作成する

2024-01-05

このサンプル PowerShell スクリプトは、Azure Blob Storage　内のある場所から別の場所にデータをコピーするパイプラインを Azure Data Factory に作成します。

Note

Azure を操作するには、Azure Az PowerShell モジュールを使用することをお勧めします。作業を始めるには、Azure PowerShell のインストールに関する記事をご覧ください。 Az PowerShell モジュールに移行する方法については、「AzureRM から Az への Azure PowerShell の移行」を参照してください。

このサンプルには、Azure PowerShell が必要です。バージョンを確認するには、Get-Module -ListAvailable Az を実行します。インストールまたはアップグレードする必要がある場合は、Azure PowerShell モジュールのインストールに関するページを参照してください。

Connect-AzAccount コマンドレットを実行して Azure に接続します。

前提条件

Azure Storage アカウント。 BLOB ストレージを、ソースとシンクの両方のデータストアとして使用します。 Azure ストレージアカウントがない場合、作成方法については、「ストレージアカウントの作成」をご覧ください。
Blob Storage に BLOB コンテナーを作成し、コンテナーに入力フォルダーを作成して、フォルダーにいくつかのファイルをアップロードします。 Azure Storage Explorer などのツールを使用して、Azure Blob Storage への接続、BLOB コンテナーの作成、入力ファイルのアップロード、出力ファイルの検証を行うことができます。

サンプルスクリプト

重要

このスクリプトは、Data Factory エンティティ (リンクされたサービス、データセット、およびパイプライン) を定義する JSON ファイルをハードドライブ上の c:\ フォルダー内に作成します。

# Set variables with your own values
$resourceGroupName = "<Azure resource group name>"
$dataFactoryName = "<Data factory name>" # must be globally unquie
$dataFactoryRegion = "East US" 
$storageAccountName = "<Az.Storage account name>"
$storageAccountKey = "<Az.Storage account key>"
$sourceBlobPath = "<Azure blob container name>/<Azure blob input folder name>" # example: adftutorial/input
$sinkBlobPath = "<Azure blob container name>/<Azure blob output folder name>" # example: adftutorial/output
$pipelineName = "CopyPipeline"

# Create a resource group
New-AzResourceGroup -Name $resourceGroupName -Location $dataFactoryRegion

# Create a data factory
$df = Set-AzDataFactoryV2 -ResourceGroupName $resourceGroupName -Location $dataFactoryRegion -Name $dataFactoryName 

# Create an Az.Storage linked service in the data factory

## JSON definition of the linked service. 
$storageLinkedServiceDefinition = @"
{
    "name": "AzureStorageLinkedService",
    "properties": {
        "type": "AzureStorage",
        "typeProperties": {
            "connectionString": {
                "value": "DefaultEndpointsProtocol=https;AccountName=$storageAccountName;AccountKey=$storageAccountKey",
                "type": "SecureString"
            }
        }
    }
}
"@

## IMPORTANT: stores the JSON definition in a file that will be used by the Set-AzDataFactoryV2LinkedService command. 
$storageLinkedServiceDefinition | Out-File ./StorageLinkedService.json

## Creates a linked service in the data factory
Set-AzDataFactoryV2LinkedService -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -Name "AzureStorageLinkedService" -File ./StorageLinkedService.json

# Create an Azure Blob dataset in the data factory

## JSON definition of the dataset
$datasetDefiniton = @"
{
    "name": "BlobDataset",
    "properties": {
        "type": "AzureBlob",
        "typeProperties": {
            "folderPath": {
                "value": "@{dataset().path}",
                "type": "Expression"
            }
        },
        "linkedServiceName": {
            "referenceName": "AzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "parameters": {
            "path": {
                "type": "String"
            }
        }
    }
}
"@

## IMPORTANT: store the JSON definition in a file that will be used by the Set-AzDataFactoryV2Dataset command. 
$datasetDefiniton | Out-File ./BlobDataset.json

## Create a dataset in the data factory
Set-AzDataFactoryV2Dataset -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -Name "BlobDataset" -File "./BlobDataset.json"

# Create a pipeline in the data factory

## JSON definition of the pipeline
$pipelineDefinition = @"
{
    "name": "$pipelineName",
    "properties": {
        "activities": [
            {
                "name": "CopyFromBlobToBlob",
                "type": "Copy",
                "inputs": [
                    {
                        "referenceName": "BlobDataset",
                        "parameters": {
                            "path": "@pipeline().parameters.inputPath"
                        },
                    "type": "DatasetReference"
                    }
                ],
                "outputs": [
                    {
                        "referenceName": "BlobDataset",
                        "parameters": {
                            "path": "@pipeline().parameters.outputPath"
                        },
                        "type": "DatasetReference"
                    }
                ],
                "typeProperties": {
                    "source": {
                        "type": "BlobSource"
                    },
                    "sink": {
                        "type": "BlobSink"
                    }
                }
            }
        ],
        "parameters": {
            "inputPath": {
                "type": "String"
            },
            "outputPath": {
                "type": "String"
            }
        }
    }
}
"@

## IMPORTANT: store the JSON definition in a file that will be used by the Set-AzDataFactoryV2Pipeline command. 
$pipelineDefinition | Out-File ./CopyPipeline.json

## Create a pipeline in the data factory
Set-AzDataFactoryV2Pipeline -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -Name $pipelineName -File "./CopyPipeline.json"

# Create a pipeline run 

## JSON definition for pipeline parameters
$pipelineParameters = @"
{
    "inputPath": "$sourceBlobPath",
    "outputPath": "$sinkBlobPath"
}
"@

## IMPORTANT: store the JSON definition in a file that will be used by the Invoke-AzDataFactoryV2Pipeline command. 
$pipelineParameters | Out-File ./PipelineParameters.json

# Create a pipeline run by using parameters
$runId = Invoke-AzDataFactoryV2Pipeline -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -PipelineName $pipelineName -ParameterFile ./PipelineParameters.json

# Check the pipeline run status until it finishes the copy operation
while ($True) {
    $result = Get-AzDataFactoryV2ActivityRun -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName -PipelineRunId $runId -RunStartedAfter (Get-Date).AddMinutes(-30) -RunStartedBefore (Get-Date).AddMinutes(30)

    if (($result | Where-Object { $_.Status -eq "InProgress" } | Measure-Object).count -ne 0) {
        Write-Host "Pipeline run status: In Progress" -foregroundcolor "Yellow"
        Start-Sleep -Seconds 30
    }
    else {
        Write-Host "Pipeline '$pipelineName' run finished. Result:" -foregroundcolor "Yellow"
        $result
        break
    }
}

# Get the activity run details 
    $result = Get-AzDataFactoryV2ActivityRun -DataFactoryName $dataFactoryName -ResourceGroupName $resourceGroupName `
        -PipelineRunId $runId `
        -RunStartedAfter (Get-Date).AddMinutes(-10) `
        -RunStartedBefore (Get-Date).AddMinutes(10) `
        -ErrorAction Stop

    $result

    if ($result.Status -eq "Succeeded") {`
        $result.Output -join "`r`n"`
    }`
    else {`
        $result.Error -join "`r`n"`
    }

# To remove the data factory from the resource gorup
# Remove-AzDataFactoryV2 -Name $dataFactoryName -ResourceGroupName $resourceGroupName
# 
# To remove the whole resource group
# Remove-AzResourceGroup  -Name $resourceGroupName

デプロイのクリーンアップ

このサンプルスクリプトを実行した後、次のコマンドを使用して、リソースグループとそれに関連付けられたすべてのリソースを削除できます。

Remove-AzResourceGroup -ResourceGroupName $resourceGroupName

リソースグループからデータファクトリを削除するには、次のコマンドを実行します。

Remove-AzDataFactoryV2 -Name $dataFactoryName -ResourceGroupName $resourceGroupName

スクリプトの説明

このスクリプトでは以下のコマンドを使用します。

コマンド	メモ
New-AzResourceGroup	すべてのリソースを格納するリソースグループを作成します。
Set-AzDataFactoryV2	データファクトリを作成します。
Set-AzDataFactoryV2LinkedService	データファクトリ内にリンクされたサービスを作成します。リンクされたサービスは、データストアまたは計算をデータファクトリにリンクします。
Set-AzDataFactoryV2Dataset	データファクトリ内にデータセットを作成します。データセットは、パイプライン内のアクティビティの入出力を表します。
Set-AzDataFactoryV2Pipeline	データファクトリ内にパイプラインを作成します。パイプラインには、特定の操作を実行するアクティビティが 1 つ以上含まれています。このパイプラインでは、コピーアクティビティが Azure Blob Storage 内のある場所から別の場所にデータをコピーします。
Invoke-AzDataFactoryV2Pipeline	パイプラインの実行を作成します。つまり、パイプラインを実行します。
Get-AzDataFactoryV2ActivityRun	パイプライン内のアクティビティの実行 (アクティビティ実行) に関する詳細情報を取得します。
Remove-AzResourceGroup	入れ子になったリソースすべてを含むリソースグループを削除します。

Azure PowerShell の詳細については、Azure PowerShell のドキュメントを参照してください。

Azure Data Factory のその他の PowerShell サンプルスクリプトについては、Azure Data Factory の PowerShell のサンプルに関する記事をご覧ください。

次の方法で共有

PowerShell を使用して、クラウド内のデータをコピーするための Data Factory パイプラインを作成する

前提条件

サンプル スクリプト

デプロイのクリーンアップ

スクリプトの説明

関連するコンテンツ

フィードバック

その他のリソース

サンプルスクリプト