クイックスタート:ARM テンプレートを使用して Azure Data Factory を作成する

[アーティクル]
10/20/2023

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータサイエンス、リアルタイム分析、ビジネスインテリジェンス、レポートまで、あらゆるものをカバーしています。無料で新しい試用版を開始する方法について説明します。

このクイックスタートでは、Azure Resource Manager テンプレート (ARM テンプレート) を使用して Azure Data Factory を作成する方法を説明します。このデータファクトリに作成されたパイプラインは、データを Azure BLOB ストレージ内のあるフォルダーから別のフォルダーにコピーします。 Azure Data Factory を使用してデータを変換する方法のチュートリアルについては、Spark を使用したデータ変換のチュートリアルを参照してください。

Azure Resource Manager テンプレートは JavaScript Object Notation (JSON) ファイルであり、プロジェクトのインフラストラクチャと構成が定義されています。このテンプレートでは、宣言型の構文が使用されています。デプロイしようとしているものを、デプロイを作成する一連のプログラミングコマンドを記述しなくても記述できます。

Note

この記事では、Data Factory サービスの概要については詳しく取り上げません。 Azure Data Factory サービスの概要については、「Azure Data Factory の概要」をご覧ください。

環境が前提条件を満たしていて、ARM テンプレートの使用に慣れている場合は、 [Azure へのデプロイ] ボタンを選択します。 Azure portal でテンプレートが開きます。

前提条件

Azure サブスクリプション

Azure サブスクリプションをお持ちでない場合は、開始する前に無料アカウントを作成してください。

ファイルを作成する

メモ帳などのテキストエディターを開き、次の内容を含む emp.txt という名前のファイルを作成します。

John, Doe
Jane, Doe

C:\ADFv2QuickStartPSH フォルダーにファイルを保存します (フォルダーがまだ存在しない場合は作成します)。

テンプレートを確認する

このクイックスタートで使用されるテンプレートは Azure クイックスタートテンプレートからのものです。

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "metadata": {
    "_generator": {
      "name": "bicep",
      "version": "0.26.54.24096",
      "templateHash": "17339534711754973978"
    }
  },
  "parameters": {
    "dataFactoryName": {
      "type": "string",
      "defaultValue": "[format('datafactory{0}', uniqueString(resourceGroup().id))]",
      "metadata": {
        "description": "Data Factory Name"
      }
    },
    "location": {
      "type": "string",
      "defaultValue": "[resourceGroup().location]",
      "metadata": {
        "description": "Location of the data factory."
      }
    },
    "storageAccountName": {
      "type": "string",
      "defaultValue": "[format('storage{0}', uniqueString(resourceGroup().id))]",
      "metadata": {
        "description": "Name of the Azure storage account that contains the input/output data."
      }
    },
    "blobContainerName": {
      "type": "string",
      "defaultValue": "[format('blob{0}', uniqueString(resourceGroup().id))]",
      "metadata": {
        "description": "Name of the blob container in the Azure Storage account."
      }
    }
  },
  "variables": {
    "dataFactoryLinkedServiceName": "ArmtemplateStorageLinkedService",
    "dataFactoryDataSetInName": "ArmtemplateTestDatasetIn",
    "dataFactoryDataSetOutName": "ArmtemplateTestDatasetOut",
    "pipelineName": "ArmtemplateSampleCopyPipeline"
  },
  "resources": [
    {
      "type": "Microsoft.Storage/storageAccounts/blobServices",
      "apiVersion": "2023-01-01",
      "name": "[format('{0}/{1}', parameters('storageAccountName'), 'default')]",
      "dependsOn": [
        "[resourceId('Microsoft.Storage/storageAccounts', parameters('storageAccountName'))]"
      ]
    },
    {
      "type": "Microsoft.Storage/storageAccounts",
      "apiVersion": "2023-01-01",
      "name": "[parameters('storageAccountName')]",
      "location": "[parameters('location')]",
      "sku": {
        "name": "Standard_LRS"
      },
      "kind": "StorageV2",
      "properties": {
        "minimumTlsVersion": "TLS1_2",
        "supportsHttpsTrafficOnly": true,
        "allowBlobPublicAccess": false
      }
    },
    {
      "type": "Microsoft.Storage/storageAccounts/blobServices/containers",
      "apiVersion": "2023-01-01",
      "name": "[format('{0}/{1}/{2}', parameters('storageAccountName'), 'default', parameters('blobContainerName'))]",
      "dependsOn": [
        "[resourceId('Microsoft.Storage/storageAccounts/blobServices', parameters('storageAccountName'), 'default')]"
      ]
    },
    {
      "type": "Microsoft.DataFactory/factories",
      "apiVersion": "2018-06-01",
      "name": "[parameters('dataFactoryName')]",
      "location": "[parameters('location')]",
      "identity": {
        "type": "SystemAssigned"
      }
    },
    {
      "type": "Microsoft.DataFactory/factories/linkedservices",
      "apiVersion": "2018-06-01",
      "name": "[format('{0}/{1}', parameters('dataFactoryName'), variables('dataFactoryLinkedServiceName'))]",
      "properties": {
        "type": "AzureBlobStorage",
        "typeProperties": {
          "connectionString": "[format('DefaultEndpointsProtocol=https;AccountName={0};AccountKey={1}', parameters('storageAccountName'), listKeys(resourceId('Microsoft.Storage/storageAccounts', parameters('storageAccountName')), '2023-01-01').keys[0].value)]"
        }
      },
      "dependsOn": [
        "[resourceId('Microsoft.DataFactory/factories', parameters('dataFactoryName'))]",
        "[resourceId('Microsoft.Storage/storageAccounts', parameters('storageAccountName'))]"
      ]
    },
    {
      "type": "Microsoft.DataFactory/factories/datasets",
      "apiVersion": "2018-06-01",
      "name": "[format('{0}/{1}', parameters('dataFactoryName'), variables('dataFactoryDataSetInName'))]",
      "properties": {
        "linkedServiceName": {
          "referenceName": "[variables('dataFactoryLinkedServiceName')]",
          "type": "LinkedServiceReference"
        },
        "type": "Binary",
        "typeProperties": {
          "location": {
            "type": "AzureBlobStorageLocation",
            "container": "[parameters('blobContainerName')]",
            "folderPath": "input",
            "fileName": "emp.txt"
          }
        }
      },
      "dependsOn": [
        "[resourceId('Microsoft.DataFactory/factories', parameters('dataFactoryName'))]",
        "[resourceId('Microsoft.DataFactory/factories/linkedservices', parameters('dataFactoryName'), variables('dataFactoryLinkedServiceName'))]"
      ]
    },
    {
      "type": "Microsoft.DataFactory/factories/datasets",
      "apiVersion": "2018-06-01",
      "name": "[format('{0}/{1}', parameters('dataFactoryName'), variables('dataFactoryDataSetOutName'))]",
      "properties": {
        "linkedServiceName": {
          "referenceName": "[variables('dataFactoryLinkedServiceName')]",
          "type": "LinkedServiceReference"
        },
        "type": "Binary",
        "typeProperties": {
          "location": {
            "type": "AzureBlobStorageLocation",
            "container": "[parameters('blobContainerName')]",
            "folderPath": "output"
          }
        }
      },
      "dependsOn": [
        "[resourceId('Microsoft.DataFactory/factories', parameters('dataFactoryName'))]",
        "[resourceId('Microsoft.DataFactory/factories/linkedservices', parameters('dataFactoryName'), variables('dataFactoryLinkedServiceName'))]"
      ]
    },
    {
      "type": "Microsoft.DataFactory/factories/pipelines",
      "apiVersion": "2018-06-01",
      "name": "[format('{0}/{1}', parameters('dataFactoryName'), variables('pipelineName'))]",
      "properties": {
        "activities": [
          {
            "name": "MyCopyActivity",
            "type": "Copy",
            "typeProperties": {
              "source": {
                "type": "BinarySource",
                "storeSettings": {
                  "type": "AzureBlobStorageReadSettings",
                  "recursive": true
                }
              },
              "sink": {
                "type": "BinarySink",
                "storeSettings": {
                  "type": "AzureBlobStorageWriteSettings"
                }
              },
              "enableStaging": false
            },
            "inputs": [
              {
                "referenceName": "[variables('dataFactoryDataSetInName')]",
                "type": "DatasetReference"
              }
            ],
            "outputs": [
              {
                "referenceName": "[variables('dataFactoryDataSetOutName')]",
                "type": "DatasetReference"
              }
            ]
          }
        ]
      },
      "dependsOn": [
        "[resourceId('Microsoft.DataFactory/factories', parameters('dataFactoryName'))]",
        "[resourceId('Microsoft.DataFactory/factories/datasets', parameters('dataFactoryName'), variables('dataFactoryDataSetInName'))]",
        "[resourceId('Microsoft.DataFactory/factories/datasets', parameters('dataFactoryName'), variables('dataFactoryDataSetOutName'))]"
      ]
    }
  ],
  "outputs": {
    "name": {
      "type": "string",
      "value": "[variables('pipelineName')]"
    },
    "resourceId": {
      "type": "string",
      "value": "[resourceId('Microsoft.DataFactory/factories/pipelines', parameters('dataFactoryName'), variables('pipelineName'))]"
    },
    "resourceGroupName": {
      "type": "string",
      "value": "[resourceGroup().name]"
    },
    "location": {
      "type": "string",
      "value": "[parameters('location')]"
    }
  }
}

テンプレート内には次の Azure リソースが定義されています。

Microsoft.Storage/storageAccounts: ストレージアカウントを定義します。
Microsoft.DataFactory/factories:Azure Data Factory を作成します。
Microsoft.DataFactory/factories/linkedServices:Azure Data Factory のリンクされたサービスを作成します。
Microsoft.DataFactory/factories/datasets:Azure Data Factory データセットを作成します。
Microsoft.DataFactory/factories/pipelines:Azure Data Factory パイプラインを作成します。

その他の Azure Data Factory テンプレートのサンプルについては、クイックスタートテンプレートギャラリーをご覧ください。

テンプレートのデプロイ

Azure にサインインし、テンプレートを開くには次のイメージを選択します。テンプレートによって、Azure Data Factory アカウント、ストレージアカウント、および BLOB コンテナーが作成されます。
次の値を選択または入力します。

特に明記されていない場合は、既定値を使用して Azure Data Factory リソースを作成してください。
- サブスクリプション:Azure サブスクリプションを選択します。
- [リソースグループ] : [新規作成] を選択し、リソースグループの一意の名前を入力し、 [OK] を選択します。
- [リージョン] :場所を選択します。たとえば、East US などとします。
- データファクトリ名: 規定値を使用します。
- [場所] :既定値を使用します。
- [ストレージアカウント名] : 既定値を使用します。
- BLOB コンテナー: 既定値を使用します。

デプロイされているリソースを確認する

[リソースグループに移動] を選択します。
ご自分の Azure Data Factory が作成されていることを確認します。
1. その Azure Data Factory 名の形式は、datafactory<uniqueid> です。
ご自分のストレージアカウントが作成されていることを確認します。
1. そのストレージアカウント名の形式は、storage<uniqueid> です。
作成されたストレージアカウントの名前を選択して、 [コンテナー] を選択します。
1. [コンテナー] ページで、作成した BLOB コンテナーを選択します。
  1. その BLOB コンテナー名の形式は、blob<uniqueid> です。

ファイルをアップロードする

[コンテナー] ページで、 [アップロード] を選択します。
右側のペインで、 [ファイル] ボックスを選択してから、先ほど作成した emp .txt ファイルを参照して選択します。
[詳細設定] の見出しを展開します。
[アップロード先のフォルダー] ボックスに「input」と入力します。
[アップロード] ボタンを選択します。一覧に emp.txt ファイルとアップロードの状態が表示されます。
[閉じる] アイコン (X) を選択して、 [BLOB のアップロード] ページを閉じます。

コンテナーページは開いたままにしておいてください。そうすることで、このクイックスタートの最後に出力を確認できるからです。

トリガーを開始する

[データファクトリ] ページに移動し、作成したデータファクトリを選択します。
[Open Azure Data Factory Studio](Azure Data Factory Studio を開く) タイルで [開く] を選択します。
[作成] タブを選択します。
作成したパイプライン (ArmtemplateSampleCopyPipeline) を選択します。
[トリガーの追加]>[Trigger Now](今すぐトリガー) の順に選択します。
[パイプラインの実行] の下の右側のウィンドウで、 [OK] を選択します。

パイプラインの監視

[監視] タブを選択します。
パイプラインの実行に関連付けられたアクティビティの実行が表示されます。このクイックスタートでは、パイプラインに、コピーという種類のアクティビティが 1 つのみ含まれます。そのため、そのアクティビティの実行が表示されます。

出力ファイルを検証する

パイプラインでは、BLOB コンテナー内に出力フォルダーが自動的に作成されます。そのうえで、input フォルダーから output フォルダーに emp.txt ファイルをコピーします。

Azure portal の [コンテナー] ページで、 [最新の情報に更新] を選択して出力フォルダーを表示します。
フォルダー一覧で、 [output] を選択します。
emp.txt が output フォルダーにコピーされていることを確認します。

リソースをクリーンアップする

このクイックスタートで作成したリソースは、2 とおりの方法でクリーンアップすることができます。 Azure リソースグループを削除します。この場合、そのリソースグループに含まれているすべてのリソースが対象となります。他のリソースをそのまま維持する場合は、このチュートリアルで作成したデータファクトリだけを削除してください。

リソースグループを削除すると、その中のデータファクトリも含めて、すべてのリソースが削除されます。次のコマンドを実行して、リソースグループ全体を削除します。

Remove-AzResourceGroup -ResourceGroupName $resourcegroupname

リソースグループ全体ではなく、データファクトリだけを削除する場合は、次のコマンドを実行します。

Remove-AzDataFactoryV2 -Name $dataFactoryName -ResourceGroupName $resourceGroupName

このクイックスタートでは、ARM テンプレートを使用して Azure Data Factory を作成し、デプロイを検証しました。 Azure Data Factory と Azure Resource Manager の詳細については、引き続き以下の記事を参照してください。

クイック スタート:ARM テンプレートを使用して Azure Data Factory を作成する