Azure Data Factory および Synapse Analytics の Execute Pipeline アクティビティ

[アーティクル]
10/20/2023

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータサイエンス、リアルタイム分析、ビジネスインテリジェンス、レポートまで、あらゆるものをカバーしています。無料で新しい試用版を開始する方法について説明します。

Execute Pipeline アクティビティを使用すると、Data Factory または Synapse の 1 つのパイプラインから別のパイプラインを呼び出すことができます。

UI を使用して Execute Pipeline アクティビティを作成する

パイプライン内で Execute Pipeline アクティビティを使用するには、次の手順を実行します。

パイプラインの [アクティビティ] ペイン内で Execute Pipeline を検索し、Execute Pipeline アクティビティをパイプラインキャンバスにドラッグします。
キャンバス上で新しい Execute Pipeline アクティビティ (まだ選択されていない場合)、その [設定] タブの順に選択して、その詳細を編集します。
既存のパイプラインを選択するか、[新規作成] ボタンを使用して新しく作成します。必要に応じて、その他のオプションを選択し、パイプラインのパラメーターを設定して構成を完了します。

構文

{
    "name": "MyPipeline",
    "properties": {
        "activities": [
            {
                "name": "ExecutePipelineActivity",
                "type": "ExecutePipeline",
                "typeProperties": {
                    "parameters": {                        
                        "mySourceDatasetFolderPath": {
                            "value": "@pipeline().parameters.mySourceDatasetFolderPath",
                            "type": "Expression"
                        }
                    },
                    "pipeline": {
                        "referenceName": "<InvokedPipelineName>",
                        "type": "PipelineReference"
                    },
                    "waitOnCompletion": true
                 }
            }
        ],
        "parameters": [
            {
                "mySourceDatasetFolderPath": {
                    "type": "String"
                }
            }
        ]
    }
}

型のプロパティ

プロパティ	説明	使用できる値	必須
name	パイプラインの実行アクティビティの名前。	String	はい
type	ExecutePipeline に設定する必要があります。	String	はい
pipeline	このパイプラインが呼び出す依存パイプラインへのパイプライン参照。パイプライン参照オブジェクトには、referenceName と type の 2 つのプロパティがあります。 ReferenceName プロパティは、参照パイプラインの名前を指定します。 type プロパティを PipelineReference に設定する必要があります。	PipelineReference	はい
parameters	呼び出されたパイプラインに渡されるパラメーター	パラメーター名を引数値にマップする JSON オブジェクト	いいえ
waitOnCompletion	依存パイプラインの実行が終了するまでアクティビティの実行を待機するかどうかを定義します。既定値は true です。	ブール型	いいえ

サンプル

このシナリオでは、次の 2 つのパイプラインがあります。

マスターパイプライン - このパイプラインには、呼び出されたパイプラインを呼び出す 1 つのパイプラインの実行アクティビティが含まれます。マスターパイプラインは、masterSourceBlobContainer と masterSinkBlobContainer の 2 つのパラメーターを使用します。
呼び出されたパイプライン - このパイプラインには、Azure Blob ソースからデータを Azure Blob シンクにコピーする 1 つのコピーアクティビティが含まれます。呼び出されたパイプラインは、sourceBlobContainer と sinkBlobContainer の 2 つのパラメーターを使用します。

マスターパイプラインの定義

{
  "name": "masterPipeline",
  "properties": {
    "activities": [
      {
        "type": "ExecutePipeline",
        "typeProperties": {
          "pipeline": {
            "referenceName": "invokedPipeline",
            "type": "PipelineReference"
          },
          "parameters": {
            "sourceBlobContainer": {
              "value": "@pipeline().parameters.masterSourceBlobContainer",
              "type": "Expression"
            },
            "sinkBlobContainer": {
              "value": "@pipeline().parameters.masterSinkBlobContainer",
              "type": "Expression"
            }
          },
          "waitOnCompletion": true
        },
        "name": "MyExecutePipelineActivity"
      }
    ],
    "parameters": {
      "masterSourceBlobContainer": {
        "type": "String"
      },
      "masterSinkBlobContainer": {
        "type": "String"
      }
    }
  }
}

呼び出されたパイプラインの定義

{
  "name": "invokedPipeline",
  "properties": {
    "activities": [
      {
        "type": "Copy",
        "typeProperties": {
          "source": {
            "type": "BlobSource"
          },
          "sink": {
            "type": "BlobSink"
          }
        },
        "name": "CopyBlobtoBlob",
        "inputs": [
          {
            "referenceName": "SourceBlobDataset",
            "type": "DatasetReference"
          }
        ],
        "outputs": [
          {
            "referenceName": "sinkBlobDataset",
            "type": "DatasetReference"
          }
        ]
      }
    ],
    "parameters": {
      "sourceBlobContainer": {
        "type": "String"
      },
      "sinkBlobContainer": {
        "type": "String"
      }
    }
  }
}

リンクされたサービス

{
    "name": "BlobStorageLinkedService",
    "properties": {
    "type": "AzureStorage",
    "typeProperties": {
      "connectionString": "DefaultEndpointsProtocol=https;AccountName=*****;AccountKey=*****"
    }
  }
}

ソースデータセット

{
    "name": "SourceBlobDataset",
    "properties": {
    "type": "AzureBlob",
    "typeProperties": {
      "folderPath": {
        "value": "@pipeline().parameters.sourceBlobContainer",
        "type": "Expression"
      },
      "fileName": "salesforce.txt"
    },
    "linkedServiceName": {
      "referenceName": "BlobStorageLinkedService",
      "type": "LinkedServiceReference"
    }
  }
}

シンクデータセット

{
    "name": "sinkBlobDataset",
    "properties": {
    "type": "AzureBlob",
    "typeProperties": {
      "folderPath": {
        "value": "@pipeline().parameters.sinkBlobContainer",
        "type": "Expression"
      }
    },
    "linkedServiceName": {
      "referenceName": "BlobStorageLinkedService",
      "type": "LinkedServiceReference"
    }
  }
}

パイプラインの実行

この例でマスターパイプラインを実行する場合、masterSourceBlobContainer パラメーターと masterSinkBlobContainer パラメーターに対して次の値が渡されます。

{
  "masterSourceBlobContainer": "executetest",
  "masterSinkBlobContainer": "executesink"
}

マスターパイプラインは、次の例で示すように、呼び出されたパイプラインにこれらの値を転送します。

{
    "type": "ExecutePipeline",
    "typeProperties": {
      "pipeline": {
        "referenceName": "invokedPipeline",
        "type": "PipelineReference"
      },
      "parameters": {
        "sourceBlobContainer": {
          "value": "@pipeline().parameters.masterSourceBlobContainer",
          "type": "Expression"
        },
        "sinkBlobContainer": {
          "value": "@pipeline().parameters.masterSinkBlobContainer",
          "type": "Expression"
        }
      },

      ....
}

警告

Execute Pipeline アクティビティは、配列パラメーターを文字列として子パイプラインに渡します。これは、ペイロードが親パイプラインから子に文字列として渡されることが原因です。子パイプラインに渡された入力を確認すると、それを確認できます。詳細については、このセクションを参照してください。

サポートされている他の制御フローアクティビティを参照してください。