파이프라인 실행의 참조 트리거 메타데이터

적용 대상: Azure Data Factory Azure Synapse Analytics]

팁

기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!

이 문서에서는 트리거 시작 시간과 같은 트리거 메타데이터를 파이프라인 실행에서 사용할 수 있는 방법을 설명합니다.

파이프라인은 경우에 따라 호출하는 트리거에서 메타데이터를 해석하고 읽어야 합니다. 예를 들어, 연속 창 트리거 실행을 통해 창 시작 및 종료 시간을 기준으로 파이프라인은 다양한 데이터 조각 또는 폴더를 처리합니다. Azure Data Factory에서는 매개 변수화와 시스템 변수를 사용하여 트리거에서 파이프라인으로 메타데이터를 전달합니다.

이 패턴은 기간 시작 및 종료 시간을 제공하는 연속 창 트리거와 사용자 지정 정의 데이터 필드의 값을 구문 분석하고 처리하는 사용자 지정 이벤트 트리거에 특히 유용합니다.

참고 항목

다양한 트리거 유형은 다양한 메타데이터 정보를 제공합니다. 자세한 내용은 시스템 변수를 참조하세요.

Data Factory UI

이 섹션에서는 Data Factory UI(사용자 인터페이스) 내에서 트리거에서 파이프라인으로 메타데이터 정보를 전달하는 방법을 보여 줍니다.

1. 제작 캔버스로 이동하여 파이프라인을 편집합니다.

2. 빈 캔버스를 선택하여 파이프라인 설정을 불러옵니다. 작업을 선택하지 마세요. 설정 창이 축소되어 있을 수 있으므로 캔버스 하단에서 위로 끌어와야 할 수도 있습니다.

3. 매개 변수 탭을 선택하고 + 새로 만들기를 선택하여 매개 변수를 추가합니다.

   

4. + 트리거를 선택하여 파이프라인에 트리거를 추가합니다.

5. 트리거를 만들거나 파이프라인에 연결하고 확인을 선택합니다.

6. 확인을 선택하면 다음 스크린샷과 같이 파이프라인에 대해 지정된 매개 변수 목록이 포함된 또 다른 새 트리거 페이지가 나타납니다. 해당 페이지에서 각 매개 변수에 대한 트리거 메타데이터를 입력합니다. 시스템 변수에 정의된 형식을 사용하여 트리거 정보를 검색합니다. 모든 매개 변수에 대한 정보를 입력할 필요는 없습니다. 트리거 메타데이터 값을 가정할 값을 입력하기만 하면 됩니다. 예를 들어, 여기서는 트리거 실행 시작 시간을 parameter_1에 할당합니다.

   

7. 파이프라인에서 값을 사용하기 위해 파이프라인 정의에서 시스템 변수가 아닌 @pipeline().parameters.parameterName 같은 매개 변수를 활용합니다. 예를 들어, 이 경우 트리거 시작 시간을 읽으려면 @pipeline().parameters.parameter_1을 참조하세요.

JSON 스키마

파이프라인 실행에 트리거 정보를 전달하려면 트리거와 파이프라인 JSON을 모두 parameters 섹션으로 업데이트해야 합니다.

파이프라인 정의

properties 섹션에서 parameters 섹션에 매개 변수 정의를 추가합니다.

{
    "name": "demo_pipeline",
    "properties": {
        "activities": [
            {
                "name": "demo_activity",
                "type": "WebActivity",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "url": {
                        "value": "@pipeline().parameters.parameter_2",
                        "type": "Expression"
                    },
                    "method": "GET"
                }
            }
        ],
        "parameters": {
            "parameter_1": {
                "type": "string"
            },
            "parameter_2": {
                "type": "string"
            },
            "parameter_3": {
                "type": "string"
            },
            "parameter_4": {
                "type": "string"
            },
            "parameter_5": {
                "type": "string"
            }
        },
        "annotations": [],
        "lastPublishTime": "2021-02-24T03:06:23Z"
    },
    "type": "Microsoft.DataFactory/factories/pipelines"
}

트리거 정의

pipelines 섹션 아래의 parameters 섹션에 매개 변수 값을 할당합니다. 모든 매개 변수에 대한 정보를 입력할 필요는 없습니다. 트리거 메타데이터 값을 가정할 값을 입력하기만 하면 됩니다.

{
    "name": "trigger1",
    "properties": {
        "annotations": [],
        "runtimeState": "Started",
        "pipelines": [
            {
                "pipelineReference": {
                    "referenceName": "demo_pipeline",
                    "type": "PipelineReference"
                },
                "parameters": {
                    "parameter_1": "@trigger().startTime"
                }
            }
        ],
        "type": "ScheduleTrigger",
        "typeProperties": {
            "recurrence": {
                "frequency": "Minute",
                "interval": 15,
                "startTime": "2021-03-03T04:38:00Z",
                "timeZone": "UTC"
            }
        }
    }
}

파이프라인에서 트리거 정보 사용

파이프라인에서 값을 사용하려면 파이프라인 정의에서 시스템 변수가 아닌 @pipeline().parameters.parameterName과 같은 매개 변수를 활용합니다.

관련 콘텐츠

트리거에 대한 자세한 내용은 파이프라인 실행 및 트리거를 참조하세요.