데이터 팩터리 구성 요소에 매개 변수 추가
Azure Data Factory의 연결된 서비스 매개 변수화
Azure Data Factory 내에서 런타임 중에 동적 값을 통해 전달할 수 있는 연결된 서비스를 매개 변수화할 수 있습니다. 매개 변수화하는 시나리오에 관한 사용 사례로는 동일한 SQL Server에 있는 여러 다른 데이터베이스에 연결하는 것을 들 수 있습니다. 이때 연결된 서비스 정의에서 데이터베이스 이름을 매개 변수화하는 것이 좋습니다. 이렇게 하면 동일한 SQL Server에 있는 각 데이터베이스에 대해 하나의 연결된 서비스를 만들 필요가 없다는 이점도 있습니다.
연결된 서비스의 다른 속성(예: 사용자 이름)도 매개 변수화할 수 있습니다.
Azure Data Factory에서 연결된 서비스를 매개 변수화하기로 결정한 경우 Azure Data Factory 사용자 인터페이스, Azure Portal 또는 원하는 프로그래밍 인터페이스에서 이 작업을 수행할 수 있습니다.
사용자 인터페이스를 통해 연결된 서비스를 작성하도록 선택하는 경우 Data Factory에서 일부 커넥터에 대해 기본 매개 변수화를 제공할 수 있습니다.
- Amazon Redshift
- Azure Cosmos DB(SQL API)
- Azure Database for MySQL
- Azure SQL Database
- Azure Synapse Analytics(이전의 SQL DW)
- MySQL
- Oracle
- SQL Server
- 일반 HTTP
- 일반 REST
연결된 서비스의 생성/편집 블레이드로 이동하는 경우 매개 변수화에 대한 옵션을 찾아볼 수 있습니다.
다른 유형의 커넥터를 사용하고 있으므로 기본 제공 매개 변수화를 사용할 수 없는 경우 사용자 인터페이스를 통해 JSON을 편집할 수 있습니다.
연결된 서비스 생성/편집 창 하단에서 고급을 펼치고 JSON 형식의 동적 콘텐츠 지정 확인란을 선택하고 연결된 서비스 JSON 페이로드를 지정합니다.
또는 매개 변수화를 사용하지 않고 연결된 서비스를 생성한 후 관리 허브에서 연결된 서비스를 선택하고 특정 연결된 서비스를 찾습니다. 그런 다음 {}(코드 단추)를 선택하여 JSON을 편집합니다.
Azure Data Factory의 전역 매개 변수
Azure Data Factory 파이프라인에서 전역 매개 변수를 설정하면 이러한 상수를 파이프라인 식에 사용할 수 있습니다. 전역 매개 변수를 설정하는 사용 사례는 매개 변수 이름과 값이 동일한 파이프라인이 여러 개 있는 경우입니다.
Azure Data Factory에서 연속 통합 및 연속(CI/CD) 배포 프로세스를 사용하는 경우, 생성한 각 환경에 대해 전역 매개 변수를 재정의할 수 있습니다(원하는 경우).
Azure Data Factory에서 전역 매개 변수 만들기
전역 매개 변수를 만들려면 관리 섹션의 전역 매개 변수 탭으로 이동합니다. 새로 만들기를 선택하여 만들기 사이드 메뉴 창을 엽니다.
사이드 메뉴 창에서 이름을 입력하고 데이터 형식을 선택하며 매개 변수 값을 지정합니다.
전역 매개 변수를 만든 후에는 매개 변수의 이름을 클릭하여 해당 매개 변수를 편집할 수 있습니다. 여러 매개 변수를 함께 변경하려면 모두 편집을 선택합니다.
파이프라인에서 전역 매개 변수 사용
Azure Data Factory의 파이프라인에서 전역 매개 변수를 사용하는 경우 대부분 파이프라인 식에서 참조됩니다. 예를 들어 파이프라인이 데이터 세트 또는 데이터 흐름과 같은 리소스를 참조하는 경우 리소스 매개 변수를 통해 전역 매개 변수 값을 전달할 수 있습니다. Azure Data Factory 흐름의 전역 매개 변수에 대한 명령 또는 참조는 다음과 같음: pipeline().globalParameters.<parameterName>.
CI/CD의 전역 매개 변수
Azure Data Factory와 CI/CD를 사용하여 파이프라인의 전역 매개 변수를 통합하는 경우 다음과 같은 두 가지 방법으로 해당 작업을 수행할 수 있습니다.
- Azure Resource Manager 템플릿에 전역 매개 변수 포함
- PowerShell 스크립트를 통해 전역 매개 변수 배포
대부분의 CI/CD 사례에서 Azure Resource Manager 템플릿에 전역 매개 변수를 포함하는 것이 좋습니다. 이는 전역 매개 변수는 CI/CD와의 네이티브 통합을 통해 Azure Resource Manager 템플릿 매개 변수로 추가되기 때문입니다. 이러한 이점은 해당 매개 변수가 작동하는 몇 가지 환경이 바뀐 데에서 기인합니다.
Azure Resource Manager 템플릿에서 전역 매개 변수를 사용하려면 관리 허브로 이동합니다. Azure Resource Manager 템플릿에 전역 매개 변수를 추가하면 git configs 같은 다른 설정을 재정의할 수 있는 Azure Data Factory 수준 설정이 추가된다는 점을 알고 있어야 합니다.
PowerShell 스크립트를 통해 전역 매개 변수를 배포하는 경우는 UAT 또는 PROD와 같은 권한이 높은 환경에서 앞서 설명한 설정이 사용되어 있기 때문일 수 있습니다.
매핑 데이터 흐름 매개 변수화
Azure Data Factory 내에서는 매개 변수 사용을 가능하게 하는 매핑 데이터 흐름을 사용할 수 있습니다. 데이터 흐름 정의 내에서 매개 변수를 설정하는 경우 식에서 매개 변수를 사용할 수 있습니다. 매개 변수 값은 데이터 흐름 실행 작업을 통해 호출 파이프라인에 의해 설정됩니다.
데이터 흐름 작업 식의 값을 설정하는 데는 다음과 같은 세 가지 옵션이 있습니다.
- 파이프라인 제어 흐름 식 언어를 사용하여 동적 값을 설정합니다.
- 데이터 흐름 식 언어를 사용하여 동적 값을 설정합니다.
- 두 식 언어 중 어느 하나를 사용하여 정적 리터럴 값을 설정합니다.
매핑 데이터 흐름을 매개 변수화하는 이유는 데이터 흐름이 일반화되고 유연하며 재사용 가능한지 확인하기 위해서입니다.
데이터 흐름에서 매개 변수 생성
데이터 흐름에 매개 변수를 추가하려면 데이터 흐름 캔버스의 빈 부분을 선택하여 일반 속성을 표시합니다.
설정 창에 매개 변수 탭이 표시됩니다.
새로 만들기를 선택하여 새 매개 변수를 생성합니다. 각 매개 변수에 대해 이름을 지정하고, 형식을 선택하며, 선택적으로 기본값을 설정해야 합니다.
데이터 흐름 매핑 시 파이프라인의 매개 변수 할당
매개 변수를 설정한 데이터 흐름을 생성된 경우 Data Flow 실행 작업을 사용하여 파이프라인에서 이를 실행할 수 있습니다.
파이프라인 캔버스에 작업을 추가한 후에는 작업의 매개 변수 탭에서 데이터 흐름 매개 변수를 찾을 수 있습니다.
매개 변수 값을 할당하면 Spark 유형에 따라 파이프라인 식 언어 또는 데이터 흐름 식 언어로 매개 변수를 사용할 수 있습니다. 또한 두 가지 즉, 파이프라인 및 데이터 흐름 식 매개 변수를 결합할 수 있습니다.