활동 개요
이 문서는 Microsoft Fabric의 활동을 이해하고 데이터 이동 및 데이터 처리 시나리오를 위한 엔드투엔드 데이터 기반 워크플로 사용하는 데 도움이 됩니다.
개요
Microsoft Fabric 작업 영역에는 하나 이상의 파이프라인이 있을 수 있습니다. 파이프라인은 한데 모여 작업을 수행하는 작업의 논리적 그룹화입니다. 예를 들어, 파이프라인에는 로그 데이터를 수집하고 정리한 다음 매핑 데이터 흐름을 시작하여 로그 데이터를 분석하는 일련의 작업이 포함될 수 있습니다. 파이프라인을 사용하면 작업을 개별적으로 관리하는 대신 하나의 세트로 관리할 수 있습니다. 작업이 아닌 파이프라인을 독립적으로 배포하고 예약합니다.
파이프라인의 작업은 데이터에 대해 수행할 동작을 정의합니다. 예를 들어 복사 작업을 사용하여 SQL Server에서 Azure Blob Storage로 데이터를 복사할 수 있습니다. 그런 다음 데이터 흐름 작업 또는 Notebook 작업을 사용하여 Blob Storage의 데이터를 처리하고 비즈니스 인텔리전스 보고 솔루션을 기반으로 하는 Azure Synapse Analytics 풀로 변환합니다.
Microsoft Fabric은 데이터 이동 작업, 데이터 변환 작업 및 제어 작업이라는 세 종류의 작업을 지원합니다.
데이터 이동 활동
Microsoft Fabric의 복사 작업은 원본 데이터 저장소의 데이터를 싱크 데이터 저장소로 복사합니다. Fabric에서는 커넥터 개요 문서의 데이터 Store 목록을 지원합니다. 모든 소스의 데이터를 모든 싱크에 쓸 수 있습니다.
자세한 내용은 복사 작업을 사용하여 데이터를 복사하는 방법을 참조하세요.
데이터 변환 활동
Microsoft Fabric은 개별적 또는 다른 작업과 연계하여 추가할 수 있는 다음 변환 작업을 지원합니다.
자세한 내용은 데이터 변환 작업 문서를 참조하세요.
| 데이터 변환 작업 | 컴퓨팅 환경 |
|---|---|
| 데이터 복사 | Microsoft Fabric의 컴퓨팅 관리자 |
| Dataflow Gen2 | Microsoft Fabric의 컴퓨팅 관리자 |
| 데이터 삭제 | Microsoft Fabric의 컴퓨팅 관리자 |
| Fabric Notebook | Microsoft Fabric에서 관리하는 Apache Spark 클러스터 |
| HDInsight 작업 | Microsoft Fabric에서 관리하는 Apache Spark 클러스터 |
| Spark 작업 정의 | Microsoft Fabric에서 관리하는 Apache Spark 클러스터 |
| 저장 프로시저 | Azure SQL, Azure Synapse Analytics 또는 SQL Server |
| SQL 스크립트 | Azure SQL, Azure Synapse Analytics 또는 SQL Server |
제어 흐름 작업
다음과 같은 제어 흐름 작업이 지원 됩니다.
| 제어 작업 | 설명 |
|---|---|
| 변수 추가 | 기존 배열 변수에 값을 추가합니다. |
| Azure Batch 작업 | Azure Batch 스크립트를 실행합니다. |
| Azure Databricks 작업 | Azure Databricks 작업(Notebook, Jar, Python)을 실행합니다. |
| Azure Machine Learning 작업 | Azure Machine Learning 작업을 실행합니다. |
| 작업 비활성화 | 다른 작업을 비활성화합니다. |
| Fail | 사용자 지정된 오류 메시지 및 오류 코드로 인해 파이프라인 실행이 실패합니다. |
| Filter | 입력 배열에 필터 식을 적용합니다. |
| ForEach | ForEach 작업은 파이프라인의 반복 제어 흐름을 정의합니다. 이 작업을 사용하여 컬렉션을 반복하고 루프의 지정된 작업을 실행합니다. 이 활동의 루프 구현은 프로그래밍 언어의 Foreach 반복 구조와 비슷합니다. |
| 함수 작업 | Azure Function을 실행합니다. |
| 메타데이터 가져오기 | GetMetadata 작업은 Data Factory 또는 Synapse 파이프라인에서 모든 데이터의 메타데이터를 검색하는 데 사용할 수 있습니다. |
| If 조건 | If 조건을 사용하여 True 또는 False로 평가되는 조건을 기반으로 분기할 수 있습니다. If 조건 작업은 if 문에서 프로그래밍 언어로 제공하는 것과 동일한 기능을 제공합니다. 조건이 true로 평가되면 작업 집합을 평가하고, 조건이 false로 평가되면 다른 작업 집합을 평가합니다. |
| 호출된 파이프라인 | Execute Pipeline 작업을 사용하면 하나의 Data Factory 또는 Synapse 파이프라인에서 다른 파이프라인을 호출할 수 있습니다. |
| KQL 작업 | Kusto 인스턴스에 대해 KQL 스크립트를 실행합니다. |
| 조회 작업 | 조회 작업을 사용하면 모든 외부 소스에서 레코드/테이블 이름/값을 읽거나 조회할 수 있습니다. 이 출력을 다음 작업에서 추가로 참조할 수 있습니다. |
| 변수 설정 | 기존 변수의 값을 설정합니다. |
| Switch 작업 | 식의 각 잠재적 결과에 대해 여러 후속 작업을 가능하게 하는 Switch 식을 구현합니다. |
| Teams 작업 | Teams 채널 또는 그룹 채팅에 메시지를 게시합니다. |
| Until 작업 | 프로그래밍 언어의 Do-Until 루핑 구조와 유사한 Do-Until 루프를 구현합니다. 작업과 관련된 조건이 참으로 평가될 때까지 일단의 반복 작업을 실행합니다. until 작업의 시간 제한 값을 지정할 수 있습니다. |
| 대기 작업 | 파이프라인에서 대기 작업을 사용하는 경우 파이프라인은 후속 작업을 계속 실행하기 전에 지정된 시간 동안 대기합니다. |
| 웹 작업 | 웹 작업은 파이프라인에서 사용자 지정 REST 엔드포인트를 호출하는 데 사용할 수 있습니다. |
| 웹후크 작업 | 웹후크 작업을 사용하여 엔드포인트를 호출하고 콜백 URL을 전달합니다. 파이프라인 실행은 다음 작업을 진행하기 전에 콜백이 호출될 때까지 기다립니다. |
Microsoft Fabric UI를 사용하여 파이프라인에 작업 추가
다음 단계를 사용하여 Microsoft Fabric 파이프라인에서 작업을 추가하고 구성합니다.
- 작업 영역에서 새 파이프라인을 만듭니다.
- 파이프라인의 작업 탭에서 표시된 작업을 찾고 필요한 경우 오른쪽으로 스크롤하여 모든 작업을 확인합니다. 파이프라인 편집기에서 작업을 선택하여 추가합니다.
- 파이프라인 편집기 캔버스에서 작업을 추가하고 선택하면 해당 일반 설정이 캔버스 아래의 속성 창에 표시됩니다.
- 각 작업에는 속성 창의 다른 탭에서 구성과 관련된 사용자 지정 속성도 포함됩니다.
일반 설정
파이프라인에 새 작업을 추가하고 선택하면 화면 아래쪽 영역에 해당 속성 창이 표시됩니다. 이러한 속성 창에는 일반, 설정, 그리고 경우에 따라 다른 창도 포함됩니다.
일반 설정에는 항상 모든 작업에 대한 이름 및 설명 필드가 포함됩니다. 일부 작업에는 다음이 포함될 수도 있습니다.
| 설정 | 설명 |
|---|---|
| Timeout | 활동을 실행할 수 있는 최대 시간입니다. 기본값은 12시간이며 허용되는 최대 시간은 7일입니다. 시간 제한의 형식은 D.HH:MM:SS입니다. |
| 재시도 | 최대 재시도 횟수입니다. |
| (고급 속성) 재시도 간격(초) | 각 재시도 간의 시간(초)을 지정합니다. |
| (고급 속성) 보안 출력 | 선택하면 작업의 출력값이 로깅에서 캡처되지 않습니다. |
| (고급 속성) 보안 입력 | 선택하면 작업의 입력값이 로깅에서 캡처되지 않습니다. |
참고 항목
컨테이너에 대한 내부 활동을 포함하여, 파이프라인당 활동 최대 80개의 기본 소프트 제한이 있습니다.