다음을 통해 공유

Azure Workflow Orchestration Manager는 어떻게 작동하나요?

  • 아티클

적용 대상: Azure Data Factory Azure Synapse Analytics

팁

기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!

참고 항목

워크플로 오케스트레이션 관리자는 Apache Airflow를 통해 구동됩니다.

참고 항목

Azure Data Factory용 워크플로 오케스트레이션 관리자는 오픈 소스 Apache Airflow 애플리케이션을 사용합니다. Airflow에 대한 설명서 및 추가 자습서는 Apache Airflow 설명서 또는 커뮤니티 페이지에서 찾을 수 있습니다.

Azure Data Factory의 워크플로 오케스트레이션 관리자는 Python 기반 DAG(Directed Acyclic Graph)를 사용하여 오케스트레이션 워크플로를 실행합니다. 이 기능을 사용하려면 Azure Blob Storage 또는 GitHub 리포지토리를 통해 DAG 및 플러그 인을 제공해야 합니다. CLI(명령줄 인터페이스) 또는 SDK(소프트웨어 개발 키트)를 사용하여 ADF에서 Airflow UI를 시작하고 DAG를 관리할 수 있습니다.

워크플로 오케스트레이션 관리자 환경 만들기

참조: 워크플로 오케스트레이션 관리자 환경 만들기

DAG 가져오기

워크플로 오케스트레이션 관리자는 Python 원본 파일에서 Airflow의 환경으로 DAG를 로드하는 두 가지 고유한 메서드를 제공합니다. 이러한 메서드는 다음과 같습니다.

Airflow 환경에서 DAG 제거

참조: 워크플로 오케스트레이션 관리자에서 DAG 삭제

DAG 실행 모니터링

Airflow DAG를 모니터링하려면 이전에 만든 사용자 이름 및 암호를 사용하여 Airflow UI에 로그인합니다.

  1. 만들었던 Airflow 환경을 선택합니다.

    생성된 Airflow 환경을 보여 주는 스크린샷

  2. Airflow Integration Runtime을 만드는 동안 제공된 사용자 이름 및 암호를 사용하여 로그인합니다. (필요한 경우 Airflow 통합 런타임을 편집하여 사용자 이름 또는 암호를 다시 설정할 수 있음)

    Airflow Integration Runtime을 만드는 동안 제공된 사용자 이름 암호를 사용하여 로그인하는 방법을 보여 주는 스크린샷

DAG 가져오기 문제 해결

  • 문제: DAG 가져오기에 5분 이상 소요됩니다. 완화: 단일 가져오기로 가져오는 DAG의 크기를 줄입니다. 크기를 주리는 한 가지 방법은 여러 컨테이너에 걸쳐 더 적은 DAG를 포함한 여러 DAG 폴더를 만드는 것입니다.

  • 문제: Airflow UI에 로그인할 때 가져온 DAG가 표시되지 않습니다. 완화: Airflow UI에 로그인하고 DAG 구문 분석 오류가 있는지 확인합니다. DAG 파일에 호환되지 않는 코드가 포함된 경우 이 오류가 발생할 수 있습니다. Airflow UI를 통해 문제가 있는 정확한 줄 번호와 파일을 찾을 수 있습니다.

    스크린샷은 가져오기 dag 문제를 보여줍니다.

관련 콘텐츠