워크플로 오케스트레이션 관리자에서 Airflow 환경 만들기

참고 항목

워크플로 오케스트레이션 관리자는 Apache Airflow를 통해 구동됩니다.

이 문서에서는 워크플로 오케스트레이션 관리자에서 Airflow 환경을 설정하고 구성하는 방법을 설명합니다.

필수 조건

• Azure 구독: Azure 구독이 아직 없는 경우 시작하기 전에 체험 계정을 만듭니다.
• Azure Data Factory: 워크플로 오케스트레이션 관리자 미리 보기가 지원되는 지역에서 기존 Data Factory 인스턴스를 만들거나 선택합니다.

환경 만들기

새 워크플로 오케스트레이션 관리자 환경을 만들려면 다음을 수행합니다.

1. 관리 허브로 이동하고 Airflow(미리 보기)>+ 새로 만들기를 선택하여 Airflow 환경 설정 페이지를 엽니다.

   

2. Airflow 구성에 대한 정보를 입력하고 옵션을 선택합니다.

   

   Important

   기본 인증을 사용하는 경우 이 페이지에 지정된 사용자 이름과 암호를 기억합니다. 나중에 Airflow UI에 로그인하려면 이 정보가 필요합니다. 기본 옵션은 Azure AD입니다. Airflow 환경에 대한 사용자 이름과 암호를 만들 필요가 없습니다. 대신 Azure Data Factory에 로그인한 사용자 자격 증명을 사용하여 DAG(방향성 비순환 그래프)에 로그인하고 모니터링합니다.

   Airflow 환경 설정 페이지의 추가 옵션:

   • git sync 사용: DAG를 수동으로 가져오는 대신 Airflow 환경이 Git 리포지토리와 자동으로 동기화되도록 허용할 수 있습니다. 자세한 내용은 워크플로 오케스트레이션 관리자에서 GitHub 리포지토리 동기화를 참조하세요.
   • Airflow 구성 재정의airflow.cfg에서 설정한 모든 Airflow 구성을 재정의할 수 있습니다. 예를 들어 name: AIRFLOW__VAR__FOO 및 value: BAR입니다. 자세한 내용은 Airflow 구성을 참조하세요.
   • 환경 변수: Airflow 내에서 이 키 값 저장소를 사용하여 임의의 콘텐츠나 설정을 저장하고 검색할 수 있습니다.
   • 요구 사항: 이 옵션을 사용하여 Python 라이브러리를 사전 설치할 수 있습니다. 나중에 이러한 요구 사항을 업데이트할 수 있습니다.
   • Kubernetes 비밀: Airflow 환경에 대한 사용자 지정 Kubernetes 비밀을 만들 수 있습니다. 예를 들면 KubernetesPodOperator용 이미지를 끌어오기 위한 프라이빗 레지스트리 자격 증명이 있습니다.

3. 요구 사항에 따라 모든 정보를 작성한 후 만들기를 선택합니다.