Azure Data Factory의 언어 지원 이해

완료됨

대부분의 Azure Data Factory 사용자는 사용자 인터페이스를 사용하여 개발하지만 Azure Data Factory는 프로그래밍 방식으로 개발하려는 모든 사용자를 위해 다양한 SDK(소프트웨어 개발 키트)로 제공됩니다. SDK를 사용하는 경우 사용자는 Azure Data Factory 서비스에 대해 직접 작업하며 모든 업데이트는 팩터리에 즉시 적용됩니다.

서비스 관리를 수행할 수 있게 하는 Python용 Azure Data Factory 라이브러리가 있습니다.

다음 패키지를 설치할 수 있습니다.

pip install azure-mgmt-datafactory 

여기에서 다음 코드와 같이 미국 동부 지역의 구독에서 Azure Data Factory를 생성하는 것과 같은 다양한 작업을 수행할 수 있습니다.

from azure.common.credentials import ServicePrincipalCredentials
from azure.mgmt.resource import ResourceManagementClient
from azure.mgmt.datafactory import DataFactoryManagementClient
from azure.mgmt.datafactory.models import *
import time

#Create a data factory
subscription_id = '<Specify your Azure Subscription ID>'
credentials = ServicePrincipalCredentials(client_id='<Active Directory application/client ID>', secret='<client secret>', tenant='<Active Directory tenant ID>')
adf_client = DataFactoryManagementClient(credentials, subscription_id)

rg_params = {'location':'eastus'}
df_params = {'location':'eastus'}  

df_resource = Factory(location='eastus')
df = adf_client.factories.create_or_update(rg_name, df_name, df_resource)
print_item(df)
while df.provisioning_state != 'Succeeded':
    df = adf_client.factories.get(rg_name, df_name)
    time.sleep(1)

Python 외에도 아래에 나열된 다른 언어 및 SDK를 사용하여 Azure Data Factory와 프로그래밍 방식으로 상호 작용할 수 있습니다.

  • .NET
  • REST API
  • PowerShell
  • Azure 리소스 관리자 템플릿
  • 데이터 흐름 스크립트

DFS(데이터 흐름 스크립트)는 매핑 데이터 흐름에 포함된 변환을 실행하는 데 사용되는 코딩 언어와 유사한 기본 메타데이터입니다. 모든 변환은 작업을 적절하게 실행하는 데 필요한 정보를 제공하는 일련의 속성으로 표현됩니다. 스크립트는 브라우저 UI의 상단 리본에 있는 “스크립트” 단추를 클릭하여 ADF에서 보고 편집할 수 있습니다.