Delta Live Tables 파이프라인의 구성 관리

Delta Live Tables는 인프라 관리, 작업 오케스트레이션, 오류 복구 및 성능 최적화와 같은 운영 복잡성을 자동화하므로 대부분의 파이프라인은 최소한의 수동 구성으로 실행할 수 있습니다. 그러나 Delta Live Tables를 사용하면 기본이 아닌 구성이 필요한 파이프라인에 대한 구성을 관리하거나 성능 및 리소스 사용을 최적화할 수 있습니다. 이 문서에서는 파이프라인 실행 방법을 결정하는 설정, 파이프라인을 실행하는 컴퓨팅 옵션, Python 라이브러리와 같은 외부 종속성 관리를 포함하여 Delta Live Tables 파이프라인에 대한 구성 관리에 대한 세부 정보를 제공합니다.

파이프라인 설정 관리

Delta Live Tables 파이프라인에 대한 구성에는 파이프라인을 구현하는 소스 코드를 정의하는 설정이 포함됩니다. 또한 파이프라인 인프라, 종속성 관리, 업데이트 처리 방법 및 테이블이 작업 영역에 저장되는 방법을 제어하는 설정도 포함됩니다. 대부분의 구성은 선택 사항이지만 일부는 주의해야 합니다.

파이프라인에 대한 구성 옵션 및 이를 사용하는 방법에 대한 자세한 내용은 Delta Live Tables에 대한 파이프라인 설정 구성을 참조 하세요.

Delta Live Tables 설정, 테이블 관리 방법을 제어하는 속성 및 설정할 수 없는 컴퓨팅 옵션에 대한 자세한 사양은 Delta Live Tables 속성 참조를 참조하세요.

Python을 사용하는 파이프라인에 대한 외부 종속성 관리

Delta Live Tables는 Python 패키지 및 라이브러리와 같은 파이프라인에서 외부 종속성 사용을 지원합니다. 종속성 사용에 대한 옵션 및 권장 사항에 대해 알아보려면 Delta Live Tables 파이프라인에 대한 Python 종속성 관리를 참조 하세요.

Azure Databricks 작업 영역에 저장된 Python 모듈 사용

Databricks Notebook에서 Python 코드를 구현하는 것 외에도 Databricks Git 폴더 또는 작업 영역 파일을 사용하여 코드를 Python 모듈로 저장할 수 있습니다. 코드를 Python 모듈로 저장하는 것은 여러 파이프라인 또는 동일한 파이프라인의 여러 Notebook에서 사용하려는 일반적인 기능이 있는 경우에 특히 유용합니다. 파이프라인에서 Python 모듈을 사용하는 방법을 알아보려면 Git 폴더 또는 작업 영역 파일에서 Python 모듈 가져오기를 참조하세요.

파이프라인 컴퓨팅 사용률 최적화

향상된 자동 크기 조정을 사용하여 파이프라인의 클러스터 사용률을 최적화합니다. 향상된 자동 크기 조정은 시스템에서 파이프라인 처리 속도를 높여줄 것으로 판단한 경우에만 리소스를 추가합니다. 리소스는 더 이상 필요하지 않을 때 해제되고 모든 파이프라인 업데이트가 완료되는 즉시 클러스터가 종료됩니다.

구성 세부 정보를 포함하여 향상된 자동 크기 조정에 대한 자세한 내용은 향상된 자동 크기 조정을 사용하여 Delta Live Tables 파이프라인의 클러스터 사용률 최적화를 참조하세요.