파이프라인을 개발할 때 알아야 할 다음과 같은 제한 사항들:
Azure Databricks 작업 공간의 동시 파이프라인 업데이트는 1,000개로 제한됩니다. 단일 파이프라인이 포함할 수 있는 데이터셋 수는 1,000개로 제한되지만, 파이프라인 업데이트가 그 한도에 도달하기 전에 메모리나 기타 자원이 부족할 수 있습니다. 유용한 한계는 파이프라인 구성과 워크로드 복잡성에 의해 결정됩니다. 자원 한계에 대해서는 자원 한계를 참조하세요.
파이프라인 구성에는 원본 파일 및 폴더에 대한 참조가 포함됩니다.
구성에서 개별 Notebook 또는 파일 만 참조하는 경우 파이프라인당 제한은 100개의 원본 파일입니다.
구성에 폴더가 포함된 경우 파일 또는 폴더로 구성된 원본 항목을 최대 50개까지 포함할 수 있습니다.
폴더를 참조하면 해당 폴더 내의 파일이 간접적으로 참조됩니다. 이 경우 직접 또는 간접적으로 참조되는 파일 수에 대한 제한은 1000입니다.
100개 이상의 원본 파일이 필요한 경우 폴더로 구성합니다. 폴더를 사용하여 원본 파일을 포함하는 방법을 알아보려면 Lakeflow 파이프라인 편집기에서 파이프라인 자산 브라우저 를 참조하세요.
파이프라인 데이터 세트는 한 번만 정의할 수 있습니다. 이 때문에 모든 파이프라인에서 단일 작업의 대상이 될 수 있습니다. 예외는 여러 스트리밍 원본에서 스트리밍 테이블에 쓸 수 있는 추가 흐름 처리가 있는 스트리밍 테이블입니다. 기본 흐름 및 추가 흐름을 참조하세요.
ID 열에는 다음과 같은 제한 사항이 있습니다. 델타 테이블의 ID 열에 대한 자세한 내용은 ID 열을 참조하세요.
- ID 열은 AUTO CDC 처리의 대상인 테이블에서 지원되지 않습니다.
- 구체화된 뷰를 업데이트하는 동안 ID 열이 다시 계산될 수 있습니다. 이 때문에 Databricks는 스트리밍 테이블이 있는 파이프라인에서만 ID 열을 사용하는 것이 좋습니다.
기본적으로 구체화된 뷰 및 스트리밍 테이블은 Azure Databricks 클라이언트 및 애플리케이션에서만 액세스할 수 있습니다. 외부 시스템에서 액세스할 수 있도록 하려면 외부 시스템을 사용하여 구체화된 뷰 및 스트리밍 테이블에 액세스하세요.
Unity 카탈로그 파이프라인을 실행하고 쿼리하는 데 필요한 Databricks 컴퓨팅에는 제한이 있습니다. Unity 카탈로그에 게시하는 파이프라인에 대한 요구 사항을 참조하세요.
Delta Lake 시간 이동 쿼리는 스트리밍 테이블에서만 지원되며 구체화된 뷰에서는 지원 되지 않습니다 . 테이블 기록 작업을 참조하세요.
pivot()함수는 지원되지 않습니다. Spark에서pivot작업을 수행하려면 출력 스키마를 계산하기 위해 입력 데이터를 즉시 로드해야 합니다. 이 기능은 파이프라인에서 지원되지 않습니다.파이프라인의 런-AS 신원은 계정 그룹일 수 있지만, 그룹은 작업 공간에 할당된 계정 그룹이어야 합니다. 작업 공간-로컬 그룹은 런-AS 정체성으로 사용할 수 없으며, 광범위한 내장 그룹
admins,users,account users도 마찬가지입니다. 참조: Set the run-as identity to a group.
Lakeflow 파이프라인 리소스 할당량은 리소스 제한을 참조하세요.