이 섹션에는 파이프라인 개발자를 위한 참조 및 지침이 포함되어 있습니다.
데이터 로드 및 변환은 스트리밍 테이블 및 구체화된 뷰를 정의하는 쿼리에 의해 파이프라인에서 구현됩니다. 이러한 쿼리를 구현하기 위해 Lakeflow Spark 선언적 파이프라인은 SQL 및 Python 인터페이스를 지원합니다. 이러한 인터페이스는 대부분의 데이터 처리 사용 사례에 동등한 기능을 제공하기 때문에 파이프라인 개발자는 가장 익숙한 인터페이스를 선택할 수 있습니다.
Python 개발
Python 코드를 사용하여 파이프라인을 만듭니다.
| 주제 | Description |
|---|---|
| Python을 사용하여 파이프라인 코드 개발 | Python에서 파이프라인 개발에 대한 개요입니다. |
| Lakeflow Spark 선언적 파이프라인 Python 언어 참조 | 모듈에 대한 Python 참조 설명서입니다 pipelines . |
| 파이프라인에 대한 Python 종속성 관리 | 파이프라인에서 Python 라이브러리를 관리하기 위한 지침입니다. |
| Git 폴더 또는 작업 영역 파일에서 Python 모듈 가져오기 | Azure Databricks에 저장한 Python 모듈을 사용하는 방법에 대한 지침입니다. |
SQL 개발
SQL 코드를 사용하여 파이프라인을 만듭니다.
| 주제 | Description |
|---|---|
| SQL을 사용하여 Lakeflow Spark 선언적 파이프라인 코드 개발 | SQL에서 파이프라인 개발에 대한 개요입니다. |
| 파이프라인 SQL 언어 참조 | Lakeflow Spark 선언적 파이프라인에 대한 SQL 구문에 대한 참조 설명서입니다. |
| Databricks SQL에서 파이프라인 사용 | Databricks SQL을 사용하여 파이프라인 작업을 수행합니다. |
기타 개발 항목
다음 항목에서는 파이라인을 개발하는 다른 방법을 설명합니다.
| 주제 | Description |
|---|---|
| 파이프라인을 Databricks 자산 번들 프로젝트로 변환 | 기존 파이프라인을 번들로 변환하면 원본 제어 YAML 파일에서 데이터 처리 구성을 관리하여 대상 환경에 대한 보다 쉬운 유지 관리 및 자동화된 배포를 수행할 수 있습니다. |
| dlt-meta를 사용하여 파이프라인 만들기 | 오픈 소스 dlt-meta 라이브러리를 사용하여 메타데이터 기반 프레임워크를 사용하여 파이프라인 만들기를 자동화합니다. |
| 로컬 개발 환경에서 파이프라인 코드 개발 | 파이프라인을 로컬로 개발하기 위한 옵션의 개요입니다. |