자습서: 첫 번째 Delta Live Tables 파이프라인 실행

아티클
04/19/2024

Important

서버리스 DLT 파이프라인은 공개 미리 보기로 제공됩니다. 서버리스 DLT 파이프라인을 사용하도록 설정하는 방법을 알아보려면 Azure Databricks 계정 팀에 문의하세요.

이 자습서에서는 Databricks Notebook의 코드에서 Delta Live Tables 파이프라인을 구성하고 파이프라인 업데이트를 트리거하여 파이프라인을 실행하는 방법을 보여 줍니다. 이 자습서에는 Python 및 SQL 인터페이스를 사용하여 예제 코드로 샘플 데이터 세트를 수집하고 처리하는 예제 파이프라인이 포함되어 있습니다. 이 자습서의 지침을 사용하여 올바르게 정의된 Delta Live Tables 구문이 있는 모든 Notebook을 사용하여 파이프라인을 만들 수도 있습니다.

Azure Databricks 작업 영역 UI 또는 API, CLI, Databricks 자산 번들 등의 자동화된 도구 옵션 또는 Databricks 워크플로의 작업으로 델타 라이브 테이블 파이프라인을 구성하고 업데이트를 트리거할 수 있습니다. Delta Live Tables의 기능과 기능을 숙지하기 위해 Databricks는 먼저 UI를 사용하여 파이프라인을 만들고 실행하는 것이 좋습니다. 또한 UI에서 파이프라인을 구성할 때 Delta Live Tables는 프로그래밍 방식 워크플로를 구현하는 데 사용할 수 있는 파이프라인에 대한 JSON 구성을 생성합니다.

Delta Live Tables 기능을 보여 주려면 이 자습서의 예제에서 공개적으로 사용 가능한 데이터 세트를 다운로드합니다. 그러나 Databricks에는 데이터 원본에 연결하고 실제 사용 사례를 구현하는 파이프라인에서 사용할 데이터를 수집하는 여러 가지 방법이 있습니다. Delta Live Tables를 사용하여 데이터 수집을 참조 하세요.

요구 사항

서버리스가 아닌 파이프라인을 시작하려면 클러스터 만들기 권한 또는 Delta Live Tables 클러스터를 정의하는 클러스터 정책에 대한 액세스 권한이 있어야 합니다. Delta Live Tables 런타임은 파이프라인을 실행하기 전에 클러스터를 만들고 올바른 권한이 없으면 실패합니다.
이 자습서의 예제를 사용하려면 작업 영역에 Unity 카탈로그가 활성화되어 있어야 합니다.
Unity 카탈로그에는 다음 권한이 있어야 합니다.
- READ VOLUME및 WRITE VOLUME, 또는 ALL PRIVILEGES볼륨의 경우 my-volume
- USE SCHEMA또는 ALL PRIVILEGES 스키마의 경우 default
- USE CATALOG또는 ALL PRIVILEGES 카탈로그의 경우 main
이러한 권한을 설정하려면 Databricks 관리자 또는 Unity 카탈로그 권한 및 보안 개체를 참조하세요.
이 자습서의 예제에서는 Unity 카탈로그 볼륨 을 사용하여 샘플 데이터를 저장합니다. 이러한 예제를 사용하려면 볼륨을 만들고 해당 볼륨의 카탈로그, 스키마 및 볼륨 이름을 사용하여 예제에서 사용하는 볼륨 경로를 설정합니다.

참고 항목

작업 영역에 Unity 카탈로그를 사용하도록 설정 하지 않은 경우 Unity 카탈로그가 필요하지 않은 예제가 포함된 Notebook 이 이 문서에 첨부됩니다. 이러한 예제를 사용하려면 파이프라인을 만들 때 스토리지 옵션으로 선택합니다 Hive metastore .

Delta Live Tables 쿼리는 어디에서 실행합니까?

Delta Live Tables 쿼리는 주로 Databricks Notebook에서 구현되지만 Delta Live Tables는 Notebook 셀에서 대화형으로 실행되도록 설계되지 않았습니다. Databricks Notebook에서 Delta Live Tables 구문을 포함하는 셀을 실행하면 오류 메시지가 표시됩니다. 쿼리를 실행하려면 Notebook을 파이프라인의 일부로 구성해야 합니다.

Important

Delta Live Tables에 대한 쿼리를 작성할 때는 Notebook의 셀별 실행 순서를 사용할 수 없습니다. Delta Live Tables는 Notebook에 정의된 모든 코드를 평가하고 실행하지만 Notebook Run all 명령과는 다른 실행 모델을 갖습니다.
단일 Delta Live Tables 소스 코드 파일에서는 언어를 혼합할 수 없습니다. 예를 들어 Notebook에는 Python 쿼리 또는 SQL 쿼리만 포함될 수 있습니다. 파이프라인에서 여러 언어를 사용해야 하는 경우 파이프라인에서 여러 언어별 Notebook 또는 파일을 사용합니다.

파일에 저장된 Python 코드를 사용할 수도 있습니다. 예를 들어 Python 파이프라인으로 가져올 수 있는 Python 모듈을 만들거나 SQL 쿼리에서 사용할 Python UDF(사용자 정의 함수)를 정의할 수 있습니다. Python 모듈을 가져오는 방법에 대한 자세한 내용은 Git 폴더 또는 작업 영역 파일에서 Python 모듈 가져오기를 참조하세요. Python UDF 사용에 대한 자세한 내용은 사용자 정의 스칼라 함수 - Python을 참조하세요.

예: 뉴욕 아기 이름 데이터 수집 및 처리

이 문서의 예제에서는 뉴욕 주 아기 이름의 레코드를 포함하는 공개적으로 사용할 수 있는 데이터 세트를 사용합니다. 다음 예제에서는 Delta Live Tables 파이프라인을 사용하여 다음을 수행합니다.

공개적으로 사용 가능한 데이터 세트에서 테이블로 원시 CSV 데이터를 읽습니다.
원시 데이터 테이블에서 레코드를 읽고 Delta Live Tables 예상을 사용하여 정리된 데이터가 포함된 새 테이블을 만듭니다.
파생 데이터 세트를 만드는 Delta Live Tables 쿼리에 대한 입력으로 클린sed 레코드를 사용합니다.

이 코드는 medallion 아키텍처의 간소화된 예제를 보여 줍니다. 메달리온 레이크하우스 아키텍처란?을 참조하세요.

이 예제의 구현은 Python 및 SQL 인터페이스에 대해 제공됩니다. 단계에 따라 예제 코드가 포함된 새 Notebook을 만들거나 파이프라인 만들기로 건너뛰고 이 페이지에 제공된 Notebook 중 하나를 사용할 수 있습니다.

Python을 사용하여 Delta Live Tables 파이프라인 구현

Delta Live Tables 데이터 세트를 만드는 Python 코드는 PySpark 또는 Pandas for Spark 환경을 사용하는 사용자에게 친숙한 DataFrame을 반환해야 합니다. DataFrames에 익숙하지 않은 사용자의 경우 Databricks는 SQL 인터페이스를 사용하는 것이 좋습니다. SQL을 사용하여 Delta Live Tables 파이프라인 구현을 참조하세요.

모든 Delta Live Tables Python API는 모듈에서 dlt 구현됩니다. Python으로 구현된 Delta Live Tables 파이프라인 코드는 Python Notebook 및 파일 맨 위에 있는 모듈을 명시적으로 가져와 dlt 야 합니다. 델타 라이브 테이블은 주요 방법으로 많은 Python 스크립트와 다릅니다. 데이터 수집 및 변환을 수행하는 함수를 호출하지 않고 Delta Live Tables 데이터 세트를 만듭니다. 대신 Delta Live Tables는 파이프라인에 로드된 모든 파일의 dlt 모듈에서 데코레이터 함수를 해석하고 데이터 흐름 그래프를 작성합니다.

이 자습서의 예제를 구현하려면 다음 Python 코드를 복사하여 새 Python Notebook에 붙여넣습니다. 설명된 순서대로 Notebook의 자체 셀에 각 예제 코드 조각을 추가해야 합니다. Notebook을 만들기 위한 옵션을 검토하려면 Notebook 만들기를 참조하세요.

참고 항목

Python 인터페이스로 파이프라인을 만들 때 기본적으로 테이블 이름은 함수 이름으로 정의됩니다. 예를 들어, 다음 Python 예에서는 baby_names_raw, baby_names_prepared 및 top_baby_names_2021라는 세 개의 테이블을 만듭니다. name 매개 변수를 사용하여 테이블 이름을 재정의할 수 있습니다. 델타 라이브 테이블 구체화된 뷰 또는 스트리밍 테이블 만들기를 참조하세요.

Delta Live Tables 모듈 가져오기

모든 Delta Live Tables Python API는 모듈에서 dlt 구현됩니다. Python Notebook 및 파일 맨 위에 있는 모듈을 명시적으로 가져옵니다 dlt .

다음 예제에서는 이 가져오기와 에 대한 pyspark.sql.functionsimport 문을 보여 줍니다.

import dlt
from pyspark.sql.functions import *

데이터 다운로드

이 예제의 데이터를 얻으려면 CSV 파일을 다운로드하고 다음과 같이 볼륨에 저장합니다.

import os

os.environ["UNITY_CATALOG_VOLUME_PATH"] = "/Volumes/<catalog-name>/<schema-name>/<volume-name>/"
os.environ["DATASET_DOWNLOAD_URL"] = "https://health.data.ny.gov/api/views/jxy9-yhdk/rows.csv"
os.environ["DATASET_DOWNLOAD_FILENAME"] = "rows.csv"

dbutils.fs.cp(f"{os.environ.get('DATASET_DOWNLOAD_URL')}", f"{os.environ.get('UNITY_CATALOG_VOLUME_PATH')}{os.environ.get('DATASET_DOWNLOAD_FILENAME')}")

<schema-name><volume-name> Unity 카탈로그 볼륨의 카탈로그, 스키마 및 볼륨 이름으로 바꿉<catalog-name>니다.

개체 스토리지의 파일에서 테이블 만들기

Delta Live Tables는 Azure Databricks에서 지원하는 모든 형식의 데이터 로드를 지원합니다. 데이터 형식 옵션을 참조 하세요.

데코레이터는 @dlt.table 델타 라이브 테이블에 함수에서 반환된 결과를 DataFrame 포함하는 테이블을 만들도록 지시합니다. Spark DataFrame을 @dlt.table 반환하는 Python 함수 정의 앞에 데코레이터를 추가하여 델타 라이브 테이블에 새 테이블을 등록합니다. 다음 예제에서는 함수 이름을 테이블 이름으로 사용하고 설명 주석을 테이블에 추가하는 방법을 보여 줍니다.

@dlt.table(
  comment="Popular baby first names in New York. This data was ingested from the New York State Department of Health."
)
def baby_names_raw():
  df = spark.read.csv(f"{os.environ.get('UNITY_CATALOG_VOLUME_PATH')}{os.environ.get('DATASET_DOWNLOAD_FILENAME')}", header=True, inferSchema=True)
  df_renamed_column = df.withColumnRenamed("First Name", "First_Name")
  return df_renamed_column

파이프라인의 업스트림 데이터 세트에서 테이블 추가

현재 Delta Live Tables 파이프라인에 선언된 다른 데이터 세트의 데이터를 읽는 데 사용할 dlt.read() 수 있습니다. 이러한 방식으로 새 테이블을 선언하면 업데이트를 실행하기 전에 Delta Live Tables가 자동으로 확인하는 종속성이 만들어집니다. 다음 코드에는 예상과 함께 데이터 품질을 모니터링하고 적용하는 예제도 포함되어 있습니다. Delta Live Tables를 사용하여 데이터 품질 관리를 참조하세요.

@dlt.table(
  comment="New York popular baby first name data cleaned and prepared for analysis."
)
@dlt.expect("valid_first_name", "First_Name IS NOT NULL")
@dlt.expect_or_fail("valid_count", "Count > 0")
def baby_names_prepared():
  return (
    dlt.read("baby_names_raw")
      .withColumnRenamed("Year", "Year_Of_Birth")
      .select("Year_Of_Birth", "First_Name", "Count")
  )

보강된 데이터 뷰를 사용하여 테이블 만들기

Delta Live Tables는 파이프라인에 대한 업데이트를 일련의 종속성 그래프 처리하므로 특정 비즈니스 논리를 사용하여 테이블을 선언하여 대시보드, BI 및 분석을 구동하는 고도로 보강된 뷰를 선언할 수 있습니다.

델타 라이브 테이블의 테이블은 개념적으로 구체화된 뷰와 동일합니다. Spark에 대한 기존 뷰는 뷰를 쿼리할 때마다 논리를 실행하는 반면 Delta Live Tables 테이블에는 최신 버전의 쿼리 결과가 데이터 파일에 저장됩니다. Delta Live Tables는 파이프라인의 모든 데이터 세트에 대한 업데이트를 관리하므로 구체화된 뷰에 대한 대기 시간 요구 사항과 일치하도록 파이프라인 업데이트를 예약하고 이러한 테이블에 대한 쿼리에 사용 가능한 최신 버전의 데이터가 포함되어 있음을 알 수 있습니다.

다음 코드로 정의된 테이블은 파이프라인의 업스트림 데이터에서 파생된 구체화된 뷰와 개념적 유사성을 보여 줍니다.

@dlt.table(
  comment="A table summarizing counts of the top baby names for New York for 2021."
)
def top_baby_names_2021():
  return (
    dlt.read("baby_names_prepared")
      .filter(expr("Year_Of_Birth == 2021"))
      .groupBy("First_Name")
      .agg(sum("Count").alias("Total_Count"))
      .sort(desc("Total_Count"))
      .limit(10)
  )

Notebook을 사용하는 파이프라인을 구성하려면 파이프라인 만들기를 참조하세요.

SQL을 사용하여 Delta Live Tables 파이프라인 구현

Databricks는 SQL 사용자가 Azure Databricks에서 새 ETL, 수집 및 변환 파이프라인을 빌드하는 기본 방법으로 SQL이 있는 Delta Live Tables를 권장합니다. Delta Live Tables용 SQL 인터페이스는 많은 새 키워드(keyword), 구문 및 테이블 반환 함수를 사용하여 표준 Spark SQL을 확장합니다. 표준 SQL에 이러한 추가를 통해 사용자는 새 도구 또는 추가 개념을 학습하지 않고도 데이터 세트 간의 종속성을 선언하고 프로덕션 등급 인프라를 배포할 수 있습니다.

Spark DataFrames에 익숙하고 메타프로그래밍 작업과 같이 SQL로 구현하기 어려운 보다 광범위한 테스트 및 작업에 대한 지원이 필요한 사용자의 경우 Databricks는 Python 인터페이스를 사용하는 것이 좋습니다. 예제 : 뉴욕 아기 이름 데이터 수집 및 처리

데이터 다운로드

이 예제의 데이터를 얻으려면 다음 코드를 복사하여 새 Notebook에 붙여넣은 다음 Notebook을 실행합니다. Notebook을 만들기 위한 옵션을 검토하려면 Notebook 만들기를 참조하세요.

%sh
wget -O "/Volumes/<catalog-name>/<schema-name>/<volume-name>/babynames.csv" "https://health.data.ny.gov/api/views/jxy9-yhdk/rows.csv"

<schema-name><volume-name> Unity 카탈로그 볼륨의 카탈로그, 스키마 및 볼륨 이름으로 바꿉<catalog-name>니다.

Unity 카탈로그의 파일에서 테이블 만들기

이 예제의 나머지 부분에서는 다음 SQL 조각을 복사하여 이전 섹션의 Notebook과 별도로 새 SQL Notebook에 붙여넣습니다. 설명된 순서대로 Notebook의 자체 셀에 각 예제 SQL 코드 조각을 추가해야 합니다.

Delta Live Tables는 Azure Databricks에서 지원하는 모든 형식의 데이터 로드를 지원합니다. 데이터 형식 옵션을 참조 하세요.

모든 Delta Live Tables SQL 문은 구문 및 의미 체계를 사용합니다 CREATE OR REFRESH . 파이프라인을 업데이트할 때 Delta Live Tables는 증분 처리를 통해 테이블에 대한 논리적으로 올바른 결과를 달성할 수 있는지 또는 전체 다시 계산이 필요한지 여부를 결정합니다.

다음 예제에서는 Unity 카탈로그 볼륨에 저장된 CSV 파일에서 데이터를 로드하여 테이블을 만듭니다.

CREATE OR REFRESH LIVE TABLE baby_names_sql_raw
COMMENT "Popular baby first names in New York. This data was ingested from the New York State Department of Health."
AS SELECT Year, `First Name` AS First_Name, County, Sex, Count FROM read_files(
  '/Volumes/<catalog-name>/<schema-name>/<volume-name>/babynames.csv',
  format => 'csv',
  header => true,
  mode => 'FAILFAST')

<schema-name><volume-name> Unity 카탈로그 볼륨의 카탈로그, 스키마 및 볼륨 이름으로 바꿉<catalog-name>니다.

업스트림 데이터 세트의 테이블을 파이프라인에 추가합니다.

가상 스키마를 live 사용하여 현재 Delta Live Tables 파이프라인에 선언된 다른 데이터 세트의 데이터를 쿼리할 수 있습니다. 이러한 방식으로 새 테이블을 선언하면 업데이트를 실행하기 전에 Delta Live Tables가 자동으로 확인하는 종속성이 만들어집니다. live 스키마는 데이터 세트를 게시하려는 경우 대상 스키마로 대체될 수 있는 Delta Live Tables에 구현된 사용자 지정 키워드(keyword). Delta Live Tables 파이프라인과 함께 Unity 카탈로그 사용 및 델타 라이브 테이블에서 Hive 메타스토어로 데이터 게시를 참조하세요.

다음 코드에는 예상과 함께 데이터 품질을 모니터링하고 적용하는 예제도 포함되어 있습니다. Delta Live Tables를 사용하여 데이터 품질 관리를 참조하세요.

CREATE OR REFRESH LIVE TABLE baby_names_sql_prepared(
  CONSTRAINT valid_first_name EXPECT (First_Name IS NOT NULL),
  CONSTRAINT valid_count EXPECT (Count > 0) ON VIOLATION FAIL UPDATE
)
COMMENT "New York popular baby first name data cleaned and prepared for analysis."
AS SELECT
  Year AS Year_Of_Birth,
  First_Name,
  Count
FROM live.baby_names_sql_raw;

보강된 데이터 뷰 만들기

라이브 테이블은 개념적으로 구체화된 뷰와 동일합니다. Spark의 기존 뷰는 뷰를 쿼리할 때마다 논리를 실행하는 반면, 라이브 테이블은 최신 버전의 쿼리 결과를 데이터 파일에 저장합니다. Delta Live Tables는 파이프라인의 모든 데이터 세트에 대한 업데이트를 관리하므로 구체화된 뷰에 대한 대기 시간 요구 사항과 일치하도록 파이프라인 업데이트를 예약하고 이러한 테이블에 대한 쿼리에 사용 가능한 최신 버전의 데이터가 포함되어 있음을 알 수 있습니다.

다음 코드는 업스트림 데이터의 보강된 구체화된 뷰를 만듭니다.

CREATE OR REFRESH LIVE TABLE top_baby_names_sql_2021
COMMENT "A table summarizing counts of the top baby names for New York for 2021."
AS SELECT
  First_Name,
  SUM(Count) AS Total_Count
FROM live.baby_names_sql_prepared
WHERE Year_Of_Birth = 2021
GROUP BY First_Name
ORDER BY Total_Count DESC
LIMIT 10;

Notebook을 사용하는 파이프라인을 구성하려면 파이프라인을 계속 만듭니다.

파이프라인 만들기

Delta Live Tables는 Delta Live Tables 구문을 사용하여 Notebook 또는 파일(소스 코드 또는 라이브러리라고 함)에 정의된 종속성을 확인하여 파이프라인을 만듭니다. 각 소스 코드 파일은 하나의 언어만 포함할 수 있지만 파이프라인에서 서로 다른 언어의 라이브러리를 혼합할 수 있습니다.

사이드바에서 델타 라이브 테이블을 클릭하고 파이프라인 만들기를 클릭합니다.
파이프라인에 이름을 지정합니다.
(선택 사항) 이 파이프라인에 대해 완전히 관리되는 컴퓨팅을 사용하려면 서버리스 검사box를 선택합니다. 서버리스를 선택하면 컴퓨팅 설정이 UI에서 제거됩니다.
(선택 사항) 제품 버전을 선택합니다.
파이프라인 모드에 대해 트리거됨을 선택합니다.
파이프라인에 대한 소스 코드가 포함된 하나 이상의 Notebook을 구성합니다. 경로 텍스트 상자에 전자 필기장 경로를 입력하거나 클릭하여 전자 필기 장을 선택합니다.
파이프라인에서 게시한 데이터 세트의 대상(Hive 메타스토어 또는 Unity 카탈로그)을 선택합니다. 데이터 세트 게시를 참조하세요.
- Hive 메타스토어:
  - (선택 사항) 파이프라인의 출력 데이터에 대한 스토리지 위치를 입력합니다. 스토리지 위치를 비워 두면 시스템에서 기본 위치를 사용합니다.
  - (선택 사항) Hive 메타스토어에 데이터 세트를 게시할 대상 스키마 를 지정합니다.
- Unity 카탈로그: 데이터 세트를 Unity 카탈로그에 게시할 카탈로그 및 대상 스키마를 지정합니다.
(선택 사항) 서버리스를 선택하지 않은 경우 파이프라인에 대한 컴퓨팅 설정을 구성할 수 있습니다. 컴퓨팅 설정에 대한 옵션에 대한 자세한 내용은 Delta Live Tables에 대한 파이프라인 설정 구성을 참조 하세요.
(선택 사항) 알림 추가를 클릭하여 파이프라인 이벤트에 대한 알림을 받도록 하나 이상의 전자 메일 주소를 구성합니다. 파이프라인 이벤트에 대한 메일 알림 추가를 참조하세요.
(선택 사항) 파이프라인에 대한 고급 설정을 구성합니다. 고급 설정에 대한 옵션에 대한 자세한 내용은 Delta Live Tables에 대한 파이프라인 설정 구성을 참조 하세요.
만들기를 클릭합니다.

만들기를 클릭하면 시스템에서 파이프라인 세부 정보 페이지를 표시합니다. Delta Live Tables 탭에서 파이프라인 이름을 클릭하여 파이프라인에 액세스할 수도 있습니다.

파이프라인 업데이트 시작

파이프라인에 대한 업데이트를 시작하려면 위쪽 패널에서 단추를 클릭합니다. 시스템은 파이프라인이 시작되고 있음을 확인하는 메시지를 반환합니다.

업데이트가 성공적으로 시작되면 Delta Live Tables 시스템에서 다음을 수행합니다.

Delta Live Tables 시스템에서 만든 클러스터 구성을 사용하여 클러스터를 시작합니다. 사용자 지정 클러스터 구성을 지정할 수도 있습니다.
존재하지 않는 태블릿을 만들고 스키마가 기존 테이블에 대해 올바른지 확인합니다.
사용 가능한 최신 데이터로 테이블을 업데이트합니다.
업데이트가 완료되면 클러스터를 종료합니다.

참고 항목

실행 모드는 기본적으로 프로덕션으로 설정되며 각 업데이트에 대한 임시 컴퓨팅 리소스를 배포합니다. 개발 모드를 사용하여 이 동작을 변경하여 개발 및 테스트 중에 여러 파이프라인 업데이트에 동일한 컴퓨팅 리소스를 사용할 수 있습니다. 개발 및 프로덕션 모드를 참조하세요.

데이터 세트 게시

Hive 메타스토어 또는 Unity 카탈로그에 테이블을 게시하여 Delta Live Tables 데이터 세트를 쿼리에 사용할 수 있도록 할 수 있습니다. 데이터 게시 대상을 지정하지 않으면 Delta Live Tables 파이프라인에서 만든 테이블은 동일한 파이프라인의 다른 작업에서만 액세스할 수 있습니다. Delta Live Tables에서 Hive 메타스토어로 데이터 게시 및 Delta Live Tables 파이프라인과 함께 Unity 카탈로그 사용을 참조하세요.

예제 소스 코드 Notebook

이러한 Notebook을 Azure Databricks 작업 영역으로 가져와서 Delta Live Tables 파이프라인을 배포하는 데 사용할 수 있습니다. 파이프라인 만들기를 참조하세요.

Delta Live Tables Python Notebook 시작

전자 필기장 가져오기

Delta Live Tables SQL Notebook 시작

전자 필기장 가져오기

Unity 카탈로그가 없는 작업 영역에 대한 예제 소스 코드 Notebook

Unity 카탈로그를 사용하지 않고 이러한 Notebook을 Azure Databricks 작업 영역으로 가져와서 Delta Live Tables 파이프라인을 배포하는 데 사용할 수 있습니다. 파이프라인 만들기를 참조하세요.

Delta Live Tables Python Notebook 시작

전자 필기장 가져오기

Delta Live Tables SQL Notebook 시작

전자 필기장 가져오기

자습서: 첫 번째 Delta Live Tables 파이프라인 실행

요구 사항

Delta Live Tables 쿼리는 어디에서 실행합니까?

예: 뉴욕 아기 이름 데이터 수집 및 처리

Python을 사용하여 Delta Live Tables 파이프라인 구현

Delta Live Tables 모듈 가져오기

데이터 다운로드

개체 스토리지의 파일에서 테이블 만들기

파이프라인의 업스트림 데이터 세트에서 테이블 추가

보강된 데이터 뷰를 사용하여 테이블 만들기

SQL을 사용하여 Delta Live Tables 파이프라인 구현

데이터 다운로드

Unity 카탈로그의 파일에서 테이블 만들기

업스트림 데이터 세트의 테이블을 파이프라인에 추가합니다.

보강된 데이터 뷰 만들기

파이프라인 만들기

파이프라인 업데이트 시작

데이터 세트 게시

예제 소스 코드 Notebook

Delta Live Tables Python Notebook 시작

Delta Live Tables SQL Notebook 시작

Unity 카탈로그가 없는 작업 영역에 대한 예제 소스 코드 Notebook

Delta Live Tables Python Notebook 시작

Delta Live Tables SQL Notebook 시작

피드백

피드백

추가 리소스