중요합니다
이 기능은 공개 미리보기 단계에 있습니다.
Lakeflow Spark SDP(선언적 파이프라인)는 SDP와 관련된 소스 코드에서 파이프라인을 정의합니다. 예를 들어 Lakeflow 파이프라인 편집기에서 SQL 또는 Python에서 파이프라인 원본을 편집할 수 있습니다.
Azure Databricks는 Databricks SQL이라는 SQL 환경도 제공합니다. SDP 외부의 파이프라인 기능을 사용하여 Databricks SQL을 사용하여 구체화된 뷰 및 스트리밍 테이블을 만들 수 있습니다( Databricks SQL에서 파이프라인 사용 참조). 일반적으로 Databricks SQL은 Lakeflow Spark 선언적 파이프라인과 함께 사용되지 않습니다.
그러나 Databricks SQL의 SQL 문을 사용하여 ALTER SDP 또는 Databricks SQL로 만든 데이터 세트의 속성을 수정할 수 있습니다. SDP 데이터 세트를 수정하든 Databricks SQL 파이프라인 데이터 세트를 수정하든 상관없이 Databricks SQL 환경에서 이러한 SQL 문을 사용합니다.
- 스트리밍 테이블 - ALTER STREAMING TABLE
- 구체화된 뷰 - ALTER MATERIALIZED VIEW
비고
ALTER 문장을 사용하여 SDP에 정의된 데이터 세트의 일정이나 트리거를 수정할 수 없습니다.
제한 사항: ALTER로 수행된 파이프라인 업데이트 및 변경 사항
ALTER 문장이 파이프라인에 의해 생성된 데이터 세트의 정의와 충돌하는 경우가 있습니다. 파이프라인에서 테이블 또는 뷰를 정의하는 SQL은 각 업데이트에서 다시 실행됩니다. 이렇게 하면 ALTER 명령문으로 변경한 내용을 취소할 수 있습니다.
예를 들어 다음과 같이 구체화된 뷰를 정의하는 SQL 문이 있는 경우
CREATE OR REPLACE MATERIALIZED VIEW masked_view (
id int,
name string,
region string,
ssn string MASK catalog.schema.ssn_mask_fn
)
WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
AS SELECT id, name, region, ssn
FROM employees;
다음과 같은 ssn 문을 사용하여 ALTER 열에서 마스크를 제거하려고 합니다.
ALTER MATERIALIZED VIEW masked_view ALTER COLUMN ssn DROP MASK;
마스크는 제거되지만 다음에 구체화된 뷰가 업데이트될 때 SQL 정의가 다시 추가됩니다.
마스크를 안전하게 제거하려면 SQL 정의를 편집하여 마스크를 제거한 다음, 마스크에 ALTERDROP 명령을 실행해야 합니다.
비고
SDP에 정의된 파이프라인의 정의를 편집하려면 파이프라인 편집기를 사용하여 파이프라인 원본을 편집합니다. Databricks SQL에 정의된 파이프라인의 정의를 편집하려면 Databricks SQL 환경에서 수정된 SQL 문을 실행합니다.