Dela via

Använd ALTER uttryck med pipeline-datamängder

Viktigt!

Den här funktionen finns som allmänt tillgänglig förhandsversion.

"Lakeflow Spark Deklarativa Pipelines" (SDP) definierar pipelines i källkod som är specifik för SDP. Du kan redigera pipelinekällan i antingen SQL eller Python, till exempel i Lakeflow Pipelines Editor.

Azure Databricks tillhandahåller även en SQL-miljö med namnet Databricks SQL. Du kan skapa materialiserade vyer och strömmande tabeller med Databricks SQL med hjälp av pipelinefunktioner utanför SDP (se Använda pipelines i Databricks SQL). Databricks SQL används vanligtvis inte med Lakeflow Spark deklarativa rörledningar.

Du kan dock använda ALTER SQL-instruktioner i Databricks SQL för att ändra egenskaperna för en datauppsättning som skapats med antingen SDP eller Databricks SQL. Använd dessa SQL-instruktioner från valfri Databricks SQL-miljö, oavsett om du ändrar SDP-datauppsättningar eller Databricks SQL-pipelinedatauppsättningar.

Anmärkning

Du kan inte ändra schemat eller utlösaren för en datauppsättning som definierats i SDP med en ALTER instruktion.

Begränsning: Pipelineuppdateringar och ändringar som gjorts med ALTER

Det finns fall där ALTER instruktioner står i konflikt med definitionen av de pipeline-skapade datauppsättningarna. DEN SQL som definierar en tabell eller vy i en pipeline körs på nytt för varje uppdatering. Detta kan ångra ändringar som du gör med en ALTER instruktion.

Om du till exempel har en SQL-instruktion som definierar en materialiserad vy, som följande:

CREATE OR REPLACE MATERIALIZED VIEW masked_view (
    id int,
    name string,
    region string,
    ssn string MASK catalog.schema.ssn_mask_fn
  )
  WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
  AS SELECT id, name, region, ssn
       FROM employees;

Sedan försöker du ta bort masken ssn från kolumnen med hjälp av en ALTER instruktion, så här:

ALTER MATERIALIZED VIEW masked_view ALTER COLUMN ssn DROP MASK;

Masken tas bort, men nästa gång den materialiserade vyn uppdateras lägger SQL-definitionen tillbaka den.

Om du vill ta bort masken på ett säkert sätt måste du redigera SQL-definitionen för att ta bort masken och sedan köra ALTER kommandot till DROP masken.

Anmärkning

Om du vill redigera definitionen av en pipeline som definierats i SDP redigerar du pipelinekällan med pipelineredigeraren. Om du vill redigera definitionen av en pipeline som definierats i Databricks SQL kör du den ändrade SQL-instruktionen i valfri Databricks SQL-miljö.

Ytterligare resurser

  • Last updated on