Delen via

Gebruik ALTER instructies met pijplijndatasets

Belangrijk

Deze functie bevindt zich in openbare preview-versie.

Lakeflow Spark-declaratieve pijplijnen (SDP) definieert pijplijnen in broncode die specifiek is voor SDP. U kunt de pijplijnbron bewerken in SQL of Python, bijvoorbeeld in de Lakeflow Pipelines Editor.

Azure Databricks biedt ook een SQL-omgeving met de naam Databricks SQL. U kunt gerealiseerde weergaven en streamingtabellen maken met Databricks SQL met behulp van pijplijnfunctionaliteit buiten SDP (zie Pijplijnen gebruiken in Databricks SQL). Databricks SQL wordt doorgaans niet gebruikt met Lakeflow Spark-declaratieve pijplijnen.

U kunt echter SQL-instructies in Databricks SQL gebruiken ALTER om de eigenschappen te wijzigen van een gegevensset die is gemaakt met SDP of Databricks SQL. Gebruik deze SQL-instructies uit een Databricks SQL-omgeving, ongeacht of u SDP-gegevenssets of Databricks SQL-pijplijngegevenssets wijzigt.

Opmerking

U kunt het schema of de trigger van een gegevensset die in SDP is gedefinieerd, niet wijzigen met een ALTER instructie.

Beperking: Pijplijnupdates en wijzigingen die zijn aangebracht met ALTER

Er zijn gevallen waarin ALTER instructies conflicteren met de definitie van de door de pijplijn gecreëerde datasets. De SQL die een tabel of weergave in een pijplijn definieert, wordt opnieuw uitgevoerd bij elke update. Hiermee kunt u wijzigingen die u aanbrengt ongedaan maken met een ALTER instructie.

Als u bijvoorbeeld een SQL-instructie hebt waarmee een gerealiseerde weergave wordt gedefinieerd, zoals de volgende:

CREATE OR REPLACE MATERIALIZED VIEW masked_view (
    id int,
    name string,
    region string,
    ssn string MASK catalog.schema.ssn_mask_fn
  )
  WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
  AS SELECT id, name, region, ssn
       FROM employees;

Vervolgens probeert u het masker uit de ssn kolom te verwijderen met behulp van een ALTER instructie, zoals deze:

ALTER MATERIALIZED VIEW masked_view ALTER COLUMN ssn DROP MASK;

Het masker wordt verwijderd, maar de volgende keer dat de gerealiseerde weergave wordt bijgewerkt, wordt de SQL-definitie weer toegevoegd.

Als u het masker veilig wilt verwijderen, moet u de SQL-definitie bewerken om het masker te verwijderen en vervolgens de ALTER opdracht uitvoeren om het masker te DROP.

Opmerking

Als u de definitie van een pijplijn wilt bewerken die is gedefinieerd in SDP, bewerkt u de pijplijnbron met behulp van de pijplijneditor. Als u de definitie van een pijplijn wilt bewerken die is gedefinieerd in Databricks SQL, voert u de gewijzigde SQL-instructie uit in een Databricks SQL-omgeving.

Aanvullende bronnen

  • Last updated on