Een bestand voor visuele gegevensvoorbereiding naar productie verplaatsen

Elk visualgegevensvoorbereidingsbestand dat u in Lakeflow Designer bouwt, wordt ondersteund door code die gereed is voor productie en is opgeslagen als een notebook met de naam <name>.designer.ipynb. U kunt deze verplaatsen naar productie met dezelfde hulpprogramma's die u gebruikt voor andere Azure Databricks code: sla deze op in Git, voer deze uit als een taak en implementeer deze met declaratieve Automation-bundels.

Op deze pagina wordt uitgelegd hoe u een visualgegevensvoorbereidingsbestand van prototype naar productie kunt maken.

Opslaan en versie in Git

In de werkruimte worden visuele gegevensvoorbereidingsbestanden systeemeigen opgeslagen. Als u een bestand voor visuele gegevensvoorbereiding wilt versioneren, plaatst u het in een Git-map en volgt u het zoals elk ander notebook:

1. Maak een Git-map in uw werkruimte.
2. Verplaats het bestand met visuele gegevensvoorbereiding naar die Git-map.
3. Het bestand bijhouden, doorvoeren en versieren zoals elk ander notitieblok in Git. In Git wordt het bestand weergegeven als <file_name>.designer.ipynb.

Zie Azure Databricks Git-mappen voor meer informatie over Git-mappen. Raadpleeg Een bestand voor visuele gegevensvoorbereiding exporteren en importeren om een bestand voor visuele gegevensvoorbereiding te exporteren of te importeren.

Plannen als een taak

U kunt een bestand voor visuele gegevensvoorbereiding automatiseren door het als taak in te plannen.

• Rechtstreeks plannen: klik op de knop Planning in het bovenste menu om een geplande taak te maken voor het voorbereidingsbestand voor visuele gegevens.
• Toevoegen aan een taak: maak een Azure Databricks taak en voeg het voorbereidingsbestand voor visuele gegevens toe als een taak. Hiermee kunt u dat visuele gegevensvoorbereidingsbestand combineren met andere taken in een grotere pijplijn. Selecteer in de vervolgkeuzelijst Type van taak de optie Visuele gegevensvoorbereiding en selecteer vervolgens het bestand.

Geplande uitvoeringen tonen elke operator als een afzonderlijk knooppunt in de taakgrafiek van Taken, zodat u de resultaten per operator in een uitvoering kunt bekijken net zoals op het canvas.

Als u bestaande planningen wilt weergeven en beheren, klikt u nogmaals op Plannen om de lijst te openen. Klik op Planning toevoegen om nog een planning te maken, of open het van een planning om deze te Bewerken, Nu uitvoeren, Pauzeren, Klonen, Bekijken in Taken of Verwijderen.

Operatoruitvoer weergeven in een run

Standaard genereert een geplande uitvoering alleen uitvoer voor terminaloperators (operators zonder downstreamverbinding), zoals een uitvoeroperator. Als u de resultaten van elke operator tijdens de uitvoering wilt zien, klapt u Geavanceerde instellingen uit in het dialoogvenster Planning en selecteert u Operatoruitvoer weergeven.

Schakel deze optie uit voor grote canvassen om te voorkomen dat de limiet voor de uitvoergrootte van de uitvoering wordt overschreden.

Selecteer de serverloze omgeving

Wanneer u met een visueel gegevensvoorbereidingsbestand werkt, kunt u de serverloze omgeving selecteren die wordt gebruikt voor interactieve uitvoeringen en geplande taken. Configureer dit via het Omgeving-zijvenster in de rechterzijbalk, op dezelfde manier als bij een notebook. Selecteer onder Basisomgeving een omgevingsversie. Zie De serverloze omgeving configureren.

Parameteriseer voor verschillende omgevingen

Parameters zijn benoemde waarden die zijn gedefinieerd voor het visualgegevensvoorbereidingsbestand als geheel waarnaar u kunt verwijzen vanuit SQL- en Python-operators. Zie Parameters voor meer informatie over het definiëren en raadplegen van parameters.

Met parameters kunt u hetzelfde visuele gegevensvoorbereidingsbestand uitvoeren voor verschillende omgevingen, bijvoorbeeld een testcatalogus tijdens de ontwikkeling en een productiecatalogus in productie.

• Wanneer u een taak in de gebruikersinterface plant: overschrijf de parameterwaarden voor elke planning. Maak bijvoorbeeld een schema dat wordt uitgevoerd met parameter environment ingesteld op test, en een ander met deze ingesteld op production.
• Wanneer u implementeert met een bundel: stel de parameterwaarden in via de taak parametersen gebruik bundeldoelen om verschillende waarden per omgeving op te geven. Met bundelontwikkelings- en productiedoelen kunt u dezelfde taak implementeren in afzonderlijke omgevingen met omgevingsspecifieke instellingen. Zie de implementatiemodi voor declaratieve Automation-bundels en de configuratie van declaratieve Automation-bundels.

Tijdens runtime leest een visual data prep-bestand de parameters op dezelfde manier, ongeacht of het interactief of als een taak wordt uitgevoerd, dus hetzelfde bestand werkt in al uw omgevingen zonder wijzigingen.

Lezen uit verschillende tabellen per omgeving

Als u wilt lezen uit een andere brontabel in elke omgeving, gebruikt u een SQL-operator met parameters in plaats van een vaste bronoperator. Definieer de parameters catalog, schema en table, en verwijs er vervolgens naar met de IDENTIFIER()-clausule om de tabelnaam dynamisch op te bouwen:

SELECT * FROM IDENTIFIER(:catalog || '.' || :schema || '.' || :table)

Overschrijf de parameter catalog, schema of table per schema of bundeldoel om hetzelfde bestand voor visuele gegevensvoorbereiding tijdens de ontwikkeling naar testgegevens en in productie naar productiegegevens te laten verwijzen. Zie IDENTIFIER() voor meer informatie over de IDENTIFIER clausule.

Implementatie met declaratieve automatiseringsbundels

Met declaratieve Automation-bundels kunt u Azure Databricks resources, zoals taken als bronbestanden, definiëren en implementeren, zodat u best practices voor software-engineering kunt toepassen, zoals broncodebeheer, codebeoordeling, testen en CI/CD op uw visuele gegevensvoorbereidingsbestanden. Zie Wat zijn Declarative Automation Bundles?

Als u een bestand voor visuele gegevensvoorbereiding met een bundel wilt implementeren, definieert u een notebooktaak en verwijst u in .designer.ipynb naar het bestandspad van notebook_task.notebook_path. Binnen een bundel gebruikt een bestand voor visuele gegevensvoorbereiding de sleutel notebook_task, ook al wordt het in de Jobs-gebruikersinterface weergegeven als het taaktype Visual data prep.

In het volgende voorbeeld wordt een taak gedefinieerd waarmee een visualgegevensvoorbereidingsbestand wordt uitgevoerd dat zich naast het configuratiebestand van de bundel bevindt:

resources:
  jobs:
    daily_prep_job:
      name: daily_prep_job
      tasks:
        - task_key: run_visual_data_prep
          notebook_task:
            notebook_path: ./my_transformation.designer.ipynb

Implementeer en voer de bundel uit met de Azure Databricks CLI:

databricks bundle deploy
databricks bundle run daily_prep_job

Zie Notebook task voor de volledige lijst met sleutels voor notebooktaken. Zie Een taak ontwikkelen met declaratieve automatiseringsbundels voor een volledige uitleg over het definiëren van een taak in een bundel.

Automatiseren met CI/CD

Als u visuele gegevensvoorbereidingsbundels automatisch wilt valideren en implementeren, integreert u deze in een CI/CD-pijplijn. Zie GitHub Actions voor een voorbeeld waarin GitHub Actions wordt gebruikt.

Aanvullende bronnen

• Een visuele gegevensvoorbereiding maken in Lakeflow Designer
• Wat zijn declaratieve automatiseringsbundels?
• Notebook-taak voor taken