Parameteriseren van taken

Met parameters kunt u waarden doorgeven aan een taak en de bijbehorende taken en verwijzingswaarden tussen taken. In dit artikel worden de parametertypen geïntroduceerd die beschikbaar zijn in Lakeflow-taken en hoe u deze configureert in de gebruikersinterface. U moet ook de broncode-assets die u als taken configureert bijwerken om te verwijzen naar parameters. Parameterverwijzingen variëren per taal en taaktype. Zie access-parameterwaarden van een taak.

Hieronder volgen basisconcepten voor het begrijpen van parameters voor taken:

• Jobparameter: Een sleutel-waardepaar dat is gedefinieerd op banenniveau en naar taken wordt doorgestuurd. Zie Configureer taakparameters.
• Taakparameter: Een sleutel-waardepaar of JSON-matrix die is gedefinieerd op taakniveau. Zie Configuratie van taakparameters.
• Dynamische waardeverwijzingen: een syntaxis voor het verwijzen naar taakvoorwaarden, metagegevens en parameters bij het configureren van taken. Zie dynamische waardeverwijzingen.
• Taakwaarden: een syntaxis voor het vastleggen en verwijzen naar waarden die tijdens de taakuitvoeringen zijn gegenereerd. Zie Taakwaarden gebruiken om informatie door te geven tussen taken.
• Parameterwaarden in code openen: parameterwaarden lezen vanuit de taakcode op taaktype. Zie access-parameterwaarden van een taak.

Wat u kunt doen met parameters

Voeg parameters toe aan banen en taken voor complexe toepassingsgevallen, waaronder de volgende:

• Voeg uitbreidbare logica toe aan codeassets.
• Uitvoeringen voorwaardelijk maken.
• Verwijzen naar algemene parameters voor meerdere taken.
• Gebruik gegevens die zijn gegenereerd in de ene taak in een andere taak.
• Verwijs naar metagegevens en statusinformatie in het taakuitvoeringsproces.

Jobparameters tegenover taakparameters

Taakparameters zijn sleutel-waardeparen die zijn gedefinieerd op taakniveau. U kunt de standaardinstellingen voor taakparameters overschrijven wanneer u nu uitvoert met verschillende parameters of een taakuitvoering activeren met behulp van de REST API. Taakparameters worden omlaag gepusht naar taken die gebruikmaken van sleutel-waardeparameters. Andere taken kunnen verwijzen naar taakparameters met behulp van dynamische waardeverwijzingen.

Notitie

Elke gebruiker met CAN MANAGE RUN een machtiging of hoger voor een taak kan taakparameterwaarden overschrijven voor een handmatige uitvoering met behulp van Nu uitvoeren met verschillende parameters. Een standaardparameterwaarde is geen beveiligingsbeheer. Als u wijzigingen wilt voorkomen, beperkt u de machtigingen van de taak.

Taakparameters zijn sleutel-waardeparen of JSON-matrices die zijn gedefinieerd op taakniveau. Elk taaktype geeft taakwaarden anders door aan de geconfigureerde codeassets. Notebook-taken maken bijvoorbeeld gebruik van de dbutils.widgets submodule, terwijl Python-scripts waarden doorgeven als argumenten aan het script alsof deze vanaf de opdrachtregel worden aangeroepen. Downstreamtaken kunnen verwijzen naar taakparameters van upstream-taken met behulp van dynamische waardeverwijzingen. Zie access-parameterwaarden van een taak.

Notitie

Sommige taken hebben geen toegewezen parametersveld , maar staan verwijzingen naar taakwaarden of dynamische waardeverwijzingen binnen andere velden toe. Zie Voorbeelden van geparameteriseerde dbt-opdrachten en vertakkingslogica toevoegen aan een taak met de taak If/else.

Werkstromen bouwen met dynamische waarden

Taakparameters die zijn ingesteld met statische waarden, kunnen alleen worden overschreven door de taakdefinitie bij te werken. Het instellen van een statische waarde voor een taakparameter is het configureren van een standaardwaarde, die u kunt overschrijven wanneer u nu uitvoert met verschillende parameters of een taakuitvoering activeren met behulp van de REST API.

Gebruik dynamische waardeverwijzingen bij het definiëren van taakparameters om patronen zoals de volgende te implementeren:

• Gebruik een taakparameter als output_table voor de ene taak en als input_table voor een andere.
• Leg de uitvoer van een notebookquery vast als een lijst en doorloop deze in een For each taak.
• Het maken van een forkinglogica op basis van het aantal records dat is verwerkt met behulp van een If/else-voorwaardetaak .
• Raadpleeg de parameters van andere taken.

Zie dynamische waardeverwijzingen.