Parameters toevoegen aan data factory-onderdelen
Gekoppelde services parameteriseren in Azure Data Factory
In Azure Data Factory is het mogelijk om een gekoppelde service te parameteriseren waarin u dynamische waarden tijdens runtime kunt doorgeven. Een use-case voor dit scenario is het maken van verbinding met verschillende databases die zich op dezelfde SQL-server bevinden, waarin u misschien denkt aan het parameteriseren van de databasenaam in de definitie van de gekoppelde service. Het voordeel hiervan is dat u niet één gekoppelde service hoeft te maken voor elke database die zich op dezelfde SQL Server bevindt.
Het is ook mogelijk om andere eigenschappen van de gekoppelde service te parameteriseren, zoals een gebruikersnaam.
Als u besluit gekoppelde services in Azure Data Factory te parameteriseren, kunt u dit doen in de Gebruikersinterface van Azure Data Factory, Azure Portal of een programmeerinterface van uw voorkeur.
Als u ervoor kiest om de gekoppelde service te maken via de gebruikersinterface, kan Data Factory u voorzien van ingebouwde parameters voor een aantal van de connectors:
- Amazon Redshift
- Azure Cosmos DB (SQL API)
- Azure Database for MySQL
- Azure SQL-database
- Azure Synapse Analytics (voorheen SQL DW)
- MySQL
- Oracle
- SQL Server
- Algemene HTTP
- Algemene REST
Als u naar de blade voor het maken/bewerken van de gekoppelde service gaat, vindt u de opties voor het parameteriseren.
Als u de ingebouwde parameterisatie niet kunt gebruiken omdat u een ander type connector gebruikt, kunt u de JSON bewerken via de gebruikersinterface.
Vouw in het deelvenster Voor het maken/bewerken van gekoppelde services geavanceerd onder aan het deelvenster uit, schakel het selectievakje Dynamische inhoud opgeven in JSON-indeling in en geef de JSON-nettolading van de gekoppelde service op.
Of nadat u een gekoppelde service hebt gemaakt zonder parameters, selecteert u in de Beheerhub gekoppelde services en zoekt u de specifieke gekoppelde service. Selecteer {} vervolgens (codeknop) om de JSON te bewerken.
Globale parameters in Azure Data Factory
Door globale parameters in een Azure Data Factory-pijplijn in te stellen, kunt u deze constanten gebruiken voor gebruik in pijplijnexpressies. Een use-case voor het instellen van globale parameters is wanneer u meerdere pijplijnen hebt waarbij de namen en waarden van de parameters identiek zijn.
Als u het implementatieproces voor continue integratie en continue (CI/CD) met Azure Data Factory gebruikt, kunnen de globale parameters desgewenst worden overschreven voor elke omgeving die u hebt gemaakt.
Globale parameters maken in Azure Data Factory
Als u een globale parameter wilt maken, gaat u naar het tabblad Globale parameters in de sectie Beheren . Selecteer Nieuw om het menuvenster voor het maken aan de zijkant te openen.
Voer in het zijmenuvenster een naam in, selecteer een gegevenstype en geef de waarde van de parameter op.
Nadat een globale parameter is gemaakt, kunt u deze bewerken door de naam van de parameter te selecteren. Als u meerdere parameters tegelijk wilt wijzigen, selecteert u Alles bewerken.
Globale parameters gebruiken in een pijplijn
Wanneer u globale parameters in een pijplijn in Azure Data Factory gebruikt, wordt er meestal naar verwezen in pijplijnexpressies. Als een pijplijn bijvoorbeeld verwijst naar een resource zoals een gegevensset of gegevensstroom, kunt u de globale parameterwaarde doorgeven via de resourceparameter. De opdracht of verwijzing van globale parameters in Azure Data Factory stromen als volgt: pipeline().globalParameters.<parameterName>.
Globale parameters in CI/CD
Wanneer u globale parameters in een pijplijn integreert met behulp van CI/CD met Azure Data Factory, hebt u twee manieren om dit te doen:
- Globale parameters opnemen in de Azure Resource Manager-sjabloon
- Globale parameters implementeren via een PowerShell-script
In de meeste CI/CD-procedures is het handig om globale parameters op te nemen in de Azure Resource Manager-sjabloon. Het wordt aanbevolen vanwege hun systeemeigen integratie met CI/CD, waarbij globale parameters worden toegevoegd als een Azure Resource Manager-sjabloonparameter. Dit komt door wijzigingen in verschillende omgevingen waarin wordt gewerkt.
Als u globale parameters in een Azure Resource Manager-sjabloon wilt inschakelen, gaat u naar de Beheerhub . Houd er rekening mee dat nadat u globale parameters aan een Azure Resource Manager-sjabloon hebt toegevoegd, een instelling op Azure Data Factory-niveau wordt toegevoegd, waardoor andere instellingen, zoals Git-configuraties, kunnen worden overschreven.
De use-case voor het implementeren van globale parameters via een PowerShell-script kan zijn omdat u mogelijk de eerder beschreven instellingen hebt ingeschakeld in een omgeving met verhoogde bevoegdheid, zoals UAT of PROD.
Toewijzingsgegevensstromen parameteriseren
In Azure Data Factory kunt u toewijzingsgegevensstromen gebruiken, waarmee u parameters kunt gebruiken. Als u parameters in een gegevensstroomdefinitie instelt, kunt u de parameters in expressies gebruiken. De parameterwaarden worden ingesteld door de aanroepende pijplijn via de Gegevensstroom-activiteit Uitvoeren.
Er zijn drie opties voor het instellen van de waarden in de expressies voor gegevensstroomactiviteit:
- Gebruik de expressietaal voor pijplijnbesturingsstromen om een dynamische waarde in te stellen.
- Gebruik de expressietaal voor de gegevensstroom om een dynamische waarde in te stellen.
- Gebruik een expressietaal om een statische letterlijke waarde in te stellen.
De reden voor het parameteriseren van toewijzingsgegevensstromen is ervoor te zorgen dat uw gegevensstromen gegeneraliseerd, flexibel en herbruikbaar zijn.
Parameters maken in gegevensstroom
Als u parameters wilt toevoegen aan uw gegevensstroom, selecteert u het lege gedeelte van het gegevensstroomcanvas om de algemene eigenschappen te bekijken.
In het deelvenster Instellingen ziet u een tabblad Parameter.
Selecteer Nieuw om een nieuwe parameter te genereren. Voor elke parameter moet u een naam toewijzen, een type selecteren en eventueel een standaardwaarde instellen.
Parameters uit een pijplijn toewijzen in toewijzingsgegevensstroom
Als u een gegevensstroom hebt gemaakt waarin u parameters hebt ingesteld, kunt u deze uitvoeren vanuit een pijplijn met behulp van de Gegevensstroom-activiteit uitvoeren.
Nadat u de activiteit hebt toegevoegd aan het pijplijncanvas, vindt u de gegevensstroomparameters op het tabblad Parameters van de activiteit.
Als u parameterwaarden toewijst, zorgt u ervoor dat u de parameters in een pijplijnexpressietaal of taal voor gegevensstroomexpressie kunt gebruiken op basis van spark-typen. U kunt ook de twee combineren, dat wil gezegd, de pijplijn- en gegevensstroomexpressieparameters.