Afgeleide kolomtransformatie in toewijzingsgegevensstroom

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

Gegevensstromen zijn beschikbaar in Zowel Azure Data Factory als Azure Synapse Pipelines. Dit artikel is van toepassing op toewijzingsgegevensstromen. Als u geen ervaring hebt met transformaties, raadpleegt u het inleidende artikel Gegevens transformeren met behulp van een toewijzingsgegevensstroom.

Gebruik de transformatie van afgeleide kolommen om nieuwe kolommen in uw gegevensstroom te genereren of om bestaande velden te wijzigen.

Kolommen maken en bijwerken

Wanneer u een afgeleide kolom maakt, kunt u een nieuwe kolom genereren of een bestaande kolom bijwerken. Voer in het tekstvak Kolom de kolom in die u maakt. Als u een bestaande kolom in uw schema wilt overschrijven, kunt u de vervolgkeuzelijst kolom gebruiken. Als u de expressie van de afgeleide kolom wilt maken, klikt u op het tekstvak Expressie invoeren . U kunt beginnen met het typen van uw expressie of de opbouwfunctie voor expressies openen om uw logica samen te stellen.

Als u meer afgeleide kolommen wilt toevoegen, klikt u op Toevoegen boven de kolomlijst of het pluspictogram naast een bestaande afgeleide kolom. Kies Kolom toevoegen of Kolompatroon toevoegen.

Kolompatronen

In gevallen waarin uw schema niet expliciet is gedefinieerd of als u een set kolommen bulksgewijs wilt bijwerken, wilt u kolompatronen maken. Met kolompatronen kunt u kolommen vergelijken met behulp van regels op basis van de metagegevens van de kolom en afgeleide kolommen maken voor elke overeenkomende kolom. Meer informatie over het bouwen van kolompatronen in de afgeleide kolomtransformatie.

Schema's bouwen met de opbouwfunctie voor expressies

Wanneer u de opbouwfunctie voor expressies voor toewijzingsgegevensstromen gebruikt, kunt u uw afgeleide kolommen maken, bewerken en beheren in de sectie Afgeleide kolommen. Alle kolommen die in de transformatie worden gemaakt of gewijzigd, worden weergegeven. Kies interactief welke kolom of welk patroon u bewerkt door op de kolomnaam te klikken. Als u een extra kolom wilt toevoegen, selecteert u Nieuwe maken en kiest u of u één kolom of een patroon wilt toevoegen.

Wanneer u met complexe kolommen werkt, kunt u subkolommen maken. Klik hiervoor op het pluspictogram naast een kolom en selecteer Subkolom toevoegen. Zie JSON-verwerking in toewijzingsgegevensstroom voor meer informatie over het verwerken van complexe typen in de gegevensstroom.

Zie JSON-verwerking in toewijzingsgegevensstroom voor meer informatie over het verwerken van complexe typen in de gegevensstroom.

Script voor gegevensstroom

Syntaxis

<incomingStream>
    derive(
           <columnName1> = <expression1>,
           <columnName2> = <expression2>,
           each(
                match(matchExpression),
                <metadataColumn1> = <metadataExpression1>,
                <metadataColumn2> = <metadataExpression2>
               )
          ) ~> <deriveTransformationName>

Opmerking

Het onderstaande voorbeeld is een afgeleide kolom met de naam CleanData die een binnenkomende stroom MoviesYear gebruikt en twee afgeleide kolommen maakt. De eerste afgeleide kolom vervangt de kolom Rating door de waarde van rating als een geheel getaltype. De tweede afgeleide kolom is een patroon dat overeenkomt met elke kolom waarvan de naam begint met 'films'. Voor elke overeenkomende kolom wordt een kolom movie gemaakt die gelijk is aan de waarde van de overeenkomende kolom met het voorvoegsel 'movie_'.

In de gebruikersinterface ziet deze transformatie eruit als in de onderstaande afbeelding:

Het gegevensstroomscript voor deze transformatie bevindt zich in het onderstaande codefragment:

MoviesYear derive(
                Rating = toInteger(Rating),
		        each(
                    match(startsWith(name,'movies')),
                    'movie' = 'movie_' + toString($$)
                )
            ) ~> CleanData

Gerelateerde inhoud

• Meer informatie over de expressietaal Toewijzing Gegevensstroom.