Parametrieren von Mapping-Datenflüssen

GILT FÜR: Azure Data Factory Azure Synapse Analytics

Tipp

Testen Sie Data Factory in Microsoft Fabric, eine All-in-One-Analyselösung für Unternehmen. Microsoft Fabric deckt alle Aufgaben ab, von der Datenverschiebung bis hin zu Data Science, Echtzeitanalysen, Business Intelligence und Berichterstellung. Erfahren Sie, wie Sie kostenlos eine neue Testversion starten!

Zuordnungsdatenflüsse in Data Factory- und Azure Synapse-Pipelines unterstützen die Verwendung von Parametern. Definieren Sie Parameter innerhalb Ihrer Datenflussdefinition, und verwenden Sie sie in allen Ihren Ausdrücken. Die Parameterwerte werden von der aufrufenden Pipeline über die Aktivität „Datenfluss ausführen“ festgelegt. Sie haben drei Möglichkeiten, die Werte in den Ausdrücken der Datenflussaktivität festzulegen:

• Verwenden der Ausdruckssprache für die Pipeline-Ablaufsteuerung, um einen dynamischen Wert festzulegen
• Verwenden der Ausdruckssprache für den Datenfluss, um einen dynamischen Wert festzulegen
• Verwenden einer der beiden Ausdruckssprachen, um einen statischen Literalwert festzulegen

Nutzen Sie diese Funktion, um Ihre Datenflüsse universell einsetzbar, flexibel und wiederverwendbar zu gestalten. Mit diesen Parametern können Sie Datenflusseinstellungen und -ausdrücke parametrisieren.

Erstellen von Parametern in einem Mapping-Datenfluss

Wenn Sie Parameter zu Ihrem Datenfluss hinzufügen möchten, klicken Sie auf den leeren Bereich der Datenflusscanvas, um die allgemeinen Eigenschaften anzuzeigen. Im Einstellungsbereich sehen Sie die Registerkarte Parameter. Wählen Sie Neu aus, um einen neuen Parameter zu generieren. Für jeden Parameter müssen Sie einen Namen angeben, einen Typ auswählen und optional einen Standardwert festlegen.

Verwenden von Parametern in einem Zuordnungsdatenfluss

Auf Parameter kann in jedem beliebigen Datenflussausdruck verwiesen werden. Parameter beginnen mit $ und sind unveränderlich. Die Liste der verfügbaren Parameter finden Sie im Ausdrucks-Generator auf der Registerkarte Parameter.

Sie können zusätzliche Parameter schnell hinzufügen, indem Sie Neuer Parameter auswählen und dann den Namen und Typ angeben.

Verwenden parametrisierter verknüpfter Dienste in einem Zuordnungsdatenfluss

Parametrisierte verknüpfte Dienste können in einem Zuordnungsdatenfluss (entweder für Datensätze oder inline-Quelltypen) verwendet werden.

Für den Inlinequelltyp werden die verknüpften Dienstparameter in den Datenflussaktivitätseinstellungen innerhalb der Pipeline verfügbar gemacht, wie unten dargestellt.

Für den Datenquellentyp des Datasets werden die verknüpften Dienstparameter direkt in der Datasetkonfiguration verfügbar gemacht.

Zuweisen von Parameterwerten aus einer Pipeline

Nachdem Sie einen Datenfluss mit Parametern erstellt haben, können Sie ihn mit der Aktivität „Datenfluss ausführen“ aus einer Pipeline ausführen. Nachdem Sie die Aktivität zu Ihrer Pipelinecanvas hinzugefügt haben, werden Ihnen auf der Registerkarte Parameter der Aktivität die verfügbaren Datenflussparameter angezeigt.

Zum Zuweisen von Parameterwerten können Sie entweder die Pipeline-Ausdruckssprache oder die Datenfluss-Ausdruckssprache verwenden, je nach den in Spark verfügbaren Datentypen. Jede Mapping-Datenfluss-Kombination kann irgendeine Kombination von Pipeline- und Datenfluss-Ausdrucksparametern aufweisen.

Pipeline-Ausdrucksparameter

Mit Ausdrucksparametern von Pipelines können Sie ähnlich wie bei anderen Pipeline-Aktivitäten auf Systemvariablen, Funktionen, Pipelineparameter und Variablen verweisen. Wenn Sie auf Pipeline expression klicken, wird eine Seitenleiste geöffnet, in der Sie einen Ausdruck mithilfe des Ausdruckseditors eingeben können.

Wenn auf die Pipelineparameter verwiesen wird, werden sie ausgewertet. Der Wert wird dann in der Ausdruckssprache für Datenflüsse verwendet. Der Typ des Pipelineausdrucks muss nicht mit dem Typ des Parameters im Datenfluss übereinstimmen.

Stringliterale im Vergleich zu Ausdrücken

Wenn Sie einen Pipeline-Ausdrucksparameter vom Typ String zuweisen, werden standardmäßig Anführungszeichen hinzugefügt, und der Wert wird als Literalwert ausgewertet. Um den Parameterwert als Datenflussausdruck zu lesen, aktivieren Sie das Feld „Ausdruck“ neben dem Parameter.

Wenn der Datenflussparameter stringParam auf einen Pipelineparameter mit dem Wert upper(column1) verweist.

• Wenn der Ausdruck geprüft wird, wird $stringParam auf den Wert von „column1“ in Großbuchstaben ausgewertet.
• Wenn „Ausdruck“ nicht überprüft ist (Standardverhalten), wird $stringParam als 'upper(column1)' ausgewertet.

Weitergabe von Zeitstempeln

In der Pipeline-Ausdruckssprache geben Systemvariablen wie pipeline().TriggerTime und Funktionen wie utcNow() Zeitstempel als Zeichenfolgen im Format „jjjj-MM-ttTHH:mm:ss.SSSSSSZ“ zurück. Verwenden Sie zum Konvertieren dieser Ausdrücke in Datenflussparametern vom Typ Zeitstempel die Zeichenfolgeninterpolation, um den gewünschten Zeitstempel in eine toTimestamp()-Funktion einzuschließen. Wenn Sie z. B. die Pipeline-Auslösungszeit in einen Datenflussparameter konvertieren möchten, können Sie toTimestamp(left('@{pipeline().TriggerTime}', 23), 'yyyy-MM-dd\'T\'HH:mm:ss.SSS') verwenden.

Hinweis

Datenströme unterstützen nur bis zu drei Nachkommastellen von Millisekunden. Die left()-Funktion wird verwendet, um zusätzliche Stellen abzuschneiden.

Beispiel für Pipelineparameter

Angenommen, Sie verfügen über den Integerparameter intParam, der auf einen Pipelineparameter vom Typ String verweist: @pipeline.parameters.pipelineParam.

@pipeline.parameters.pipelineParam wird zur Laufzeit der Wert abs(1) zugewiesen.

Wenn in einem Ausdruck auf $intParam verwiesen wird, z. B. in einer abgeleiteten Spalte, wird abs(1) ausgewertet und 1 zurückgegeben.

Datenfluss-Ausdrucksparameter

Wählen Sie Datenflussausdruck aus, um den Datenflussexpressions-Generator zu öffnen. Sie können im gesamten Datenfluss auf Funktionen, andere Parameter und jede definierte Schemaspalte verweisen. Dieser Ausdruck wird in dem Zustand ausgewertet, in dem auf ihn verwiesen wird.

Hinweis

Wenn Sie einen ungültigen Ausdruck übergeben oder auf eine Schemaspalte verweisen, die in dieser Transformation nicht vorhanden ist, wird der Parameter als NULL ausgewertet.

Übergeben eines Spaltennamens als Parameter

Ein gängiges Muster ist die Übergabe eines Spaltennamen als Parameterwert. Wenn die Spalte im Datenflussschema definiert ist, können Sie direkt als Zeichenfolgenausdruck auf sie verweisen. Wenn die Spalte nicht im Schema definiert ist, verwenden Sie die byName()-Funktion. Denken Sie daran, die Spalte mithilfe einer Umwandlungsfunktion wie toString() in den entsprechenden Typ zu konvertieren.

Wenn Sie beispielsweise eine String-Spalte basierend auf dem Parameter columnName zuordnen möchten, können Sie eine abgeleitete Spaltentransformation gleich toString(byName($columnName)) hinzufügen.

Hinweis

In Datenflussausdrücken wird die Zeichenfolgeninterpolation (Ersetzen von Variablen innerhalb der Zeichenfolge) nicht unterstützt. Verketten Sie stattdessen den Ausdruck in Zeichenfolgenwerte. Beispiel: 'string part 1' + $variable + 'string part 2'

Zugehöriger Inhalt

• Ausführen der Datenflussaktivität
• Ausdrücke für die Ablaufsteuerung