Erstellen einer visuellen Datenvorbereitung in Lakeflow Designer

Mit Lakeflow Designer können Sie Datentransformationsworkflows auf einem visuellen, drag-and-drop-Canvas erstellen. Auf dieser Seite wird erläutert, wie Sie eine visuelle Datenvorbereitung erstellen – vom Hinzufügen einer Datenquelle und dem Verketten von Operatoren bis hin zur Vorschau von Ergebnissen und dem Schreiben in den Unity Catalog.

Anforderungen

Um Lakeflow Designer zu verwenden, müssen Sie folgendes haben:

• Ein Azure Databricks-Arbeitsbereich mit aktiviertem Unity-Katalog.
• CAN USE Berechtigung für mindestens eine universelle Compute-Ressource (serverlos oder Allzweck).

Wählen Sie im Compute-Auswahlmenü oben rechts im Designer neben der Schaltfläche Zeitplan aus, welches Compute verwendet werden soll.

Erstellen einer neuen visuellen Datenvorbereitung

Um eine neue visuelle Datenvorbereitung zu erstellen, klicken Sie auf Neu in der Randleiste, und wählen Sie visual data prep aus.

Der Designer wird mit einer Willkommensseite geöffnet, auf der Sie eine Datenquelle hinzufügen oder eine Beispielvorbereitung für visuelle Daten erkunden können.

Hinzufügen einer Datenquelle

Jede visuelle Datenvorbereitung beginnt mit einer oder mehreren Datenquellen. Der Source-Operator stellt eine Datenquelle auf dem Zeichenbereich dar.

So fügen Sie eine Datenquelle hinzu:

1. Fügen Sie einen Source-Operator hinzu. Klicken Sie auf der Willkommensseite auf den Quelloperator auswählen. Öffnen Sie in der Arbeitsfläche das Operatormenü und wählen Sie "Quelle" aus.
2. Wählen Sie im Bereich "Quellkonfiguration" aus, wie Ihre Daten angezeigt werden sollen. Sie können nach einer vorhandenen Tabelle suchen, eine lokale CSV- oder Excel-Datei hochladen, eine Tabelle aus einer Datei erstellen oder aus Google Drive oder SharePoint importieren.
3. Wählen Sie Ihre Datenquelle aus, oder konfigurieren Sie sie. Der Source-Operator erscheint auf der Leinwand.

Sie können auch eine CSV- oder Excel-Datei direkt auf den Zeichenbereich ziehen und ablegen, um schnell einen Quelloperator zu erstellen.

Um die Quelle später zu ändern, öffnen Sie den Source-Operator, und klicken Sie auf "Neue Datenquelle auswählen". Durch Das Ändern der Quelle wird der Ausgabecache für alle downstream-Operatoren ungültig.

Ausführliche Informationen zu den einzelnen Aufnahmeoptionen finden Sie unter "Daten aufnehmen" in Lakeflow Designer.

Hinzufügen und Konfigurieren von Operatoren

Um einen Operator hinzuzufügen, öffnen Sie das Operatormenü in der linken Seitenleiste der Canvas. Klicken Sie auf einen Operator, um ihn dem Zeichenbereich hinzuzufügen, oder ziehen Sie einen Operator aus dem Menü auf den Zeichenbereich. Sie können auch auf die + Schaltfläche neben einem beliebigen vorhandenen Operator klicken, um einen neuen Operator mit einer automatischen Verbindung hinzuzufügen.

Um einen Operator zu konfigurieren, doppelklicken Sie darauf, oder halten Sie den Mauszeiger darauf, und klicken Sie auf (Bearbeitungsoperator), um den Konfigurationsbereich zu öffnen. Legen Sie die Optionen für diesen Operatortyp fest und gehen Sie dann auf Anwenden.

Ausführliche Informationen zu jedem verfügbaren Operator finden Sie unter integrierten Operatoren in Lakeflow Designer. Ausführliche Informationen zum Erstellen eigener benutzerdefinierter Operatoren finden Sie unter User-defined operators in Lakeflow Designer.

Verbinden von Operatoren

Um zwei Operatoren zu verbinden, klicken und ziehen Sie vom Ausgabepunkt (dem kleinen Kreis am rechten Rand eines Operators) zum Eingabepunkt (dem kleinen Kreis am linken Rand des nächsten Operators). Dies gibt an, dass Daten vom ersten Operator in die zweite fließen. Daten fließen von links nach rechts durch die visuelle Datenvorbereitung.

Einige Operatoren, z. B. Join und Combine, akzeptieren mehrere Eingaben.

Um eine Verbindung zu entfernen, führen Sie den Mauszeiger darüber und gehen Sie in der Symbolleiste, die über der Verbindung angezeigt wird, auf .

Verwenden von Genie Code

Sie können jederzeit während der Bearbeitung im Lakeflow-Designer Aufforderungen zu Genie Code erstellen, um Hilfe zu erhalten. Siehe Genie Code.

Bei Verwendung von Genie Code bieten die folgenden Schaltflächen zusätzliche Funktionen:

• : Lädt ein Bild hoch, das als Teil der Eingabeaufforderung verwendet werden soll.
• : Verwenden, um Objekte wie Tabellen oder Dateien zu erwähnen, die als Teil des Prompts verwendet werden sollen.
• : Startet einen neuen Chatthread mit neuem Agentkontext.
• : Öffnet den Seitenbereich für den Unterhaltungsverlauf und eine detailliertere Ansicht der Aktionen des Agents.

Genie Code zeigt eine einzeilige Zusammenfassung seiner letzten Bearbeitung über dem Eingabefeld.

Vorschau der Ergebnisse

Wählen Sie einen beliebigen Operator aus, um die Ergebnisse im Ausgabebereich am unteren Rand des Bildschirms anzuzeigen. Bei den meisten Operatortypen befindet sich die Eingabedaten auf der linken Seite, und die Ausgabedaten sind rechts. Operatoren, die Nichttabellenergebnisse erzeugen, z. B. Plots, HTML oder Bilder, rendern diese Ausgaben direkt im Ausgabebereich.

Verwenden Sie die Ansichtssteuerung im Ausgabefenster, um zwischen Eingabe und Ausgabe (Standard), nur Eingabe oder nur Ausgabe zu wechseln. Ziehen Sie in der kombinierten Ansicht die Trennlinie, um die Größe der Eingabe- und Ausgabebereiche zu ändern.

Standardmäßig verarbeiten Operatoren eine begrenzte Stichprobe von Daten für Vorschauen. Verwenden Sie die Dropdownliste "Zeilen gescannt" im Ausgabebereich, um zu steuern, wie viele Zeilen verarbeitet werden sollen:

• Gescannte Zeilen: Limit: Verarbeitet die ersten N-Eingabezeilen. Geben Sie die Anzahl der Zeilen im Feld neben dem Dropdown an.
• Gescannte Zeilen: Max: Verarbeitet alle Eingabezeilen.

Warning

Die Ausführung mit Gescannte Zeilen: Max führt alle Upstreamoperatoren mit dem vollständigen, ungebundenen Dataset erneut aus und kann eine lange Zeit in Anspruch nehmen.

Die Einstellung „Gescannte Zeilen“ steuert nur die Verarbeitung der Vorschau. Geplante Ausführungen und Auftragsausführungen verarbeiten immer das vollständige Dataset.

Schreiben von Ergebnissen in den Unity-Katalog

Fügen Sie einen Ausgabeoperator hinzu, um Ihre Ergebnisse in eine Tabelle im Unity-Katalog zu schreiben:

1. Öffnen Sie das Operatormenü, wählen Sie "Ausgabe" aus, oder klicken Sie neben + dem letzten Operator, und wählen Sie "Ausgabe" aus.
2. Verbinden Sie den Ausgabehandle Ihrer letzten Transformation mit dem Eingabehandle des Ausgabeoperators , wenn dies noch nicht verbunden ist.
3. Doppelklicken Sie auf den Ausgabeoperator , um den Konfigurationsbereich zu öffnen.
4. Geben Sie einen Tabellennamen ein, und wählen Sie den Ausgabespeicherort (Katalog und Schema) aus.
5. Klicken Sie auf Ausführen.

Jede Ausführung erstellt oder ersetzt die verwaltete Ausgabetabelle, sodass geplante Ausführungen sie überschreiben, anstatt sie anzufügen. Siehe Ausgabe.

Planen oder in Produktion ausführen

Sie können Ihre Workflows automatisieren, indem Sie sie als Aufträge planen.

• Direkt planen: Klicken Sie im oberen Menü auf die Schaltfläche Zeitplan, um eine geplante Aufgabe für Ihre visuelle Datenaufbereitung zu erstellen.
• Einem Job hinzufügen: Erstellen Sie einen Azure Databricks-Job, und wählen Sie Ihre visuelle Datenaufbereitung als Task aus. Auf diese Weise können Sie diese visuelle Datenaufbereitung mit anderen Aufgaben zu einer größeren Pipeline kombinieren.

Um vorhandene Zeitpläne anzuzeigen und zu verwalten, klicken Sie erneut auf "Zeitplan ", um die Liste zu öffnen. Gehen Sie auf Zeitplan hinzufügen, um einen weiteren Zeitplan zu erstellen, oder öffnen Sie das Kebab-Menü eines Zeitplans, um ihn die Option Bearbeiten, Jetzt ausführen, Anhalten, Klonen, In Einzelvorgängen anzeigen oder Löschen auszuführen.

Wenn Sie eine visuelle Datenvorbereitung planen, können Sie die Parameterwerte für diesen Zeitplan optional überschreiben. Sie können z. B. einen Zeitplan erstellen, der mit einem auf environment gesetzten test-Parameter ausgeführt wird, und einen anderen, bei dem dieser auf production gesetzt ist. Siehe Parameter.

Speichern und Verwalten visueller Datenvorbereitungsdateien

Visuelle Datenvorbereitungsdateien werden nativ im Arbeitsbereich gespeichert. Sie können sie exportieren, importieren und mit Git nachverfolgen, wenn sie in einem Git-Ordner platziert werden.

Exportieren einer visuellen Datenvorbereitungsdatei

1. Klicken Sie auf In der oberen rechten Ecke.
2. Wählen Sie Dateiexport>aus.
3. Die Datei wird als <file_name>.designer.ipynbexportiert.

Importieren einer visuellen Datenvorbereitungsdatei

1. Klicken Sie im Arbeitsbereichsdateisystem auf
2. Klicken Sie auf Importieren.
3. Wählen Sie die zu importierende visuelle Datenvorbereitungsdatei aus.

Verwenden von visuellen Datenvorbereitungsdateien mit Git

1. Erstellen Sie einen Git-Ordner in Ihrem Arbeitsbereich.
2. Verschieben Sie die visuelle Datenvorbereitungsdatei in diesen Git-Ordner.
3. Verfolgen, committen und versionieren Sie die Datei wie jedes andere Notebook in Git.
4. In Git erscheint die Datei als <file_name>.designer.ipynb.

Eine visuelle Datenaufbereitung umbenennen

Um eine visuelle Datenvorbereitung umzubenennen, klicken Sie oben im Editor auf die Registerkarte mit dem Namen, und geben Sie dann einen neuen Namen ein.

Eine visuelle Datenaufbereitung löschen

Um eine visuelle Datenaufbereitung zu löschen, öffnen Sie das Kebab-Menü für die Datei und wählen Sie In den Papierkorb verschieben aus.

Um mehrere Dateien für die visuelle Datenaufbereitung gleichzeitig zu löschen, öffnen Sie in der linken Navigation Workspace, markieren Sie die Dateien, die Sie entfernen möchten, und wählen Sie oben in der Liste In den Papierkorb verschieben.

Weitere Tipps beim Arbeiten im Zeichenbereich

Die folgenden Aktionen stehen auf der Arbeitsfläche zur Verfügung, um Sie beim Bearbeiten Ihrer visuellen Datenaufbereitung zu unterstützen.

• Benennen Sie einen Operator um: Klicken Sie oben im Konfigurationsbereich auf das Textfeld, um den Operator umzubenennen. Beschreibende Namen erleichtern das Verständnis Ihrer visuellen Datenaufbereitung auf einen Blick. Einige Operatoren, z. B. der SQL-Operator, können anhand des Namens auf die Ausgabe anderer Operatoren verweisen.
• Kopieren Sie einen Operator: Halten Sie den Mauszeiger über einen Operator, und klicken Sie auf , oder wählen Sie einen Operator aus, und drücken Sie DANN CMD/STRG+V.
• Einen Operator löschen: Bewegen Sie den Mauszeiger über einen Operator und wählen Sie in der darüber angezeigten Symbolleiste oder den Operator aus und drücken Sie Löschen.
• Automatisches Layout: Klicken Sie auf In der Kopfzeilensymbolleiste werden alle Operatoren automatisch in einem kompakten Layout angeordnet.
• Ansicht anpassen: Klicken Sie auf In der Kopfzeilensymbolleiste werden alle Operatoren im aktuellen Viewport angezeigt.
• Rückgängig machen und wiederholen: Drücken Sie Cmd/Strg+Z und Cmd/Strg+Umschalt+Z oder verwenden Sie die Schaltflächen zum Rückgängigmachen und Wiederholen in der Symbolleiste der Kopfzeile.
• Generierten Code anzeigen: Um den von Designer generierten PySpark-Code anzuzeigen, öffnen Sie den Versionsverlauf im rechten Bereich, verschieben Sie die Datei in einen Git-Ordner, und zeigen Sie ihn dort an, oder zeigen Sie den Code in den Auftragsausführungsdetails an.
• Versionsverlauf anzeigen: Klicken Sie im rechten Bereich auf das ", um den Versionsverlauf der visuellen Daten zu öffnen, in dem die Änderungen aufgelistet sind. Wählen Sie eine Version aus, um sie mit der folgenden Version zu vergleichen.

Zusätzliche Ressourcen

• Aufnehmen von Daten in Lakeflow Designer
• Integrierte Operatoren in Lakeflow Designer