Eingabe von Daten in Lakeflow Designer

Sie können alle Daten, auf die über Azure Databricks zugegriffen werden kann, in eine visuelle Datenvorbereitung in Lakeflow Designer integrieren.

Alle Datenaufnahme in Designer beginnt mit dem Source-Operator . Wenn Sie den Konfigurationsbereich eines Quelloperators öffnen, haben Sie die folgenden Optionen.

Durchsuchen vorhandener Tabellen

Klicken Sie auf Vorhandene durchsuchen, um die Asset-Auswahl zu öffnen und Tabellen und Volumes in Unity Catalog zu durchsuchen. Verwenden Sie diese Option, wenn Ihre Daten bereits in Azure Databricks sind.

Sie können auch eine Metrikansicht des Unity-Katalogs als Quelle auswählen. Wenn Sie eine Metrikansicht auswählen, wählen Sie die einzuschließenden Dimensionen und Kennzahlen aus, und Designer generiert die aggregierte Abfrage.

Eine externe Datenbankverbindung herstellen

Wählen Sie in einem nicht konfigurierten Quelloperator : Externe Datenbankverbindung erstellen , um sich mit einer externen Datenbank zu verbinden. Der Designer erstellt eine Unity-Katalog-Verbindung und einen Foreign Catalog und öffnet dann den Katalog, sodass du eine Tabelle auswählen kannst.

Das Erstellen einer neuen Unity-Katalog-Verbindung erfordert die CREATE CONNECTION und CREATE CATALOG Privilegien auf dem Unity-Katalog-Metastore.

Der Designer unterstützt folgende Verbindungstypen:

  • Amazon Redshift
  • Azure Synapse
  • Databricks
  • Google BigQuery-Datenanalyseplattform
  • MySQL
  • Oracle
  • PostgreSQL
  • Salesforce Data Cloud
  • Salesforce Data Cloud-Dateifreigabe
  • Schneeflocke
  • SQL Server
  • Teradata

Wenn eine Datenquelle nicht direkt in Designer verfügbar ist, überprüfen Sie Lakeflow Connect auf einen verwalteten Connector. Lakeflow Connect unterstützt die Aufnahme von SaaS-Anwendungen (Salesforce, Workday, HubSpot und mehr), Datenbanken, Cloudspeicher und Streamingquellen. Nachdem Sie Daten mit Lakeflow Connect in eine Unity-Katalogtabelle aufgenommen haben, können Sie sie als Quelle in Designer verwenden.

Ordner oder Datenträger erfassen

Anstelle einer einzelnen Datei kann der Quelloperator auf ein gesamtes Unity-Katalogvolume oder einen ordnerpfad abzielen. Designer erkennt das Format aus den Dateien im Ordner und lädt sie in eine einzelne Tabelle:

  • Bei strukturierten Dateiformaten wie CSV, JSON, Excel und Parkett liest Designer alle Dateien und kombiniert ihre Zeilen in einer Tabelle.
  • Bei Dokumentdateien wie PDF-Dateien liest Designer jede Datei als einzelne Zeile, sodass Sie eine Zeile pro Datei erhalten.

Eine Datei per Drag-and-Drop ziehen und ablegen

Ziehen Sie eine Datei aus dem Workspace-Dateibrowser oder von Ihrem lokalen Gerät auf die Leinwand, um automatisch einen Quelloperator zu erstellen. Für lokale Dateien lädt Designer eine Kopie auf ein Unity-Katalog-Volume hoch, damit der Bediener sie lesen kann.

Note

Das Ziehen und Ablegen von Excel Dateien erfordert, dass Excel Dateiformatunterstützung aktiviert ist. Siehe Lesen und Streamen Excel Dateien.

Erstellen einer Tabelle aus einer Datei

Wählen Sie Tabelle aus Datei erstellen im Konfigurationsbereich "Quelle" aus, um eine lokale CSV- oder Excel-Datei hochzuladen und eine Unity-Katalogtabelle daraus zu erstellen. Verwenden Sie diese Option, wenn die Daten als verwaltete Tabelle beibehalten werden sollen, anstatt in einem Volume zu speichern. Darüber hinaus bietet dies für große Datenmengen die beste Leistung. Hochgeladene Dateien unterliegen dem Grenzwert für die Volumendateigröße des Unity-Katalogs. Siehe "Arbeiten mit Dateien" in Unity-Katalogvolumes.

Importieren von Google Drive

So importieren Sie eine Datei aus Google Drive:

  1. Wählen Sie im Bereich "Quellkonfiguration" die Option "Aus Google Drive importieren" aus.
  2. Wählen Sie eine bestehende Unity-Katalogverbindung aus, die Zugriff auf Google Drive hat, oder wählen Sie Verbindung erstellen , um eine zu erstellen.
  3. Geben Sie die Datei-URL an.

Für Verbindungsanforderungen und Einrichtungsanweisungen siehe Dateien von Google Drive einschicken.

Import aus SharePoint

So importieren Sie eine Datei aus SharePoint:

  1. Wählen Sie im Bereich "Quellkonfiguration" Import aus SharePoint aus.
  2. Wählen Sie eine bestehende Unity-Katalog-Verbindung aus, die Zugriff auf Ihre SharePoint-Seite hat, oder wählen Sie Verbindung erstellen, um eine zu erstellen.
  3. Geben Sie den direkten Dateilink an.

Warning

Um die richtige URL zu erhalten, klicken Sie mit der rechten Maustaste auf die Datei in SharePoint, wählen Sie Preview aus, und kopieren Sie die URL aus der Adressleiste des Browsers. Verwenden Sie keinen Freigabelink.

Für Verbindungsanforderungen und Einrichtungsanweisungen siehe Dateien von SharePoint einlesen.

Zusätzliche Ressourcen

  • Zuletzt aktualisiert um