Gegevens opnemen in Lakeflow Designer

U kunt alle gegevens toegankelijk maken via Azure Databricks in een visuele gegevensvoorbereiding in Lakeflow Designer.

Alle gegevensopname in Designer begint met de operator Bron . Wanneer u het configuratievenster van een bronoperator opent, hebt u de volgende opties.

Door bestaande tabellen bladeren

Klik op Bestaande bekijken om de assetkiezer te openen en door tabellen en volumes in Unity Catalog te bladeren. Gebruik deze optie wanneer uw gegevens zich al in Azure Databricks.

U kunt ook een metrische unity-catalogusweergave als bron selecteren. Wanneer u een metrische weergave selecteert, selecteert u de dimensies en metingen die u wilt opnemen en genereert Designer de geaggregeerde query.

Een map of volume opnemen

In plaats van een afzonderlijk bestand kan de bronoperator zich richten op een volledig Unity Catalog-volume of mappad. Designer detecteert de indeling van de bestanden in de map en laadt deze in één tabel:

  • Voor gestructureerde bestandsindelingen zoals CSV, JSON, Excel en Parquet leest Designer alle bestanden en combineert de rijen in één tabel.
  • Voor documentbestanden zoals PDF's leest Designer elk bestand als één rij, zodat u één rij per bestand krijgt.

Een lokaal bestand slepen en neerzetten

Sleep een CSV- of Excel-bestand rechtstreeks vanaf uw lokale computer naar het canvas. Designer uploadt het bestand naar een volume in Unity Catalog en maakt automatisch een bronoperator.

Note

Voor slepen en neerzetten van Excel bestanden moet ondersteuning voor Excel bestandsindeling zijn ingeschakeld. Zie Excel-bestanden lezen en streamen.

Een tabel maken op basis van een bestand

Selecteer Tabel maken uit bestand in het deelvenster Bronconfiguratie om een lokaal CSV- of Excel-bestand te uploaden en er een Unity Catalog-tabel van te maken. Gebruik deze optie als u wilt dat de gegevens worden bewaard als een beheerde tabel in plaats van opgeslagen in een volume. Daarnaast biedt dit voor grote hoeveelheden gegevens de beste prestaties. Geüploade bestanden zijn onderhevig aan de maximale bestandsgrootte van het Unity Catalog-volume. Zie Werken met bestanden in Unity Catalog-volumes.

Importeren vanuit Google Drive

Een bestand importeren uit Google Drive:

  1. Selecteer Importeren in Google Drive in het deelvenster Bronconfiguratie.
  2. Selecteer een Unity Catalog-verbinding die toegang heeft tot Google Drive.
  3. Geef de bestands-URL op.

Hiervoor is een Unity Catalog-verbinding vereist die is geconfigureerd voor Toegang tot Google Drive. Zie Bestanden ophalen van Google Drive voor instructies om verbindingen in te stellen.

Import uit SharePoint

Een bestand importeren uit SharePoint:

  1. Selecteer in het deelvenster Bronconfiguratie Import uit SharePoint.
  2. Selecteer een Unity Catalog-verbinding die toegang heeft tot uw SharePoint-site.
  3. Geef de directe bestandskoppeling op.

Warning

Als u de juiste URL wilt ophalen, klikt u met de rechtermuisknop op het bestand in SharePoint, selecteert u Preview en kopieert u de URL uit de adresbalk van de browser. Gebruik geen koppeling voor delen.

Hiervoor is een Unity Catalog-verbinding vereist die is geconfigureerd voor SharePoint toegang. Zie Bestanden importeren uit SharePoint om verbindingen in te stellen.

Lakeflow Connect gebruiken voor aanvullende bronnen

Als een gegevensbron niet rechtstreeks beschikbaar is in Designer, controleert u Lakeflow Connect voor een beheerde connector. Lakeflow Connect ondersteunt opname vanuit SaaS-toepassingen (Salesforce, Workday, HubSpot en meer), databases, cloudopslag en streamingbronnen. Nadat u gegevens hebt opgenomen met Lakeflow Connect in een Unity Catalog-tabel, kunt u deze gebruiken als bron in Designer.

Aanvullende bronnen