Een visuele gegevensvoorbereiding maken in Lakeflow Designer

Met Lakeflow Designer kunt u werkstromen voor gegevenstransformatie bouwen op een visuele canvas waarop u kunt slepen en neerzetten. Op deze pagina wordt uitgelegd hoe u een visuele gegevensvoorbereiding maakt, van het toevoegen van een gegevensbron en het koppelen van operators aan het bekijken van resultaten en het schrijven naar Unity Catalog.

Requirements

Als u Lakeflow Designer wilt gebruiken, hebt u het volgende nodig:

  • Een Azure Databricks-werkruimte waarvoor Unity Catalog is ingeschakeld.
  • CAN USE machtiging voor ten minste één rekenresource voor algemeen gebruik (serverloos of alle doeleinden).

Selecteer in de rechterbovenhoek van Designer welke berekening moet worden gebruikt in de rekenkiezer, naast de knop Planning .

Een nieuwe visuele gegevensvoorbereiding maken

Als u een nieuwe visuele gegevensvoorbereiding wilt maken, klikt u op het pluspictogram.Nieuw in de zijbalk en selecteer Visuele gegevensvoorbereiding.

Designer wordt geopend met een welkomstscherm waarin u een gegevensbron kunt toevoegen of een voorbeeld van visuele gegevensvoorbereiding kunt verkennen.

Als u uw bestaande visualgegevensvoorbereidingsbestanden wilt vinden, opent u de pagina Visual-gegevensvoorbereiding vanuit de zijbalk. Op deze pagina vindt u een overzicht van al uw visuele gegevensvoorbereidingsbestanden en bevat een introductievideo om u te helpen Met Lakeflow Designer aan de slag te gaan.

Een gegevensbron toevoegen

Elke visuele gegevensvoorbereiding begint met een of meer gegevensbronnen. De bronoperator vertegenwoordigt een gegevensbron op het canvas.

Een gegevensbron toevoegen:

  1. Voeg een bronoperator toe. Klik in het welkomstscherm op Bronoperator selecteren. Open het operatormenu op het canvas en selecteer Bron.
  2. Kies in het deelvenster Bronconfiguratie hoe u uw gegevens wilt ophalen:
    • Selecteer een bestaande tabel.
    • Upload een lokaal CSV- of Excel-bestand.
    • Een tabel maken op basis van een bestand.
    • Importeren uit Google Drive of SharePoint.
  3. Selecteer of configureer uw gegevensbron. De bronoperator wordt weergegeven op het canvas.

U kunt ook een CSV- of Excel-bestand rechtstreeks naar het canvas slepen en neerzetten om snel een bronoperator te maken.

Als u de bron later wilt wijzigen, opent u de bronoperator en klikt u op Een nieuwe gegevensbron selecteren. Als u de bron wijzigt, wordt de uitvoercache voor alle downstreamoperators ongeldig.

Zie Gegevens opnemen in Lakeflow Designer voor meer informatie over elke opnameoptie.

Operators toevoegen en configureren

Als u een operator wilt toevoegen, opent u het operatormenu in het zijvenster aan de linkerkant van het canvas. Klik op een operator om die toe te voegen aan het canvas of sleep een operator vanuit het menu naar het canvas. U kunt ook op de + knop naast een bestaande operator klikken om een nieuwe operator toe te voegen met een automatische verbinding.

LFD-operatormenu met drag-and-drop op het canvas.

Als u een operator wilt configureren, dubbelklikt u erop of beweegt u de muisaanwijzer erop en klikt u op het potloodpictogram. (Operator Bewerken) om het configuratiedeelvenster te openen. Stel de opties voor dat operatortype in en klik vervolgens op Toepassen.

Voor meer details over elke beschikbare operator, zie Ingebouwde operators in Lakeflow Designer. Zie Door de gebruiker gedefinieerde operators in Lakeflow Designer voor meer informatie over het maken van uw eigen door de gebruiker gedefinieerde operators.

Operators verbinden

Als u twee operators wilt verbinden, klikt en sleept u van de uitvoergreep (de kleine cirkel aan de rechterkant van een operator) naar de invoergreep (de kleine cirkel aan de linkerkant van de volgende operator). Hiermee geeft u op dat gegevens van de eerste operator naar de tweede stromen. Gegevens stromen van links naar rechts via de voorbereiding van visuele gegevens.

LFD-canvas met een verbinding tussen twee operators.

Sommige operators, zoals Join en Combine, accepteren meerdere invoerwaarden.

Als u een verbinding wilt verwijderen, beweegt u de aanwijzer erover en klikt u op het prullenbakpictogram in de werkbalk die boven de verbinding wordt weergegeven.

Genie Code gebruiken

Tijdens het bewerken in Lakeflow Designer kunt u op elk gewenst moment prompts voor Genie Code maken om u te helpen. Zie Genie Code.

LFD Genie Code prompt

Wanneer u Genie Code gebruikt, bieden de volgende knoppen extra functionaliteit:

  • Paperclippictogram. : voegt een bestand bij dat moet worden gebruikt als onderdeel van de prompt.
  • Bij icoon. : Gebruik dit om objecten, zoals tabellen of bestanden, te noemen als onderdeel van de prompt.
  • Spraakballon plus pictogram. : hiermee start u een nieuwe chat-thread met een nieuwe agentcontext.
  • Pictogram voor de leesmodus. : Opent het zijvenster voor de gespreksgeschiedenis en een meer gedetailleerde weergave van wat de agent doet.

Genie Code toont een overzicht van één regel van de meest recente bewerking boven het invoervak.

Voorbeeld van resultaten

Selecteer een operator om de resultaten weer te geven in het uitvoervenster onder aan het scherm. Voor de meeste operatortypen staan de invoergegevens aan de linkerkant en bevinden de uitvoergegevens zich aan de rechterkant. Operators die niet-tabelresultaten produceren, zoals plots, HTML of afbeeldingen, geven deze uitvoer rechtstreeks in het uitvoervenster weer.

Gebruik het weergavebeheer in het uitvoervenster om te schakelen tussen invoer en uitvoer (de standaardinstelling), alleen invoer of alleen uitvoer. Sleep de scheidingslijn in de gecombineerde weergave om het formaat van de invoer- en uitvoervensters te wijzigen.

Uitvoervenster van LFD onder het canvas.

Operators verwerken standaard een beperkt aantal gegevens voor previews. Gebruik de vervolgkeuzelijst Rijen gescand in het uitvoervenster om te bepalen hoeveel rijen moeten worden verwerkt:

  • Gescande rijen: Limiet: Verwerkt de eerste N invoerrijen. Geef het aantal rijen op in het veld naast de vervolgkeuzelijst.
  • Gescande rijen: Max: verwerkt alle invoerrijen.

Warning

Uitvoeren met Gescande rijen: Max voert alle bovenliggende operatoren opnieuw uit met de volledige, onbegrensde dataset en kan lang duren.

De instelling Gescande rijen regelt alleen de voorbeeldverwerking. Geplande uitvoeringen en taakuitvoeringen verwerken altijd de volledige gegevensset.

Resultaten schrijven

Voeg een uitvoeroperator toe om uw resultaten te schrijven. De uitvoeroperator kan schrijven naar een Unity Catalog-tabel, resultaten publiceren als een gerealiseerde weergave of een CSV-, Excel- of JSON-bestand schrijven naar een Unity Catalog-volume.

  1. Open het operatormenu en selecteer Uitvoer of klik + naast de laatste operator en selecteer Uitvoer.
  2. Verbind de uitvoergreep van uw laatste transformatie met de invoergreep van de uitvoeroperator als deze nog niet is verbonden.
  3. Dubbelklik op de uitvoeroperator om het configuratievenster te openen.
  4. Selecteer een uitvoertype en configureer de bestemming. Voer voor een tabel een tabelnaam in, selecteer de uitvoerlocatie (catalogus en schema) en selecteer een schrijfmodus.
  5. Klik op Uitvoeren .

Zie Uitvoer voor de volledige set uitvoertypen en schrijfmodi.

Plannen of uitvoeren in de productie

U kunt uw werkstromen automatiseren door ze als taken te plannen. Klik op de knop Planning in het bovenste menu om een geplande taak te maken voor uw visuele gegevensvoorbereiding of voeg de visuele gegevensvoorbereiding toe aan een grotere Azure Databricks taak als taak.

Zie Een bestand voor visuele gegevensvoorbereiding naar productie verplaatsen om een visuele gegevensvoorbereiding naar productie te verplaatsen, inclusief deze op te slaan in Git, te implementeren met Declarative Automation Bundles en voor meerdere omgevingen te parameteriseren.

LFD-besturingselement voor planning om een visuele gegevensvoorbereiding als taak te automatiseren.

Een visualgegevensvoorbereidingsbestand exporteren en importeren

Visuele gegevensvoorbereidingsbestanden worden systeemeigen opgeslagen in de werkruimte. U kunt ze exporteren en importeren om ze te verplaatsen tussen werkruimten of om ze te delen.

Een visualgegevensvoorbereidingsbestand exporteren:

  1. Klik op het Kebab-menupictogram. in de rechterbovenhoek.
  2. Selecteer Bestand>exporteren.
  3. Het bestand wordt geëxporteerd als <file_name>.designer.ipynb.

Een bestand voor visuele gegevensvoorbereiding importeren:

  1. Klik in het bestandssysteem van de werkruimte op het kebabmenu-pictogram..
  2. Selecteer Importeren.
  3. Selecteer het bestand voor visuele gegevensvoorbereiding dat u wilt importeren.

Als u wilt weten hoe u een bestand voor visuele gegevensvoorbereiding met Git kunt versioneren en naar productie kunt brengen, raadpleegt u Een bestand voor visuele gegevensvoorbereiding naar productie verplaatsen.

De naam van een bestand voor visuele gegevensvoorbereiding wijzigen

Als u de naam van een visualgegevensvoorbereidingsbestand wilt wijzigen, klikt u op het tabblad met de naam bovenaan de editor en voert u een nieuwe naam in.

Een bestand voor visuele gegevensvoorbereiding verwijderen

Als u een bestand voor visuele gegevensvoorbereiding wilt verwijderen, opent u het pictogram van het kebabmenu. kebabmenu voor het bestand en selecteert u Naar prullenbak verplaatsen.

Als u meerdere visuele gegevensvoorbereidingsbestanden tegelijk wilt verwijderen, opent u Werkruimte in de linkernavigatiebalk, selecteert u de bestanden die u wilt verwijderen en selecteert u Verplaatsen naar prullenbak boven aan de lijst.

Aanvullende tips bij het werken op het canvas

De volgende acties zijn beschikbaar op het canvas om u te helpen uw visuele gegevensvoorbereiding te bewerken.

  • De naam van een operator wijzigen: klik boven aan een configuratiedeelvenster op het vak om de naam van de operator te wijzigen. Beschrijvende namen zorgen ervoor dat uw visuele gegevens in één oogopslag gemakkelijker te begrijpen zijn. Sommige operators, zoals de SQL-operator, kunnen verwijzen naar de uitvoer van andere operators op naam.
  • Een operator kopiëren: beweeg de muisaanwijzer over een operator en klik op pictogram Kopiëren of selecteer een operator en druk op Cmd/Ctrl+C en vervolgens op Cmd/Ctrl+V.
  • Een operator verwijderen: beweeg de muisaanwijzer over een operator en klik in de werkbalk die erboven verschijnt op het prullenbakpictogram., of selecteer de operator en druk op Delete.
  • Automatische indeling: klik in de werkbalk van de koptekst op het horizontale DAG-pictogram. om automatisch alle operators in een compacte indeling te rangschikken.
  • Passend beeld: Klik op Zoom om het pictogram aan te passen. Klik op de koptekstwerkbalk om alle operators in de huidige viewport weer te geven.
  • Ongedaan maken en opnieuw uitvoeren: druk op Cmd/Ctrl+Z en Cmd/Ctrl+Shift+Z, of gebruik de knoppen ongedaan maken en opnieuw uitvoeren in de koptekstwerkbalk.
  • Open het opdrachtenpalet: Druk op Cmd+Shift+P in macOS of Ctrl+Shift+P op Windows om snel toegang te krijgen tot editoracties.
  • Gegenereerde code weergeven: Open het tabblad Inhoud in het linkermenu, selecteer een operator en vouw vervolgens de sectie Gegenereerde code uit om de code te bekijken die Designer ervoor genereert. Zie de inhoudsopgave voor meer informatie.
  • Versiegeschiedenis weergeven: klik in het rechterdeelvenster op het pictogram Geschiedenis. om de versiegeschiedenis van de visuele gegevensvoorbereiding te openen, waarin de wijzigingen worden weergegeven. Selecteer een versie om deze te vergelijken met de volgende versie.

Aanvullende bronnen

  • Last updated on