Ingebouwde operators in Lakeflow Designer

Lakeflow Designer bevat ingebouwde operators voor algemene gegevensvoorbereidings- en transformatietaken. Open het operatormenu in het zijdeelvenster aan de linkerkant om door operators per categorie te bladeren of gebruik Zoeken naar een operator... bovenaan het deelvenster. Operatorzoekopdrachten suggereren operatoren op basis van uw intentie. Als u bijvoorbeeld typt average by month , wordt de operator Aggregaat geretourneerd. Als u een operator wilt configureren nadat u deze aan het canvas hebt toegevoegd, dubbelklikt u erop of beweegt u de muisaanwijzer erop en klikt u op (Operator Bewerken) om het configuratiedeelvenster te openen.

Elke operator geeft een door AI gegenereerde beschrijving weer van wat deze doet. De beschrijving fungeert ook als editor voor de operator: als u de beschrijving bewerkt, wordt de operator opnieuw geconfigureerd zodat deze overeenkomt met uw beschrijving.

Zie Door de gebruiker gedefinieerde operators in Lakeflow Designer voor meer informatie over het maken van uw eigen door de gebruiker gedefinieerde operators.

Bron en uitvoer

Bron

Hiermee importeert u gegevens in Designer vanuit een Unity Catalog-tabel of een andere ondersteunde bron. Als u een bron wilt selecteren, zoekt u op naam naar een tabel of bestand of bladert u op catalogus en schema. U kunt ook een nieuwe tabel maken vanuit dit deelvenster.

Nadat u een tabel hebt geselecteerd, wordt in het deelvenster de naam, de eigenaar en de laatst bijgewerkte tijd van de tabel weergegeven. Klik op Een nieuwe gegevensbron selecteren om de bron te wijzigen. Als u de bron wijzigt, wordt de uitvoercache voor alle downstreamoperators ongeldig.

U kunt ook een metrische unity-catalogusweergave als bron gebruiken. Wanneer u een metrische weergave selecteert, selecteert u de dimensies en metingen die u wilt opnemen en genereert Designer de geaggregeerde query voor u.

Zie Gegevens opnemen in Lakeflow Designer voor het volledige scala aan opties voor gegevensopname, waaronder het doel van een volledig Unity Catalog-volume of -map.

Gegevens invoeren

Hiermee maakt u een tabel door waarden te typen in een editor in spreadsheetstijl. Gebruik deze operator om kleine hoeveelheden referentiegegevens, zoals opzoekwaarden of testgegevens, toe te voegen zonder een afzonderlijke brontabel te maken.

Veld	Description
Tabelgegevens	Voer uw gegevens in als een tabel. De eerste rij definieert de kolomkoppen en de resterende rijen zijn de gegevens. Designer bepaalt het gegevenstype van elke kolom op basis van de waarden.

Uitvoer

Hiermee exporteert u gegevens uit Designer. De uitvoeroperator kan resultaten schrijven naar een Unity Catalog-tabel, deze publiceren als een gerealiseerde weergave of schrijven naar een bestand in een Unity Catalog-volume. Selecteer het doel met het uitvoertype.

Uitvoertype	Description
Table	Hiermee schrijft u de resultaten naar een beheerde Unity Catalog-tabel. Stel een tabelnaam en een uitvoerlocatie (catalogus en schema) in en selecteer vervolgens een schrijfmodus.
Gerealiseerde weergave	Hiermee worden de resultaten gepubliceerd als een gerealiseerde weergave in Unity Catalog die wordt vernieuwd wanneer de visualgegevensvoorbereiding wordt uitgevoerd.
File	Hiermee schrijft u de resultaten naar een bestand in een Unity Catalog-volume. Selecteer een bestandstype van CSV, Excel of JSON en stel vervolgens het doelvolume en de bestandsnaam in.

Voor een uitvoer van een tabel of bestand selecteert u hoe elke uitvoering naar het doel schrijft met de schrijfmodus:

Schrijfmodus	Description
Overschrijven	Vervangt de bestaande inhoud door de resultaten van de huidige uitvoering. Dit is de standaardwaarde.
Append	Hiermee worden de resultaten van de huidige uitvoering toegevoegd aan de bestaande rijen.
Merge	Upsert rijen in de doeltabel door te vergelijken met de samenvoegsleutels die u opgeeft. Beschikbaar voor tabeluitvoer.

Klik op Uitvoeren om de voorbereiding van de visuele gegevens uit te voeren en de resultaten te schrijven. Als de tabel niet bestaat voor een tabeluitvoer, wordt deze gemaakt door de operator. Geplande uitvoeringen schrijven naar de bestemming met behulp van dezelfde schrijfmodus.

AI-functie

Voert een ingebouwde AI-bewerking uit op uw gegevens. Open een functie selecteren in het configuratiedeelvenster en selecteer een van de functies in de volgende tabel. Elke functie bevat opties in het deelvenster voor invoer (bijvoorbeeld kolommen, prompts, labels of talen) en uitvoer.

Function	Description
ai_analyze_sentiment	Voert sentimentanalyse uit op invoertekst.
ai_classify	Classificeert tekst of geparseerde documenten met behulp van labels die u opgeeft.
ai_extract	Extraheert gestructureerde gegevens uit tekst of geparseerde documenten met behulp van velden die u definieert.
ai_fix_grammar	Corrigeert grammaticale fouten in tekst.
ai_forecast	Hiermee worden tijdreeksgegevens voorspeld tot aan een horizon die u opgeeft. ai_forecast is een tabelwaardefunctie waarmee de hele invoertabel wordt verwerkt.
ai_gen	Beantwoordt een door de gebruiker verstrekte prompt op basis van de invoer.
ai_mask	Opgegeven entiteiten in tekst maskeren (bijvoorbeeld voor de identificatie).
ai_parse_document	Extraheert tekst, tabellen en indeling uit ongestructureerde documenten.
ai_prep_search	Transformeert geparseerde documentuitvoer in segmenten die gereed zijn voor zoekopdrachten naar rag-pijplijnen (Vector Search and Retrieval-Augmented Generation).
ai_query	Beantwoordt een prompt met behulp van een ondersteund basismodel, voor taak- en modelflexibiliteit voor algemeen gebruik.
ai_similarity	Vergelijkt twee tekenreeksen en retourneert een semantische overeenkomstenscore.
ai_summarize	Hiermee wordt een samenvatting van de tekst gegenereerd.
ai_translate	Hiermee wordt tekst omgezet in een doeltaal die u opgeeft.

Zie Gegevens verrijken met BEHULP van AI Functions voor meer informatie over elke functie.

Transformations

De volgende operators voeren transformaties uit op uw gegevens.

Aggregate

Hiermee worden rijen samengevat door gegevens te groeperen en geaggregeerde waarden te berekenen.

Veld	Description
Aggregeren op	Selecteer een kolom, selecteer een aggregatiefunctie en geef een naam op voor de uitvoerkolom. Klik op + Aggregatie toevoegen om meer toe te voegen. Ondersteunde functies: AVG, COUNT, MAX, , MEAN, MEDIAN, MIN, PERCENTILE, STDDEV, SUM. VARIANCE
Groeperen op	Selecteer de kolommen om op te groeperen. Klik op + Groeperen toevoegen om meer toe te voegen. Kolommen die in Group by worden gebruikt, worden automatisch opgenomen in de uitvoer.

Combineren

Hiermee worden gegevens uit meerdere tabellen samengevoegd met overeenkomende schema's in één uitvoer.

Veld	Description
Werking instellen	Selecteer Union, Intersect of Except.
Strategie voor samenvoegen	Selecteer Distinct om dubbele rijen uit de uitvoer uit te sluiten of Alle om alle rijen inclusief duplicaten te behouden.

Filter

Hiermee worden rijen gesplitst op basis van of ze aan een of meer voorwaarden voldoen, met behulp van een opbouwfunctie voor grafische voorwaarden.

Veld

Description

Condition

Selecteer voor elke voorwaarde een kolom, een voorwaardetype en een waarde die voorwaardelijk moet overeenkomen. Ondersteunde voorwaardetypen: Is gelijk aan/ Is niet gelijk aan Is een van / Is niet een van Bevat / Bevat niet Begint met / Begint niet met Eindigt met / Eindigt niet met Groter dan/Kleiner dan Is null/is niet null Voor voorwaarden voor datumkolommen ondersteunt de datumkiezer het navigeren tussen jaren en maanden.

De filteroperator heeft twee uitvoerwaarden, zodat u gegevens kunt vertakken op basis van of deze voldoet aan de voorwaarden:

Uitvoer	Description
Included	Rijen die voldoen aan de filtervoorwaarden.
Uitgesloten	Rijen die niet voldoen aan de filtervoorwaarden, inclusief rijen waarvan de voorwaarde null is.

Join

Koppelt twee tabellen aan een sleutel door twee invoergegevenssets te combineren op basis van overeenkomende kolomwaarden.

Veld	Description
Invoertabellen	Selecteer de twee invoertabellen die u wilt samenvoegen.
Voorwaarde samenvoegen	Geef ten minste één joinvoorwaarde op door overeenkomende kolommen in de twee tabellen te selecteren. Klik op + Join-expressie toevoegen om meer voorwaarden toe te voegen. Optioneel: klik op de pijl tussen de tabellen links en rechts om een aangepaste joinvoorwaarde toe te voegen en bewerk vervolgens de door AI gegenereerde beschrijving of schrijf SQL.
Identieke hoofdletters	Wanneer de tekenreekssleutels zijn uitgeschakeld (de standaardinstelling), komen tekenreekssleutels niet hoofdlettergevoelig overeen (en negeren voorloop- en volgspaties). Schakel Identieke hoofdletters in om tekenreekssleutels exact te vinden. Deze optie is van toepassing op de joinsleutels, niet op aangepaste joinvoorwaarden.
Soort join	Selecteer het jointype. Standaard splitst de join-operator de resultaten over drie uitvoerwaarden (zie de volgende sectie). Selecteer Volledige join, Inner join, Left join of Right join om in plaats daarvan één gekoppelde uitvoer te produceren.
Uitvoerkolommen	Optioneel: selecteer welke kolommen u wilt opnemen. Standaard worden alle kolommen uit beide tabellen opgenomen. Dubbele kolomnamen ontvangen een tabelnaamvoorvoegsel.
Aangepaste expressiekolommen	Optioneel: voeg aangepaste expressiekolommen toe op basis van het samengevoegde resultaat.

De join-operator heeft standaard drie uitvoerwaarden, zodat u een werkstroom kunt vertakken op basis van joinresultaten:

Uitvoer	Description
Niet-overeenkomende linker	Rijen uit de linkerinvoer die geen overeenkomst hebben in de rechterinvoer.
Komt overeen	Rijen die overeenkomen met beide invoerwaarden.
Niet-overeenkomende rechts	Rijen van de rechterinvoer die geen overeenkomst hebben in de linkerinvoer.

Wanneer u een specifiek jointype (volledig, binnen, links of rechts) selecteert, produceert de operator één gekoppelde uitvoer in plaats van de drie gesplitste uitvoer.

Limit

Hiermee wordt het aantal rijen beperkt door alleen het maximum aantal rijen dat u opgeeft door te geven.

Veld	Description
Maximaal aantal rijen	Geef het maximum aantal rijen op dat moet worden doorgegeven.

Pivot

Wijzigt tabelgegevens in twee richtingen. Gebruik de tabbladen boven aan het configuratiedeelvenster om de modus te selecteren.

Rijen → kolommen (draai)

Hiermee worden afzonderlijke waarden in één kolom omgezet in nieuwe kolomkoppen, gevuld met geaggregeerde waarden uit een andere kolom.

Veld	Description
Draaipuntkolom	Selecteer de kolom waarvan de afzonderlijke waarden de nieuwe kopteksten worden.
Waarde en aggregatie	Selecteer de kolom waarvan de waarden de cellen vullen en selecteer een aggregatiefunctie (bijvoorbeeld SUM, AVGCOUNT, of MIN).MAX Configureer hoe ontbrekende waarden worden verwerkt (bijvoorbeeld null of nul), indien beschikbaar in het deelvenster.

Kolommen → rijen (draaitabel opheffen)

Een of meer kolommen worden in rijen gevouwen.

Veld	Description
Draaitabelkolommen opheffen	Selecteer de kolommen die u wilt draaien.
Sleutel- en waardekolommen	Stel namen in voor de uitvoersleutel- en waardekolommen.

Kolommen opnemen

Selecteer voor beide modus welke kolommen in de uitvoer blijven staan naast de gepikte of niet-draaitabele waarden en zet kolommen neer die u niet nodig hebt voor de transformatie. Designer wijst vaste (groeperings)kolommen af van de kolommen die u niet toewijst aan draaitabel-, waarde- of draaitabelrollen.

Sort

Rijen ordenen op een of meer kolommen.

Veld	Description
Sorteervolgorde	Selecteer ASC (oplopend) of DESC (aflopend) voor elke kolom. Klik op + Sorteerexpressie toevoegen om te sorteren op extra kolommen. Sorteren volgt de standaard lexicale volgorde.

SQL

Hiermee schrijft u aangepaste SQL-code voor transformaties die niet worden gedekt door de andere operators.

Veld	Description
SQL-editor	Typ een SQL-instructie SELECT . Als u naar de uitvoer van een invoeroperator wilt verwijzen, gebruikt u de naam van die operator als de tabelnaam in uw query. Voorbeeld: SELECT COUNT(*) FROM aggregate_2 WHERE 1 = 1 Klik op het Knop om het volledige SQL-codevenster te openen en te zien hoe uw instructie in de volledige werkstroom past.
Parameters	Als u wilt verwijzen naar een parameter voor het voorbereiden van visuele gegevens, gebruikt u de syntaxis van benoemde parametermarkeringen, zoals :environment. Designer toont een voorbeeld boven de editor wanneer u de operator opent om te bewerken. Zie Parameters.

Selecteer

Hiermee selecteert, wijzigt u de naam en rangschikt u kolommen van de invoergegevens.

Veld	Description
Kolommen opnemen of uitsluiten	Selecteer Beginnen met alle kolommen of Begin zonder kolommen en gebruik vervolgens de selectievakjes om afzonderlijke kolommen op te nemen of uit te sluiten. Sleep kolommen om de volgorde ervan te wijzigen.
De naam van een kolom wijzigen	Typ een nieuwe naam in het veld Naam wijzigen naast een kolom.

Prepare

Hiermee worden kolommen opgeschoond en afgeleid door een of meer acties voor de invoergegevens te koppelen. Klik op + Actie toevoegen en selecteer een actie. Voeg zoveel acties toe als u nodig hebt. Ze zijn in volgorde van toepassing.

Action	Description
Formule	Maak een nieuwe kolom of overschrijf een bestaande kolom met natuurlijke taal of een SQL-expressie.
Type wijzigen	Converteer een kolom naar een ander gegevenstype.
Waarde vervangen	Waarden in een kolom zoeken en vervangen.
Null-waarden doorvoeren	Vervang null-waarden door een constante.
Tekstcase	Hoofdletters wijzigen in onder, boven of titel.
Afkappen	Verwijder witruimte van een of beide uiteinden.
Regex vervangen	Vervang tekst die overeenkomt met een regex-patroon.
extraheren	Extraheer een subtekenreeks die overeenkomt met een regex-groep.
Parseringsdatum	Parseert een tekenreeks in een datum of tijdstempel.

Als u een actie wilt verwijderen, beweegt u de muisaanwijzer over de rij en klikt u op

Aangepaste kolommen

Met de formuleactie wordt de expressie-editor geopend, waar u een nieuwe kolom kunt maken of een bestaande kolom kunt overschrijven met behulp van natuurlijke taal of SQL-code. De editor heeft twee invoervakken en is bidirectioneel:

• Beschrijving: Typ een beschrijving in natuurlijke taal van wat u wilt doen in de kolom. Designer gebruikt Genie om de bijbehorende code-expressie hieronder te genereren.
• Expressie: Als u liever rechtstreeks code schrijft of bewerkt, klikt u op de knop Expressie bewerken. Als u de expressie bewerkt, wordt automatisch een beschrijving van natuurlijke taal gegenereerd.

Python

Voert aangepaste Python (PySpark) uit op de invoergegevens.

Veld	Description
result	Wijs één DataFrame toe aan result, wat de uitvoer van de operator wordt.
inputs["data"]	Een lijst met invoergegevensframes, in upstream-volgorde. In het detailvenster van de operator ziet u de naam van elke invoer, in volgorde. Bijvoorbeeld: Available inputs: inputs["data"][0] (customers), inputs["data"][1] (sales).
Parameters	Roep dbutils.widgets.get()bijvoorbeeld dbutils.widgets.get("environment")een verwijzing naar een parameter voor visuele gegevensvoorbereiding aan. Designer toont een voorbeeld boven de editor wanneer u de operator opent om te bewerken. Zie Parameters.

Een minimaal patroon is het gebruik van de eerste invoer wanneer deze aanwezig is, of een leeg DataFrame, anders:

# inputs["data"] is a list of input DataFrames

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

Van daaruit kunt u DataFrame-bewerkingen (bijvoorbeeld select, filterwithColumnof joins) result koppelen voordat de toewijzing wordt beëindigd, of vervangen door result een nieuw DataFrame dat is gebouwd op basis van inputs["data"].

Organisatie

Note

Hiermee voegt u een notitie toe aan het canvas, zodat u de werkstroom zelf kunt documenteren: het doel, veronderstellingen, opmerkingen of handoff-context voor iedereen die de visuele gegevens voorbereidt.

Veld	Description
Inhoud	Note-inhoud inline op het canvas bewerken met een rtf-teksteditor. U kunt koppen, tekststijl, koppelingen, afbeeldingen en tabellen toevoegen waarbij tekst zonder opmaak niet voldoende is. Notities hebben geen invloed op de wijze waarop gegevens stromen via operators.

Group

Hiermee worden operators op het canvas visueel gegroepeerd zonder te wijzigen hoe gegevens ertussen stromen. Dit is handig wanneer een visuele gegevensvoorbereiding groot wordt of als u logische fasen wilt weergeven.

Veld	Description
Toevoegen aan groep	Sleep een of meer operators naar een groep om deze toe te voegen.
Maken op selectie	Selecteer een of meerdere operators, open het snelmenu (klik met de rechtermuisknop) en selecteer Nieuwe groep maken om de selectie in een nieuwe groep te verpakken.
Name	Geef de groep een beschrijvende naam.
Minimaliseren/uitvouwen	Klik op Minimaliseren of uitvouwen om de inhoud van de groep op het canvas weer te geven of te verbergen.

Visualization

Hiermee maakt u een visualisatie op basis van de invoergegevens en geeft u deze rechtstreeks op het canvas weer. Verbind een visualisatieoperator met een operator die tabelgegevens produceert om de resultaten weer te geven zonder Designer te verlaten.

Als u de visualisatie wilt configureren, opent u de operator en selecteert u een visualisatietype en wijst u de kolommen vervolgens toe aan de grafiek.

Veld	Description
Visualization	Het grafiektype dat moet worden weergegeven, zoals staaf, vlak of teller.

Aanvullende bronnen

• Een visuele gegevensvoorbereiding maken in Lakeflow Designer
• Gegevens opnemen in Lakeflow Designer