Referentie voor pijplijneigenschappen

Naslaginformatie voor JSON-configuratie-instellingen en tabeleigenschappen voor pijplijn. Zie de volgende artikelen voor meer informatie over het gebruik van deze eigenschappen en configuraties:

Configuratie van Lakeflow-pijplijnen en declaratieve Apache Spark-pijplijnen™

Lakeflow-pijplijnen zijn gebouwd op Apache Spark-declaratieve™ pijplijnen (SDP). De pijplijnconfiguratie is grotendeels een superset van de SDP-projectspecificatie. Verschillen in het eigenschappengebruik tussen SDP- en Lakeflow-pijplijnen worden genoteerd. Zie Apache Spark-declaratieve pijplijnen voor een vergelijking van de mogelijkheden die Lakeflow-pijplijnen en SDP-share bieden.

Pijplijnconfiguraties

  • id

    Typ: string

    Een wereldwijd unieke id voor deze pijplijn. De id wordt toegewezen door het systeem en kan niet worden gewijzigd.

    Alleen Lakeflow-pijplijnen. SDP wijst geen pijplijn-id toe

  • name

    Typ: string

    Een gebruiksvriendelijke naam voor deze pijplijn. De naam kan worden gebruikt om pijplijntaken in de gebruikersinterface te identificeren.

    Beschikbaar in SDP als het vereiste name veld

  • configuration

    Typ: object

    Een optionele lijst met instellingen die moeten worden toegevoegd aan de Spark-configuratie van het cluster waarop de pijplijn wordt uitgevoerd. Deze instellingen worden gelezen door de pijplijnruntime en beschikbaar voor pijplijnquery's via de Spark-configuratie.

    Elementen moeten worden opgemaakt als paren van key:value.

    Beschikbaar in SDP als configuration

  • parameters

    Typ: object

    Important

    Deze functie bevindt zich in de bètaversie. Werkruimtebeheerders kunnen de toegang tot deze functie beheren vanaf de pagina Previews . Zie Azure Databricks previews beheren.

    Een optionele toewijzing van sleutel-waardeparen waarnaar de broncode van de pijplijn kan verwijzen met behulp van de benoemde parametersyntaxis (bijvoorbeeld :source_catalog). Gebruik parameters om dezelfde pijplijnbroncode opnieuw te gebruiken in omgevingen of gegevenssets zonder de bron te bewerken.

    Sleutels kunnen alfanumerieke tekens, onderstrepingstekens (_), afbreekstreepjes (-) en punten (.) bevatten. Waarden zijn altijd tekenreeksen.

    U kunt deze standaardwaarden overschrijven bij het starten van een update, bij een pijplijntaak in een taak of met gedumpte taakparameters. Er kan alleen naar pijplijnparameters worden verwezen vanuit de SQL-broncode. Zie Parameters gebruiken met pijplijnen.

    Alleen Lakeflow-pijplijnen

  • libraries

    Typ: array of objects

    Een matrix met codebestanden met de pijplijncode en vereiste artefacten.

    Beschikbaar in SDP als libraries, opgegeven als een lijst met globpatronen voor bronbestanden in plaats van een matrix met codebestandsobjecten

  • clusters

    Typ: array of objects

    Een reeks specificaties voor de clusters die de pijplijn uitvoeren.

    Als dit niet is opgegeven, selecteren pijplijnen automatisch een standaardclusterconfiguratie voor de pijplijn.

    Alleen Lakeflow-pijplijnen. SDP beheert geen rekenkracht

  • development

    Typ: boolean

    Een vlag die aangeeft of de pijplijn moet worden uitgevoerd in modus development of production.

    De standaardwaarde is false.

    Alleen Lakeflow-pijplijnen

  • notifications

    Typ: array of objects

    Een optionele reeks specificaties voor e-mailmeldingen wanneer een pijplijnupdate is voltooid, mislukt met een herstelbare fout, mislukt met een niet-herstelbare fout, of een proces mislukt.

    Alleen Lakeflow-pijplijnen

  • continuous

    Typ: boolean

    Een indicator die aangeeft of de pijplijn ononderbroken moet draaien.

    De standaardwaarde is false.

    Alleen Lakeflow-pijplijnen

  • catalog

    Typ: string

    De naam van de standaardcatalogus voor de pijplijn, waar alle gegevenssets en metagegevens voor de pijplijn worden gepubliceerd. Als u deze waarde instelt, wordt Unity Catalog ingeschakeld voor de pijplijn.

    Als deze niet is ingesteld, wordt de pijplijn gepubliceerd naar de oude Hive-metastore met behulp van de locatie die is opgegeven in storage.

    In de verouderde publicatiemodus geeft u de catalogus op die het doelschema bevat waarin alle gegevenssets uit de huidige pijplijn worden gepubliceerd. Zie LIVE-schema (verouderd).

    Beschikbaar in SDP als catalog

  • schema

    Typ: string

    De naam van het standaardschema voor de pijplijn, waarbij alle gegevenssets en metagegevens voor de pijplijn standaard worden gepubliceerd. Zie De doelcatalogus en het schema instellen.

    Beschikbaar in SDP als database, die ook de alias accepteert schema

  • target (verouderd)

    Typ: string

    De naam van het doelschema waarin alle gegevenssets die in de huidige pijplijn zijn gedefinieerd, worden gepubliceerd.

    Als u target instelt in plaats van schema configureert u de pijplijn zodanig dat de verouderde publicatiemodus wordt gebruikt. Zie LIVE-schema (verouderd).

    Alleen Lakeflow-pijplijnen

  • storage (verouderd)

    Typ: string

    Een locatie in DBFS of cloudopslag waar uitvoergegevens en metagegevens die vereist zijn voor pijplijnuitvoering, worden opgeslagen. Tabellen en metagegevens worden opgeslagen in submappen van deze locatie.

    Wanneer de storage instelling niet is opgegeven, wordt het systeem standaard ingesteld op een locatie in dbfs:/pipelines/.

    De storage-instelling kan niet worden gewijzigd nadat een pijplijn is gemaakt.

    Beschikbaar in SDP als het vereiste storage veld. In Lakeflow-pijplijnen storage is een verouderde instelling

  • channel

    Typ: string

    De versie van de pijplijnruntime die moet worden gebruikt. De ondersteunde waarden zijn:

    • preview om uw pijplijn te testen met toekomstige wijzigingen in de runtime-versie.
    • current om de huidige runtimeversie te gebruiken.

    Het channel veld is optioneel. De standaardwaarde is current. Databricks raadt aan om de huidige runtimeversie voor productieworkloads te gebruiken.

    Alleen Lakeflow-pijplijnen

  • edition

    Typ string

    De producteditie om de pijplijn uit te voeren. Met deze instelling kunt u de beste producteditie kiezen op basis van de vereisten van uw pijplijn:

    • CORE om streaming ingestietaken uit te voeren.
    • PRO voor het uitvoeren van streaming-opname- en wijzigingsgegevensopnameworkloads (CDC).
    • ADVANCED voor het uitvoeren van streaming-opnameworkloads, CDC-workloads en workloads waarvoor verwachtingen nodig zijn om beperkingen voor gegevenskwaliteit af te dwingen.

    Het edition veld is optioneel. De standaardwaarde is ADVANCED.

    Alleen Lakeflow-pijplijnen

  • photon

    Typ: boolean

    Een vlag die aangeeft of Wat is Photon? moet worden gebruikt om de pijplijn uit te voeren. Photon is de Krachtige Spark-engine van Azure Databricks. Pijplijnen met foton worden gefactureerd tegen een ander tarief dan niet-Photon-pijplijnen.

    Het photon veld is optioneel. De standaardwaarde is false.

    Alleen Lakeflow-pijplijnen

  • serverless

    Typ: boolean

    Een vlag die aangeeft of de pijplijn serverloze berekeningen gebruikt. Zie Een serverloze pijplijn configureren.

    Alleen Lakeflow-pijplijnen

  • event_log

    Typ: object

    Configuratie voor het doel van het gebeurtenislogboek van de pijplijn, als object met name, catalogen schema velden die het gebeurtenislogboek publiceren naar een Unity Catalog-tabel. Zie het gebeurtenislogboek van de pijplijn.

    Alleen Lakeflow-pijplijnen

  • tags

    Typ: object

    Een optionele kaart van door de gebruiker gedefinieerde tags voor de pijplijn. Er kunnen maximaal 25 tags worden toegevoegd.

    Alleen Lakeflow-pijplijnen

  • budget_policy_id

    Typ: string

    De id van het serverloze budgetbeleid dat moet worden toegepast op deze pijplijn, die wordt gebruikt om serverloos gebruik toe te passen voor kostentracering. Dit veld wordt alleen weergegeven in de JSON- of YAML-configuratie wanneer u expliciet een beleid instelt. Als het niet is ingesteld, Azure Databricks automatisch een standaardbeleid oplost. Het opgeloste beleid wordt weergegeven in de gebruikersinterface voor pijplijninstellingen, maar wordt niet geschreven naar de JSON- of YAML-configuratie.

    Alleen Lakeflow-pijplijnen

  • root_path

    Typ: string

    Het hoofdpad voor de pijplijn. Wanneer deze map is ingesteld, wordt deze map toegevoegd sys.path bij het uitvoeren van Python bronbestanden, zodat modules kunnen worden geïmporteerd ten opzichte van de map.

    Alleen Lakeflow-pijplijnen

  • environment

    Typ: object

    Een omgevingsspecificatie die wordt gebruikt om Python afhankelijkheden voor de pijplijn te installeren.

    Alleen Lakeflow-pijplijnen

  • pipelines.maxFlowRetryAttempts

    Typ: int

    Als er een fout optreedt die opnieuw kan worden geprobeerd tijdens een pijplijnupdate, is dit het maximum aantal keren dat een stroom opnieuw moet worden uitgevoerd voordat de pijplijnupdate mislukt.

    Gebruik deze optie om nieuwe pogingen te koppelen voor één stroom die gevoelig is voor fouten die kunnen worden geprobeerd, zodat er geen volledige update kan worden vastgelopen.

    Standaard: twee nieuwe pogingen. Wanneer er een fout optreedt die opnieuw kan worden geprobeerd, probeert de pijplijnruntime de stroom drie keer uit te voeren, inclusief de oorspronkelijke poging.

    Alleen Lakeflow-pijplijnen

  • pipelines.numUpdateRetryAttempts

    Typ: int

    Als er een fout optreedt die opnieuw kan worden geprobeerd tijdens een update, is dit het maximum aantal keren dat de update opnieuw moet worden uitgevoerd voordat de update permanent mislukt. De nieuwe poging wordt uitgevoerd als een volledige update.

    Gebruik deze optie om nieuwe pogingen voor een volledige update te beperken, zodat een vastgelopen update permanent mislukt in plaats van voor onbepaalde tijd opnieuw te proberen.

    Deze parameter is alleen van toepassing op pijplijnen met behulp van automatisch gedrag voor opnieuw proberen en opnieuw opstarten. Nieuwe pogingen worden niet uitgevoerd voor ad-hoc-updates die worden uitgevoerd vanuit de editor of wanneer u een Validate update uitvoert.

    Default:

    • Vijf voor geactiveerde pijplijnen.
    • Onbeperkt voor continue pijplijnen.

    Alleen Lakeflow-pijplijnen

Eigenschappen van pijplijntabel

Naast de tabeleigenschappen die worden ondersteund door Delta Lake, kunt u de volgende tabeleigenschappen instellen.

  • pipelines.autoOptimize.zOrderCols

    Standaard: Geen

    Een optionele tekenreeks met een door komma's gescheiden lijst met kolomnamen om deze tabel op z-volgorde te orden. Bijvoorbeeld pipelines.autoOptimize.zOrderCols = "year,month"

    Databricks raadt vloeibare clustering aan in plaats van Z-volgorde voor het optimaliseren van de gegevensindeling in pijplijntabellen. Als u databricks de clusterkolommen automatisch wilt laten selecteren en onderhouden, gebruikt CLUSTER BY AUTO u (cluster_by_auto=Truein Python). Zie Liquid Clustering gebruiken voor tabellen.

    Alleen Lakeflow-pijplijnen

  • pipelines.reset.allowed

    Standaardwaarde: true

    Hiermee bepaalt u of een volledige vernieuwing is toegestaan voor deze tabel.

    Beschikbaar in SDP als pipelines.reset.allowed

  • pipelines.autoOptimize.managed

    Standaardwaarde: true

    Hiermee schakelt u automatisch geplande optimalisatie van deze tabel in of uit.

    Voor pijplijnen die worden beheerd door voorspellende optimalisatie, wordt deze eigenschap niet gebruikt.

    Alleen Lakeflow-pijplijnen

triggerinterval voor pijplijnen

U kunt een pijplijntriggerinterval opgeven voor de hele pijplijn of als onderdeel van een gegevenssetdeclaratie. Zie Triggerinterval instellen voor continue pijplijnen.

  • pipelines.trigger.interval

    De standaardwaarde is gebaseerd op het stroomtype:

    • Vijf seconden voor streamingquery's.
    • Eén minuut voor volledige query's wanneer alle invoergegevens afkomstig zijn uit Delta-bronnen.
    • Tien minuten voor volledige query's wanneer sommige gegevensbronnen mogelijk niet-Delta zijn.

    De waarde is een getal plus de tijdseenheid. Hier volgen de geldige tijdseenheden:

    • second, seconds
    • minute, minutes
    • hour, hours
    • day, days

    U kunt de enkelvoudige of meervoudseenheid gebruiken bij het definiëren van de waarde, bijvoorbeeld:

    • {"pipelines.trigger.interval" : "1 hour"}
    • {"pipelines.trigger.interval" : "10 seconds"}
    • {"pipelines.trigger.interval" : "30 second"}
    • {"pipelines.trigger.interval" : "1 minute"}
    • {"pipelines.trigger.interval" : "10 minutes"}
    • {"pipelines.trigger.interval" : "10 minute"}

    Alleen Lakeflow-pijplijnen

Clusterkenmerken die niet door de gebruiker zijn ingesteld

Omdat pijplijnen de levenscyclus van clusters beheren, worden veel clusterinstellingen door het systeem ingesteld en kunnen ze niet handmatig worden geconfigureerd door gebruikers, hetzij in een pijplijnconfiguratie of in een clusterbeleid dat door een pijplijn wordt gebruikt. De volgende tabel bevat deze instellingen en waarom ze niet handmatig kunnen worden ingesteld.

Alleen Lakeflow-pijplijnen. SDP beheert geen rekenkracht, dus deze clusterkenmerken zijn niet van toepassing

  • cluster_name

    SDP stelt de namen in van de clusters die worden gebruikt om pijplijnupdates uit te voeren. Deze namen kunnen niet worden overschreven.

  • data_security_mode

    access_mode

    Deze waarden worden automatisch ingesteld door het systeem.

  • spark_version

    SDP-clusters worden uitgevoerd op een aangepaste versie van Databricks Runtime die voortdurend wordt bijgewerkt met de nieuwste functies. De versie van Spark is gebundeld met de Databricks Runtime-versie en kan niet worden overschreven.

  • autotermination_minutes

    Omdat SDP automatische beëindiging van clusters beheert en logica opnieuw gebruikt, kan de tijd voor automatische beëindiging van het cluster niet worden overschreven.

  • runtime_engine

    Hoewel u dit veld kunt beheren door Photon in te schakelen voor uw pijplijn, kunt u deze waarde niet rechtstreeks instellen.

  • effective_spark_version

    Deze waarde wordt automatisch ingesteld door het systeem.

  • cluster_source

    Dit veld wordt ingesteld door het systeem en heeft het kenmerk Alleen-lezen.

  • docker_image

    Omdat SDP de levenscyclus van het cluster beheert, kunt u geen aangepaste container met pijplijnclusters gebruiken.

  • workload_type

    Deze waarde wordt ingesteld door het systeem en kan niet worden overschreven.

Bron- en queryopties

Sommige gegevensopname- en verwerkingsgedrag worden geconfigureerd voor de gegevensbron of query in plaats van als pijplijneigenschappen. Dit zijn onder andere schemaontwikkeling, schemahints en deductie, opnamesnelheidslimieten en bestandsfiltering. Als u ze wilt configureren, gebruikt u de opties voor read_files en automatisch laden. Zie Het schema afleiden en ontwikkelen met behulp van from_json pijplijnen voor de ontwikkeling from_jsonvan schema's.

  • Last updated on