Beperkingen voor pijplijnen

Hieronder vindt u beperkingen van declaratieve Pijplijnen van Lakeflow Spark die belangrijk zijn om te weten wanneer u uw pijplijnen ontwikkelt:

• Een Azure Databricks-werkruimte is beperkt tot 200 gelijktijdige pijplijnupdates. Het aantal gegevenssets dat één pijplijn kan bevatten, wordt bepaald door de complexiteit van de pijplijnconfiguratie en workload.

• De configuratie van een pijplijn bevat verwijzingen naar bronbestanden en mappen.

  • Als de configuratie alleen naar afzonderlijke notebooks of bestanden verwijst, is de limiet per pijplijn 100 bronbestanden.

  • Als de configuratie mappen bevat, kunt u maximaal 50 bronvermeldingen opnemen die bestaan uit bestanden of mappen.

    Het verwijzen naar een map houdt in dat er indirect naar de bestanden in die map wordt verwezen. In dit geval is de limiet voor het aantal bestanden waarnaar wordt verwezen (direct of indirect) 1000.

  Als u meer dan 100 bronbestanden nodig hebt, kunt u ze ordenen in mappen. Zie de browser Pijplijnassets in de Lakeflow-pijplijneditor voor informatie over het gebruik van mappen om bronbestanden te bevatten.

• Pijplijngegevenssets kunnen slechts eenmaal worden gedefinieerd. Daarom kunnen ze de target zijn van slechts één operatie binnen alle pijplijnen. De uitzondering is streamingtabellen met toevoegstroomverwerking, waarmee u vanuit meerdere streamingbronnen naar de streamingtabel kunt schrijven. Zie Meerdere stromen gebruiken om naar één doel te schrijven.

• Identiteitskolommen hebben de volgende beperkingen. Zie Identiteitskolommen gebruiken in Delta Lake voor meer informatie over identiteitskolommen in Delta-tabellen.

  • Identiteitskolommen worden niet ondersteund bij tabellen die het doelwit zijn van AUTO CDC-verwerking.
  • Identiteitskolommen kunnen opnieuw worden herberekend tijdens het bijwerken van gematerialiseerde weergaven. Databricks raadt daarom aan om identiteitskolommen alleen te gebruiken in pijplijnen met streamingtabellen.

• Gerealiseerde weergaven en streamingtabellen die zijn gepubliceerd vanuit pijplijnen, waaronder tabellen die zijn gemaakt door Databricks SQL, kunnen alleen worden geopend door Azure Databricks-clients en -toepassingen. Als u uw gerealiseerde weergaven en streamingtabellen echter extern toegankelijk wilt maken, kunt u de sink API gebruiken om naar tabellen in een extern Delta-exemplaar te schrijven. Zie Sinks in declaratieve pijplijnen van Lakeflow Spark.

• Er zijn beperkingen voor de Databricks-rekenkracht die nodig is om Unity Catalog-pijplijnen uit te voeren en er query's op uit te voeren. Zie de vereisten voor pijplijnen die worden gepubliceerd naar Unity Catalog.

• Delta Lake-query's voor tijdreizen worden alleen ondersteund met streamingtabellen en worden niet ondersteund met gerealiseerde weergaven. Zie Werken met tabelgeschiedenis.

• U kunt Iceberg-leesbewerkingen niet inschakelen voor gerealiseerde weergaven en streamingtabellen.

• De pivot() functie wordt niet ondersteund. De pivot-bewerking in Spark vereist het gretige laden van invoergegevens om het uitvoerschema te berekenen. Deze mogelijkheid wordt niet ondersteund in pijplijnen.

Zie Resourcelimieten voor resourcequota's voor Lakeflow Spark-declaratieve pijplijnen.