Beperkingen voor pijplijnen

Hieronder vindt u beperkingen van Lakeflow-pijplijnen die belangrijk zijn om te weten wanneer u uw pijplijnen ontwikkelt:

• Een Azure Databricks-werkruimte is beperkt tot 1000 gelijktijdige pijplijnupdates. Het aantal gegevenssets dat één pijplijn kan bevatten, wordt bepaald door de complexiteit van de pijplijnconfiguratie en workload.

• De configuratie van een pijplijn bevat verwijzingen naar bronbestanden en mappen.

  • Als de configuratie alleen naar afzonderlijke notebooks of bestanden verwijst, is de limiet per pijplijn 100 bronbestanden.

  • Als de configuratie mappen bevat, kunt u maximaal 50 bronvermeldingen opnemen die bestaan uit bestanden of mappen.

    Het verwijzen naar een map houdt in dat er indirect naar de bestanden in die map wordt verwezen. In dit geval is de limiet voor het aantal bestanden waarnaar wordt verwezen (direct of indirect) 1000.

  Als u meer dan 100 bronbestanden nodig hebt, kunt u ze ordenen in mappen. Zie browser voor pijplijnassets in de Lakeflow-pijplijneditor voor meer informatie over het gebruik van mappen om bronbestanden op te slaan.

• Pijplijngegevenssets kunnen slechts eenmaal worden gedefinieerd. Daarom kunnen ze de target zijn van slechts één operatie binnen alle pijplijnen. De uitzondering is streamingtabellen met toevoegstroomverwerking, waarmee u vanuit meerdere streamingbronnen naar de streamingtabel kunt schrijven. Zie Standaardstromen en toevoegstromen.

• Identiteitskolommen hebben de volgende beperkingen. Zie Identiteitskolommen voor meer informatie over identiteitskolommen in Delta-tabellen.

  • Identiteitskolommen worden niet ondersteund bij tabellen die het doelwit zijn van AUTO CDC-verwerking.
  • Identiteitskolommen kunnen opnieuw worden herberekend tijdens het bijwerken van gematerialiseerde weergaven. Databricks raadt daarom aan om identiteitskolommen alleen te gebruiken in pijplijnen met streamingtabellen.

• Gerealiseerde weergaven en streamingtabellen zijn standaard alleen toegankelijk voor Azure Databricks clients en toepassingen. Om ze toegankelijk te maken voor externe systemen, zie Gematerialiseerde weergaven en streamingtabellen openen met behulp van externe systemen.

• Er zijn beperkingen voor de Databricks-rekenkracht die nodig is om Unity Catalog-pijplijnen uit te voeren en er query's op uit te voeren. Zie de vereisten voor pijplijnen die worden gepubliceerd naar Unity Catalog.

• Delta Lake time travel-query's worden alleen ondersteund met streamingtabellen en worden niet ondersteund met gerealiseerde weergaven. Zie Werken met tabelgeschiedenis.

• De pivot() functie wordt niet ondersteund. De pivot-bewerking in Spark vereist het gretige laden van invoergegevens om het uitvoerschema te berekenen. Deze mogelijkheid wordt niet ondersteund in pijplijnen.

Zie voor resourcequota voor Lakeflow-pijplijnen Resourcelimieten.