Pipelinebegränsningar

Följande begränsningar är viktiga att känna till när du utvecklar pipelines:

• En Azure Databricks workspace är begränsad till 1 000 samtidiga pipelineuppdateringar. Antalet dataset som en enskild pipeline kan innehålla är begränsat till 1 000, men en pipelineuppdatering kan få slut på minne eller andra resurser innan den når den gränsen. Den användbara gränsen bestäms av pipelinekonfigurationen och arbetsbelastningens komplexitet. För resursbegränsningar, se Resursgränser.

• Konfigurationen av en pipeline innehåller referenser till källfiler och mappar.

  • Om konfigurationen endast refererar till enskilda notebook-filer eller filer är gränsen per pipeline 100 källfiler.

  • Om konfigurationen innehåller mappar kan du inkludera upp till 50 källposter som består av filer eller mappar.

    Referenser till en mapp refererar indirekt till filerna i mappen. I det här fallet är gränsen för antalet filer som refereras (direkt eller indirekt) 1 000.

  Om du behöver fler än 100 källfiler kan du ordna dem i mappar. Information om hur du använder mappar för att innehålla källfiler finns i Pipeline-tillgångsläsaren i Lakeflow-pipelineredigeraren.

• Pipelinedatauppsättningar kan bara definieras en gång. På grund av detta kan de bara vara målet för en enda åtgärd i samtliga pipelines. Undantaget är strömmande tabeller med tilläggsflödesbearbetning, vilket gör att du kan skriva till en strömmande tabell från flera strömmande källor. Se Standardflöden och tilläggsflöden.

• Identitetskolumner har följande begränsningar. Mer information om identitetskolumner i Delta-tabeller finns i Identitetskolumner.

  • Identitetskolumner stöds inte för tabeller som används som mål för AUTOMATISK CDC-behandling.
  • Identitetskolumner kan omberäknas under uppdateringar av en materialiserad vy. Därför rekommenderar Databricks att du endast använder identitetskolumner i pipelines med strömmande tabeller.

• Som standard kan materialiserade vyer och strömmande tabeller endast nås av Azure Databricks klienter och program. Information om hur du gör dem tillgängliga för externa system finns i Åtkomst till materialiserade vyer och strömmande tabeller med hjälp av externa system.

• Det finns begränsningar för Databricks-beräkningskapaciteten som krävs för att köra och fråga Unity Catalog-pipelines. Se Kraven för pipelines som publicerar till Unity Catalog.

• Frågor om tidsresor i Delta Lake stöds endast med strömmande tabeller och stöds inte med materialiserade vyer. Se Arbeta med tabellhistorik.

• Funktionen pivot() stöds inte. Åtgärden pivot i Spark kräver ivrig inläsning av indata för att beräkna utdataschemat. Den här funktionen stöds inte i pipelines.

• En pipelines run-as-identitet kan vara en kontogrupp, men gruppen måste vara en kontogrupp som är tilldelad arbetsytan. Workspace-lokala grupper kan inte användas som en kör-som-identitet, och det kan inte heller de breda inbyggda grupperna admins, users, och account users. Se Sätt run-as-identiteten till en grupp.

Resurskvoter för Lakeflow-pipelines finns i Resursgränser.