Pipelinebeschränkungen

Die folgenden Einschränkungen sind wichtig zu kennen, wenn Sie Pipelines entwickeln:

• Ein Azure Databricks-Arbeitsbereich ist auf 1.000 gleichzeitige Pipeline-Updates begrenzt. Die Anzahl der Datensätze, die eine einzelne Pipeline enthalten kann, ist auf 1.000 begrenzt, aber bei einer Pipeline-Aktualisierung könnten der Speicher oder andere Ressourcen ausgehen, bevor dieses Limit erreicht wird. Das nützliche Limit wird durch die Pipeline-Konfiguration und die Komplexität der Arbeitslast bestimmt. Zu Ressourcenlimits siehe Ressourcenlimits.

• Die Konfiguration einer Pipeline enthält Verweise auf Quelldateien und -ordner.

  • Wenn die Konfiguration nur auf einzelne Notizbücher oder Dateien verweist, beträgt der Grenzwert pro Pipeline 100 Quelldateien.

  • Wenn die Konfiguration Ordner enthält, können Sie bis zu 50 Quelleinträge aus Dateien oder Ordnern einschließen.

    Durch Verweisen auf einen Ordner wird indirekt auf die Dateien in diesem Ordner verwiesen. In diesem Fall beträgt der Grenzwert für die Anzahl der Dateien, auf die (direkt oder indirekt) verwiesen wird, 1000.

  Wenn Sie mehr als 100 Quelldateien benötigen, organisieren Sie sie in Ordnern. Informationen zum Verwenden von Ordnern zum Enthalten von Quelldateien finden Sie im Pipeline-Ressourcenbrowser im Lakeflow-Pipeline-Editor.

• Pipeline-Datasets können nur einmal definiert werden. Aus diesem Grund können sie über alle Pipelines hinweg nur das Ziel eines einzigen Vorgangs sein. Die Ausnahme sind Streamingtabellen mit Anfügeflussverarbeitung, mit der Sie aus mehreren Streamingquellen in die Streamingtabelle schreiben können. Siehe Standardflüsse und Anfügeflüsse.

• Identitätsspalten weisen die folgenden Einschränkungen auf. Weitere Informationen zu Identitätsspalten in Delta-Tabellen finden Sie unter "Identitätsspalten".

  • Identitätsspalten werden bei Tabellen, die das Ziel der AUTO CDC-Verarbeitung sind, nicht unterstützt.
  • Identitätsspalten werden möglicherweise während Aktualisierungen materialisierter Sichten neu berechnet. Aus diesem Grund empfiehlt Databricks die Verwendung von Identitätsspalten in Pipelines nur mit Streamingtabellen.

• Standardmäßig können materialisierte Ansichten und Streamingtabellen nur von Azure Databricks Clients und Anwendungen aufgerufen werden. Um sie für externe Systeme zugänglich zu machen, siehe Zugriff auf materialisierte Ansichten und Streamingtabellen über externe Systeme.

• Es gibt Einschränkungen für die Databricks-Computierung, die zum Ausführen und Abfragen von Unity Catalog-Pipelines erforderlich ist. Siehe die Anforderungen für Pipelines, die im Unity-Katalog veröffentlicht werden.

• Delta Lake-Zeitreiseabfragen werden nur mit Streamingtabellen unterstützt und werden nicht mit materialisierten Ansichten unterstützt. Siehe „Den Tabellenverlauf nutzen“.

• Die pivot()-Funktion wird nicht unterstützt. Der pivot-Vorgang in Spark erfordert das vorzeitige Laden von Eingabedaten, um das Ausgabeschema zu berechnen. Diese Funktion wird in Pipelines nicht unterstützt.

• Die ausführende Identität einer Pipeline kann eine Kontogruppe sein, aber die Gruppe muss eine Kontogruppe sein, die dem Arbeitsbereich zugewiesen ist. Workspace-lokale Gruppen können nicht als ausführende Identität verwendet werden, ebenso wenig wie die breit eingebauten Gruppen admins, users, und account users. Siehe Festlegen der Ausführungsidentität auf eine Gruppe.

Informationen zu Ressourcenkontingenten für Lakeflow-Pipelines finden Sie unter "Ressourcengrenzwerte".