Limitations du pipeline

Les limitations suivantes sont importantes à connaître lors du développement des pipelines :

• Un espace de travail Azure Databricks est limité à 1 000 mises à jour concurrentes du pipeline. Le nombre de jeux de données qu’un seul pipeline peut contenir est limité à 1 000, mais une mise à jour de pipeline peut manquer de mémoire ou d’autres ressources avant d’atteindre cette limite. La limite utile est déterminée par la configuration du pipeline et la complexité de la charge de travail. Pour les limites de ressources, voir Limites de ressources.

• La configuration d’un pipeline inclut des références aux fichiers et dossiers sources.

  • Si la configuration référence uniquement des blocs-notes ou des fichiers individuels, la limite par pipeline est de 100 fichiers sources.

  • Si la configuration inclut des dossiers, vous pouvez inclure jusqu’à 50 entrées sources composées de fichiers ou de dossiers.

    Le référencement d’un dossier référence indirectement les fichiers de ce dossier. Dans ce cas, la limite du nombre de fichiers référencés (directement ou indirectement) est de 1 000.

  Si vous avez besoin de plus de 100 fichiers sources, organisez-les en dossiers. Pour savoir comment utiliser des dossiers pour contenir des fichiers sources, consultez le navigateur des ressources pipeline dans l’éditeur de pipeline Lakeflow.

• Les jeux de données de pipeline ne peuvent être définis qu’une seule fois. En raison de cela, ils peuvent être la cible d’une seule opération sur tous les pipelines. L’exception concerne les tables de streaming avec traitement de flux d’ajout, qui permettent d’écrire dans une table de streaming à partir de plusieurs sources de streaming. Consultez les flux par défaut et les flux d’ajout.

• Les colonnes d’identité présentent les limitations suivantes. Pour en savoir plus sur les colonnes d’identité dans les tables Delta, consultez Colonnes d’identité.

  • Les colonnes d’identité ne sont pas prises en charge pour les tables ciblées par le traitement AUTO CDC.
  • Les colonnes d’identité peuvent être recalculées lors des mises à jour des vues matérialisées. Pour cette raison, Databricks recommande d’utiliser les colonnes d’identité dans les pipelines uniquement avec des tables de streaming.

• Par défaut, les vues matérialisées et les tables de diffusion en continu sont accessibles uniquement par Azure Databricks clients et applications. Pour les rendre accessibles aux systèmes externes, consultez Accéder aux vues matérialisées et aux tables de streaming à l’aide de systèmes externes.

• Il existe des limitations pour le calcul Databricks requis pour exécuter et interroger des pipelines de catalogue Unity. Consultez les conditions requises pour les pipelines qui publient dans le catalogue Unity.

• Les requêtes de voyage dans le temps Delta Lake sont prises en charge uniquement pour les tables de streaming et ne sont pas prises en charge pour les vues matérialisées. Voir Utiliser l’historique des tables.

• La fonction pivot() n’est pas prise en charge. L’opération pivot dans Spark nécessite le chargement hâtif des données d’entrée pour calculer le schéma de sortie. Cette fonctionnalité n’est pas prise en charge dans les pipelines.

• L’identité run-as d’un pipeline peut être un groupe de comptes, mais le groupe doit être un groupe de comptes assigné à l’espace de travail. Les groupes locaux de l'espace de travail ne peuvent pas être utilisés comme identité d'emprunt, pas plus que les groupes intégrés étendus admins, users et account users. Voir Définir l'identité run-as sur un groupe.

• Dans la pipeline_eventstable système, les événements associés aux tables comportant plus de 2 500 colonnes ou aux flux comportant plus de 1 000 attentes peuvent présenter des informations tronquées dans le champ details.

Pour connaître les quotas de ressources des pipelines Lakeflow, consultez les limites des ressources.