Limitations du pipeline

Voici les limitations des pipelines déclaratifs Spark Lakeflow qui sont importantes à connaître lorsque vous développez vos pipelines :

• Un espace de travail Azure Databricks est limité à 200 mises à jour de pipeline simultanées. Le nombre de jeux de données qu’un seul pipeline peut contenir est déterminé par la complexité de la configuration du pipeline et de la charge de travail.
• Les jeux de données de pipeline ne peuvent être définis qu’une seule fois. En raison de cela, ils peuvent être la cible d’une seule opération sur tous les pipelines. L’exception concerne les tables de diffusion en continu avec traitement de flux avec ajout, ce qui vous permet d’écrire dans la table de diffusion en continu à partir de sources de diffusion multiples. Consultez Utilisation de plusieurs flux pour écrire dans une cible unique.
• Les colonnes d’identité présentent les limitations suivantes. Pour en savoir plus sur les colonnes d’identité dans les tables Delta, consultez Utiliser des colonnes d’identité dans Delta Lake.
  • Les colonnes d’identité ne sont pas prises en charge pour les tables ciblées par le traitement AUTO CDC.
  • Les colonnes d’identité peuvent être recomputées pendant les mises à jour vers des vues matérialisées. C'est pourquoi, Databricks recommande d’utiliser des colonnes d’identité dans les pipelines uniquement avec des tables de streaming.
• Les vues matérialisées et les tables de diffusion en continu publiées à partir de pipelines, y compris celles créées par Databricks SQL, sont accessibles uniquement par les clients et applications Azure Databricks. Toutefois, pour rendre vos vues matérialisées et tables de streaming accessibles en externe, vous pouvez utiliser l'API sink afin d'écrire vers des tables dans une instance Delta externe. Consultez récepteurs dans les pipelines déclaratifs Spark Lakeflow.
• Il existe des limitations pour le calcul Databricks requis pour exécuter et interroger des pipelines de catalogue Unity. Consultez les conditions requises pour les pipelines qui publient dans le catalogue Unity.
• Les requêtes Delta Lake de voyage dans le temps sont uniquement prises en charge avec les tables de Streaming et ne sont pas prises en charge avec des vues matérialisées. Consultez Travailler avec l’historique des tables Delta Lake.
• Vous ne pouvez pas activer les lectures Iceberg sur les vues matérialisées et les tables de diffusion en continu.
• La fonction pivot() n’est pas prise en charge. L’opération pivot dans Spark nécessite le chargement hâtif des données d’entrée pour calculer le schéma de sortie. Cette fonctionnalité n’est pas prise en charge dans les pipelines.