Exigences et limitations du catalogue Unity

Cette page décrit les exigences de calcul, les formats de fichiers pris en charge, les contraintes d’affectation de noms et les limitations connues pour le catalogue Unity.

Prise en charge des régions

Toutes les régions prennent en charge Unity Catalog. Pour plus d’informations, consultez les régions Azure Databricks.

Configuration requise pour le calcul

Unity Catalog est pris en charge sur les clusters qui exécutent Databricks Runtime 11.3 LTS ou version ultérieure. Le catalogue Unity est pris en charge par défaut sur toutes les versions de calcul de l’entrepôt SQL .

Les clusters s’exécutant sur des versions antérieures de Databricks Runtime ne prennent pas en charge toutes les fonctionnalités et fonctionnalités d’Unity Catalog GA.

Pour accéder aux données dans le catalogue Unity, les clusters doivent être configurés avec le mode d’accès approprié. Unity Catalog est sécurisé par défaut. Si un cluster n’est pas configuré avec le mode d’accès standard ou dédié, le cluster ne peut pas accéder aux données dans le catalogue Unity. Voir Modes d'accès.

Pour plus d’informations sur les modifications des fonctionnalités du catalogue Unity dans chaque version de Databricks Runtime, consultez les notes de publication.

Prise en charge du format de fichier

Unity Catalog prend en charge les formats de tableau suivants :

Exigences de nommage d’objets sécurisables

Les limitations suivantes s’appliquent à tous les noms d’objets dans Unity Catalog :

  • Les noms des objets ne doivent pas dépasser 255 caractères.
  • Les caractères spéciaux suivants ne sont pas autorisés :
    • Point (.)
    • Espace ( )
    • Barre oblique (/)
    • Tous les caractères de contrôle ASCII (hexadécimal 00-1F)
    • Caractère SUPPRIMER (hexadécimal 7F)
  • Unity Catalog stocke tous les noms d’objets en minuscules.
  • Lorsque vous référencez des noms UC dans SQL, vous devez utiliser des backticks pour les noms d’échappement qui contiennent des caractères spéciaux tels que des traits d’union (-).

Note

Les noms de colonnes peuvent utiliser des caractères spéciaux, mais le nom doit être placé dans une séquence d’échappement avec des backticks dans toutes les instructions SQL si des caractères spéciaux sont utilisés. Unity Catalog conserve la casse des noms de colonne, mais les requêtes sur les tables Unity Catalog ne respectent pas la casse.

Limitations

Unity Catalog présente les limitations suivantes. Certaines d’entre elles sont propres aux anciennes versions de Databricks Runtime et aux modes d’accès au calcul.

Les charges de travail Structured Streaming présentent d’autres limitations, qui dépendent de Databricks Runtime et du mode d’accès. Consultez les exigences et limitations de calcul standard , ainsi que les exigences et limitations de calcul dédiées.

Databricks publie régulièrement de nouvelles fonctionnalités qui réduisent cette liste.

  • Les groupes créés antérieurement dans un espace de travail (c’est-à-dire, des groupes au niveau de l’espace de travail) ne peuvent pas être utilisés dans les instructions GRANT de Unity Catalog. Cela permet d’obtenir une vue cohérente des groupes qui peuvent s’étendre sur plusieurs espaces de travail. Pour utiliser des groupes dans les instructions GRANT, créez vos groupes au niveau du compte et mettez à jour toute automatisation pour la gestion des principals ou des groupes (par exemple, les connecteurs SCIM, Okta et Microsoft Entra ID, et Terraform) pour se référer aux points de terminaison de compte au lieu de ceux de l’espace de travail. Consultez Sources de groupe.
  • Les charges de travail en langage R ne prennent pas en charge les vues dynamiques dans le cadre de la sécurité au niveau des lignes ou des colonnes sur un calcul exécutant Databricks Runtime 15.3 et les versions antérieures.
    • Utilisez une ressource de calcul dédiée exécutant Databricks Runtime 15.4 LTS ou une version ultérieure pour les charges de travail dans R qui interrogent des vues dynamiques. Ces charges de travail nécessitent également un espace de travail qui supporte le calcul sans serveur. Pour plus d’informations, consultez Contrôle d’accès affiné sur le calcul dédié.
  • Une table managée peut être clonée en mode superficiel vers une autre table managée sur Databricks Runtime 13.3 LTS et versions ultérieures. Une table externe peut être superficiellement clonée vers une autre table externe sur Databricks Runtime 14.2 et versions ultérieures. Une table managée ne peut pas être clonée de manière superficielle en une table externe. En outre, une table externe ne peut pas être clonée de manière superficielle dans une table gérée. Pour plus d’informations, consultez Clonage peu profond pour les tables du catalogue Unity.
  • Le compartimentage n’est pas pris en charge pour les tables Unity Catalog. Si vous exécutez des commandes qui tentent de créer une table compartimentée dans Unity Catalog, une exception est levée.
  • Écrire dans le même chemin ou dans la même table Delta Lake depuis des espaces de travail situés dans plusieurs régions peut entraîner une performance peu fiable si certains clusters accèdent à Unity Catalog et d'autres non.
  • Manipulation de partitions pour des tables externes à l’aide de commandes telles que ALTER TABLE ADD PARTITION qui nécessite l’activation de la journalisation des métadonnées de partition. Consultez Découverte de partition pour les tables externes.
  • Lorsque vous utilisez le mode de remplacement pour les tables non au format Delta, l’utilisateur doit avoir le CREATE TABLE privilège sur le schéma parent et doit être le propriétaire de l’objet existant OU avoir le privilège MODIFY sur l’objet.
  • Les UDF Python ne sont pas prises en charge dans Databricks Runtime 12.2 LTS et versions inférieures. Cela englobe les fonctions UDAF, UDTF et Pandas sur Spark (applyInPandas et mapInPandas). Les fonctions UDF scalaires Python sont prises en charge dans Databricks Runtime 13.3 LTS et versions supérieures.
  • Les fonctions définies par l’utilisateur Scala ne sont pas prises en charge dans Databricks Runtime 14.1 et versions antérieures avec le mode d’accès standard. Les fonctions UDF scalaires sont prises en charge dans Databricks Runtime 14.2 et les versions ultérieures avec le mode d'accès standard sur les machines de calcul.
  • Les pools de threads Scala standard ne sont pas pris en charge. En lieu et place, utilisez les pools de threads spéciaux dans org.apache.spark.util.ThreadUtils, par exemple, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Toutefois, les pools de threads suivants dans ThreadUtils ne sont pas pris en charge : ThreadUtils.newForkJoinPool et tout pool de threads ScheduledExecutorService.
  • Les journaux de diagnostic Azure journalisent uniquement les événements du catalogue Unity au niveau de l’espace de travail. Pour afficher les actions au niveau du compte, vous devez utiliser la table système du journal d’audit. Consultez la référence de la table de système d’audit.

Les modèles inscrits dans Unity Catalog présentent d’autres limitations. Consultez Limitations.

Quotas de ressources

Unity Catalog applique des quotas de ressources sur tous les objets sécurisables. Ces quotas sont répertoriés dans les limites des ressources. Si vous prévoyez de dépasser ces limites de ressources, contactez l’équipe de votre compte Azure Databricks.

Vous pouvez surveiller l’utilisation de vos quotas à l’aide des API de quotas de ressources d’Unity Catalog. Consultez Surveiller votre utilisation des quotas de ressources du catalogue Unity.

  • Last updated on