Partager via

Publier des données à partir de Delta Live Tables vers le metastore Hive

  • Article

Vous pouvez faire en sorte que les données de sortie de votre pipeline soient découvrables et interrogeables en publiant les jeux de données sur le metastore Hive. Pour publier les jeux de données sur le metastore, entrez un nom de schéma dans le champ Cible lorsque vous créez un pipeline. Vous pouvez également ajouter une base de données cible à un pipeline existant.

Par défaut, toutes les tables et vues créées dans Delta Live Tables sont locales pour le pipeline. Vous devez publier les tables sur un schéma cible pour interroger ou utiliser les jeux de données Delta Live Tables en dehors du pipeline dans lequel ils sont déclarés.

Pour publier des tables à partir de vos pipelines dans Unity Catalog, veuillez consulter Utilisation d’Unity Catalog avec vos pipelines Delta Live Tables

Comment publier des jeux de données Delta Live Tables sur un schéma

Vous pouvez déclarer un schéma cible pour toutes les tables de votre pipeline Delta Live Tables en utilisant le champ Schéma cible dans les interfaces utilisateur Paramètres du pipeline et Créer un pipeline.

Vous pouvez également spécifier un schéma dans une configuration JSON en définissant la valeur target.

Vous devez exécuter une mise à jour pour que le pipeline publie les résultats sur le schéma cible.

Vous pouvez utiliser cette fonctionnalité avec plusieurs configurations d’environnement pour publier sur différents schémas en fonction de l’environnement. Par exemple, vous pouvez publier des données de développement sur un schéma dev et des données de production sur un schéma prod.

Comment interroger des jeux de données dans des tables dynamiques Delta

Au terme d’une mise à jour, vous pouvez examiner le schéma et les tables, interroger les données ou utiliser les données dans des applications en aval.

Une fois publiées, les tables Delta Live Tables peuvent être interrogées à partir de n’importe quel environnement ayant accès au schéma cible. Cela inclut Databricks SQL, les notebooks et d’autres pipelines Delta Live Tables.

Important

Lorsque vous créez une configuration target, seules les tables et les métadonnées associées sont publiées. Les vues ne sont pas publiées dans le metastore.

Exclure des tables du schéma cible

Si vous devez calculer des tables intermédiaires qui ne sont pas destinées à une consommation externe, vous pouvez empêcher leur publication dans un schéma à l’aide du mot clé TEMPORARY. Les tables temporaires stockent et traitent toujours les données en fonction de la sémantique Delta Live Tables, mais elles ne doivent pas être accessibles en dehors du pipeline actuel. Une table temporaire persiste pendant la durée de vie du pipeline qui la crée. Utilisez la syntaxe suivante pour déclarer des tables temporaires :

SQL

CREATE TEMPORARY MATERIALIZED VIEW temp_table
AS SELECT ... ;

Python

@dlt.table(
  temporary=True)
def temp_table():
  return ("...")