Qu’est-ce que la fédération de requêtes ?

Avec la fédération des requêtes, les requêtes sont envoyées à la base de données étrangère à l’aide d’API JDBC. La requête est exécutée à la fois dans Databricks et à l’aide du calcul distant. La fédération de requêtes est utilisée pour les sources telles que MySQL, PostgreSQL, BigQuery, Redshift, Teradata, etc.

Pourquoi utiliser Lakehouse Federation ?

La lakehouse met l’accent sur le stockage central des données afin de réduire la redondance et l’isolation des données. Votre organisation peut avoir de nombreux systèmes de données en production et vous souhaiterez peut-être interroger des données dans des systèmes connectés pour plusieurs raisons :

• Rapports à la demande.
• Travail de preuve de concept.
• Phase exploratoire des nouveaux pipelines ou rapports ETL.
• Prise en charge de charges de travail pendant une migration incrémentielle.

Dans chacun de ces scénarios, la fédération de requêtes vous permet dé bénéficier d’insights plus rapidement, car vous pouvez interroger les données en place et éviter un traitement ETL complexe et chronophage.

La fédération de requêtes est destinée aux cas d’usage spécifiques lorsque :

• Vous ne souhaitez pas ingérer de données dans Azure Databricks.
• Vous souhaitez que vos requêtes tirent parti du calcul dans le système de base de données externe.
• Vous souhaitez bénéficier des avantages de la gouvernance des interfaces et des données Unity Catalog, notamment le contrôle d’accès affiné, la traçabilité des données et la recherche.

Fédération des requêtes et Lakeflow Connect

La fédération de requêtes vous permet d’interroger des sources de données externes sans déplacer vos données. Databricks recommande d’effectuer l’ingestion en utilisant des connecteurs managés, car ils se mettent à l’échelle pour prendre en charge les volumes de données élevés, les requêtes à faible latence, et les limites des API de tiers. Cependant, vous souhaiterez peut-être interroger vos données sans les déplacer. Lorsque vous avez un choix entre les connecteurs d’ingestion managés et la fédération de requête, choisissez la fédération de requête pour les rapports ad hoc ou le travail de preuve de concept sur vos pipelines ETL.

Vue d’ensemble de la configuration de la fédération des requêtes

Pour rendre un jeu de données disponible à des fins d’interrogation en lecture seule à l’aide de Lakehouse Federation, vous créez les éléments suivants :

• Connexion, objet sécurisable dans le catalogue Unity qui spécifie un chemin d’accès et des informations d’identification pour accéder à un système de base de données externe.
• Un catalogue étranger, objet sécurisable dans Unity Catalog qui met en miroir une base de données dans un système de données externe, vous permettant d’effectuer des requêtes en lecture seule sur ce système de données dans votre espace de travail Azure Databricks, en gérant l’accès à l’aide de Unity Catalog.

Sources de données prises en charge

La fédération de requêtes prend en charge les connexions aux sources suivantes :

• MySQL
• PostgreSQL
• Teradata
• Oracle
• Amazon Redshift
• Données Salesforce 360
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL Data Warehouse)
• Google BigQuery
• Databricks

Configuration requise pour la connexion

Conditions requises pour l’espace de travail :

• Espace de travail activé pour Unity Catalog.

Voici les exigences de calcul à respecter :

• Connectivité réseau de votre ressource de calcul aux systèmes de base de données cibles. Consultez l’article Recommandations de mise en réseau pour Lakehouse Federation.
• Le calcul Azure Databricks doit utiliser Databricks Runtime 13.3 LTS ou ultérieur et le mode d’accès Standard ou Dédié .
• Les entrepôts SQL doivent être pro ou serverless et doivent utiliser la version 2023.40 ou ultérieure.

Autorisations requises :

• Pour créer une connexion, vous devez être un administrateur de metastore ou un utilisateur disposant du privilège CREATE CONNECTION sur le metastore Unity Catalog attaché à l’espace de travail.
• Pour créer un catalogue étranger, vous devez disposer de l’autorisation CREATE CATALOG sur le metastore et être le propriétaire de la connexion ou disposer du privilège CREATE FOREIGN CATALOG sur la connexion.

Des exigences d’autorisation supplémentaires sont spécifiées dans chaque section basée sur les tâches qui suit.

Créer une connexion

Une connexion spécifie un chemin d’accès et des informations d’identification pour accéder à un système de base de données externe. Pour créer une connexion, vous pouvez utiliser l’Explorateur de catalogues ou la commande SQL CREATE CONNECTION dans un notebook Azure Databricks ou l’éditeur de requête SQL Databricks.

Note

Vous pouvez également utiliser l’API REST Databricks ou l’interface CLI Databricks pour créer une connexion. Consultez POST /api/2.1/unity-catalog/connections et Commandes Unity Catalog.

Autorisations requises : administrateur de metastore ou utilisateur disposant du privilège CREATE CONNECTION.

Explorateur de catalogues

1. Dans votre espace de travail Azure Databricks, cliquez sur Catalogue.

2. En haut du volet Catalogue, cliquez sur l’icône Ajouter, puis sélectionnez Ajouter une connexion dans le menu.

   Sinon, dans la page Accès rapide, cliquez sur le bouton Données externes >, accédez à l’onglet Connexions, puis cliquez sur Créer une connexion.

3. Entrez un nom de connexion convivial.

4. Sélectionnez le Type de connexion (fournisseur de base de données, par exemple MySQL ou PostgreSQL).

5. (Facultatif) Ajoutez un commentaire.

6. Cliquez sur Suivant.

7. Saisissez les propriétés de connexion (par exemple les informations d’hôte, le chemin d’accès et les informations d’identification d’accès).

   Chaque type de connexion nécessite des informations de connexion différentes. Consultez l’article pour votre type de connexion, répertorié dans la table des matières à gauche.

8. Cliquez sur Create connection (Créer la connexion).

9. Entrez un nom pour le catalogue étranger.

10. (Facultatif) Cliquez sur Tester la connexion pour vérifier qu’elle fonctionne.

11. Cliquez sur Créer un catalogue.

12. Sélectionnez les espaces de travail dans lesquels les utilisateurs peuvent accéder au catalogue que vous avez créé. Vous pouvez sélectionner Tous les espaces de travail ont l'accès, ou cliquer sur Affecter aux espaces de travail, sélectionner les espaces de travail, puis cliquer sur Attribuer.

13. Changez le propriétaire qui pourra gérer l'accès à tous les objets du catalogue. Commencez à taper un responsable dans la zone de texte, puis cliquez sur le responsable dans les résultats affichés.

14. Accordez des privilèges sur le catalogue. Cliquez sur Octroyer :

    1. Spécifiez les Principaux qui auront accès aux objets du catalogue. Commencez à taper un responsable dans la zone de texte, puis cliquez sur le responsable dans les résultats affichés.
    2. Sélectionnez les Préréglages de privilège à accorder pour chaque bénéficiaire. Tous les utilisateurs d'un compte reçoivent BROWSE par défaut.
       • Sélectionnez Lecteur de données dans le menu déroulant pour accorder des read privilèges sur les objets du catalogue.
       • Sélectionnez Éditeur de données dans le menu déroulant pour accorder read et modify privilèges sur les objets du catalogue.
       • Sélectionnez manuellement les privilèges à accorder.
    3. Cliquez sur Accorder.
    4. Cliquez sur Suivant.
    5. Dans la page Métadonnées, spécifiez des paires clé-valeur pour les balises. Pour plus d’informations, consultez Appliquer des étiquettes aux objets sécurisables du catalogue Unity.
    6. (Facultatif) Ajoutez un commentaire.
    7. Cliquez sur Enregistrer.

SQL

Exécutez la commande suivante dans un notebook ou dans l’éditeur de requête SQL. Cet exemple concerne les connexions à une base de données PostgreSQL. Les options diffèrent selon le type de connexion. Consultez l’article pour votre type de connexion, répertorié dans la table des matières à gauche.

CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

Nous vous recommandons d’utiliser des secrets Azure Databricks au lieu de chaînes de texte en clair pour les données sensibles comme les informations d’identification. Par exemple:

CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Pour obtenir des informations sur la configuration des secrets, consultez l’article Gestion des secrets.

Pour en savoir plus sur la gestion des connexions existantes, consultez Gérer les connexions pour Lakehouse Federation.

Créer un catalogue étranger

Note

Si vous utilisez l’interface utilisateur pour créer une connexion à la source de données, la création du catalogue étranger est incluse et vous pouvez ignorer cette étape.

Un catalogue étranger reflète une base de données dans un système de données externe afin que vous puissiez interroger et gérer l’accès aux données de cette base de données à l’aide d’Azure Databricks et Unity Catalog. Pour créer un catalogue étranger, vous utilisez une connexion à la source de données qui a déjà été définie.

Pour créer un catalogue étranger, vous pouvez utiliser l’Explorateur de catalogues ou la commande CREATE FOREIGN CATALOG SQL dans un notebook Azure Databricks ou l’éditeur de requête SQL. Vous pouvez également utiliser l’API catalogue Unity. Consultez Documentation de référence d’Azure Databricks.

Les métadonnées de catalogues étrangers sont synchronisées dans Unity Catalog sur chaque interaction avec le catalogue. Pour le mappage de type de données entre Unity Catalog et la source de données, consultez la section Mappages des types de données de la documentation de chaque source de données.

Autorisations requises : autorisation CREATE CATALOG sur le metastore, et être propriétaire de la connexion ou disposer du privilège CREATE FOREIGN CATALOG sur la connexion.

Explorateur de catalogues

1. Dans votre espace de travail Azure Databricks, cliquez sur Catalogue pour ouvrir l’Explorateur de catalogues.

2. En haut du volet Catalogue, cliquez sur des données, puis sélectionnez Créer un catalogue dans le menu.

   Vous pouvez également accéder à Accès rapide. Cliquez ensuite sur le bouton Catalogues, puis sur Créer un catalogue.

3. Suivez les instructions pour créer des catalogues étrangers dans Créer des catalogues.

SQL

Exécutez la commande SQL suivante dans un notebook ou l’éditeur de requête SQL. Les éléments entre crochets sont facultatifs. Remplacez les valeurs d’espace réservé :

• <catalog-name>: nom du catalogue dans Azure Databricks.
• <connection-name> : L'objet Connection qui indique la source de données, le chemin et les informations d’identification d’accès.
• <database-name> : nom de la base de données que vous souhaitez refléter en tant que catalogue dans Azure Databricks. Non obligatoire pour MySQL, qui utilise un espace de noms à deux couches.
• <external-catalog-name> : Databricks à Databricks uniquement : nom du catalogue dans l’espace de travail Databricks externe que vous reflétez. Consultez Créer un catalogue étranger.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Pour en savoir plus sur la gestion et l’utilisation de catalogues étrangers, consultez Gérer et utiliser des catalogues étrangers.

Charger des données à partir de tables étrangères avec des vues matérialisées

Databricks recommande de charger des données externes à l’aide de la fédération de requêtes lorsque vous créez des vues matérialisées. Consultez Vues matérialisées.

Lorsque vous utilisez la fédération de requêtes, les utilisateurs peuvent référencer les données fédérées comme suit :

CREATE MATERIALIZED VIEW xyz AS SELECT * FROM federated_catalog.federated_schema.federated_table;

Afficher les requêtes fédérées générées par le système

La fédération de requête traduit les instructions DATAbricks SQL en instructions qui peuvent être envoyées vers le bas dans la source de données fédérée. Pour afficher l’instruction SQL générée, cliquez sur le nœud d’analyse de source de données étrangère dans la vue graphique du profil de requête ou exécutez l’instruction EXPLAIN FORMATTED SQL. Consultez la section Pushdown pris en charge de la documentation de chaque source de données pour en savoir plus.

Limitations

• Les requêtes sont en lecture seule.

  La seule exception est lorsque la fédération Lakehouse est utilisée pour fédérer le metastore Hive hérité d’un espace de travail (fédération de catalogue). Les tables étrangères de ce scénario sont accessibles en écriture. Voir ce que cela signifie d’écrire dans un catalogue étranger dans un metastore Hive fédéré.

• La limitation des connexions est déterminée à l’aide de la limite de requêtes simultanées Databricks SQL. Il n’existe aucune limite sur l’ensemble des entrepôts par connexion. Consultez la logique de mise à l’échelle automatique et de mise à l’échelle automatique.

• Les tables et les schémas dont les noms ne sont pas valides dans Unity Catalog ne sont pas pris en charge et sont ignorés par Unity Catalog lors de la création d’un catalogue étranger. Consultez la liste des règles et limitations de nommage dans Limitations.

• Les noms de table et de schéma sont convertis en minuscules dans Unity Catalog. Si cela provoque des collisions de noms, Databricks ne peut pas garantir l’objet importé dans le catalogue étranger.

• Pour chaque table étrangère référencée, Databricks planifie une sous-requête dans le système distant pour retourner un sous-ensemble de données de cette table, puis retourne le résultat à une tâche d’exécuteur Databricks sur un seul flux. Si le jeu de résultats est trop volumineux, l’exécuteur peut manquer de mémoire.

• Le mode d’accès dédié (anciennement mode d’accès utilisateur unique) est disponible uniquement pour les utilisateurs propriétaires de la connexion.

• Lakehouse Federation ne peut pas fédérer des tables étrangères avec des identificateurs respectant la casse pour des connexions Azure Synapse ou Redshift.

Quotas de ressources

Azure Databricks applique des quotas de ressources sur tous les objets sécurisables Unity Catalog. Ces quotas sont répertoriés dans les limites de ressources. Les catalogues étrangers et tous les objets qu’ils comportent sont inclus dans l’utilisation totale de vos quotas.

Si vous prévoyez de dépasser ces limites de ressources, contactez l’équipe de votre compte Azure Databricks.

Vous pouvez surveiller l’utilisation de vos quotas à l’aide des API de quotas de ressources d’Unity Catalog. Consultez Surveiller l’utilisation de vos quotas de ressources Unity Catalog.

Ressources supplémentaires

• Requêtes fédérées (Lakehouse Federation) dans les informations de référence sur le langage SQL
• Qu’est-ce que la fédération de catalogue ?
• Fédération de metastore Hive : permettre au catalogue Unity de régir les tables inscrites dans un metastore Hive