Lire en anglais

Partager via

Exécuter des requêtes fédérées sur Google BigQuery

  • Article

Cet article explique comment configurer Lakehouse Federation pour exécuter des requêtes fédérées sur des données BigQuery non gérées par Azure Databricks. Pour en savoir plus sur Lakehouse Federation, consultez l’article Qu’est-ce que Lakehouse Federation ?.

Pour vous connecter à votre base de données BigQuery à l’aide de Lakehouse Federation, vous devez créer les éléments suivants dans votre metastore Unity Catalog d’Azure Databricks :

  • Une connexion à votre base de données BigQuery.
  • Un catalogue étranger qui reflète votre base de données BigQuery dans Unity Catalog afin que vous puissiez utiliser la syntaxe de requête et les outils de gouvernance des données Unity Catalog pour gérer l’accès utilisateur Azure Databricks à la base de données.

Avant de commencer

Conditions requises pour l’espace de travail :

  • Espace de travail activé pour Unity Catalog.

Voici les exigences de calcul à respecter :

  • Connectivité réseau de votre cluster Databricks Runtime ou de votre entrepôt SQL aux systèmes de base de données cibles. Consultez l’article Recommandations de mise en réseau pour Lakehouse Federation.
  • Les clusters Azure Databricks doivent utiliser Databricks Runtime 16.1 ou version ultérieure et le mode d’accès partagé ou unique utilisateur.
  • Les entrepôts SQL doivent être Pro ou serverless.

Autorisations requises :

  • Pour créer une connexion, vous devez être un administrateur de metastore ou un utilisateur disposant du privilège CREATE CONNECTION sur le metastore Unity Catalog attaché à l’espace de travail.
  • Pour créer un catalogue étranger, vous devez disposer de l’autorisation CREATE CATALOG sur le metastore et être le propriétaire de la connexion ou disposer du privilège CREATE FOREIGN CATALOG sur la connexion.

Des exigences d’autorisation supplémentaires sont spécifiées dans chaque section basée sur les tâches qui suit.

Créer une connexion

Une connexion spécifie un chemin d’accès et des informations d’identification pour accéder à un système de base de données externe. Pour créer une connexion, vous pouvez utiliser l’Explorateur de catalogues ou la commande SQL CREATE CONNECTION dans un notebook Azure Databricks ou l’éditeur de requête SQL Databricks.

Notes

Vous pouvez également utiliser l’API REST Databricks ou l’interface CLI Databricks pour créer une connexion. Consultez POST /api/2.1/unity-catalog/connections et Commandes Unity Catalog.

Autorisations requises : administrateur de metastore ou utilisateur disposant du privilège CREATE CONNECTION.

Explorateur de catalogues

  1. Dans votre espace de travail Azure Databricks, cliquez sur icône CatalogueCatalogue.

  2. En haut du volet Catalogue, cliquez sur l’icône Ajouter ou icône PlusAjouter, puis sélectionnez Ajouter une connexion dans le menu.

    Sinon, dans la page Accès rapide, cliquez sur le bouton Données externes >, accédez à l’onglet Connexions, puis cliquez sur Créer une connexion.

  3. Dans la page de Informations de base de connexion de l’assistant Configurer la connexion, entrez un Nom de connexion convivial.

  4. Sélectionnez un type de connexion de Google BigQuery, puis cliquez sur Suivant.

  5. Dans la page Authentification, entrez le de clé de compte de service Google pour votre instance BigQuery.

    Il s’agit d’un objet JSON brut utilisé pour spécifier le projet BigQuery et fournir l’authentification. Vous pouvez générer cet objet JSON et le télécharger à partir de la page des détails du compte de service dans Google Cloud sous « CLÉS ». Le compte de service doit disposer d’autorisations appropriées accordées dans BigQuery, y compris Utilisateur BigQuery et Lecteur de données BigQuery. Voici un exemple.

    {
  "type": "service_account",
  "project_id": "PROJECT_ID",
  "private_key_id": "KEY_ID",
  "private_key": "PRIVATE_KEY",
  "client_email": "SERVICE_ACCOUNT_EMAIL",
  "client_id": "CLIENT_ID",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://accounts.google.com/o/oauth2/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/SERVICE_ACCOUNT_EMAIL",
  "universe_domain": "googleapis.com"
}

  6. (Facultatif) Entrez l’ID de projet pour votre instance BigQuery :

    Il s’agit d’un nom pour le projet BigQuery utilisé pour la facturation pour toutes les requêtes exécutées sous cette connexion. La valeur par défaut est l’ID de projet de votre compte de service. Le compte de service doit disposer des autorisations appropriées pour ce projet dans BigQuery, y compris BigQuery User. Un jeu de données supplémentaire utilisé pour stocker des tables temporaires par BigQuery peut être créé dans ce projet.

  7. (Facultatif) Ajoutez un commentaire.

  8. Cliquez sur Create connection (Créer la connexion).

  9. Sur la page d’Informations de base du catalogue, entrez un nom pour le catalogue étranger. Un catalogue étranger reflète une base de données dans un système de données externe afin que vous puissiez interroger et gérer l’accès aux données de cette base de données à l’aide d’Azure Databricks et Unity Catalog.

  10. (Facultatif) Cliquez sur Tester la connexion pour vérifier qu’elle fonctionne.

  11. Cliquez sur Créer un catalogue.

  12. Dans la page Access, sélectionnez les espaces de travail dans lesquels les utilisateurs peuvent accéder au catalogue que vous avez créé. Vous pouvez sélectionner Tous les espaces de travail ont l'accès, ou cliquer sur Affecter aux espaces de travail, sélectionner les espaces de travail, puis cliquer sur Attribuer.

  13. Changez le propriétaire qui pourra gérer l'accès à tous les objets du catalogue. Commencez à taper un responsable dans la zone de texte, puis cliquez sur le responsable dans les résultats affichés.

  14. Accordez des privilèges sur le catalogue. Cliquez sur Octroyer :

    1. Spécifiez les Principaux qui auront accès aux objets du catalogue. Commencez à taper un responsable dans la zone de texte, puis cliquez sur le responsable dans les résultats affichés.
    2. Sélectionnez les Préréglages de privilège à accorder pour chaque bénéficiaire. Tous les utilisateurs d'un compte reçoivent BROWSE par défaut.
      • Sélectionnez Lecteur de données dans le menu déroulant pour accorder des read privilèges sur les objets du catalogue.
      • Sélectionnez Éditeur de données dans le menu déroulant pour accorder read et modify privilèges sur les objets du catalogue.
      • Sélectionnez manuellement les privilèges à accorder.
    3. Cliquez sur Octroyer.

  15. Cliquez sur suivant.

  16. Dans la page Métadonnées, spécifiez des paires clé-valeur pour les balises. Pour plus d’informations, consultez Appliquer des étiquettes aux objets sécurisables du catalogue Unity.

  17. (Facultatif) Ajoutez un commentaire.

  18. Cliquez sur Enregistrer.

SQL

Exécutez la commande suivante dans un notebook ou dans l’éditeur de requête SQL Databricks. Remplacez <GoogleServiceAccountKeyJson> par un objet JSON brut qui spécifie le projet BigQuery et fournit l’authentification. Vous pouvez générer cet objet JSON et le télécharger à partir de la page des détails du compte de service dans Google Cloud sous « CLÉS ». Le compte de service doit disposer d’autorisations appropriées accordées dans BigQuery, notamment BigQuery User et BigQuery Data Viewer. Pour obtenir un exemple d’objet JSON, consultez l’onglet Explorateur de catalogues sur cette page.

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson '<GoogleServiceAccountKeyJson>'
);

Nous vous recommandons d’utiliser des secrets Azure Databricks au lieu de chaînes de texte en clair pour les valeurs sensibles telles que les informations d’identification. Par exemple :

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson secret ('<secret-scope>','<secret-key-user>')
)

Pour obtenir des informations sur la configuration des secrets, consultez l’article Gestion des secrets.

Créer un catalogue étranger

Notes

Si vous utilisez l’interface utilisateur pour créer une connexion à la source de données, la création du catalogue étranger est incluse et vous pouvez ignorer cette étape.

Un catalogue étranger reflète une base de données dans un système de données externe afin que vous puissiez interroger et gérer l’accès aux données de cette base de données à l’aide d’Azure Databricks et Unity Catalog. Pour créer un catalogue étranger, utilisez une connexion déjà définie à la source de données.

Pour créer un catalogue étranger, vous pouvez utiliser l’Explorateur de catalogue, CREATE FOREIGN CATALOG dans un notebook Azure Databricks ou l’éditeur de requête SQL Databricks. Vous pouvez également utiliser l’API REST Databricks ou l’interface CLI Databricks pour créer un catalogue. Consultez POST /api/2.1/unity-catalog/catalogs ou les commandes du catalogue Unity.

Autorisations requises : autorisation CREATE CATALOG sur le metastore, et être propriétaire de la connexion ou disposer du privilège CREATE FOREIGN CATALOG sur la connexion.

Explorateur de catalogues

  1. Dans votre espace de travail Azure Databricks, cliquez sur icône CatalogueCatalogue pour ouvrir l’Explorateur de catalogue.

  2. En haut du volet Catalogue, cliquez sur l’icône Ajouter ou icône PlusAjouter, puis sélectionnez Ajouter un catalogue dans le menu.

    Sinon, dans la page Accès rapide, cliquez sur le bouton Catalogues, puis sur le bouton Créer un catalogue.

  3. (Facultatif) Entrez la propriété de catalogue suivante :

    Id de projet de données : un nom pour le projet BigQuery contenant des données qui seront mappées à ce catalogue. Par défaut, l’ID du projet de facturation est défini au niveau de la connexion.

  4. Suivez les instructions pour créer des catalogues étrangers dans Créer des catalogues.

SQL

Exécutez la commande SQL suivante dans un notebook ou dans l’éditeur Databricks SQL. Les éléments entre chevrons sont optionnels. Remplacez les valeurs de l’espace réservé.

  • <catalog-name> : nom du catalogue dans Azure Databricks.
  • <connection-name> : objet Connection qui spécifie la source de données, le chemin et les informations d’identification d’accès.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>;

Pushdowns pris en charge

Les pushdowns suivants sont pris en charge :

  • Filtres
  • Projections
  • Limite
  • Fonctions : partielles, uniquement pour les expressions de filtre. (Fonctions de chaîne, fonctions mathématiques, données, fonctions Time et Timestamp, et autres fonctions diverses, telles que Alias, Cast, SortOrder)
  • Agrégats
  • Tri, lorsque l’utilisation est limitée
  • Joints (Databricks Runtime 16.1 ou supérieur)

Les pushdowns suivants ne sont pas pris en charge :

  • Fonctions Windows

Mappages de types de données

Le tableau ci-dessous illustre le mappage de type de données BigQuery vers Spark.

Type BigQuery Type Spark
bignumeric, numérique DecimalType
int64 LongType
float64 DoubleType
groupe, géographie, intervalle, json, chaîne, struct VarcharType
octets BinaryType
bool BooleanType
Date DateType
dateheure, heure, timestamp TimestampType/TimestampNTZType

Quand vous lisez à partir de BigQuery, BigQuery Timestamp est mappé à Spark TimestampType si preferTimestampNTZ = false (valeur par défaut). BigQuery Timestamp est mappé à TimestampNTZType si preferTimestampNTZ = true.