Partage via

Recommandations de mise en réseau de Lakehouse Federation

  • Article

Cet article fournit des conseils pour la configuration d’un chemin d’accès réseau viable entre vos clusters Azure Databricks ou vos entrepôts SQL et le système de base de données externe auquel vous vous connectez en utilisant Lakehouse Federation.

Rappelez-vous des informations importantes ci-dessous :

  • Tout le trafic réseau se trouve directement entre des clusters Azure Databricks (ou des entrepôts SQL) et le système de base de données externe. Ni Unity Catalog ni le plan de contrôle Azure Databricks ne se trouvent sur le chemin d’accès réseau.
  • Le calcul Azure Databricks (c’est-à-dire les clusters et les entrepôts SQL) est toujours déployé dans le cloud, mais le système de base de données externe peut être local ou hébergé sur n’importe quel fournisseur de cloud, tant qu’il existe un chemin d’accès réseau viable entre votre calcul Azure Databricks et la base de données externe.
  • Si vous avez des restrictions réseau entrantes ou sortantes sur le calcul Azure Databricks ou le système de base de données externe, reportez-vous aux sections suivantes pour obtenir des conseils généraux afin de vous aider à créer un chemin d’accès réseau viable.

Pour plus d’informations sur la mise en réseau dans les espaces de travail Azure Databricks, consultez Mise en réseau.

Système de base de données et calcul Azure Databricks accessibles à partir d’Internet

La connexion doit fonctionner sans aucune configuration.

Le système de base de données a des restrictions d’accès réseau

Si le système de base de données externe a des restrictions d’accès au réseau entrant ou sortant et que le cluster Azure Databricks ou l’entrepôt SQL est accessible à partir d’Internet, effectuez alors les configurations suivantes, en fonction du type de calcul :

Ressources de calcul classiques :

Configurez l’une des solutions réseau suivantes :

  • Adresse IP de sortie stable sur un calcul Azure Databricks.

    Configurez une adresse IP stable à l’aide d’un équilibreur de charge, d’une passerelle NAT, d’une passerelle internet ou équivalent, et connectez-la au sous-réseau sur lequel est déployé le calcul Azure Databricks. Cela permet au calcul de partager une adresse IP publique stable qui peut être autorisée côté base de données externe.

    Le système de base de données externe doit autoriser l’adresse IP stable de calcul Azure Databricks pour le trafic d’entrée et de sortie.

    • Private Link (uniquement lorsque la base de données externe se trouve sur le même cloud que le calcul Azure Databricks)

      Configurez une connexion Private Link entre le réseau où la base de données est déployée et le réseau où le calcul Azure Databricks est déployé.

    Ressources de calcul serverless :

    Contactez votre équipe de compte Azure Databricks pour en savoir plus sur les plans de prise en charge de l’accès réseau sécurisé à des bases de données externes depuis le calcul serverless.

Le calcul Azure Databricks a des restrictions d’accès réseau

Si le système de base de données externe est accessible à partir d’Internet et que le calcul Azure Databricks a des restrictions d’accès au réseau entrant ou sortant (ce qui n’est possible que si vous êtes sur un réseau géré par le client), effectuez l’une des configurations suivantes :

  • Autorisez le nom d’hôte de la base de données externe dans les règles de pare-feu du sous-réseau où un calcul Azure Databricks est déployé.

    Si vous choisissez d’autoriser l’adresse IP de la base de données externe plutôt que le nom d’hôte, vérifiez que la base de données externe a une adresse IP stable.

  • Private Link (uniquement lorsque la base de données externe se trouve sur le même cloud qu’un calcul Azure Databricks)

    Configurez une connexion Private Link entre le réseau où la base de données est déployée et le réseau où le calcul Azure Databricks est déployé.

Le calcul Azure Databricks a un serveur DNS personnalisé

Si le système de base de données externe est accessible à partir d’Internet et que le calcul Azure Databricks dispose d’un serveur DNS personnalisé (ce qui n’est possible que si vous êtes sur un réseau géré par le client), ajoutez le nom d’hôte du système de base de données à votre serveur DNS personnalisé afin qu’il puisse être résolu.