Azure Private Link pour Azure Data Factory
S’APPLIQUE À :
Azure Data Factory 
Azure Synapse Analytics
Conseil
Essayez Data Factory dans Microsoft Fabric, une solution d’analyse tout-en-un pour les entreprises. Microsoft Fabric couvre tous les aspects, du déplacement des données à la science des données, en passant par l’analyse en temps réel, l’aide à la décision et la création de rapports. Découvrez comment démarrer un nouvel essai gratuitement !
En utilisant Azure Private Link, vous pouvez vous connecter à différents déploiements PaaS (platform as a service) dans Azure via un point de terminaison privé. Un point de terminaison privé est une adresse IP privée au sein d’un réseau et d’un sous-réseau virtuels spécifiques. Pour obtenir la liste des déploiements PaaS prenant en charge la fonctionnalité Liaison privée, consultez la documentation sur Liaison privée.
Sécuriser la communication entre les réseaux du client et Data Factory
Vous pouvez configurer un réseau virtuel Azure comme une représentation logique de votre réseau dans le cloud. Les avantages que vous en tirez sont les suivants :
- Vous protégez mieux vos ressources Azure contre les attaques sur les réseaux publics.
- Vous permettez aux réseaux et à Data Factory de communiquer de façon sécurisée.
Vous pouvez également connecter un réseau local à votre réseau virtuel. Configurez une connexion VPN de sécurité du protocole Internet, qui est une connexion de site à site. Ou configurez une connexion Azure ExpressRoute, qui est une connexion de peering privé.
Vous pouvez également installer un runtime d’intégration auto-hébergé sur une machine locale ou une machine virtuelle dans le réseau virtuel. Cela vous permet d’effectuer les opérations suivantes :
- Exécuter des activités de copie entre un magasin de données cloud et un magasin de données situé sur un réseau privé.
- Répartir les activités de transformation selon les ressources de calcul dans un réseau local ou un réseau virtuel Azure.
Plusieurs canaux de communication sont nécessaires entre Azure Data Factory et le réseau virtuel du client, comme indiqué dans le tableau suivant :
| Domain | Port | Description |
|---|---|---|
adf.azure.com |
443 | Le portail Data Factory est nécessaire pour la création et la supervision de Data Factory. |
*.{region}.datafactory.azure.net |
443 | Requis par le runtime d’intégration auto-hébergé pour la connexion à Data Factory. |
*.servicebus.windows.net |
443 | Requis par le runtime d’intégration auto-hébergé pour la création interactive. |
download.microsoft.com |
443 | Requis par le runtime d’intégration auto-hébergé pour le téléchargement des mises à jour. |
Notes
La désactivation de l’accès au réseau public s’applique uniquement au runtime d’intégration auto-hébergé, et non à Azure IR et SQL Server Integration Services IR.
Les communications avec Data Factory transitent par Private Link et assurent une connectivité privée sécurisée.
L’activation de Private Link pour chacun des canaux de communication précédents offre les fonctionnalités suivantes :
Pris en charge :
- Vous pouvez créer et superviser le portail Data Factory à partir de votre réseau virtuel, même si vous bloquez toutes les communications sortantes. Si vous créez un point de terminaison privé pour le portail, d’autres utilisateurs peuvent toujours accéder au portail Data Factory via le réseau public.
- Les communications de commande entre le runtime d’intégration auto-hébergé et Data Factory peuvent être établies en toute sécurité dans un environnement de réseau privé. Le trafic entre le runtime d’intégration auto-hébergé et Data Factory passe par Private Link.
Non pris en charge pour l’instant :
- Une création interactive qui utilise un runtime d’intégration auto-hébergé, par exemple, pour tester la connexion, parcourir la liste des dossiers et la liste des tables, obtenir le schéma et afficher un aperçu des données transite par Private Link. Remarquez que le trafic passe par une liaison privée si la création interactive autonome est activée. Consultez Création interactive autonome.
Notes
"Obtenir l’IP" et "Envoyer le journal" ne sont pas pris en charge lorsque la création interactive autonome est activée.
- Actuellement, la nouvelle version du runtime d’intégration auto-hébergé, qui peut être téléchargée automatiquement à partir du centre de téléchargement Microsoft si vous activez la mise à jour automatique, n’est pas prise en charge.
Pour les fonctionnalités non encore prises en charge, vous devez configurer le domaine et le port précédemment mentionnés dans le réseau virtuel ou le pare-feu de votre entreprise.
La connexion à Data Factory via un point de terminaison privé s’applique uniquement au runtime d’intégration auto-hébergé dans la fabrique de données. Cette fonctionnalité n’est pas prise en charge pour Azure Synapse Analytics.
Avertissement
Si vous activez Private Link dans Data Factory et si vous bloquez en même temps l’accès public, stockez vos informations d’identification dans un coffre de clés Azure pour garantir leur sécurité.
Configurer un point de terminaison privé pour la communication entre le runtime d’intégration auto-hébergé et Data Factory
Cette section explique comment configurer le point de terminaison privé pour la communication entre le runtime d’intégration auto-hébergé et Data Factory.
Créer un point de terminaison privé et configurez une liaison privée pour Data Factory
Le point de terminaison privé est créé dans votre réseau virtuel pour la communication entre le runtime d’intégration auto-hébergé et Data Factory. Suivez les étapes détaillées dans Configurer une liaison de point de terminaison privé pour Data Factory.
Vérifier que la configuration DNS est correcte
Suivez les instructions de la section Modifications DNS pour les points de terminaison privés afin de vérifier ou de configurer vos paramètres DNS.
Inscrire les noms de domaine complets d’Azure Relay et du centre de téléchargement dans la liste d’autorisation de votre pare-feu
Si votre runtime d’intégration auto-hébergé est installé sur la machine virtuelle de votre réseau virtuel, autorisez le trafic sortant vers les noms de domaine complets ci-dessous dans le groupe de sécurité réseau de votre réseau virtuel.
Si votre runtime d’intégration auto-hébergé est installé sur l’ordinateur dans votre environnement local, autorisez le trafic sortant vers les noms de domaine complets ci-dessous dans le pare-feu de votre environnement local et dans le groupe de sécurité réseau de votre réseau virtuel.
| Domain | Port | Description |
|---|---|---|
*.servicebus.windows.net |
443 | Requis par le runtime d’intégration auto-hébergé pour la création interactive |
download.microsoft.com |
443 | Requis par le runtime d’intégration auto-hébergé pour le téléchargement des mises à jour |
Si vous n’autorisez pas le trafic sortant précédent dans le pare-feu et le groupe de sécurité réseau, le runtime d’intégration auto-hébergé s’affiche avec un état limité. Toutefois, vous pouvez toujours l’utiliser pour exécuter des activités. Seule la création interactive et la mise à jour automatique ne fonctionnent pas.
Notes
Si une fabrique de données (partagée) a un runtime d’intégration auto-hébergé et que le runtime d’intégration auto-hébergé est partagé avec d’autres fabriques de données (liées), vous devez uniquement créer un point de terminaison privé pour la fabrique de données partagée. D’autres fabriques de données liées peuvent tirer parti de cette liaison privée pour les communications entre le runtime d’intégration auto-hébergé et Data Factory.
Remarque
Actuellement, nous ne prenons pas en charge l’établissement d’une liaison privée entre un runtime d’intégration auto-hébergé et un espace de travail Synapse Analytics. Et le runtime d’intégration auto-hébergé peut toujours communiquer avec Synapse même quand la protection contre l’exfiltration des données est activée sur l’espace de travail Synapse.
Modifications DNS pour les points de terminaison privés
Quand vous créez un point de terminaison privé, l’enregistrement de la ressource DNS CNAME pour la fabrique de données est mis à jour avec un alias dans un sous-domaine avec le préfixe privatelink. Par défaut, nous créons également une zone DNS privée correspondant au sous-domaine privatelink, avec les enregistrements de ressource DNS A pour les points de terminaison privés.
Quand vous résolvez l’URL du point de terminaison Data Factory à l’extérieur du réseau virtuel avec le point de terminaison privé, elle correspond au point de terminaison public de Data Factory. En cas de résolution à partir du réseau virtuel hébergeant le point de terminaison privé, l’URL du point de terminaison de stockage correspond à l’adresse IP du point de terminaison privé.
Pour l’exemple illustré ci-dessus, les enregistrements de ressources DNS correspondant à la fabrique de données appelée « DataFactoryA », quand ils sont résolus à l’extérieur du réseau virtuel hébergeant le point de terminaison privé, sont les suivants :
| Nom | Type | Valeur |
|---|---|---|
| DataFactoryA.{région}.datafactory.azure.net | CNAME | < Point de terminaison public Data Factory > |
| < Point de terminaison public Data Factory > | Un | < Adresse IP publique Data Factory > |
Les enregistrements de ressources DNS correspondant à DataFactoryA, quand ils sont résolus dans le réseau virtuel hébergeant le point de terminaison privé, sont les suivants :
| Nom | Type | Valeur |
|---|---|---|
| DataFactoryA.{région}.datafactory.azure.net | CNAME | DataFactoryA.{région}.privatelink.datafactory.azure.net |
| DataFactoryA.{région}.privatelink.datafactory.azure.net | Un | < adresse IP du point de terminaison privé > |
Si vous utilisez un serveur DNS personnalisé sur votre réseau, les clients doivent pouvoir résoudre le nom de domaine complet du point de terminaison de la fabrique de données en l’adresse IP du point de terminaison privé. Vous devez configurer votre serveur DNS de manière à déléguer votre sous-domaine Private Link à la zone DNS privée du réseau virtuel. Vous pouvez également configurer les enregistrements A pour DataFactoryA.{region}.datafactory.azure.net avec l’adresse IP du point de terminaison privé.
- Résolution de noms pour des ressources dans les réseaux virtuels Azure
- Configuration DNS pour les points de terminaison privés
Notes
Actuellement, il n’y a qu’un seul point de terminaison de portail Data Factory. Il n’y a donc qu’un seul point de terminaison privé pour le portail dans une zone DNS. Une tentative de création d’un deuxième point de terminaison privé du portail va remplacer l’entrée DNS privée précédemment créée pour le portail.
Configurer un lien de point de terminaison privé pour Data Factory
Dans cette section, vous allez configurer un lien de point de terminaison privé pour Data Factory.
Vous pouvez choisir de connecter votre runtime d'intégration auto-hébergé à Data Factory en sélectionnant Point de terminaison public ou Point de terminaison privé au cours de l’étape de création de la fabrique de données, comme indiqué ici :
Après la création, vous pouvez à tout moment modifier cette sélection dans le volet Mise en réseau de la page du portail de fabrique de données. Après y avoir activé les points de terminaison privés, vous devez également ajouter un point de terminaison privé pour la fabrique de données.
Un point de terminaison privé requiert un réseau virtuel et un sous-réseau pour le lien. Dans cet exemple, une machine virtuelle dans le sous-réseau est utilisée pour exécuter le runtime d’intégration auto-hébergé, qui se connecte via la liaison de point de terminaison privé.
Créez un réseau virtuel
En l’absence de réseau virtuel existant à utiliser avec votre lien de point de terminaison privé, vous devez en créer un et attribuer un sous-réseau.
Connectez-vous au portail Azure.
En haut à gauche de l’écran, sélectionnez Créer une ressource>Mise en réseau>Réseau virtuel ou recherchez Réseau virtuel dans la zone de recherche.
Dans Créer un réseau virtuel, entrez ou sélectionnez les informations suivantes sous l’onglet Général :
Paramètre Valeur Détails du projet Abonnement Sélectionnez votre abonnement Azure. Resource group Sélectionnez un groupe de ressources pour votre réseau virtuel. Détails de l’instance Nom Entrez un nom pour votre réseau virtuel. Région Important : sélectionner la même région que celle utilisée par votre point de terminaison privé. Sélectionnez l’onglet Adresses IP, ou sélectionnez Suivant : Adresses IP au bas de la page.
Sous l’onglet Adresses IP, entrez les informations suivantes :
Paramètre Valeur Espace d’adressage IPv4 Entrez 10.1.0.0/16. Sous Nom de sous-réseau, sélectionnez le mot par défaut.
Dans Modifier le sous-réseau, entrez les informations suivantes :
Paramètre Valeur Nom du sous-réseau Entrez un nom pour votre sous-réseau. Plage d’adresses de sous-réseau Entrez 10.1.0.0/24. Sélectionnez Enregistrer.
Sélectionnez l’onglet Vérifier + créer, ou sélectionnez le bouton Vérifier + créer.
Sélectionnez Create (Créer).
Créer une machine virtuelle pour le runtime d’intégration auto-hébergé
Vous devez également créer ou attribuer une machine virtuelle existante pour exécuter le runtime d'intégration auto-hébergé dans le nouveau sous-réseau créé lors des étapes précédentes.
En haut à gauche de l’écran du portail Azure, sélectionnez Créer une ressource>Calcul>Machine virtuelle, ou recherchez Machine virtuelle dans la zone de recherche.
Dans Créer une machine virtuelle, entrez ou sélectionnez les valeurs sous l’onglet Informations de base :
Paramètre Valeur Détails du projet Abonnement Sélectionnez votre abonnement Azure. Resource group Sélectionnez un groupe de ressources. Détails de l’instance Nom de la machine virtuelle Entrez un nom pour la machine virtuelle. Région Sélectionnez la région utilisée pour votre réseau virtuel. Options de disponibilité Sélectionnez Aucune redondance d’infrastructure requise. Image Sélectionnez Windows Server 2019 Datacenter - Gen1 ou toute autre image Windows prenant en charge le runtime d'intégration auto-hébergé. Instance Azure Spot Sélectionnez Non. Taille Choisissez la taille de la machine virtuelle, ou utilisez le paramètre par défaut. Compte administrateur Nom d’utilisateur Entrez un nom d’utilisateur. Mot de passe Entrez un mot de passe. Confirmer le mot de passe Entrez de nouveau le mot de passe. Sélectionnez l’onglet Mise en réseau, ou sélectionnez Suivant : Disques, puis Suivant : Mise en réseau.
Sous l’onglet Mise en réseau, sélectionnez ou entrez :
Paramètre Valeur Interface réseau Réseau virtuel Sélectionnez le réseau virtuel que vous avez créé. Subnet Sélectionnez le sous-réseau que vous avez créé. Adresse IP publique Sélectionnez Aucun. Groupe de sécurité réseau de la carte réseau De base. Aucun port d’entrée public Sélectionnez Aucun. Sélectionnez Revoir + créer.
Passez en revue les paramètres, puis sélectionnez Créer.
Remarque
Azure fournit une adresse IP d’accès sortant par défaut pour les machines virtuelles qui n’ont pas d’adresse IP publique ou qui se trouvent dans le pool de back-ends d’un équilibreur de charge Azure de base interne. Le mécanisme d’adresse IP d’accès sortant par défaut fournit une adresse IP sortante qui n’est pas configurable.
L’adresse IP de l’accès sortant par défaut est désactivée quand l’un des événements suivants se produit :
- Une adresse IP publique est affectée à la machine virtuelle.
- La machine virtuelle est placée dans le pool principal d’un équilibreur de charge standard, avec ou sans règles de trafic sortant.
- Une ressource Azure NAT Gateway est attribuée au sous-réseau de la machine virtuelle.
Les machines virtuelles que vous avez créées, au moyen de groupes de machines virtuelles identiques en mode d’orchestration flexible, n’ont pas d’accès sortant par défaut.
Pour plus d’informations sur les connexions sortantes dans Azure, consultez Accès sortant par défaut dans Azure et Utiliser SNAT (Source Network Address Translation) pour les connexions sortantes.
Créer un Private Endpoint
Enfin, vous devez créer un point de terminaison privé dans votre fabrique de données.
Sur la page du portail Azure correspondant à votre fabrique de données, sélectionnez Mise en réseau>Connexions des points de terminaison privés, puis + Point de terminaison privé.
Sous l’onglet Général de Créer un point de terminaison privé, entrez ou sélectionnez les informations suivantes :
Paramètre Valeur Détails du projet Abonnement Sélectionnez votre abonnement. Resource group Sélectionnez un groupe de ressources. Détails de l’instance Nom Entrez un nom pour votre point de terminaison. Région Sélectionnez la région du réseau virtuel créé. Sélectionnez l’onglet Ressource ou le bouton Suivant : Ressource en bas de l’écran.
Dans Ressource, entrez ou sélectionnez ces informations :
Paramètre Valeur Méthode de connexion Sélectionnez Se connecter à une ressource Azure dans mon répertoire. Abonnement Sélectionnez votre abonnement. Type de ressource Sélectionnez Microsoft.Datafactory/factories. Ressource Sélectionnez votre fabrique de données. Sous-ressource cible Si vous souhaitez utiliser le point de terminaison privé pour les communications de commande entre le runtime d’intégration auto-hébergé et Data Factory, sélectionnez datafactory comme sous-ressource cible. Si vous souhaitez utiliser le point de terminaison privé pour la création et la surveillance de la fabrique de données dans votre réseau virtuel, sélectionnez portail comme sous-ressource cible. Sélectionnez l’onglet Configuration ou le bouton Suivant : Configuration en bas de l’écran.
Dans Configuration, entrez ou sélectionnez les informations suivantes :
Paramètre Valeur Mise en réseau Réseau virtuel Sélectionnez le réseau virtuel que vous avez créé. Subnet Sélectionnez le sous-réseau que vous avez créé. Intégration à un DNS privé Intégrer à une zone DNS privée Conservez la valeur par défaut Oui. Abonnement Sélectionnez votre abonnement. Zones DNS privées Conservez la valeur par défaut dans les deux sous-ressources cibles : 1. datafactory : (Nouveau) privatelink.datafactory.azure.net. 2. portail : (Nouveau) privatelink.adf.azure.com. Sélectionnez Revoir + créer.
Sélectionnez Create (Créer).
Restreindre l’accès aux ressources Data Factory via Private Link
Si vous souhaitez restreindre l’accès aux ressources Data Factory dans vos abonnements via Private Link, suivez les instructions disponibles dans Utiliser le portail pour créer une liaison privée pour la gestion des ressources Azure.
Problème connu
Vous ne pouvez pas accéder à chaque ressource PaaS lorsque les deux côtés sont exposés via Private Link et un point de terminaison privé. Ce problème est une limitation connue de Private Link et des points de terminaison privés.
Par exemple, le client A utilise une liaison privée pour accéder au portail de la fabrique de données A dans le réseau virtuel A. Si la fabrique de données A ne bloque pas l’accès public, le client B peut accéder au portail de la fabrique de données A dans le réseau virtuel B via un accès public. Mais si le client B crée un point de terminaison privé pour la fabrique de données B dans le réseau virtuel B, le client B ne peut plus accéder à la fabrique de données A via un accès public dans le réseau virtuel B.