Remarque
L’accès à cette page requiert une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page requiert une autorisation. Vous pouvez essayer de modifier des répertoires.
Important
Cette fonctionnalité est disponible en préversion publique.
Cette page décrit comment les fournisseurs configurent OpenSharing SecureConnect pour partager des données stockées dans un espace de stockage cloud situé derrière un pare-feu ou un point de terminaison privé, sans devoir ajouter le réseau de chaque destinataire à une liste d’autorisation.
Fonctionnement de SecureConnect
Avant d’activer SecureConnect sur un compte Azure Databricks, un fournisseur effectue une configuration unique. Cette configuration permet Azure Databricks destinataires d'accéder au stockage du fournisseur derrière un pare-feu ou un point de terminaison privé. Azure Databricks achemine ensuite les demandes de destinataire via un proxy managé. Par conséquent, le fournisseur n’a pas besoin de mettre à jour son pare-feu de stockage lors de l’ajout d’un nouveau destinataire.
Les destinataires accèdent aux données partagées à l’aide de leur configuration OpenSharing existante :
- Les destinataires Azure Databricks sur un calcul serverless peuvent accéder aux partages sans modification du pare-feu pour chaque fournisseur.
- Les destinataires Azure Databricks utilisant le calcul classique et les destinataires ouverts autorisent un seul ensemble d’adresses IP du plan de contrôle Azure Databricks pour la région du fournisseur.
Sans SecureConnect, un fournisseur doit ajouter l’identificateur réseau de chaque destinataire à son pare-feu de stockage, coordonner avec le destinataire et un administrateur de plateforme cloud pour chaque nouveau destinataire.
Exigences
- La préversion d’OpenSharing SecureConnect dans la console de compte doit être activée. Consultez Gérer les préversions d’Azure Databricks.
Configurer SecureConnect en tant que fournisseur
La configuration de SecureConnect implique la configuration de votre pare-feu de stockage pour autoriser l’accès et activer SecureConnect pour vos metastores et destinataires.
Étape 1 : Configurer votre pare-feu de stockage
Les instructions suivantes supposent que vos ressources partagées et le metastore du fournisseur se trouvent dans la même région. Pour les coûts réseau les plus bas, conservez la région de vos ressources partagées comme votre région de metastore fournisseur.
SecureConnect accède à votre stockage via le plan de données serverless. Suivez l’une des options de configuration suivantes, selon que votre stockage se trouve sur un réseau public ou privé.
Option 1 : Stockage sur un réseau public
Utilisez cette option si votre stockage est accessible sur le réseau public. Si votre stockage se trouve derrière un point de terminaison privé, consultez la section suivante.
Pour autoriser Azure Databricks à accéder à vos ressources, associez votre ressource Azure à un périmètre de sécurité réseau en mode transition et ajoutez la balise de service AzureDatabricksServerless.{region} à la liste d’autorisation, où {region} correspond à la région du plan de contrôle du fournisseur. Consultez Configurer un périmètre de sécurité réseau Azure (NSP) pour Azure ressources.
Option 2 : Stockage sur un réseau privé
Utilisez cette option si votre stockage partagé se trouve derrière un point de terminaison privé et n’est pas accessible à partir du réseau public.
Un administrateur de compte doit configurer une configuration de connectivité réseau (CCN) et l’attacher au metastore qui héberge vos données partagées. Pour plus d’informations sur les contrôleurs de réseau, consultez Qu’est-ce qu’une configuration de connectivité réseau ?.
Une NCC associée à un espace de travail ne peut pas être associée à un metastore. Un NCC appliqué à un metastore dans OpenSharing s’applique à tous les partages associés au metastore.
Créez un NCC et des règles de point de terminaison privé pour votre compte de stockage, mais ne l’associez pas à un espace de travail. SecureConnect nécessite également une règle de point de terminaison privé et une blobdfs règle de point de terminaison privé. Créez donc une règle de point de terminaison privé pour chaque type de sous-ressource.
Consultez Configurer la connectivité privée aux ressources Azure pour la configuration de NCC et du point de terminaison privé.
Associez le NCC à votre metastore OpenSharing :
- En tant qu’administrateur de compte Azure Databricks, accédez à la console de compte.
- Dans la barre latérale, cliquez sur
Catalogue. - Cliquez sur le nom du metastore OpenSharing pour ouvrir ses détails.
- Sous OpenSharing Network connectivity configuration (NCC), cliquez sur Modifier.
- Recherchez et sélectionnez la CCN que vous avez créée pour OpenSharing.
- Cliquez sur Enregistrer.
Important
Si vous ne parvenez pas à joindre une CCN à un metastore, contactez votre équipe de compte Databricks pour activer la connectivité privée pour OpenSharing SecureConnect à l’aide d’une CCN.
Étape 2 : Activer SecureConnect sur un metastore
Un administrateur de metastore peut configurer le metastore afin que les nouveaux destinataires utilisent automatiquement SecureConnect. Par défaut, les destinataires nouveaux et existants ne sont pas inscrits dans SecureConnect. Vous devez configurer les destinataires existants séparément. Consultez l’étape 3 : Activer SecureConnect pour les destinataires individuels.
Pour activer SecureConnect sur un metastore :
Dans votre espace de travail Azure Databricks, cliquez sur
Catalogue pour ouvrir l’Explorateur de catalogues.En haut du volet Catalogue, cliquez sur l’
, puis sélectionnez OpenSharing.Sinon, dans le coin supérieur droit, cliquez sur Partager openSharing>.
Cliquez sur Paramètres dans le coin supérieur droit.
Activez le paramètre pour Activer SecureConnect pour les nouveaux destinataires.
Cliquez sur Enregistrer.
Étape 3 : Activer SecureConnect pour les destinataires individuels
Les propriétaires des destinataires, ainsi que les utilisateurs disposant du privilège USE_RECIPIENT, peuvent activer ou désactiver SecureConnect pour chaque destinataire. SecureConnect est désactivé sur un destinataire par défaut, sauf si le metastore a été défini pour l’activer pour tous les nouveaux destinataires lors de la création du destinataire.
Pour configurer SecureConnect sur un destinataire :
Dans votre espace de travail Azure Databricks, cliquez sur
Catalogue.En haut du volet Catalogue, cliquez sur l’
, puis sélectionnez OpenSharing.Sinon, dans le coin supérieur droit, cliquez sur Partager openSharing>.
Sous l’onglet Partagé par moi, cliquez sur l’onglet Destinataires.
Activez SecureConnect pour chaque destinataire souhaité.
(Facultatif) Étape 4 : Restreindre l’accès des destinataires ouverts avec des listes de contrôle d’accès IP
Pour les destinataires ouverts, vous pouvez restreindre les adresses IP clientes autorisées à atteindre SecureConnect à l’aide de listes d’accès IP. Les listes de contrôle d’accès IP s’appliquent uniquement aux destinataires ouverts.
Avec SecureConnect, les ACL IP s’appliquent à la fois à l’accès au point de terminaison OpenSharing et à l’accès au stockage. Sans SecureConnect, les listes de contrôle d’accès IP limitent uniquement l’accès au point de terminaison OpenSharing ; les URL de stockage restent accessibles à partir de n’importe quelle adresse IP cliente.
Pour obtenir des instructions de configuration, consultez Restreindre l’accès des destinataires OpenSharing à l’aide de listes d’accès IP (partage Databricks-to-Open).
Note
Les modifications de liste de contrôle d’accès IP pour les destinataires ouverts compatibles SecureConnect peuvent prendre jusqu’à 10 minutes.
Scénarios de partage pris en charge
Important
Toute fonctionnalité non prise en charge bascule sur un accès direct depuis la ressource de calcul du destinataire vers le stockage. Le fournisseur doit accorder manuellement l’accès aux adresses IP des destinataires dans leur pare-feu de stockage. Voir qu’est-ce que le protocole OpenSharing Databricks-to-Databricks ? ou quel est le protocole de partage Databricks-to-Open ?.
SecureConnect prend en charge le partage avec AWS, Azure et GCP.
mTLS to SecureConnect est pris en charge uniquement pour les clusters de destinataires serverless.
Support des fonctionnalités
| Fonctionnalité | D2O (jeton) | D2O (OIDC)* | D2O (Iceberg) | D2D (sans serveur) | D2D (classique) |
|---|---|---|---|---|---|
| Tables avec historique et sans partitions | ✓ | ✓ | ✗ | ✓** | ✓** |
| Tables sans historique ou avec des partitions | ✓ | ✓ | ✗ | ✓ | ✓ |
| Views | ✓ | ✓ | ✗ | ✓*** | ✓ |
| Tables étrangères | ✓ | ✓ | ✗ | ✓ | ✓ |
| Vues matérialisées | ✓ | ✓ | ✗ | ✓*** | ✓ |
| Tables de streaming | ✓ | ✓ | ✗ | ✓*** | ✓ |
| Volumes | ✗ | ✗ | ✗ | ✗ | ✗ |
| Cahiers | ✗ | ✗ | ✗ | ✗ | ✗ |
| Modèles IA | ✗ | ✗ | ✗ | ✗ | ✗ |
* Le partage OIDC ne fonctionne pas actuellement lorsque le destinataire est également sur Azure Databricks.
** L’optimisation des jetons cloud n’est pas disponible pour SecureConnect.
*** Ces ressources sont matérialisées et filtrées côté fournisseur. Consultez Les destinataires ont-ils un accès direct aux données sous-jacentes dans les vues partagées, les vues matérialisées et les tables de diffusion en continu ?.
Limitations
- Vos ressources ne peuvent pas être sauvegardées par le stockage Azure R2.
Pour connaître les limitations côté destinataire, telles que la prise en charge de mTLS et les restrictions de partage Databricks-to-Open, consultez Limitations.
Régions non prises en charge
SecureConnect n’est pas disponible dans Azure Chine, Azure Government ou les régions Azure suivantes :
australiacentralaustraliacentral2japanwestqatarcentralsouthindiaswitzerlandwestukwestwestindia
Facturation
Les fournisseurs sont facturés pour le transfert de données via SecureConnect. Consultez la tarification du transfert de données et de la connectivité.
L’utilisation par destinataire est attribuée via le recipient_id champ de la table système de facturation. Les fournisseurs peuvent donc décomposer l’utilisation de SecureConnect facturable par destinataire. Consultez la Table de référence du système d'utilisation facturable.
La requête suivante retourne la sortie de données SecureConnect (en Go) pour chaque destinataire au cours des 7 derniers jours :
SELECT
usage_records.usage_metadata.recipient_id,
SUM(usage_records.usage_quantity) AS total_usage_gb
FROM system.billing.usage usage_records
WHERE
usage_records.billing_origin_product = 'NETWORKING'
AND usage_records.usage_metadata.associated_product = 'DATA_SHARING'
AND usage_records.usage_metadata.networking_client = 'EXTERNAL_CLIENT'
AND usage_records.usage_date >= CURRENT_DATE() - INTERVAL 7 DAYS
GROUP BY
usage_records.usage_metadata.recipient_id
ORDER BY
total_usage_gb DESC
Pour convertir l’usage en coûts, effectuez une jointure avec la table du système de tarification. Consultez Référence de la table système de tarification.