Azure Databricks on Microsoft Azure Government

Important

Azure Databricks on Azure Government is in Beta. Pour participer, inscrivez-vous à un nouvel abonnement Azure Government pour la fonctionnalité de prévisualisation de l’environnement Azure Databricks New GovCloud. Voir Commencer avec la Bêta.

Cet article décrit Azure Databricks sur Microsoft Azure Government, y compris les contrôles de conformité, comment rejoindre la version Bêta du nouvel environnement Azure Government, les régions et URL prises en charge, la résidence des données et les tables système prises en charge.

Vue d’ensemble d’Azure Government

Azure Government est un cloud Microsoft Azure dédié aux agences gouvernementales des États-Unis et à leurs partenaires. Il est physiquement isolé du cloud Azure mondial et exploité par des personnes américaines sélectionnées afin de répondre aux exigences de conformité des gouvernements fédéral, étatique, local et tribal américains. Pour plus de détails, voir Microsoft Azure Government.

Azure Databricks sur Azure Government fournit la plateforme Azure Databricks déployée dans Azure Government avec des contrôles de conformité et de sécurité. Il est disponible dans les régions Azure Government usgovva et usgovaz.

Chaque espace de travail a le profil de sécurité de conformité et la surveillance renforcée activés par défaut, nécessite Azure Private Link pour les connexions front-end et back-end, et stocke et traite le contenu client uniquement dans les régions cloud gouvernementales américaines.

Les espaces de travail bêta s’exécutent dans un nouvel environnement distinct des espaces de travail existants sur Azure Databricks dans Azure Government. Les espaces de travail existants ne sont pas migrés. Le traitement d’informations contrôlées non classifiées (CUI) ou d’autres données réglementées n’est pas autorisé.

Requirements

  • Un abonnement Azure Government qui n’a jamais contenu d’espace de travail Azure Databricks. Ne vous enregistrez pas d'abonnement contenant un espace de travail Azure Databricks, qui contenait auparavant un espace de travail Azure Databricks qui a été supprimé par la suite, ou qui est associé à l'environnement Azure Databricks existant dans Azure Government.
  • Permission d’enregistrer les fonctionnalités d’aperçu sur l’abonnement.

Important

Vous êtes uniquement responsable de la vérification que les informations sensibles ne sont jamais entrées dans les champs d’entrée définis par le client, tels que les noms d’espace de travail, les noms de ressources de calcul, les balises, les noms de travaux, les noms d’exécution de travaux, les noms de réseau, les noms d’informations d’identification, les noms de compte de stockage et les ID de référentiel Git ou les URL. Ces champs peuvent être stockés, traités ou accessibles en dehors de la limite de conformité.

Compliance

Azure Databricks on Microsoft Azure Government est en Beta. Azure Databricks travaille à obtenir une autorisation pour ces régimes de conformité. Jusqu’à ce que l’autorisation soit finalisée, ne traitez pas les Informations Contrôlées Non Classifiées (CUI) ni toute autre donnée régie par ces normes.

Note

Azure Private Link est requis pour les connexions back-end et front-end. Pour plus de détails, voir Private Link concepts.

Commencez avec la Bêta

Avant de vous inscrire

Utilisez un abonnement Azure Government dédié qui n’a jamais été utilisé pour créer un espace de travail Azure Databricks. N’enregistrez pas un abonnement qui :

  • Contient un espace de travail Azure Databricks existant.
  • Contenait auparavant un espace de travail Azure Databricks qui a ensuite été supprimé.
  • Est déjà associé à l’environnement Azure Databricks existant dans Azure Government.

La version Bêta utilise un enregistrement de fonctionnalité au niveau d’abonnement pour déterminer quel environnement reçoit les opérations de l’espace de travail. Après avoir enregistré la fonctionnalité de nouvel environnement, les nouveaux espaces de travail Azure Databricks que vous créez dans cet abonnement sont renvoyés vers le nouvel environnement. Pour enregistrer la fonctionnalité, vous devez être autorisé à enregistrer des fonctionnalités d’aperçu sur l’abonnement. Pour plus de détails, voir Configurer les fonctionnalités d’aperçu dans l’abonnement Azure.

Important

Vous devez enregistrer la fonctionnalité Azure Databricks New GovCloud environment avant de créer des espaces de travail Azure Databricks dans l’abonnement. Les espaces de travail créés avant l’enregistrement de la fonctionnalité ne sont pas créés dans le nouvel environnement.

Inscrire la fonctionnalité d’aperçu

  1. Connectez-vous au portail Azure Government.
  2. Ouvrez les abonnements.
  3. Sélectionnez l’abonnement Azure Government que vous souhaitez utiliser pour la Bêta.
  4. Dans Paramètres, sélectionnez Fonctionnalités de prévisualisation.
  5. Recherchez la fonctionnalité Azure Databricks New GovCloud environment.
  6. Sélectionnez la fonctionnalité, puis sélectionnez Inscrire.
  7. Attendez que l’état d’enregistrement affiche Registered.
  8. Créez un nouvel espace de travail Azure Databricks en utilisant l’expérience standard de création d’espaces de travail Azure Government. Consultez Déployer un espace de travail à l'aide du portail Azure.

Note

Un abonnement ne peut être associé qu’à un seul environnement Azure Databricks dans Azure Government : l’environnement existant ou le nouvel environnement. Un abonnement devient associé à l’environnement existant lorsqu’il est utilisé pour créer un espace de travail Azure Databricks, ou lorsque la fonctionnalité d’environnement existant y est enregistrée. Azure Resource Manager utilise cette association pour décider où acheminer les opérations de l’espace de travail, il nécessite donc une destination unique et sans ambiguïté. Si vous enregistrez la fonctionnalité Azure Databricks New GovCloud sur un abonnement déjà associé à l’environnement existant, la création d’espaces de travail et d’autres opérations de workspace sont bloquées afin de protéger vos ressources existantes.

Résoudre un conflit d’enregistrement

Si la création d’espace de travail ou d’autres opérations de workspace échouent dans un abonnement associé à l’environnement Azure Databricks existant dans Azure Government, l’abonnement peut également être enregistré pour la fonctionnalité Azure Databricks New GovCloud environment. Un abonnement ne peut pas être associé aux deux environnements. Azure Resource Manager nécessite une destination unique pour les opérations de l’espace de travail, il les bloque donc pour protéger les ressources existantes.

Ne réessayez pas la création d’espace de travail. Supprimez plutôt l’enregistrement en conflit.

Warning

Ne désinscrivez pas la fonctionnalité d'un abonnement disposant d'espaces de travail bêta actifs, sauf si Support Microsoft vous en donne l'instruction.

  1. Dans le portail Azure Government, accédez à Abonnements votre abonnement >Paramètres>>, et vérifiez si Azure Databricks New GovCloud environment est enregistré. Voir Répertorier les fonctionnalités en préversion.

  2. Définissez l’Azure CLI sur Azure Government et connectez-vous :

    az cloud set --name AzureUSGovernment
    az login
    
  3. Désinscrivez la fonctionnalité. Remplacez <subscription-id> par votre ID d’abonnement :

    az feature unregister --namespace Microsoft.Databricks --name UseEverGreenControlPlane --subscription <subscription-id>
    

    Pour utiliser le portail à la place, consultez Désinscrire la fonctionnalité en préversion.

  4. Confirmez que la fonctionnalité n’est plus enregistrée :

    az feature show --namespace Microsoft.Databricks --name UseEverGreenControlPlane --subscription <subscription-id>
    
  5. Réessayez l’opération de l’espace de travail.

Si vous ne pouvez pas déterminer si l'abonnement a été utilisé précédemment avec Azure Databricks, ou si le conflit persiste, contactez le support comme décrit dans Obtenir du support.

Pour rejoindre la Bêta, inscrivez-vous à un nouvel abonnement Azure Government qui n’a jamais contenu d’espace de travail Azure Databricks.

Limitations de la version bêta

Pendant la Beta :

  • L’accès est activé au niveau de l’abonnement.
  • L’abonnement ne doit pas comporter d’utilisation actuelle ou antérieure des espaces de travail Azure Databricks.
  • Les nouveaux espaces de travail dans l’abonnement enregistré utilisent le nouvel environnement.
  • Les espaces de travail existants ne sont pas migrés.
  • Les charges de travail de production et d’informations contrôlées non classifiées (CUI) ne sont pas prises en charge.
  • La disponibilité des fonctionnalités diffère du service Azure Databricks généralement disponible. Par exemple, seul un sous-ensemble de tables système est disponible. Voir Tableaux système pris en charge.
  • Chaque client est responsable de ses propres exigences internes d’habilitation et d’autorisation d’exploitation (ATO) avant l’utilisation en production.

Espaces de travail existants

Les espaces de travail existants restent associés à l’environnement dans lequel ils ont été créés. L’enregistrement bêta ne migre pas les espaces de travail, notebooks, données, configurations ni autres ressources de l’espace de travail existants. L’enregistrement de la fonctionnalité de nouvel environnement n’est pas une méthode de migration : ne l’activez pas sur un abonnement contenant des espaces de travail Azure Databricks existants ou supprimés précédemment.

Obtenir du support

Utilisez le processus de support standard Azure Government. Dans la demande de support, indiquez que l’abonnement ou l’espace de travail concerné participe à la version bêta du nouvel environnement Azure Databricks sur Microsoft Azure Government. Incluez l’ID d’abonnement, le nom de l’espace de travail, l’ID et l’URL, la région, l’état d’enregistrement de la fonctionnalité, le message d’erreur et l’opération que vous tentiez.

Profil de sécurité de conformité

Le profil de sécurité de conformité est activé par défaut sur tous les espaces de travail Azure Databricks sous Azure Government. Le profil de sécurité de conformité comprend une surveillance supplémentaire, des types d’instances imposés pour le chiffrement inter-nœuds, une image de calcul renforcée et d’autres fonctionnalités qui contribuent à satisfaire aux exigences de conformité. La mise à jour automatique du cluster et la surveillance de sécurité renforcée sont également activées automatiquement.

Le profil de sécurité de conformité impose l’utilisation de types d’instances VM supportant le chiffrement Réseau virtuel Azure, qui fournit un chiffrement réseau implémenté matériellement entre les nœuds du cluster. Pour les exigences, voir Exigences du profil de sécurité de conformité.

Régions et URL d’Azure Databricks sur Azure Government

Azure Databricks sur Azure Government est disponible dans les régions usgovva et usgovaz. Consultez les régions Azure Databricks.

Les URL Azure Databricks sur Azure Government diffèrent des URL Azure Databricks sur l’offre commerciale. Utilisez les URL suivantes pour Azure Databricks sur Azure Government :

  • URL de la console de compte et URL de base pour les API REST : https://accounts.usgov.databricks.azure.us/
  • URL de l’espace de travail et URL de base pour les API REST au niveau de l’espace de travail : https://adb-<workspace-id>.<random-number>.usgov.databricks.azure.us/

Après avoir créé l’espace de travail, vous pouvez confirmer son URL sur la page Aperçu de l’espace de travail dans le portail Azure Government.

Utilisez l’URL de la console de compte pour établir votre premier administrateur de compte. Pour les étapes, voir Créer votre premier administrateur de compte. Pour effectuer ces étapes, vous devez être un administrateur global Microsoft Entra ID avec accès élevé. Pour plus de détails, voir Élever les privilèges d’accès d’un Administrateur général.

Résidence des données

La résidence des données est toujours appliquée pour Azure Databricks pour les espaces de travail Azure Government. Le contenu client est stocké et traité uniquement dans les régions du cloud gouvernemental américain. Le paramètre de traitement inter-géo ne s’applique pas aux espaces de travail Azure Government et ne peut pas être utilisé pour traiter des données en dehors des régions cloud gouvernementales américaines.

Tables système prises en charge

Les tables système suivantes sont disponibles dans le nouvel environnement Azure Databricks on Azure Government (Beta) pour la surveillance, la gouvernance et la gestion des coûts :

  • schéma system.access : assistant_events, audit, inbound_network, outbound_network, workspaces_latest
  • schéma system.billing : list_prices, usage
  • system.compute schema : clusters, node_timeline, node_types, warehouse_events, warehouses
  • System.lakeflow schéma : job_run_timeline, job_task_run_timeline, job_tasks, jobs, pipeline_update_timeline, pipelines
  • System.mlflow schéma : experiments_latest, run_metrics_history, runs_latest
  • schéma de system.query: history
  • schéma system.storage: predictive_optimization_operations_history, table_auto_upgrade_operations_history

Consultez la référence des tables système.