Créez, configurez et utilisez un environnement dans Fabric

Un environnement Microsoft Fabric est un élément consolidé pour tous vos paramètres matériels et logiciels. Dans un environnement, vous pouvez sélectionner différents runtimes Spark, configurer vos ressources de calcul, installer des bibliothèques à partir de référentiels publics ou d’un répertoire local et définir d’autres paramètres.

Cet article présente une vue d’ensemble de la création, de la configuration et de l’utilisation d’un environnement.

Créer un environnement

Vous pouvez créer de nouveaux environnements à partir de plusieurs points d’entrée :

Point d’entrée standard :

1. Dans Fabric, accédez à l’espace de travail souhaité.

2. Sélectionnez Nouvel élément et recherchez l’environnement.

   

3. Nommez votre environnement et sélectionnez Créer.

Créez pendant la sélection :

1. Ouvrez un bloc-notes ou une définition de travail Spark.

2. Sélectionnez la liste déroulante Environnement , puis sélectionnez Nouvel environnement.

   

3. Nommez votre environnement et sélectionnez Créer.

Une fois l’environnement créé, sélectionnez la version du runtime. Choisissez Runtime 1.3 (Spark 3.5, Delta 3.2) dans le menu déroulant.

Configurer un environnement

Un environnement comporte trois composants majeurs :

• Calcul Spark, qui inclut le runtime Spark.
• Bibliothèques.
• Ressources.

Les configurations de calcul et de bibliothèque Spark sont requises pour que la publication soit efficace. Les ressources sont un stockage partagé qui peut changer en temps réel. Pour plus d’informations, consultez Enregistrer et publier des modifications.

Configurer le calcul Spark

Pour un environnement, vous pouvez choisir parmi différents runtimes Spark avec leurs propres paramètres par défaut et packages préinstallés. Pour afficher les runtimes disponibles, accédez à l’onglet Accueil de l’environnement et sélectionnez Runtime. Sélectionnez le runtime qui répond le mieux à vos besoins.

Important

• Si vous mettez à jour le runtime d’un environnement avec des configurations ou des bibliothèques existantes, vous devez republier le contenu en fonction de la version du runtime mise à jour.
• Si les configurations ou bibliothèques existantes ne sont pas compatibles avec la version du runtime nouvellement mise à jour, la publication échoue. Vous devez supprimer les configurations ou bibliothèques incompatibles et publier à nouveau l’environnement.

Le calcul Fabric Spark offre une vitesse et une efficacité inégalées qui s’exécutent sur des expériences spark et adaptées aux besoins. Dans votre environnement, vous pouvez choisir parmi différents pools créés par des administrateurs d’espaces de travail et des administrateurs de fonctionnalités. Vous pouvez ajuster davantage les configurations et gérer les propriétés Spark pour qu’elles soient optimales dans les sessions Spark. Pour plus d’informations, consultez Paramètres de configuration du calcul Spark dans les environnements Fabric.

Gérer des bibliothèques

Chaque runtime Spark fournit des bibliothèques intégrées. Avec l’environnement Fabric, vous pouvez également installer des bibliothèques à partir de sources publiques ou charger des bibliothèques personnalisées que vous ou votre organisation avez créées. Une fois que vous avez correctement installé les bibliothèques, elles sont disponibles dans vos sessions Spark. Pour plus d’informations, consultez Gestion des bibliothèques dans les environnements Fabric. Pour connaître les meilleures pratiques de gestion des bibliothèques dans Fabric, consultez Gérer les bibliothèques Apache Spark dans Fabric.

Utiliser des ressources

La section Ressources d’un environnement facilite la gestion des petites ressources pendant la phase de développement. Les fichiers chargés dans l’environnement sont accessibles entre les blocs-notes lorsqu’ils sont attachés. Pour plus d’informations, consultez Gérer les ressources dans un environnement Fabric.

Enregistrer et publier les modifications

Sous l’onglet Accueil , vous trouverez facilement Enregistrer et Publier. Ils sont activés lorsqu’il y a des modifications non enregistrées ou non publiées en attente dans les sections Bibliothèques et Calcul Spark .

Important

• Si Private Link est activé, le premier travail Spark dans l’espace de travail doit déclencher le provisionnement de réseau virtuel, ce qui peut prendre environ 10 à 15 minutes. Étant donné que la publication d’environnement s’exécute également en tant que travail Spark, il peut rencontrer un délai supplémentaire s’il s’agit du premier travail Spark exécuté après l’activation de Private Link.

Lorsque les modifications en attente se trouvent dans les sections bibliothèques et de calcul Spark , vous voyez également une bannière qui vous invite à enregistrer et publier. Les fonctionnalités sont les mêmes que pour les boutons :

• Les modifications non enregistrées sont perdues si vous actualisez ou laissez le navigateur ouvert. Sélectionnez Enregistrer pour vous assurer que vos modifications sont enregistrées avant de quitter. L’enregistrement n’applique pas la configuration, mais met en cache les modifications dans le système.
• Pour appliquer les modifications aux bibliothèques et au calcul Spark, sélectionnez Publier. La page Modifications en attente s’affiche pour la révision finale avant la publication. Ensuite, sélectionnez Publier tout pour lancer la configuration dans l’environnement Fabric. Ce processus peut prendre un certain temps, en particulier si des modifications de bibliothèque sont impliquées.
• Pour annuler un processus de publication, sélectionnez Afficher la progression dans la bannière et annuler l’opération.
• Une notification s’affiche lors de la publication. Une notification d’erreur se produit s’il existe des problèmes pendant le processus.

Un environnement n’accepte qu’une seule action de publication à la fois. Vous ne pouvez pas apporter de modifications aux sections bibliothèques ou de calcul Spark pendant une action de publication en cours.

La publication n’affecte pas l’ajout, la suppression ou la modification des fichiers et dossiers dans la section Ressources . Les actions de gestion des ressources sont en temps réel. L’action Publier ne bloque pas les modifications dans la section Ressources .

Partager un environnement existant

Fabric prend en charge le partage d’un élément avec différents niveaux d’autorisations.

Lorsque vous partagez un élément d’environnement, les destinataires reçoivent automatiquement l’autorisation Lecture. Avec cette autorisation, ils peuvent explorer les configurations de l’environnement et les attacher aux blocs-notes ou aux travaux Spark. Pour une exécution de code fluide, veillez à accorder des autorisations de lecture pour les environnements attachés lorsque vous partagez des blocs-notes et des définitions de travaux Spark.

Vous pouvez également partager l’environnement avec des autorisations de partage et de modification. Les utilisateurs disposant d’une autorisation De partage peuvent continuer à partager l’environnement avec d’autres utilisateurs. Pendant ce temps, les destinataires disposant de l’autorisation Modifier peuvent mettre à jour le contenu de l’environnement.

Attacher un environnement

Vous pouvez attacher un environnement Fabric à vos espaces de travail d’ingénierie/science des données ou à vos notebooks et définitions de travaux Spark.

Attacher un environnement en tant qu’espace de travail par défaut

Important

Une fois qu’un environnement est sélectionné comme espace de travail par défaut, seuls les administrateurs de l’espace de travail peuvent mettre à jour le contenu de l’environnement par défaut.

Sélectionnez Paramètres >de l’espace de travail>Spark pour afficher l’onglet Environnement.

Les administrateurs d’espace de travail peuvent définir la charge de travail par défaut pour l’ensemble des espaces de travail. Les valeurs configurées ici sont efficaces pour les blocs-notes et les définitions de tâches Spark qui s'attachent aux paramètres de l'espace de travail.

Le bouton bascule Définir l’environnement par défaut peut être utilisé pour améliorer l’expérience utilisateur. Par défaut, ce bouton est désactivé. Si aucune propriété ou bibliothèque Spark par défaut n’est requise comme espace de travail par défaut, vous pouvez définir le runtime Spark dans ce cas. Si vous souhaitez préparer un calcul spark et des bibliothèques par défaut pour l’espace de travail, vous pouvez basculer le bouton bascule sur Activé et attacher facilement un environnement en tant qu’espace de travail par défaut. Cette option rend toutes les configurations de l'environnement efficaces en tant que paramètres de l'espace de travail.

Attacher un environnement à un notebook ou à une définition de tâche pour Spark

L’environnement est disponible sous les onglets Notebook et Spark Job Definition . Lorsque les notebooks et les définitions de travaux Spark sont attachés à un environnement, ils peuvent accéder à ses bibliothèques, configurations de calcul et ressources. L’Explorateur répertorie tous les environnements disponibles qui sont partagés avec vous, proviennent de l’espace de travail actuel et proviennent d’autres espaces de travail auxquels vous avez accès.

Si vous basculez vers un autre environnement pendant une session active, l’environnement nouvellement sélectionné ne prend effet qu’à la prochaine session.

Lorsque vous attachez un environnement à partir d’un autre espace de travail, les deux espaces de travail doivent avoir les mêmes paramètres de capacité et de sécurité réseau. Bien que vous puissiez sélectionner des environnements à partir d’espaces de travail avec différentes capacités ou paramètres de sécurité réseau, la session ne parvient pas à démarrer.

Lorsque vous attachez un environnement à partir d’un autre espace de travail, la configuration de calcul dans cet environnement est ignorée. Au lieu de cela, les configurations de pool et de calcul sont par défaut les paramètres de votre espace de travail actuel.

Supprimer un environnement

Vous pouvez supprimer un environnement lorsqu’il n’est plus nécessaire. Avant de supprimer un environnement, tenez compte des éléments suivants :

Important

• La suppression d’un environnement est permanente et ne peut pas être annulée.
• Les blocs-notes ou définitions de travaux Spark actuellement attachés à l’environnement doivent être reconfigurés pour utiliser un autre environnement ou paramètres d’espace de travail.
• Si l’environnement est défini comme un espace de travail par défaut, vous devez d’abord modifier le paramètre par défaut de l’espace de travail avant la suppression.

Supprimer un environnement à l’aide de l’API REST

Vous pouvez supprimer un environnement par programmation à l’aide de l’API REST Fabric :

Point de terminaison :DELETE https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/environments/{environmentId}

Autorisations requises : Environment.ReadWrite.All ou Item.ReadWrite.All

Pour plus d’informations sur l’API REST, consultez Supprimer l’environnement.

Contenu connexe

• Paramètres de configuration du calcul Spark dans les environnements Fabric
• Gestion des bibliothèques dans l’environnement Fabric