Comment utiliser les notebooks Microsoft Fabric

Le notebook Microsoft Fabric est un élément de code principal pour le développement de travaux Apache Spark et d’expériences de Machine Learning. Il s’agit d’une surface interactive web utilisée par les scientifiques des données et les ingénieurs données pour écrire du code bénéficiant de visualisations enrichies et de texte Markdown. Les ingénieurs données écrivent du code pour l’ingestion des données, la préparation des données et la transformation des données. Les scientifiques des données utilisent également des notebooks pour créer des solutions d’apprentissage automatique, notamment la création d’expériences et de modèles, le suivi des modèles et le déploiement.

Avec un notebook Fabric, vous pouvez :

• Commencer à travailler sans le moindre effort de configuration.
• Explorez et traitez facilement les données avec une expérience intuitive à faible code.
• Sécuriser les données avec des fonctionnalités de sécurité d’entreprise intégrées.
• Analyser les données dans des formats bruts (CSV, txt, JSON, etc.), des formats de fichiers traités (parquet, Delta Lake, etc.), à l’aide des puissantes fonctionnalités de Spark.
• Être productif grâce à des fonctionnalités de création améliorées et à la visualisation de données intégrée.

Cet article explique comment utiliser des notebooks dans les expériences de science des données et d’engineering données.

Contexte de sécurité de l’exécution du notebook

L’exécution d’un notebook peut être déclenchée de trois manières différentes dans Fabric avec une flexibilité totale pour répondre à différents scénarios :

• Exécution interactive : l’utilisateur déclenche manuellement l’exécution via les différentes entrées d’expérience utilisateur ou appelle l’API REST. L’exécution s’exécuterait sous le contexte de sécurité de l’utilisateur actuel.
• Exécuter comme activité de pipeline : l’exécution est déclenchée à partir du pipeline Fabric Data Factory. Vous trouverez les étapes détaillées dans l’activité Notebook. L’exécution s’exécuterait sous le contexte de sécurité du propriétaire du pipeline.
• Planificateur : l’exécution est déclenchée à partir d’un plan de planificateur. L’exécution s’exécuterait sous le contexte de sécurité de l’utilisateur qui configure/met à jour le plan du planificateur.

La flexibilité de ces options d’exécution avec un contexte de sécurité différent vous permet de répondre à différents scénarios et exigences, mais vous oblige également à connaître le contexte de sécurité lorsque vous concevez et développez votre notebook, sinon il peut provoquer un comportement inattendu et même certains problèmes de sécurité.

La première fois qu’un notebook est créé, un message d’avertissement s’affiche pour vous rappeler le risque d’exécuter le code sans l’examiner.

Voici quelques meilleures pratiques pour vous aider à éviter les problèmes de sécurité :

• Avant d’exécuter manuellement le notebook, ouvrez le paramètre Notebook et vérifiez la section Détails sous le panneau À propos pour la mise à jour de modification, puis vérifiez que vous êtes d’accord avec la dernière modification.
• Avant d’ajouter une activité de notebook à un pipeline, ouvrez le paramètre Notebook et vérifiez la section Détails sous le panneau À propos pour la mise à jour de modification, puis vérifiez que vous êtes d’accord avec la dernière modification. Si vous n’êtes pas sûr de la dernière modification, ouvrez le Notebook pour passer en revue la modification avant de l’ajouter dans le pipeline.
• Avant de mettre à jour le plan du planificateur, ouvrez le paramètre Notebook et vérifiez la section Détails sous le panneau À propos pour la mise à jour de modification, puis vérifiez que vous êtes d’accord avec la dernière modification. Si vous n’êtes pas sûr de la dernière modification, ouvrez le Notebook pour passer en revue la modification avant de mettre à jour le plan du planificateur.
• Séparez l’espace de travail en différentes phases (dev, test, prod) et contrôlez l’accès des différentes phases pour éviter les problèmes de sécurité. Ajoutez uniquement l’utilisateur qui vous approuve pour la phase prod.

Créer des notebooks

Vous pouvez créer un notebook ou importer un notebook existant.

Créer une nouvelle instance Notebook

Comme pour d’autres processus de création d’éléments Fabric standard, vous pouvez facilement créer un notebook à partir de la page d’accueil Ingénieurs de données Fabric, de l’option d’espace de travail Nouveau ou du Hub de création.

Importer des notebooks existants

Vous pouvez importer un ou plusieurs notebooks existants à partir de votre ordinateur local vers un espace de travail Fabric à partir de la page d’accueil Ingénieurs de données ou Science des données. Les notebooks Fabric reconnaissent les fichiers .ipynb Jupyter Notebook standard et les fichiers sources tels que .py, .scala et .sql, et créent de nouveaux éléments de notebook en conséquence.

Exporter un notebook

Vous pouvez exporter votre notebook vers d’autres formats standard. Le notebook Synapse peut être exporté dans :

• Le fichier de notebook standard(.ipynb) utilisé pour les notebooks Jupyter.
• Un fichier HTML(.html) qui peut être ouvert directement à partir d’un navigateur.
• Un fichier Python (.py).
• Un fichier Latex (.tex).

Enregistrer un notebook

Dans Fabric, un notebook est automatiquement sauvegardé par défaut lorsque vous l'ouvrez et le modifiez ; vous n'avez donc pas à vous soucier de perdre les modifications apportées au code. Vous pouvez également utiliser Enregistrer une copie pour cloner une autre copie dans l’espace de travail actuel ou dans un autre espace de travail.

Si vous préférez enregistrer manuellement un notebook, vous pouvez basculer vers l’option d’enregistrement Manuel pour avoir une branche locale de votre élément de notebook, puis utiliser Enregistrer ou CTRL+s pour enregistrer vos modifications.

Vous pouvez également basculer vers le mode d’enregistrement manuel en sélectionnant Modifier ->Options d’enregistrement->Manuel. Pour activer une branche locale de votre notebook, enregistrez-la manuellement, sélectionnez Enregistrer ou utilisez le raccourci clavier Ctrl+s.

Connecter des lakehouses et des notebooks

Les notebooks Fabric prennent désormais en charge les interactions étroites avec les lakehouses ; vous pouvez facilement ajouter un Lakehouse, nouveau ou existant, à partir de l’Explorateur Lakehouse.

Vous pouvez accéder à différents lakehouses dans l’Explorateur Lakehouse et définir un lakehouse comme emplacement par défaut en l’épinglant. Votre choix par defaut est alors monté dans le répertoire de travail du runtime, et vous pouvez lire ou écrire dans le lakehouse par défaut à l’aide d’un chemin d’accès local.

Remarque

Vous devez redémarrer la session après avoir épinglé un nouveau lakehouse ou renommé le lakehouse par défaut.

Ajouter ou supprimer un lakehouse

La sélection de l’icône X à côté d’un nom lakehouse la supprime de l’onglet notebook, mais l’élément lakehouse existe toujours dans l’espace de travail.

Sélectionnez Ajouter lakehouse pour ajouter d’autres lakehouses au notebook, soit en ajoutant un existant, soit en créant un lakehouse.

Explorer un fichier lakehouse

Le sous-dossier et les fichiers sous la section Tables et fichiers de la vue Lac s’affichent dans une zone de contenu située entre la liste lakehouse et le contenu du notebook. Sélectionnez différents dossiers dans la section Tables et Fichiers pour actualiser la zone de contenu.

Opérations de dossier et de fichier

Si vous sélectionnez un fichier (.csv, .parquet, .txt, .jpg, .png, etc.) avec un clic droit, vous pouvez utiliser l’API Spark ou Pandas pour charger les données. Une nouvelle cellule de code est générée et insérée sous la cellule focus.

Vous pouvez facilement copier un chemin d’accès avec un format différent du fichier ou dossier sélectionné et utiliser le chemin d’accès correspondant dans votre code.

Ressources de Notebook

L’explorateur de ressources de notebook fournit un système de fichiers de type Unix pour vous aider à gérer vos dossiers et fichiers. Il offre un espace de système de fichiers pouvant être écrit où vous pouvez stocker des fichiers de petite taille, tels que des modules de code, des modèles sémantiques et des images. Vous pouvez facilement y accéder avec du code dans le notebook comme si vous travailliez avec votre système de fichiers local.

Ce dossier intégré est un dossier prédéfini système pour chaque instance de notebook. Il conserve jusqu’à 500 Mo de stockage pour stocker les dépendances du notebook actuel. Voici les principales fonctionnalités des ressources de notebook :

• Vous pouvez utiliser des opérations courantes telles que la création/suppression, le chargement/le téléchargement, le glisser-déplacer, le renommage, le dupliquer et la recherche dans l’interface utilisateur.
• Vous pouvez utiliser des chemins relatifs comme builtin/YourData.txt pour une exploration rapide. La méthode mssparkutils.nbResPath vous aide à composer le chemin d’accès complet.
• Vous pouvez facilement déplacer vos données validées vers un lakehouse via l’option Écrire dans Lakehouse. Fabric a incorporé des extraits de code enrichi pour les types de fichiers courants pour vous aider à démarrer rapidement.
• Ces ressources sont également disponibles pour être utilisées dans le cas d’exécution du notebook de référence via mssparkutils.notebook.run().

Remarque

• Actuellement, Fabric prend en charge le chargement de certains types de fichiers via l’interface utilisateur, notamment les fichiers .py, .whl, .jar, .txt, .json, .yml, .xml, .csv, .html, .png, .jpg, and .xlsx. Vous pouvez écrire dans le dossier intégré avec des types de fichiers qui ne figurent pas dans la liste via du code. Toutefois, les notebooks Fabric ne prennent pas en charge la génération d’extraits de code sur des types de fichiers non pris en charge.
• Chaque taille de fichier doit être inférieure à 50 Mo, et le dossier intégré autorise jusqu’à 100 instances de fichier/dossier au total.
• Lorsque vous utilisez mssparkutils.notebook.run(), utilisez la commande mssparkutils.nbResPath pour accéder à la ressource de notebook cible. Le chemin relatif « builtin/ » pointe toujours vers le dossier intégré du notebook racine.

Collaborer dans un notebook

Le notebook Fabric est un élément collaboratif qui prend en charge plusieurs utilisateurs qui modifient le même notebook.

Lorsque vous ouvrez un notebook, vous entrez en mode de co-édition par défaut, et chaque modification du notebook est automatiquement enregistrée. Si vos collègues ouvrent le même notebook en même temps, vous voyez leur profil, leur sortie d’exécution, leur indicateur de curseur, leur indicateur de sélection et leur trace de modification. En utilisant les fonctionnalités de collaboration, vous pouvez facilement accomplir des scénarios de programmation en binôme, de débogage à distance et de tutorat.

Partager un notebook

Le partage d'un notebook est un moyen pratique de collaborer avec les membres d'équipe. Les rôles d'espace de travail autorisés peuvent afficher ou modifier/exécuter des notebooks par défaut. Vous pouvez partager un notebook avec des autorisations spécifiées.

1. Sélectionnez Partager dans la barre d’outils du notebook.

   

2. Sélectionnez la catégorie correspondante des personnes qui peuvent consulter ce notebook. Vous pouvez choisir les autorisations Partager, Modifier ou Exécuter pour les destinataires.

   

3. Une fois que vous avez sélectionné Appliquer, vous pouvez envoyer le notebook directement ou copier le lien pour d’autres personnes. Les destinataires peuvent ensuite ouvrir le notebook avec la vue correspondant à leur niveau d’autorisation.

   

4. Pour gérer davantage vos autorisations de notebook, sélectionnez Liste d’éléments d’espace de travail>Plus d’options, puis sélectionnez Gérer les autorisations. À partir de cet écran, vous pouvez mettre à jour l’accès et les autorisations existants du notebook.

   

Commentaire d’une cellule de code

Les commentaires sont une autre fonctionnalité utile pour les scénarios collaboratifs. Actuellement, Fabric prend en charge l’ajout de commentaires au niveau de la cellule.

1. Sélectionnez le bouton Commentaires dans la barre d’outils du notebook ou l’indicateur commentaire de cellule pour ouvrir le volet Commentaires.

   

2. Sélectionnez le code dans la cellule de code, sélectionnez Nouveau dans le volet Commentaires, ajoutez des commentaires, puis sélectionnez Poster le commentaire pour l’enregistrer.

   

3. Si vous en avez besoin, recherchez les options Modifier le commentaire, Résoudre la conversation et Supprimer la conversation en sélectionnant l’option Plus à côté de votre commentaire.

Balisage d’autres personnes dans un commentaire

Le « balisage » fait référence à la mention et à la notification d’un utilisateur dans un fil de commentaires, ce qui améliore efficacement la collaboration sur des éléments précis.

1. Sélectionnez une section de code dans une cellule et un nouveau fil de commentaires.

2. Entrez le nom d’utilisateur et choisissez le nom d’utilisateur approprié dans la liste de suggestions si vous souhaitez mentionner quelqu’un pour discuter d’une certaine section.

3. Partagez vos insights et publiez-les.

4. Une notification par e-mail est déclenchée et l’utilisateur clique sur le lien Ouvrir les commentaires pour localiser rapidement cette cellule.

5. En outre, autorisez et configurez les autorisations pour les utilisateurs lors du balisage d’une personne qui n’a pas d’accès, ce qui garantit que vos ressources de code sont bien gérées.

Remarque

Pour un élément de commentaire, l’utilisateur balisé ne recevra plus de notification par e-mail si vous mettez à jour le commentaire dans un délai d’une heure. Toutefois, le nouvel utilisateur étiqueté recevra une notification par e-mail.

Changer de mode de Notebook

Les notebooks Fabric prennent en charge deux modes entre lesquels vous pouvez facilement basculer : le mode Édition et le mode Affichage.

• Mode d’édition : vous pouvez modifier et exécuter les cellules et collaborer avec d’autres personnes sur le notebook.
• Mode affichage : vous pouvez uniquement afficher le contenu de la cellule, la sortie et les commentaires du notebook. Toutes les opérations qui modifient le notebook sont désactivées.

Contenu connexe

• Créer et exécuter des notebooks