Utiliser Python pour Apache Spark

Microsoft Fabric fournit une prise en charge Python intégrée pour Apache Spark. Le support inclut PySpark, que vous pouvez utiliser pour interagir avec Spark via des interfaces Spark ou Python familières.

Vous pouvez analyser des données en utilisant Python via des définitions de tâches batch Spark ou avec des carnets Fabric interactifs. Cet article offre un aperçu du développement d’applications Spark sous Microsoft Fabric en utilisant le langage Python.

Créer et exécuter des sessions de notebook

Microsoft Fabric notebook est une interface web où vous créez des fichiers contenant du code en direct, des visualisations et du texte narratif. Les notebooks constituent un bon endroit où valider des idées et effectuer des expérimentations rapides pour extraire des insights de vos données. Les ingénieurs de données utilisent largement les carnets pour la préparation de données, la visualisation de données, l’apprentissage automatique et d’autres scénarios de big data.

Pour commencer à utiliser Python dans les notebooks Microsoft Fabric, changez le langage principal en haut de votre notebook en définissant l’option de langage sur PySpark (Python).

%%pyspark
# Enter your Python code here

Vous pouvez utiliser plusieurs langages dans un même notebook en spécifiant la commande magique de langage au début d’une cellule.

Pour en savoir plus sur les notebooks dans Microsoft Fabric Analytics, consultez Comment utiliser les notebooks.

Installer des packages

Les bibliothèques fournissent du code réutilisable que vous pouvez inclure dans vos programmes ou projets. Pour rendre disponible le code partenaire ou le code généré localement pour vos applications, installez une bibliothèque inline dans votre session de notebook. Votre administrateur d’espace de travail peut également créer un environnement, y installer la bibliothèque et attacher l’environnement comme espace de travail par défaut dans le paramètre de l’espace de travail.

Pour en savoir plus sur la gestion des bibliothèques dans Microsoft Fabric, consultez Gérer les bibliothèques Apache Spark.

Utilitaires de notebook

NotebookUtils (anciennement MSSparkUtils) est un paquet intégré qui vous aide à effectuer facilement des tâches courantes. Utilisez NotebookUtils pour travailler avec des systèmes de fichiers, obtenir des variables d’environnement, enchaîner des carnets et travailler avec des secrets. Les notebooks PySpark prennent en charge NotebookUtils.

Pour commencer, exécutez les commandes suivantes :

import notebookutils
notebookutils.notebook.help()

Pour plus d’informations sur les commandes NotebookUtils prises en charge, voir Utiliser NotebookUtils.

Utiliser Pandas sur Spark

L’API Pandas sur Spark fait évoluer votre charge de travail Pandas à n’importe quelle taille en la répartissant sur plusieurs nœuds. Si vous connaissez déjà pandas et souhaitez utiliser Spark pour le big data, l’API pandas sur Spark vous rend immédiatement productif.

Vous pouvez migrer vos applications sans modifier le code. Vous pouvez avoir une seule codebase qui fonctionne à la fois avec pandas, pour les tests et les jeux de données plus petits, et avec Spark, pour les jeux de données de production et distribués. Vous pouvez passer de l’API pandas à l’API Pandas sur Spark facilement et sans surcharge.

Environnement d’exécution Python

Microsoft Fabric Runtime est un environnement organisé optimisé pour la science des données et l’apprentissage automatique. Le runtime Microsoft Fabric propose une gamme de bibliothèques Python open source connues, notamment les bibliothèques telles que Pandas, PyTorch, scikit-learn et XGBoost.

Visualisation Python

L'écosystème Python propose plusieurs bibliothèques graphiques avec de nombreuses fonctionnalités différentes. Par défaut, chaque instance Spark dans Microsoft Fabric contient un ensemble de bibliothèques open source organisées et populaires. Vous pouvez également ajouter ou gérer d’autres bibliothèques ou d’autres versions. Pour plus d’informations sur la gestion des bibliothèques, consultez Résumé des meilleures pratiques de gestion des bibliothèques.

Pour en savoir plus sur la création de visualisations Python, consultez Visualisation Python.

Contenu connexe

  • Dernière mise à jour :