Problème connu - Les instructions d'importation de PySpark échouent pour les fichiers .jar installés par l'environnement

Vous pouvez télécharger un fichier bibliothèque personnalisé au format .jar dans un environnement Fabric. Bien que le téléchargement et la publication de l'environnement réussissent, la commande d'importation échoue dans la session PySpark.

Statut : Ouvert

Expérience produit : Ingénieurs de données

Symptômes

Dans une session PySpark, l’instruction d'importation de bibliothèque échoue avec une erreur Class not found (classe introuvable). La bibliothèque personnalisée au format .jar a été installée dans un environnement.

Solutions et méthodes de contournement

Pour contourner ce problème, vous pouvez utiliser la commande suivante pour installer la bibliothèque dans la session Notebook : %%configure -f { "conf": { "spark.jars": <>", } } Vous pouvez également passer d'une session PySpark à une session Scala, le cas échéant.

Contenu connexe

• À propos des problèmes connus