Bekend probleem: PySpark-importinstructies mislukken voor .jar bestanden die zijn geïnstalleerd via de omgeving

U kunt een aangepast bibliotheekbestand met een .jar-indeling uploaden naar een Infrastructuuromgeving. Hoewel het uploaden en publiceren van de omgeving slaagt, mislukt de importopdracht in de PySpark-sessie.

Status: Openen

Productervaring: Data-engineer ing

Symptomen

In een PySpark-sessie mislukt de importbibliotheekinstructie met de fout Klasse niet gevonden . De aangepaste bibliotheek met een .jar-indeling is geïnstalleerd via een omgeving.

Oplossingen en tijdelijke oplossingen

U kunt dit probleem omzeilen door de volgende opdracht te gebruiken om de bibliotheek in notebooksessie te installeren: %%configure -f { "conf": { "spark.jars": <>", } } U kunt desgewenst overschakelen van een PySpark naar een Scala-sessie.

Volgende stappen

• Over bekende problemen