Az Apache Spark-feladat az osztályverzió eltérése miatt InvalidClassException hibával meghiúsul az Azure HDInsightban.

Ez a cikk az Apache Spark-összetevők Azure HDInsight-fürtökben való használatakor felmerülő problémák hibaelhárítási lépéseit és lehetséges megoldásait ismerteti.

Probléma

Apache Spark-feladatot próbál meg létrehozni egy Spark 2.x-fürtben. A következőhöz hasonló hibával meghiúsul:

18/09/18 09:32:26 WARN TaskSetManager: Lost task 0.0 in stage 1.0 (TID 1, wn7-dev-co.2zyfbddadfih0xdq0cdja4g.ax.internal.cloudapp.net, executor 4): java.io.InvalidClassException:
org.apache.commons.lang3.time.FastDateFormat; local class incompatible: stream classdesc serialVersionUID = 2, local class serialVersionUID = 1
        at java.io.ObjectStreamClass.initNonProxy(ObjectStreamClass.java:699)
        at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1885)
        at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1751)
        at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2042)
        at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1573)

Ok

Ezt a hibát okozhatja egy további jar hozzáadása a spark.yarn.jars konfigurációhoz, pontosabban egy árnyékolt jar, amely a csomag egy másik verzióját commons-lang3 tartalmazza, és osztályeltérést vezet be. Alapértelmezés szerint a Spark 2.1/2/3 a 3.5-ös verziót commons-lang3használja.

Tipp.

A kódtár tartalmának árnyékolása érdekében helyezze el azt a saját jar fájljába, és módosítsa a csomagolását. Ez eltér a könyvtár becsomagolásától, amely során a könyvtárat a saját JAR-fájlba helyezik újracsomagolás nélkül.

Resolution (Osztás)

Távolítsa el a jart, vagy újrafordítsa a testre szabott jart (AzureLogAppender), és használja a maven-shade-plugint az osztályok áthelyezéséhez.

Következő lépések

Ha nem látja a problémát, vagy nem tudja megoldani a problémát, további támogatásért látogasson el az alábbi csatornák egyikére:

• Azure-szakértőktől kaphat választ az Azure közösségi támogatásán keresztül.

• Csatlakozzon a @AzureSupport - a hivatalos Microsoft Azure-fiókhoz az ügyfélélmény javításához. Az Azure-közösség csatlakoztatása a megfelelő erőforrásokhoz: válaszok, támogatás és szakértők.

• Ha további segítségre van szüksége, támogatási kérelmet küldhet az Azure Portalról. Válassza a Támogatás lehetőséget a menüsávon, vagy nyissa meg a Súgó + támogatási központot. Részletesebb információkért tekintse át a Azure-támogatás kérések létrehozását ismertető cikket. Az előfizetés-kezeléssel és számlázással kapcsolatos támogatás a Microsoft Azure-előfizetés részét képezi, míg a technikai támogatást Azure-támogatási csomagjainkkal biztosítjuk.