Spark-konfigurációk migrálása az Azure Synapse-ból a Fabricbe
Az Apache Spark számos olyan konfigurációt biztosít, amelyek testre szabhatók a különböző forgatókönyvek felhasználói élményének javítása érdekében. Az Azure Synapse Spark és Fabric adatmérnök ingben rugalmasan beépítheti ezeket a konfigurációkat vagy tulajdonságokat a felhasználói élményhez. A Fabricben Spark-konfigurációkat adhat hozzá egy környezethez , és közvetlenül a Spark-feladatokon belül használhat beágyazott Spark-tulajdonságokat. Ha az Azure Synapse Spark-készlet konfigurációit át szeretné helyezni a Fabricbe, használjon egy környezetet.
A Spark konfigurációs szempontjaiért tekintse meg az Azure Synapse Spark és a Fabric közötti különbségeket.
Előfeltételek
- Ha még nem rendelkezik ilyenrel, hozzon létre egy Háló-munkaterületet a bérlőjében.
- Ha még nincs ilyenje, hozzon létre egy környezetet a munkaterületen.
1. lehetőség: Spark-konfigurációk hozzáadása egyéni környezethez
Egy környezetben beállíthatja a Spark-tulajdonságokat, és ezek a konfigurációk a kijelölt környezetkészletre lesznek alkalmazva.
- Nyissa meg a Synapse Studiót: Jelentkezzen be az Azure-ba. Lépjen az Azure Synapse-munkaterületre, és nyissa meg a Synapse Studiót.
- Spark-konfigurációk megkeresése:
- Lépjen a Kezelés területre, és válassza ki az Apache Spark-készleteket .
- Keresse meg az Apache Spark-készletet, válassza az Apache Spark-konfigurációt , és keresse meg a készlet Spark-konfigurációjának nevét.
- Spark-konfigurációk lekérése: Ezeket a tulajdonságokat a Konfigurációk megtekintése vagy a konfiguráció exportálása (.txt/.conf/.json formátum) kiválasztásával szerezheti be a Konfigurációk + tárak Apache Spark-konfigurációiból>.
- Ha már rendelkezik Spark-konfigurációkkal, adjon hozzá egyéni Spark-tulajdonságokat a Környezethez a Hálóban:
- A környezeten belül lépjen a Spark Compute>Spark tulajdonságaihoz.
- Spark-konfigurációk hozzáadása. Ezeket manuálisan is hozzáadhatja, vagy importálhatja .yml.
- Kattintson a Módosítások mentése és közzététele elemre.
További információ a Spark-konfigurációk környezethez való hozzáadásáról.