Megosztás a következőn keresztül:

Fabric Runtime 1.3 (GA)

A fabric-futtatókörnyezet zökkenőmentes integrációt biztosít az Azure-ral. Kifinomult környezetet biztosít az Apache Sparkot használó adatelemzési és adatelemzési projektekhez is. Ez a cikk áttekintést nyújt a Fabric Runtime 1.3, a big data-számítások legújabb futtatókörnyezetének alapvető funkcióiról és összetevőiről.

A Microsoft Fabric Runtime 1.3 a ga futtatókörnyezet legújabb verziója, amely az alábbi összetevőket és frissítéseket tartalmazza az adatfeldolgozási képességek javítása érdekében:

  • Apache Spark 3.5

  • Operációs rendszer: Mariner 2.0

  • Java: 11

  • Scala: 2.12.17

  • Python: 3.11

  • Delta Lake: 3.2

  • R: 4.4.1

    Tipp.

    A Fabric Runtime 1.3 támogatja a natív végrehajtási motort, amely nagyobb költségek nélkül jelentősen javíthatja a teljesítményt. Ha engedélyezni szeretné a natív végrehajtási motort a környezet összes feladatában és jegyzetfüzetében, keresse meg a környezeti beállításokat, válassza a Spark-számítás lehetőséget, lépjen a Gyorsítás lapra, és jelölje be a Natív végrehajtási motor engedélyezése jelölőnégyzetet. A mentés és közzététel után ez a beállítás a környezet egészére érvényes, így minden új feladat és jegyzetfüzet automatikusan örökli és kihasználja a továbbfejlesztett teljesítménybeli képességeket.

A Runtime 1.3 integrálása

Az alábbi utasítások segítségével integrálhatja a futtatókörnyezet 1.3-at a munkaterületre, és használhatja annak új funkcióit:

  1. Lépjen a Munkaterület beállításai lapra a Háló munkaterületen belül.

  2. Lépjen a adatmérnök ing/Tudomány lapra, és válassza a Spark-beállítások lehetőséget.

  3. Válassza a Környezet lapot.

  4. A Futtatókörnyezeti verziók területen bontsa ki a legördülő menüt.

  5. Válassza az 1.3-at (Spark 3.5, Delta 3.2), és mentse a módosításokat. Ez a művelet az 1.3-at állítja be a munkaterület alapértelmezett futtatókörnyezeteként.

    Képernyőkép a futtatókörnyezet verziójának kiválasztásáról.

Most már megkezdheti a Fabric runtime 1.3 -ban (Spark 3.5 és Delta Lake 3.2) bevezetett legújabb fejlesztéseket és funkciókat.

Tudnivalók az Apache Spark 3.5-ről

Az Apache Spark 3.5.0 a 3.x sorozat hatodik verziója. Ez a verzió a nyílt forráskódú közösségen belüli széles körű együttműködés terméke, amely több mint 1300 problémát kezel a Jira-ban rögzítettek szerint.

Ebben a verzióban frissítjük a strukturált streamelés kompatibilitását. Emellett ez a kiadás kibővíti a PySpark és az SQL funkcióit. Olyan funkciókat ad hozzá, mint az SQL-azonosító záradék, az SQL-függvényhívások nevesített argumentumai, valamint az SQL-függvények belefoglalása a HyperLogLog hozzávetőleges aggregációihoz.

További új képességek közé tartoznak a Python által felhasználó által definiált táblafüggvények, a DeepSpeeden keresztüli elosztott betanítás egyszerűsítése, valamint új strukturált streamelési képességek, például a vízjel propagálása és a dropDuplicatesWithinWatermark művelet.

A teljes listát és a részletes módosításokat itt tekintheti meg: Spark Release 3.5.0.

Tudnivalók a Delta Sparkról

A Delta Lake 3.2 együttes elkötelezettséget jelent, hogy a Delta Lake több formátumban is átjárhatóvá, könnyebben kezelhetővé és teljesíthetőbbé váljon. A Delta Spark 3.2 az Apache Spark™ 3.5-ös verziójára épül. A Delta Spark maven-összetevőt a delta-core-róldelta-sparkra nevezik át.

A teljes listát és a részletes módosításokat itt tekintheti meg: https://docs.delta.io/index.html.

Összetevők és kódtárak

Naprakész információkért, a módosítások részletes listájáért és a Fabric-futtatókörnyezetekhez kapcsolódó konkrét kibocsátási megjegyzésekért tekintse meg és iratkozzon fel a Spark Runtimes kiadásaira és frissítéseire.

Megjegyzés:

Az EventHubConnector elavult a Fabric Runtime 1.3-ban (Spark 3.5), és el lesz távolítva a jövőbeli Fabric Runtime-verziókból. Javasoljuk az ügyfeleknek, hogy inkább a Kafka Spark Connectort használják, mivel az Event Hubs már kompatibilis a Kafka-sal. A Kafka Spark Connector és az Event Hubs használatáról itt talál további információt: Event Hubs Kafka Spark-oktatóanyag

Kapcsolódó tartalom

  • Last updated on