Az Apache Spark kapacitáshasználatának monitorozása

A cikk célja, hogy útmutatást nyújtson azoknak a rendszergazdáknak, akik az általuk kezelt kapacitásokban szeretnék figyelni a tevékenységeket. A Microsoft Fabric Capacity Metrics alkalmazásban elérhető Apache Spark kapacitásfogyasztási jelentések használatával az adminok betekintést nyerhetnek a számlázható Spark kapacitásfogyasztásába olyan tárgyak esetében, mint például a lakehouse, notebook és Apache Spark munkadefiníciók. Egyes Spark-kapacitáshasználati tevékenységek nem jelennek meg az alkalmazásban.

Spark-kapacitás kihasználtság jelentett

A lakehouse-okból, jegyzetfüzetekből és Spark-feladatdefiníciókból származó alábbi műveletek számlázható tevékenységként lesznek kezelve.

Művelet neve Elem Megjegyzések
Lakehouse-műveletek Lakehouse Felhasználók előnézeti táblázata a Lakehouse Explorerben.
Lakehouse-tábla terhelése Lakehouse A felhasználók betöltik a Delta táblát a Lakehouse explorerben.
Jegyzetfüzet futtatása Jegyzetfüzet A jegyzetfüzetet manuálisan futtatják a felhasználók.
Notebook HC-futtatás Jegyzetfüzet A jegyzetfüzet a magas egyidejűségi Apache Spark-munkamenet alatt fut.
Jegyzetfüzet ütemezett futtatása Jegyzetfüzet A jegyzetfüzeteket a jegyzetfüzet ütemezett eseményei aktiválják.
Jegyzetfüzet-folyamat futtatása Jegyzetfüzet A jegyzetfüzetet a folyamat aktiválja.
Jegyzetfüzet VS Code futtatása Jegyzetfüzet A jegyzetfüzet a VS Code-ban fut.
Spark-feladat futtatása Spark-feladat definíciója A Spark batch-feladat futtatásai a felhasználó beküldése által kezdeményezve.
Spark-feladat ütemezett futtatása Spark-feladat definíciója A batch-feladatokat a jegyzetfüzet ütemezett eseményei aktiválják.
Spark-feladat folyamatának futtatása Spark-feladat definíciója A Batch-feladat folyamat által aktivált futtatásai.
Spark-feladat VS Code futtatása Spark-feladat definíciója A VS Code-ból küldött Spark-feladatdefiníció.

Nem jelentett Spark-kapacitás kihasználtság

Vannak olyan Spark-kapacitáshasználati tevékenységek, amelyek nem szerepelnek a metrikák alkalmazásban. Ezek közé a tevékenységek közé tartoznak a rendszer Spark-feladatai a könyvtárkezeléshez, valamint bizonyos Spark-feladatok a Spark Live-készlethez vagy az élő munkamenetekhez.

  • Erőforrástár-kezelés – A tárkezelés munkaterületi szintű kapacitáshasználatát nem jelenti a metrikák alkalmazás.

  • System Spark-feladatok – A spark-kapacitás felhasználása, amely nincs jegyzetfüzethez, Spark-feladatdefinícióhoz vagy lakehouse-hoz társítva, nem szerepel a kapacitásjelentésben.

Kapacitásfelhasználási jelentések

A Sparkhoz kapcsolódó összes művelet háttérműveletként van besorolva. A Spark kapacitáshasználata egy jegyzetfüzet, egy Spark-feladatdefiníció vagy egy tóház alatt jelenik meg, és a művelet neve és eleme szerint összesíti.

Képernyőkép az elemek jelentéséről.

Háttérműveleti jelentés

A háttérműveletek egy adott időponthoz jelennek meg. A jelentés táblájában minden sor egy felhasználói műveletre hivatkozik. Tekintse át a Felhasználó oszlopot, hogy azonosítsa, ki hajtott végre egy adott műveletet. Ha további információra van szükséged egy adott műveletről, használhatod az Operation ID-t, hogy megkeresd azt a Fabric monitoring hubban.

Képernyőkép a háttérműveleti jelentésről.