Monitorovanie využitia kapacity Apache Spark

Účelom tohto článku je poskytnúť sprievodný materiál pre správcov, ktorí chcú monitorovať aktivity v kapacitách, ktoré spravujú. Vďaka využitiu zostáv o spotrebe kapacity Apache Spark, ktoré sú k dispozícii v aplikácii Metrika kapacity služby Microsoft Fabric, môžu správcovia získať prehľad o spotrebe kapacity fakturácie služby Spark pre položky vrátane definícií úloh Lakehouse, Notebook a Apache Spark. Niektoré aktivity využitia kapacity Spark nie sú v aplikácii nahlásené.

Nahlásená spotreba kapacity Spark

Nasledujúce operácie z lakehouses, notebooky, a Spark definície úloh sú považované za fakturovateľné činnosti.

Názov operácie	Položka	Komentáre
Operácie v lakehouse	Lakehouse	Používatelia s ukážkou tabuľky v prieskumníkovi Lakehouse.
Zaťaženie tabuľky Lakehouse	Lakehouse	Používatelia načítajú tabuľku delta v prieskumníkovi Lakehouse.
Spustenie poznámkového bloku	Synapse Notebook	Poznámkový blok Synapse je spúšťaný manuálne používateľmi.
Notebook HC spustiť	Synapse Notebook	Notebook Synapse beží v rámci relácie Apache Spark s vysokou mierou súbežnosti.
Plánované spustenie poznámkového bloku	Synapse Notebook	Poznámkový blok Synapse je spúšťaný plánovanými udalosťami poznámkového bloku.
Spustenie kanála poznámkového bloku	Synapse Notebook	Poznámkový blok Synapse sa spustí spúšťaným kanálom.
Spustenie notebooku VS Code	Synapse Notebook	Poznámkový blok Synapse je spustený v nástroji VS Code.
Spustenie úlohy spark	Spark Job Definition	Spustenie dávkovej úlohy služby Spark iniciované odoslaním používateľmi.
Plánované spustenie úlohy v spark	Spark Job Definition	Synapse dávkové úlohy beží spúšťané notebook plánované udalosti.
Spustenie kanála úloh spark	Spark Job Definition	Úloha Synapse batch je spustená kanálom.
Spustenie úlohy Spark VS Code	Spark Job Definition	Definícia úlohy Synapse Spark odoslaná z VS Code.

Spark capacity consumption that isn't reported (Spotreba kapacity spark, ktorá nie je nahlásená)

V aplikácii metriky nie sú nahlásené niektoré aktivity využitia kapacity služby Spark. Tieto aktivity zahŕňajú úlohy systému Spark pre správu knižníc a niektoré úlohy systému Spark pre fond Spark Live alebo živé relácie.

• Správa knižníc – spotreba kapacity spojená so správou knižnice na úrovni pracovného priestoru nie je v aplikácii metriky nahlásená.

• Úlohy v službe Spark systému – spotreba kapacity, ktorá nie je spojená s poznámkovým blokom, definíciou práce v službe Spark alebo službou lakehouse, nie je zahrnutá v tvorbe zostáv kapacity.

Zostavy spotreby kapacity

Všetky operácie súvisiace so službou Spark sa klasifikujú ako operácie na pozadí. Spotreba kapacity od služby Spark sa zobrazuje v notebooku, definícii úlohy služby Spark alebo v službe Lakehouse a je agregovaná podľa názvu operácie a položky.

Zostava operácií na pozadí

Operácie na pozadí sa zobrazujú pre konkrétny časový bod. V tabuľke zostavy každý riadok odkazuje na operáciu používateľa. Skontrolujte stĺpec Používateľ a identifikujte, kto vykonal konkrétnu operáciu. Ak potrebujete ďalšie informácie o konkrétnej operácii, môžete použiť jej ID operácie a vyhľadať ho v centre monitorovania služby Microsoft Fabric.

Súvisiaci obsah

• Inštalácia aplikácie Premium Metrics
• Používanie aplikácie Premium Metrics