Přehled výkonu dotazu

Důležité

Tato funkce je v beta verzi. Správci pracovního prostoru můžou řídit přístup k této funkci ze stránky Previews . Viz Manage Azure Databricks preview.

Tato stránka popisuje přehledy výkonu, které Azure Databricks vrací v historii dotazů a jak s nimi pracovat.

Při spuštění dotazů může Azure Databricks vrátit přehledy, které identifikují příležitosti ke zlepšení výkonu.

Vyhledání přehledů a doporučení pro váš dotaz

Přehledy se zobrazí v historii dotazů a v profilu dotazu. Na panelu podrobností dotazu se zobrazí souhrn přehledů seřazených podle jejich odhadovaného dopadu na celkovou dobu trvání úkolu. Karta Přehledy výkonu v profilu dotazu zobrazuje úplné podrobnosti pro jednotlivé přehledy.

Optimalizace s využitím Genie Code

Pokud dotaz obsahuje užitečné přehledy, vyberte Optimalizovat a otevřete Genie Code. V případě přehledů, které vyžadují změnu dotazu, genie Code dotaz přepíše a zobrazí změny pro vaše schválení. V případě přehledů, které zahrnují změny tabulek nebo výpočtů, genie Code shrnuje doporučené akce jako text ve formátu prostého jazyka.

Další informace o práci s Genie Code najdete v tématu Genie Code.

Přehledy optimalizace dotazů

COVERAGE_FILTER_KEYS_CLUSTERING

Tabulka je v clusteru jedním nebo více klíči, které se během prohledávání tabulky nepoužívají ve filtrech.

Doporučení: Přidejte filtry na klíče clusteringu, abyste snížili počet přečtených bajtů.

COVERAGE_FILTER_KEYS_PARTITIONING

Tabulka je rozdělená podle jednoho nebo více klíčů, které se během prohledávání tabulky nepoužívají ve filtrech.

Doporučení: Přidejte filtry na klíče dělení, abyste snížili počet přečtených bajtů.

COVERAGE_PHOTON

Photon nemůže tuto operaci urychlit, takže dotaz používá modul runtime standardu.

Doporučení: Zkontrolujte omezení Photonu a upravte dotaz tak, aby používal podporovanou cestu spuštění.

EXPLODING_JOIN

Spojení vytváří výrazně více řádků, než čte.

Doporučení: Určete požadovanou podmnožinu výsledků a pak aktualizujte podmínku spojení nebo snižte počet vstupních řádků z obou relací.

FLOW_FULL_RECOMPUTE

Tok se spustí jako úplné překomputování.

Doporučení: Přepište dotaz pro přírůstkovou podporu , aby se snížil počet přečtených bajtů.

REDUNDANT_AGGREGATION

Agregační operace nezměnila výsledek dotazu.

Doporučení: Odeberte agregaci nebo použijte omezení primárního a cizího klíče.

SELECTIVE_JOIN

Spojení vytváří výrazně méně řádků, než čte.

Doporučení: Určete, kterou podmnožinu výsledků potřebujete, a pak před spojením přidejte filtry, abyste snížili vstupní řádky.

WIDE_PROJECTION

Dotazuje všechny sloupce z tabulky.

Doporučení: Project pouze sloupce, které potřebujete omezit na čtení bajtů.

Přehledy rozložení dat

AUTO_LIQUID_CLUSTERING

Tabulka je ručně optimalizovaná a může těžit z automatického shlukování kapalin.

Recommendations:

• Převeďte tabulku z externího na spravovanou , aby se zlepšil výkon a automatická údržba.
• Povolení prediktivní optimalizace v tabulce pro automatické operace údržby
• Povolte automatické clusteringy v tabulce, abyste snížili počet čtení bajtů.

SOUBĚŽNÝ_ZÁPIS

Souběžné zápisy do tabulky způsobují konflikty , které se automaticky vyřeší nebo selžou.

Doporučení: Zkontrolujte historii delta a identifikujte souběžné zápisy a upravte plánování, abyste se vyhnuli konfliktům.

COVERAGE_STATS_DELTA

Statistiky Delta přeskakování dat pro filtrování souborů ve skenech tabulky chybí nebo nejsou úplné, takže dotaz používá filtrování uvnitř souborů.

Stav statistiky pro každý filtr může být jeden z následujících:

• Plné: Statistiky jsou k dispozici pro všechny filtry.
• Částečné: Statistiky jsou k dispozici pro podmnožinu filtrů.
• Nedostupné: Statistiky nejsou k dispozici pro žádný filtr.
• Nepoužité: Statistiky nelze použít, protože filtr převádí datový typ.

Doporučení:Shromážděte statistiky Delta, abyste snížili čtení bajtů.

COVERAGE_STATS_OPTIMIZER

Statistiky optimalizátoru založené na nákladech chybí nebo nejsou neúplné, takže plán dotazů používá standardní heuristiku.

Doporučení:Shromážděte statistiky, abyste optimalizátoru umožnili vytvořit lepší plán.

DATA_SKEW

Data se distribuují nerovnoměrně napříč výpočetními prostředky.

Doporučení: Zkontrolujte distribuci dat a pak použijte k vyrovnávání zatížení klíčové solení nebo před agregaci.

Přehledy výpočetních prostředků a prostředků

DATA_SPILL

Data přetékaná na disk během provádění dotazu, protože data se nevejdou do paměti.

Doporučení: Zvětšete velikost skladu a přidejte paměť. Snižte počet řádků, sloupců nebo velikosti velkých sloupců (řetězců, polí, map, struktur), abyste snížili využití paměti.

EXCESSIVE_QUEUE_TIME

Dotaz čekal ve frontě skladu .

Doporučení: Zvyšte maximální počet clusterů ve skladu, abyste zkrátili dobu fronty.

IO_THROTTLING

Poskytovatel cloudu omezil požadavek na cloudové úložiště .

Doporučení: Obraťte se na správce a požádejte o zvýšení limitů požadavků na úložiště od poskytovatele cloudu.

Další prostředky

Širší přehled osvědčených postupů pro výkon najdete v komplexní příručce pro optimalizaci úloh Databricks, Spark a Delta Lake.