Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Tento článek popisuje, jak optimalizovat konfiguraci clusteru Apache Spark pro zajištění nejlepšího výkonu ve službě Azure HDInsight.
Přehled
V závislosti na úloze clusteru Spark můžete určit, že ne výchozí konfigurace Sparku by mohla vést k optimalizovanějšímu spuštění úlohy Sparku. Proveďte testování srovnávacích testů s ukázkovými úlohami a ověřte všechny konfigurace clusteru, které nejsou výchozí.
Tady jsou některé běžné parametry, které můžete upravit:
| Parametr | Popis |
|---|---|
| --num-executors | Nastaví odpovídající počet exekutorů. |
| --executor-cores | Nastaví počet jader pro každý exekutor. Obvykle byste měli mít exekutory střední velikosti, protože jiné procesy spotřebovávají některé dostupné paměti. |
| --executor-memory | Nastaví velikost paměti pro každého vykonavatele, který řídí velikost haldy na YARN. Vyhraďte paměť pro režii při provádění. |
Vyberte správnou velikost exekutoru.
Při rozhodování o konfiguraci exekutoru zvažte režii garbage collection (GC) v Javě.
Faktory pro zmenšení velikosti exekutoru:
- Snižte velikost haldy pod 32 GB, abyste udrželi režii GC < 10 %.
- Snižte počet jader, abyste udrželi režii GC méně než 10 %.
Faktory pro zvětšení velikosti exekutoru:
- Snižte komunikační režii mezi exekutory.
- Snižte počet otevřených připojení mezi exekutory (N2) ve větších clusterech (>100 exekutorů).
- Zvětšete velikost haldy tak, aby vyhovovala úkolům náročným na paměť.
- Volitelné: Snížit paměťovou režii na proces výkonového agenta.
- Volitelné: Zvýšení využití a souběžnosti prostřednictvím přetížení CPU.
Obecně platí, že při výběru velikosti exekutoru:
- Začněte s 30 GB na exekutor a distribuujte dostupná jádra počítačů.
- Zvyšte počet jader exekutoru pro větší clustery (> 100 exekutorů).
- Upravte velikost na základě zkušebních spuštění i na předchozích faktorech, jako jsou režijní náklady na GC.
Při spouštění souběžných dotazů mějte na paměti:
- Začněte s 30 GB na vykonavatele a všemi dostupnými jádry počítače.
- Vytváření více paralelních aplikací Sparku prostřednictvím nadměrného odběru procesoru (přibližně 30% zlepšení latence)
- Distribuce dotazů napříč paralelními aplikacemi
- Upravte velikost na základě zkušebních spuštění a předchozích faktorů, jako jsou režijní náklady spojené s GC.
Další informace o použití Ambari ke konfiguraci exekutorů najdete v tématu Nastavení Apache Sparku – Exekutory Sparku.
Monitorujte výkon dotazů na odlehlé hodnoty nebo jiné problémy s výkonem pomocí zobrazení časového průběhu. Také graf SQL, statistiky úloh atd. Informace o ladění úloh Sparku pomocí YARN a serveru Historie Sparku najdete v tématu Ladění úloh Apache Spark spuštěných ve službě Azure HDInsight. Tipy pro použití serveru časové osy YARN najdete v tématu Přístup k protokolům aplikací Apache Hadoop YARN.
Úlohy se provádějí pomaleji na některých exekutorech nebo uzlech
Někdy je jeden nebo několik exekutorů pomalejší než ostatní a provádění úkolů trvá mnohem déle. K této zpomalení často dochází u větších clusterů (> 30 uzlů). V tomto případě rozdělte práci na větší počet úkolů, aby plánovač mohl kompenzovat pomalé úkoly. Například mít alespoň dvakrát tolik úkolů jako počet jader exekutoru v aplikaci. Můžete také povolit spekulativní provádění úkolů pomocí conf: spark.speculation = true.