Správa konfigurace Apache Flink® ve službě HDInsight v AKS

Důležité

Tato funkce je aktuálně dostupná jako ukázková verze. Doplňkové podmínky použití pro Microsoft Azure Preview obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, ve verzi Preview nebo ještě nejsou vydány v obecné dostupnosti. Informace o této konkrétní verzi Preview najdete v tématu Azure HDInsight o službě AKS ve verzi Preview. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a sledujte nás o dalších aktualizacích v komunitě Azure HDInsight.

HDInsight v AKS poskytuje sadu výchozích konfigurací Apache Flinku pro většinu vlastností a několik z nich na základě běžných profilů aplikací. Pokud ale potřebujete upravit vlastnosti konfigurace Flink, aby se zlepšil výkon některých aplikací s nastavením využití stavu, paralelismu nebo paměti, můžete změnit konfiguraci úlohy Flink pomocí oddílu úloh Flink v HDInsight v clusteru AKS.

1. Přejděte na Nastavení > úlohy > Flink klikněte na aktualizovat.

   

2. Kliknutím na + Přidat řádek upravte konfiguraci.

   

   Tady se interval kontrolního bodu změní na úrovni clusteru.

3. Kliknutím na TLAČÍTKO OK a následným uložením aktualizujte změny.

4. Po uložení se nové konfigurace aktualizují během několika minut (přibližně 5 minut).

5. Konfigurace, které je možné aktualizovat pomocí nástroje Configuration Management Nastavení.

   processMemory size:

6. Výchozí nastavení pro velikost paměti procesu nebo správce úloh a správce úloh by byla paměť nakonfigurovaná uživatelem během vytváření clusteru.

7. Tuto velikost lze nakonfigurovat pomocí následující vlastnosti konfigurace. Pokud chcete změnit paměť procesu správce úloh, použijte tuto konfiguraci.

   taskmanager.memory.process.size : <value>

   Příklad: taskmanager.memory.process.size : 2000mb

8. Pro správce úloh

   jobmanager.memory.process.size : <value>

   Poznámka:

   Maximální konfigurovatelná paměť procesu je rovna paměti nakonfigurované pro jobmanager/taskmanager.

Interval kontrolního bodu

Interval kontrolního bodu určuje, jak často Flink aktivuje kontrolní bod. Definované v milisekundách a lze je nastavit pomocí následující vlastnosti konfigurace.

execution.checkpoint.interval: <value>

Výchozí nastavení je 60 000 milisekund (1 minuta), tuto hodnotu je možné podle potřeby změnit.

Back-end stavu

Back-end stavu určuje, jak Flink spravuje a udržuje stav vaší aplikace. Ovlivňuje způsob ukládání kontrolních bodů. Back-end stavu můžete nakonfigurovat pomocí následující vlastnosti:

state.backend: <value>

Ve výchozím nastavení clustery Apache Flink ve službě HDInsight v AKS používají rocks DB.

Cesta k úložišti kontrolního bodu

Ve výchozím nastavení povolíme trvalé kontrolní body uložením kontrolních bodů do abfs úložiště nakonfigurovaným uživatelem. I když úloha selže, protože kontrolní body jsou trvalé, můžete ji snadno spustit s nejnovějším kontrolním bodem.

state.checkpoints.dir: <path> Nahraďte <path> požadovanou cestou, kde jsou kontrolní body uložené.

Ve výchozím nastavení je uložený v účtu úložiště (ABFS), který uživatel nakonfiguroval. Tuto hodnotu je možné změnit na libovolnou požadovanou cestu, pokud k ní budou mít přístup pody Flink.

Maximální počet souběžných kontrolních bodů

Maximální počet souběžných kontrolních bodů můžete omezit nastavením následující vlastnosti: checkpoint.max-concurrent-checkpoints: <value>

Nahraďte <value> požadovaným maximálním počtem souběžných kontrolních bodů. Například 1 umožňuje najednou jenom jeden kontrolní bod.

Maximální zachované kontrolní body

Maximální počet kontrolních bodů, které se mají zachovat, můžete omezit nastavením následující vlastnosti: state.checkpoints.num-retained: <value> Nahraďte <value> požadovaným maximálním číslem. Ve výchozím nastavení uchováváme maximálně pět kontrolních bodů.

Cesta k úložišti služby Savepoint

Trvalé savepointy ve výchozím nastavení povolíme uložením bodů ukládání do abfs úložiště (jak je nakonfigurováno uživatelem). Pokud chce uživatel úlohu zastavit a později spustit s konkrétním bodem uložení, může toto umístění nakonfigurovat. state.checkpoints.dir: <path> Nahraďte <path> požadovanou cestu, kde jsou uloženy body uložení. Ve výchozím nastavení je uživatel uložený v účtu úložiště nakonfigurovaný. (Podporujeme ABFS). Tuto hodnotu je možné změnit na libovolnou požadovanou cestu, pokud k ní budou mít přístup pody Flink.

Vysoká dostupnost správce úloh

Ve službě HDInsight v AKS používá Flink jako back-end Kubernetes. I když správce úloh selže mezi známým nebo neznámým problémem, pod se během několika sekund restartuje. Proto i v případě restartování úlohy z důvodu tohoto problému se úloha obnoví zpět z nejnovějšího kontrolního bodu.

Často kladené dotazy

Proč dochází k selhání úlohy mezi. I když úlohy náhle selžou, pokud se kontrolní body provádějí nepřetržitě, úloha se ve výchozím nastavení restartuje z nejnovějšího kontrolního bodu.

Chcete změnit strategii úlohy mezi? Existují případy použití, kdy je potřeba upravit úlohu v produkčním prostředí kvůli určité chybě na úrovni úlohy. Během této doby může uživatel úlohu zastavit, což by automaticky zabralo bod uložení a uložil ho do umístění bodu uložení.

1. Klikněte na tlačítko savepoint a počkejte, savepoint až se dokončí.

   

2. Po dokončení bodu uložení se zobrazí kliknutí na tlačítko Spustit a Spustit úlohu. V rozevíracím seznamu vyberte název bodu uložení. V případě potřeby upravte všechny konfigurace. A klikněte na OK.

   

Vzhledem k tomu, že je v úloze k dispozici savepoint, Flink ví, odkud začít zpracovávat data.

Reference

• Konfigurace Apache Flinku
• Názvy apache, Apache Kafka, Kafka, Apache Flink, Flink a přidružených opensourcových projektů jsou ochranné známky Apache Software Foundation (ASF).