Apache Flink® Configuration management in HDInsight on AKS

Fontos

Ez a szolgáltatás jelenleg előzetes kiadásban elérhető. A Microsoft Azure Előzetes verzió kiegészítő használati feltételei további jogi feltételeket tartalmaznak, amelyek a bétaverzióban, előzetes verzióban vagy egyébként még nem általánosan elérhető Azure-funkciókra vonatkoznak. Erről az adott előzetes verzióról az Azure HDInsight az AKS előzetes verziójában tájékozódhat. Ha kérdése vagy funkciójavaslata van, küldjön egy kérést az AskHDInsightban a részletekkel együtt, és kövessen minket további frissítésekért az Azure HDInsight-közösségről.

Az AKS-en futó HDInsight az Apache Flink alapértelmezett konfigurációit biztosítja a legtöbb tulajdonsághoz, és néhányat a gyakori alkalmazásprofilok alapján. Ha azonban módosítania kell az Flink konfigurációs tulajdonságait az állapothasználattal, párhuzamossággal vagy memóriabeállításokkal rendelkező alkalmazások teljesítményének javítása érdekében, módosíthatja a Flink-feladatok konfigurációját az AKS-fürtön található HDInsight Flink-feladatok szakaszával.

1. Lépjen Gépház > Flink-feladatokhoz > kattintson a frissítésre.

   

2. Kattintson a + Sor hozzáadása elemre a konfiguráció szerkesztéséhez.

   

   Itt az ellenőrzőpont-időköz fürtszinten módosul.

3. Frissítse a módosításokat az OK, majd a Mentés gombra kattintva.

4. A mentést követően az új konfigurációk néhány perc (~5 perc) alatt frissülnek.

5. Konfigurációk, amelyek a Configuration Management Gépház használatával frissíthetők.

   processMemory size:

6. A folyamatmemória méretének vagy feladatkezelőjének és feladatkezelőjének alapértelmezett beállításai a felhasználó által a fürt létrehozása során konfigurált memória.

7. Ez a méret az alábbi konfigurációs tulajdonság használatával konfigurálható. A feladatkezelő folyamatmemória módosításához használja ezt a konfigurációt.

   taskmanager.memory.process.size : <value>

   Példa: taskmanager.memory.process.size : 2000mb

8. Feladatmenedzsernek

   jobmanager.memory.process.size : <value>

   Feljegyzés

   A maximális konfigurálható folyamatmemória megegyezik a konfigurált memóriával jobmanager/taskmanager.

Ellenőrzőpont időköze

Az ellenőrzőpont időköze határozza meg, hogy a Flink milyen gyakran aktivál egy ellenőrzőpontot. Ezredmásodpercben definiálva, és a következő konfigurációs tulajdonság használatával állítható be

execution.checkpoint.interval: <value>

Az alapértelmezett beállítás 60 000 ezredmásodperc (1 perc), ez az érték igény szerint módosítható.

State Backend

Az állapot háttérrendszere határozza meg, hogy az Flink hogyan kezeli és őrizze meg az alkalmazás állapotát. Hatással van az ellenőrzőpontok tárolási módjára. Az "állapot-háttérrendszert a következő tulajdonság használatával konfigurálhatja:

state.backend: <value>

Alapértelmezés szerint a HDInsightban az AKS-en futó Apache Flink-fürtök a Rocks DB-t használják.

Ellenőrzőpont tárolási útvonala

Alapértelmezés szerint engedélyezzük az állandó ellenőrzőpontokat úgy, hogy a felhasználó által konfigurált tárolóban abfs tárolja az ellenőrzőpontokat. Még ha a feladat meghiúsul is, mivel az ellenőrzőpontok megmaradnak, könnyen elindítható a legújabb ellenőrzőponttal.

state.checkpoints.dir: <path> Cserélje le <path> a kívánt elérési útra, ahol az ellenőrzőpontok találhatók.

Alapértelmezés szerint a felhasználó által konfigurált tárfiókban (ABFS) tárolva. Ez az érték bármely kívánt útvonalra módosítható, amíg az Flink-podok hozzá tudnak férni.

Egyidejű ellenőrzőpontok maximális száma

Az egyidejű ellenőrzőpontok maximális számát az alábbi tulajdonság beállításával korlátozhatja: checkpoint.max-concurrent-checkpoints: <value>

Cserélje le <value> a kívánt maximális számú egyidejű ellenőrzőpontra. Például 1, ha egyszerre csak egy ellenőrzőpontot engedélyez.

Megtartott ellenőrzőpontok maximális száma

A megtartandó ellenőrzőpontok maximális számát az alábbi tulajdonság beállításával korlátozhatja: state.checkpoints.num-retained: <value> Cserélje le <value> a kívánt maximális számra. Alapértelmezés szerint legfeljebb öt ellenőrzőpontot őrizünk meg.

A Savepoint Storage elérési útja

Alapértelmezés szerint engedélyezzük az állandó mentési pontokat a mentési pontok tárolóban abfs való tárolásával (a felhasználó által konfigurált módon). Ha a felhasználó le szeretné állítani a feladatot, és később egy adott mentési ponttal szeretné elindítani a feladatot, konfigurálhatja ezt a helyet. state.checkpoints.dir: <path> Cserélje le <path> a kívánt elérési útra, ahol a mentési pontok találhatók. Alapértelmezés szerint a felhasználó által konfigurált tárfiókban tárolva. (Támogatjuk az ABFS-t). Ez az érték bármely kívánt útvonalra módosítható, amíg az Flink-podok hozzá tudnak férni.

A Feladatkezelő magas rendelkezésre állása

Az AKS HDInsightban az Flink a Kubernetes-t használja háttérrendszerként. A pod néhány másodpercen belül újraindul, még akkor is, ha a Feladatkezelő valamilyen ismert/ismeretlen probléma miatt meghiúsul. Ezért még akkor is, ha a feladat a probléma miatt újraindul, a feladat visszaáll a legújabb ellenőrzőpontról.

GYIK

Miért működik a feladathiba a kettő között? Még akkor is, ha a feladatok hirtelen meghiúsulnak, ha az ellenőrzőpontok folyamatosan történnek, a feladat alapértelmezés szerint újraindul a legújabb ellenőrzőpontról.

Módosítja a feladatstratégiát a kettő között? Vannak olyan használati esetek, amikor a feladatot éles környezetben kell módosítani valamilyen feladatszintű hiba miatt. Ez idő alatt a felhasználó leállíthatja a feladatot, amely automatikusan mentené a mentési pontokat, és mentené a mentési helyen.

1. Kattintson rá, savepoint és várja meg, savepoint amíg befejeződik.

   

2. A Mentési pont befejezése után kattintson a Start gombra, és megjelenik a Feladat indítása lap. Válassza ki a mentésipont nevét a legördülő listában. Szükség esetén módosítsa a konfigurációkat. És kattintson az OK gombra.

   

Mivel a feladatban a SavePoint van megadva, a Flink tudja, honnan kezdje el feldolgozni az adatokat.

Referencia

• Apache Flink-konfigurációk
• Az Apache, az Apache Kafka, a Kafka, az Apache Flink, a Flink és a kapcsolódó nyílt forráskód projektnevek az Apache Software Foundation (ASF) védjegyei.