Apache Flink alkalmazásmódú fürt a HDInsighton az AKS-en

Cikk
03/22/2024

Fontos

Ez a szolgáltatás jelenleg előzetes kiadásban elérhető. A Microsoft Azure Előzetes verzió kiegészítő használati feltételei további jogi feltételeket tartalmaznak, amelyek a bétaverzióban, előzetes verzióban vagy egyébként még nem általánosan elérhető Azure-funkciókra vonatkoznak. Erről az adott előzetes verzióról az Azure HDInsight az AKS előzetes verziójában tájékozódhat. Ha kérdése vagy funkciójavaslata van, küldjön egy kérést az AskHDInsightban a részletekkel együtt, és kövessen minket további frissítésekért az Azure HDInsight-közösségről.

Az AKS-en futó HDInsight mostantól Flink alkalmazásmódú fürtöt kínál. Ez a fürt lehetővé teszi a fürt Flink-alkalmazásmódjának életciklusának kezelését az Azure Portalon, könnyen használható felülettel és Azure Resource Management Rest API-kkal. Az alkalmazásmódú fürtök célja a nagy és hosszú ideig futó feladatok támogatása dedikált erőforrásokkal, valamint erőforrás-igényes vagy kiterjedt adatfeldolgozási feladatok kezelése.

Ez az üzembe helyezési mód lehetővé teszi, hogy dedikált erőforrásokat rendeljen bizonyos Flink-alkalmazásokhoz, biztosítva, hogy elegendő számítási teljesítménnyel és memóriával rendelkezzenek a nagy számítási feladatok hatékony kezeléséhez. 

Előnyök

Egyszerűsített fürttelepítés a Job jar használatával.
Felhasználóbarát REST API: Az AKS-en futó HDInsight felhasználóbarát ARM Rest API-kat biztosít az alkalmazás módú feladatműveleteinek(például Frissítés, Savepoint, Mégse, Törlés) kezeléséhez.
Egyszerűen kezelhető feladat Frissítések és állapotkezelés: Az Azure Portal natív integrációja zökkenőmentesen frissítheti a feladatokat, és visszaállíthatja őket az utolsó mentett állapotba (savepoint). Ez a funkció biztosítja a folyamatosságot és az adatintegritást a feladat teljes életciklusa során.
Flink-feladatok automatizálása az Azure Pipelines vagy más CI/CD-eszközök használatával: A HDInsight AKS-en való használatával a Flink-felhasználók hozzáférhetnek a felhasználóbarát ARM Rest API-hoz, zökkenőmentesen integrálhatja a Flink-feladatműveleteket az Azure Pipelineba vagy más CI/CD-eszközökbe.

Legfontosabb funkciók

Feladatok leállítása és indítása a Savepointokkal: A felhasználók kecsesen állíthatják le és indíthatják el az Flink AppMode-feladatokat az előző állapotukból (Savepoint). A mentési pontok biztosítják a feladatok előrehaladásának megőrzését, ami zökkenőmentes újraküldést tesz lehetővé.
Feladat Frissítések: A felhasználó a tárfiók jarjának frissítése után frissítheti a futó AppMode-feladatot. Ez a frissítés automatikusan felveszi a mentési pontot, és elindítja az AppMode feladatot egy új jar használatával.
Állapot nélküli Frissítések: Az AppMode-feladatok új újraindításának végrehajtása az állapot nélküli frissítések révén egyszerűsítve történik. Ez a funkció lehetővé teszi, hogy a felhasználók tiszta újraindítást kezdeményezhessenek a frissített feladat jar használatával.
Savepoint Management: A felhasználók bármikor létrehozhatnak mentési pontokat a futó feladataikhoz. Ezek a mentési pontok listázhatók, és szükség szerint újraindulhatnak a feladat egy adott ellenőrzőpontról.
Megszakítás: Véglegesen megszakítja a feladatot.
Törlés: AppMode-fürt törlése.

Flink-alkalmazásfürt létrehozása

Előfeltételek

Az előfeltételek teljesítése a következő szakaszokban:

Előfizetési előfeltételek.
Erőforrás-előfeltételek.
Fürtkészlet létrehozása.
Feladat jar hozzáadása a Tárfiókban.

A Flink alkalmazásmódú fürt beállítása előtt több előkészítő lépésre van szükség. Az egyik ilyen lépés az App Mode feladat JAR-jának a fürt tárfiókjában való elhelyezése.
Címtár létrehozása alkalmazásmódú feladat JAR-hoz:

A dedikált tárolókban hozzon létre egy könyvtárat, amelyben feltölti az App Mode-feladat JAR-fájlját. Ez a könyvtár az Flink-fürt vagy -feladat osztályútvonalába felvenni kívánt JAR-fájlok tárolásának helye.
Savepoints Directory (nem kötelező):

Ha a felhasználók mentési pontokat kívánnak használni a feladat végrehajtása során, hozzon létre egy külön könyvtárat a tárfiókban ezeknek a mentési pontoknak a tárolásához. Ez a könyvtár a mentési pontok ellenőrzőpont-adatainak és metaadatainak tárolására szolgál.
Példa könyvtárstruktúra:

Flink alkalmazásmódú fürt létrehozása

Az Flink AppMode-fürtök a fürtkészlet üzembe helyezése után hozhatók létre. Ha egy meglévő fürtkészlettel kezdi meg a műveletet, vizsgáljuk meg a lépéseket.

Az Azure Portalon írja be a HDInsight-fürtkészleteket/HDInsight/HDInsightot az AKS-en, és válassza az Azure HDInsightot az AKS-fürtkészleteken a fürtkészletek lapjára való ugráshoz. Az AKS-fürtkészletek HDInsight lapján válassza ki azt a fürtkészletet, amelyben új Flink-fürtöt szeretne létrehozni.

A fürtkészlet adott lapján kattintson az + Új fürt elemre, és adja meg a következő információkat:

Tulajdonság	Leírás
Előfizetés	Ez a mező automatikusan feltöltődött a fürtkészlethez regisztrált Azure-előfizetéssel.
Erőforráscsoport	Ez a mező automatikusan feltölti és megjeleníti a fürtkészlet erőforráscsoportját.
Régió	Ez a mező automatikusan feltölti és megjeleníti a fürtkészleten kijelölt régiót.
Fürtkészlet	Ez a mező automatikusan feltölti és megjeleníti a fürtkészlet nevét, amelyen a fürt most létrejön. Ha másik készletben szeretne fürtöt létrehozni, keresse meg a fürtkészletet a portálon, és kattintson az + Új fürt elemre.
HDInsight az AKS-készlet verzióján	Ez a mező automatikusan feltölti és megjeleníti a fürtkészlet azon verzióját, amelyen a fürt most létrejön.
HDInsight az AKS-verzión	Válassza ki a HDInsight alverzióját vagy javítását az új fürt AKS-en.
Fürt típusa	A legördülő listában válassza az Flink lehetőséget.
Fürt neve	Adja meg az új fürt nevét.
Felhasználó által hozzárendelt felügyelt identitás	A legördülő listában válassza ki a fürthöz használni kívánt felügyelt identitást. Ha Ön a felügyeltszolgáltatás-identitás (MSI) tulajdonosa, és az MSI nem rendelkezik felügyelt identitáskezelő szerepkörrel a fürtön, kattintson a mező alatti hivatkozásra az AKS-ügynökkészlet MSI-hez szükséges engedélyének hozzárendeléséhez. Ha az MSI már rendelkezik a megfelelő engedélyekkel, nem jelenik meg hivatkozás. Tekintse meg az MSI-hez szükséges egyéb szerepkör-hozzárendelések előfeltételeit.
Tárfiók	A legördülő listában válassza ki az Flink-fürthöz társítani kívánt tárfiókot, és adja meg a tároló nevét. A felügyelt identitás további hozzáférést kap a megadott tárfiókhoz a "Storage Blob Data Owner" szerepkör használatával a fürt létrehozása során.
Virtuális hálózat	A fürt virtuális hálózata.
Alhálózat	A fürt virtuális alhálózata.

Hive-katalógus engedélyezése flink SQL-hez:

Tulajdonság	Leírás
Hive-katalógus használata	Engedélyezze ezt a beállítást egy külső Hive-metaadattár használatához.
SQL Database for Hive	A legördülő listában válassza ki azt az SQL Database-adatbázist, amelyben hive-metaadattártáblákat szeretne hozzáadni.
SQL-rendszergazdai felhasználónév	Adja meg az SQL Server rendszergazdai felhasználónevét. Ezt a fiókot a metaadattár használja az SQL-adatbázissal való kommunikációhoz.
Key Vault	A legördülő listában válassza ki a Key Vaultot, amely az SQL Server rendszergazdai felhasználónevéhez tartozó jelszót tartalmazó titkos kulcsot tartalmazza. Olyan hozzáférési szabályzatot kell beállítania, amely tartalmazza az összes szükséges engedélyt, például a kulcsengedélyeket, a titkos kulcsengedélyeket és a tanúsítványengedélyeket az MSI-hez, amelyet a fürt létrehozásához használnak. Az MSI-nek Key Vault Rendszergazda istrator szerepkörre van szüksége. Adja hozzá a szükséges engedélyeket az IAM használatával.
SQL-jelszó titkos neve	Adja meg annak a Key Vaultnak a titkos nevét, amelyben az SQL-adatbázis jelszava található.

Feljegyzés

Alapértelmezés szerint a Hive-katalógus Storage-fiókját használjuk, ugyanazzal a tárfiókkal és tárolóval, amelyet a fürt létrehozásakor használunk.

Válassza a Tovább elemet: A folytatáshoz konfigurálás.

A Konfiguráció lapon adja meg a következő információkat:

Tulajdonság	Leírás
Csomópont mérete	Válassza ki a fő és a feldolgozó csomópontok Flink csomópontjaihoz használandó csomópontméretet.
Csomópontok száma	Válassza ki az Flink-fürt csomópontjainak számát; alapértelmezés szerint a fő csomópontok kettő. A feldolgozó csomópontok méretezése segít meghatározni az Flink feladatkezelői konfigurációit. A feladatkezelő és az előzménykiszolgálók a fő csomópontokon találhatók.

Az Üzembe helyezés szakaszban válassza az üzembehelyezési típust, mivel az alkalmazásmód a következő információkat adja meg:

Tulajdonság	Leírás
Jar elérési útja	Adja meg a feladat jar ABFS (Storage) elérési útját. Például: `abfs://flink@teststorage.dfs.core.windows.net/appmode/job.jar`
Belépési osztály (nem kötelező)	Az alkalmazásmódú fürt főosztálya. Például: com.microsoft.testjob
Args (nem kötelező)	A feladat főosztályának argumentuma.
Mentési pont neve	A feladat indításához használni kívánt régi mentési pont neve
Frissítési mód	Válassza az alapértelmezett frissítési lehetőséget. Ez a beállítás akkor használatos, ha a fürt főverzió-frissítése történik. Három lehetőség áll rendelkezésre. FRISSÍTÉS: Akkor használatos, ha a felhasználó a frissítés után az utolsó mentési pontból szeretne helyreállni. STATELESS_UPDATE: Akkor használatos, ha a felhasználó a frissítés után újra szeretné indítani a feladatot. LAST_STATE_UPDATE: Akkor használatos, ha egy felhasználó a frissítést követően az utolsó ellenőrzőpontról szeretné helyreállítani a feladatot
Flink-feladat konfigurálása	Adjon hozzá további konfigurációt a Flink-feladathoz.

Válassza a "Feladatnapló összesítése" lehetőséget. Jelölje be a jelölőnégyzetet, ha a feladatnaplót távoli tárolóba szeretné feltölteni. Segít a feladatokkal kapcsolatos problémák hibakeresésében. A feladatnapló alapértelmezett helye a "StorageAccount/Container/DeploymentId/logs". Az alapértelmezett naplókönyvtárat a "pipeline.remote.log.dir" konfigurálásával módosíthatja. A naplógyűjtés alapértelmezett időköze 600 másodperc. A felhasználó a "pipeline.log.aggregation.interval" konfigurálásával módosítható.

A Szolgáltatáskonfiguráció szakaszban adja meg a következő információkat:

Tulajdonság	Leírás
Feladatkezelő processzora	Egész. Adja meg a Feladatkezelő processzorainak méretét (magokban).
Feladatkezelő memóriája MB-ban	Adja meg a Feladatkezelő memóriaméretét MB-ban. Min. 1800 MB.
Feladatkezelő processzora	Egész. Adja meg a Feladatkezelő processzorainak számát (magokban).
Feladatkezelő memóriája MB-ban	Adja meg a memória méretét MB-ban. Legalább 1800 MB.
Előzménykiszolgáló processzora	Egész. Adja meg a Feladatkezelő processzorainak számát (magokban).
Előzménykiszolgáló memóriája MB-ban	Adja meg a memória méretét MB-ban. Legalább 1800 MB.

Kattintson a Tovább gombra: Integráció gombra a következő oldalra lépéshez.

Az Integráció lapon adja meg a következő információkat:

Tulajdonság	Leírás
Log Analytics	Ez a funkció csak akkor érhető el, ha a fürtkészlethez társított log analytics-munkaterület, miután engedélyezte a naplók gyűjtését, kiválasztható.
Azure Prometheus	Ez a funkció a Elemzések és a naplók közvetlenül a fürtben való megtekintésére szolgál, ha metrikákat és naplókat küld az Azure Monitor-munkaterületre.

A Következő: Címkék gombra kattintva lépjen tovább a következő oldalra.

A Címkék lapon adja meg a következő információkat:

Tulajdonság	Leírás
Név	Opcionális. Adjon meg egy nevet, például a HDInsightot az AKS-en a fürterőforrásokhoz társított összes erőforrás egyszerű azonosításához.
Érték	Ezt üresen hagyhatja.
Erőforrás	Válassza az Összes kijelölt erőforrás lehetőséget.

Válassza a Tovább elemet: Véleményezés és létrehozás a folytatáshoz.
A Véleményezés + létrehozás lapon keresse meg az ellenőrzés sikeres üzenetét a lap tetején, majd kattintson a Létrehozás gombra.

A folyamat üzembe helyezése lap, amelyen a fürt létrejön. A fürt létrehozása 5–10 percet vesz igénybe. A fürt létrehozása után megjelenik a "Az üzembe helyezés befejeződött" üzenet. Ha ellép a lapról, ellenőrizheti az értesítések aktuális állapotát.

Alkalmazásfeladat kezelése a Portálról

A HDInsight AKS lehetővé teszi a Flink-feladatok kezelését. A sikertelen feladat újraindulhat. Indítsa újra a feladatot a portálról.

A Flink-feladat portálról való futtatásához nyissa meg a következőt:

Portal > HDInsight on AKS Cluster Pool > Flink Cluster > Gépház > Flink Jobs.

Leállítás: A leállítási feladathoz nem volt szükség paraméterekre. A felhasználó a művelet kiválasztásával leállíthatja a feladatot. A feladat leállítása után a feladat állapota a portálon LEÁLL.
Kezdés: Elindítja a feladatot a SavePointból. A feladat elindításához válassza ki a leállított feladatot, és indítsa el.
Frissítés: A frissítés segít újraindítani a feladatokat a frissített feladatkóddal. A felhasználóknak frissítenie kell a legújabb feladat jar-t a tárolóhelyen, és frissítenie kell a feladatot a portálról. Ez a művelet leállítja a feladatot a SavePoint használatával, és a legújabb jar használatával kezdi újra.
Állapot nélküli frissítés: Az állapot nélküli olyan, mint egy frissítés, de a feladat új újraindítását igényli a legújabb kóddal. A feladat frissítése után a portálon futóként jelenik meg a feladat állapota.
Savepoint: A Flink-feladat mentési pontjának használata.
Megszakítás: Állítsa le a feladatot.
Törlés: AppMode-fürt törlése.
Feladat részleteinek megtekintése: A feladat részleteinek megtekintéséhez a felhasználó rákattinthat a feladat nevére, és megadja a feladat részleteit és az utolsó művelet eredményét.

A sikertelen műveletek esetén ez a JSON-nézet részletes kivételeket és a hiba okait ismerteti.

Megosztás a következőn keresztül: