Mi az Az Apache Flink® az Azure HDInsightban az AKS-en? előzetes verziója?

  • Cikk

Fontos

Ez a szolgáltatás jelenleg előzetes kiadásban elérhető. A Microsoft Azure Előzetes verzió kiegészítő használati feltételei további jogi feltételeket tartalmaznak, amelyek a bétaverzióban, előzetes verzióban vagy egyébként még nem általánosan elérhető Azure-funkciókra vonatkoznak. Erről az adott előzetes verzióról az Azure HDInsight az AKS előzetes verziójában tájékozódhat. Ha kérdése vagy funkciójavaslata van, küldjön egy kérést az AskHDInsightban a részletekkel együtt, és kövessen minket további frissítésekért az Azure HDInsight-közösségről.

Az Apache Flink egy keretrendszer és elosztott feldolgozási motor az állapotalapú számításokhoz kötetlen és határolt adatfolyamokon. Az Flink úgy lett kialakítva, hogy minden gyakori fürtkörnyezetben fusson, számítási és állapotalapú streamelési alkalmazásokat végezzen memóriabeli sebességgel és bármilyen méretben. Az alkalmazások több ezer feladatra vannak párhuzamosak, amelyeket egy fürtben osztanak el és hajtanak végre egyidejűleg. Ezért az alkalmazások korlátlan mennyiségű vCPU-t, fő memóriát, lemezt és hálózati IO-t használhatnak. A Flink emellett könnyen fenntartja a nagy alkalmazásállapotot. Az aszinkron és növekményes ellenőrzőpont-algoritmus minimális hatással van a késések feldolgozására, miközben pontosan egyszer biztosítja az állapotkonzisztenciát.

Az Apache Flink egy nagymértékben skálázható elemzési motor a streamfeldolgozáshoz.

A Flink által kínált főbb funkciók a következők:

  • Határolókeretes és kötetlen streameken végzett műveletek
  • Memóriateljesítmény
  • A streamelés és a kötegelt számítások képessége
  • Alacsony késés, nagy átviteli sebesség
  • Pontosan egyszer történő feldolgozás
  • Magas rendelkezésre állás
  • Állapot- és hibatűrés
  • Teljes mértékben kompatibilis a Hadoop-ökoszisztémával
  • Egyesített SQL API-k streamhez és köteghez is

Flink architekturális diagram.

Az Apache Flink kiváló választás számos különböző típusú alkalmazás fejlesztésére és futtatására a széles körű funkcióknak köszönhetően. Az Flink funkciói közé tartozik a stream- és kötegelt feldolgozás támogatása, a kifinomult állapotkezelés, az eseményidő feldolgozási szemantikája, valamint az állapotra vonatkozó konzisztencia pontosan egyszeri biztosítása. Az Flinknek nincs egyetlen meghibásodási pontja sem. A Flink bizonyítottan több ezer magra és terabájtos alkalmazásállapotra skálázható, nagy átviteli sebességet és alacsony késést biztosít, és a világ legigényesebb streamfeldolgozó alkalmazásait működteti.

  • Csalásészlelés: A Flink segítségével valós időben észlelhetők a hamis tranzakciók vagy tevékenységek, ha összetett szabályokat és gépi tanulási modelleket alkalmaz a streamelési adatokra.
  • Anomáliadetektálás: A Flink segítségével azonosíthatók a kiugró értékek vagy a rendellenes minták a streamelési adatokban, például az érzékelők leolvasása, a hálózati forgalom vagy a felhasználói viselkedés.
  • Szabályalapú riasztás: A Flink használatával riasztásokat vagy értesítéseket indíthat el előre meghatározott feltételek vagy küszöbértékek alapján a streamelési adatokon, például a hőmérsékleten, a nyomáson vagy a tőzsdei árakon.
  • Üzleti folyamatok monitorozása: A Flink segítségével valós időben nyomon követheti és elemezheti az üzleti folyamatok vagy munkafolyamatok állapotát és teljesítményét, például megrendelések teljesítését, kézbesítését vagy ügyfélszolgálatát.
  • Webalkalmazás (közösségi hálózat):: A Flink olyan webalkalmazások energiaellátására használható, amelyek a felhasználó által létrehozott adatok valós idejű feldolgozását igénylik, például üzeneteket, kedveléseket, megjegyzéseket vagy javaslatokat.

További információ az Apache Flink-használati esetek gyakori használati eseteiről

Az Apache Flink-fürtök az AKS-en futó HDInsightban egy teljes mértékben felügyelt szolgáltatás. A HDInsightban az AKS-en történő Flink-fürt létrehozásának előnyei itt találhatók.

Szolgáltatás Leírás
Könnyű létrehozás Az Azure Portal, az Azure PowerShell vagy az SDK használatával percek alatt létrehozhat egy új Flink-fürtöt a HDInsightban. Tekintse meg az Apache Flink-fürt használatának első lépéseit a HDInsightban az AKS-en.
Egyszerű használat A HDInsightban az AKS-en futó Flink-fürtök közé tartozik a portálalapú konfigurációkezelés és a skálázás. A feladatkezelési API mellett a REST API-t vagy az Azure Portalt is használhatja a feladatkezeléshez.
REST API-k A HDInsightban az AKS-ben található Flink-fürtök közé tartozik a Feladatkezelési API, egy REST API-alapú Flink-feladatbeküldési módszer, a feladatok távoli elküldéséhez és monitorozásához az Azure Portalon.
Üzembehelyezési típus A Flink munkamenet módban vagy alkalmazás módban hajthat végre alkalmazásokat. Az AKS-en futó HDInsight jelenleg csak a munkamenetfürtöket támogatja. Egy munkamenetfürtön több Flink-feladatot is futtathat. Az alkalmazásmód az AKS-fürtökön futó HDInsight ütemtervében szerepel
A Metastore támogatása Az AKS-en futó HDInsight Flink-fürtöi támogathatják a Hive Metastore-nal rendelkező katalógusokat különböző nyílt fájlformátumokban, távoli ellenőrzőpontokkal az Azure Data Lake Storage Gen2-be.
Az Azure Storage támogatása A HDInsight Flink-fürtöi az Azure Data Lake Storage Gen2-t használhatják fájlelfoglalóként. További információ a Data Lake Storage Gen2-ről: Azure Data Lake Storage Gen2.
Integráció az Azure-szolgáltatásokkal Az AKS-en futó HDInsight Flink-fürt az Azure Event Hubs és az Azure HDInsight mellett a Kafkába is integrálható. Streamelési alkalmazásokat az Event Hubs vagy a HDInsight használatával hozhat létre.
Alkalmazkodóképesség Az AKS-en futó HDInsight lehetővé teszi az Flink-fürtcsomópontok skálázását az automatikus skálázási funkció ütemezése alapján. Lásd: Az Azure HDInsight automatikus méretezése AKS-fürtökön.
State Backend A HDInsight az AKS-en a RocksDB-t használja alapértelmezett StateBackendként. A RocksDB egy beágyazható állandó kulcs-érték tároló a gyors tároláshoz.
Ellenőrzőpontok Az ellenőrzőpont-beállítás alapértelmezés szerint engedélyezve van a HDInsightban az AKS-fürtökön. Az AKS HDInsight alapértelmezett beállításai fenntartják az utolsó öt ellenőrzőpontot az állandó tárterületen. Ha a feladat meghiúsul, a feladat újraindulhat a legújabb ellenőrzőpontról.
Növekményes ellenőrzőpontok A RocksDB támogatja a növekményes ellenőrzőpontokat. Nagy állapotú növekményes ellenőrzőpontok használatát javasoljuk, ezt a funkciót manuálisan kell engedélyeznie. Az alapértelmezett beállítás lehetővé teszi a flink-conf.yaml: state.backend.incremental: true növekményes ellenőrzőpontokat, kivéve, ha az alkalmazás felülírja ezt a beállítást a kódban. Ez az utasítás alapértelmezés szerint igaz. Ezt az értéket közvetlenül a kódban is konfigurálhatja (felülbírálja az alapértelmezett konfigurációt). EmbeddedRocksDBStateBackend` backend = new `EmbeddedRocksDBStateBackend(true); Alapértelmezés szerint megőrizzük az utolsó öt ellenőrzőpontot a konfigurált ellenőrzőpont-dirben. Ez az érték a konfigurációkezelési szakasz konfigurációjának módosításával módosítható state.checkpoints.num-retained: 5

A HDInsightban az AKS-en futó Apache Flink-fürtök a következő összetevőket tartalmazzák, alapértelmezés szerint elérhetők a fürtökön.

Tekintse meg a hamarosan megjelenő ütemtervet !

A Flink három elosztott összetevő, a Feladatkezelő, a Feladatkezelő és a Feladatügyfél használatával ütemezi a feladatokat, amelyek leader-follower mintában vannak beállítva.

Flink-feladat: Egy Flink-feladat vagy program több tevékenységből áll. A feladatok a Flinkben a végrehajtás alapegységei. Minden Flink-tevékenység több példányból áll a párhuzamosság szintjétől függően, és minden példányt egy TaskManageren hajtanak végre.

Feladatkezelő: A feladatkezelő ütemezőként működik, és feladatokat ütemez a feladatkezelőkre.

Feladatkezelő: A feladatkezelők egy vagy több tárolóhelyet is használhatnak a feladatok párhuzamos végrehajtásához.

Feladatügyfél: A feladatügyfél kommunikál a feladatkezelővel az Flink-feladatok elküldéséhez

Flink webes felhasználói felület: A Flink webes felhasználói felületet biztosít a futó alkalmazások vizsgálatához, monitorozásához és hibakereséséhez.

A feladat, a Feladatkezelő, a Feladatkezelő és a Feladatügyfél együttműködését bemutató flink folyamatábra.

Referencia