Share via

Apache Flink-fürt® létrehozása a HDInsightban az AKS-ben az Azure Portallal

  • Cikk

Fontos

Ez a szolgáltatás jelenleg előzetes kiadásban elérhető. A Microsoft Azure Előzetes verzió kiegészítő használati feltételei további jogi feltételeket tartalmaznak, amelyek a bétaverzióban, előzetes verzióban vagy egyébként még nem általánosan elérhető Azure-funkciókra vonatkoznak. Erről az adott előzetes verzióról az Azure HDInsight az AKS előzetes verziójában tájékozódhat. Ha kérdése vagy funkciójavaslata van, küldjön egy kérést az AskHDInsightban a részletekkel együtt, és kövessen minket további frissítésekért az Azure HDInsight-közösségről.

Hajtsa végre az alábbi lépéseket egy Apache Flink-fürt Azure Portalon való létrehozásához.

Előfeltételek

Az előfeltételek teljesítése a következő szakaszokban:

Fontos

  • Ha új fürtkészletben szeretne fürtöt létrehozni, rendelje hozzá az AKS agentpool MSI "Managed Identity Operator" szerepkört az erőforrás-előfeltétel részeként létrehozott, felhasználó által hozzárendelt felügyelt identitáshoz. Ha rendelkezik a szükséges engedélyekkel, ez a lépés automatikusan történik a létrehozás során.
  • Az AKS-ügynökkészlet felügyelt identitása a fürtkészlet létrehozásakor jön létre. Az AKS-ügynökkészlet által felügyelt identitást (a fürtkészlet neve)-agentpool alapján azonosíthatja. A szerepkör hozzárendeléséhez kövesse az alábbi lépéseket.

Az Flink-fürtök a fürtkészlet üzembe helyezésének befejezése után hozhatók létre, tekintsük át a lépéseket arra az esetre, ha egy meglévő fürtkészlettel kezdi meg az első lépéseket.

  1. Az Azure Portalon írja be a HDInsight-fürtkészleteket/HDInsight/HDInsightot az AKS-en , és válassza az Azure HDInsightot az AKS-fürtkészleteken a fürtkészletek lapjára való ugráshoz. Az AKS-fürtkészletek HDInsight lapján válassza ki azt a fürtkészletet, amelyben új Flink-fürtöt szeretne létrehozni.

    Az Azure Portal keresősávját bemutató ábra.

  2. A fürtkészlet adott lapján kattintson az + Új fürt elemre, és adja meg a következő információkat:

    Tulajdonság Leírás
    Előfizetés Ez a mező automatikusan fel van töltve a fürtkészlethez regisztrált Azure-előfizetéssel.
    Erőforráscsoport Ez a mező automatikusan fel van töltve, és megjeleníti a fürtkészlet erőforráscsoportját.
    Régió Ez a mező automatikusan fel van töltve, és a fürtkészleten kijelölt régiót jeleníti meg.
    Fürtkészlet Ez a mező automatikusan fel van töltve, és megjeleníti a fürtkészlet nevét, amelyen a fürt most létrejön. Ha másik készletben szeretne fürtöt létrehozni, keresse meg a fürtkészletet a portálon, és kattintson az + Új fürt elemre.
    HDInsight az AKS-készlet verzióján Ez a mező automatikusan fel van töltve, és azt a fürtkészlet-verziót jeleníti meg, amelyen a fürt most létrejön.
    HDInsight az AKS-verzión Válassza ki a HDInsight alverzióját vagy javítását az új fürt AKS-en.
    Fürt típusa A legördülő listában válassza az Flink lehetőséget.
    Fürt neve Adja meg az új fürt nevét.
    Felhasználó által hozzárendelt felügyelt identitás A legördülő listában válassza ki a fürthöz használni kívánt felügyelt identitást. Ha Ön a felügyeltszolgáltatás-identitás (MSI) tulajdonosa, és az MSI nem rendelkezik felügyelt identitáskezelő szerepkörrel a fürtön, kattintson a mező alatti hivatkozásra az AKS-ügynökkészlet MSI-hez szükséges engedélyének hozzárendeléséhez. Ha az MSI már rendelkezik a megfelelő engedélyekkel, nem jelenik meg hivatkozás. Tekintse meg az MSI-hez szükséges egyéb szerepkör-hozzárendelések előfeltételeit .
    Tárfiók A legördülő listában válassza ki az Flink-fürthöz társítani kívánt tárfiókot, és adja meg a tároló nevét. A felügyelt identitás további hozzáférést kap a megadott tárfiókhoz a "Storage Blob Data Owner" szerepkör használatával a fürt létrehozása során.
    Virtuális hálózat A fürt virtuális hálózata.
    Alhálózat A fürt virtuális alhálózata.

  3. A Hive-katalógus engedélyezése az Flink SQL-hez.

    Tulajdonság Leírás
    Hive-katalógus használata Engedélyezze ezt a beállítást egy külső Hive-metaadattár használatához.
    SQL Database for Hive A legördülő listában válassza ki azt az SQL Database-adatbázist, amelyben hive-metaadattártáblákat szeretne hozzáadni.
    SQL-rendszergazdai felhasználónév Adja meg az SQL Server rendszergazdai felhasználónevét. Ezt a fiókot a metaadattár használja az SQL-adatbázissal való kommunikációhoz.
    Key Vault A legördülő listában válassza ki a Key Vaultot, amely az SQL Server rendszergazdai felhasználónevéhez tartozó jelszót tartalmazó titkos kulcsot tartalmazza. Olyan hozzáférési szabályzatot kell beállítania, amely tartalmazza az összes szükséges engedélyt, például a kulcsengedélyeket, a titkos kulcsengedélyeket és a tanúsítványengedélyeket az MSI-hez, amelyet a fürt létrehozásához használnak. Az MSI-nek Key Vault Rendszergazda istrator szerepkörre van szüksége, és adja hozzá a szükséges engedélyeket az IAM használatával.
    SQL-jelszó titkos neve Adja meg annak a Key Vaultnak a titkos nevét, amelyben az SQL-adatbázis jelszava található.

    Képernyőkép az alapszintű lapról.

    Feljegyzés

    Alapértelmezés szerint a Hive-katalógus Storage-fiókját használjuk, ugyanazzal a tárfiókkal és tárolóval, amelyet a fürt létrehozásakor használunk.

  4. Válassza a Tovább elemet : A folytatáshoz konfigurálás .

  5. A Konfiguráció lapon adja meg a következő információkat:

    Tulajdonság Leírás
    Csomópont mérete Válassza ki a fő és a feldolgozó csomópontok Flink csomópontjaihoz használandó csomópontméretet.
    Csomópontok száma Válassza ki az Flink-fürt csomópontjainak számát; alapértelmezés szerint a fő csomópontok kettő. A feldolgozó csomópontok méretezése segít meghatározni az Flink feladatkezelői konfigurációit. A feladatkezelő és az előzménykiszolgáló a fő csomópontokon található.

  6. A Szolgáltatáskonfiguráció szakaszban adja meg a következő információkat:

    Tulajdonság Leírás
    Feladatkezelő processzora Egész. Adja meg a Feladatkezelő processzorainak méretét (magokban).
    Feladatkezelő memóriája MB-ban Adja meg a Feladatkezelő memóriaméretét MB-ban. Min. 1800 MB.
    Feladatkezelő processzora Egész. Adja meg a Feladatkezelő processzorainak számát (magokban).
    Feladatkezelő memóriája MB-ban Adja meg a memória méretét MB-ban. Legalább 1800 MB.
    Előzménykiszolgáló processzora Egész. Adja meg a Feladatkezelő processzorainak számát (magokban).
    Előzménykiszolgáló memóriája MB-ban Adja meg a memória méretét MB-ban. Legalább 1800 MB.

    a Konfigurációk lap képernyőképe.

    Feljegyzés

    • Az előzménykiszolgáló szükség szerint engedélyezhető/letiltható.
    • Az ütemezésalapú automatikus skálázás az Flinkben támogatott. Szükség szerint ütemezheti a munkavégző csomópontok számát. Engedélyezve van például egy ütemezésalapú automatikus skálázás, amelynek alapértelmezett feldolgozó csomópontszáma 3. A munkavégző csomópontok pedig hétköznap 9:00 és 20:00 (UTC) között 10-re vannak ütemezve. A nap későbbi részében alapértelmezés szerint 3 csomópontot kell megadni ( 20:00 (UTC) és következő nap 9:00 (UTC) között). Hétvégén 9:00 (UTC) és 20:00 (UTC) között a munkavégző csomópontok 4-esek.

  7. Az Automatikus méretezés > SSH szakaszban frissítse a következőket:

    Tulajdonság Leírás
    Automatikus méretezés A kiválasztáskor kiválaszthatja az ütemezésalapú automatikus skálázást a méretezési műveletek ütemezésének konfigurálásához.
    SSH engedélyezése A kiválasztáskor választhatja a szükséges SSH-csomópontok teljes számát, amelyek a Secure Shellt használó Flink CLI hozzáférési pontjai. Az engedélyezett maximális SSH-csomópontok száma 5.

    Képernyőkép az automatikus skálázási szolgáltatáskonfigurációról.

    Képernyőkép az automatikus méretezési szabályokról.

  8. Kattintson a Tovább: Integráció gombra a következő oldalra lépéshez.

  9. Az Integráció lapon adja meg a következő információkat:

    Tulajdonság Leírás
    Log Analytics Ez a funkció csak akkor érhető el, ha a fürtkészlethez társított log analytics-munkaterület van, miután engedélyezte a naplók gyűjtését.
    Azure Prometheus Ez a funkció a Elemzések és a naplók közvetlenül a fürtben való megtekintésére szolgál, ha metrikákat és naplókat küld az Azure Monitor-munkaterületre.

    képernyőkép az Integrációk lapról.

  10. A Következő: Címkék gombra kattintva lépjen tovább a következő oldalra.

  11. A Címkék lapon adja meg a következő információkat:

    Tulajdonság Leírás
    Név Opcionális. Adjon meg egy nevet, például a HDInsightot az AKS-en a fürterőforrásokhoz társított összes erőforrás egyszerű azonosításához.
    Érték Ezt üresen hagyhatja.
    Erőforrás Válassza az Összes kijelölt erőforrás lehetőséget.

  12. Válassza a Tovább elemet : Véleményezés és létrehozás a folytatáshoz.

  13. A Véleményezés + létrehozás lapon keresse meg az ellenőrzés sikeres üzenetét a lap tetején, majd kattintson a Létrehozás gombra.

Az üzembe helyezés folyamatoldalon jelenik meg, amelyen a fürt létrejön. A fürt létrehozása 5–10 percet vesz igénybe. A fürt létrehozása után megjelenik a "Az üzembe helyezés befejeződött" üzenet. Ha ellép a lapról, ellenőrizheti az értesítések aktuális állapotát.

Feljegyzés

Az Apache, az Apache Flink, a Flink és a társított nyílt forráskód projektnevek az Apache Software Foundation (ASF) védjegyei.