Log Analytics migrálási útmutató Azure HDInsight-fürtökhöz
Az Azure HDInsight egy nagyvállalati használatra kész, felügyelt fürtszolgáltatás. Ez a szolgáltatás olyan nyílt forráskódú elemzési keretrendszereket futtat, mint az Apache Spark, a Hadoop, a HBase és a Kafka az Azure-ban. Az Azure HDInsight integrálva van más Azure-szolgáltatásokkal, hogy az ügyfelek hatékonyabban kezelhessék big data-elemzési alkalmazásaikat.
A Log Analytics egy eszközt biztosít az Azure Portalon a napló lekérdezéseinek szerkesztéséhez és futtatásához. A lekérdezések az Azure Monitor-naplók által gyűjtött adatokból származnak, és interaktívan elemzik az eredményeket. Az ügyfelek Log Analytics-lekérdezésekkel lekérhetik az adott feltételeknek megfelelő rekordokat. Lekérdezésekkel azonosíthatják a trendeket, elemezhetik a mintákat, és betekintést nyerhetnek az adataikba.
Az Azure HDInsight 2017-ben engedélyezte a Log Analytics integrációját. A HDInsight-ügyfelek gyorsan elfogadták ezt a funkciót a HDInsight-fürtök monitorozásához és a fürtök naplóinak lekérdezéséhez. Bár a funkció bevezetése megnövekedett, az ügyfelek visszajelzést adtak az integrációról:
- Az ügyfelek nem tudják eldönteni, hogy mely naplókat tárolják, és az összes napló tárolása költségessé válhat.
- Az aktuális HDInsight-sémák naplói nem követik a konzisztens elnevezési konvenciókat, és egyes táblák ismétlődőek.
- Az ügyfelek egy beépített irányítópultot szeretnének használni a HDInsight-fürtök KPI-jének egyszerű figyeléséhez.
- Az egyszerű lekérdezések futtatásához az ügyfeleknek a Log Analyticsre kell ugraniuk.
Megoldás áttekintése
Figyelembe véve az ügyfelek visszajelzését, az Azure HDInsight csapata az Azure Monitorral való integrációba fektetett be. Ez az integráció a következőket teszi lehetővé:
- Új táblakészlet az ügyfelek Log Analytics-munkaterületén. Az új táblák egy új Log Analytics-folyamaton keresztül érkeznek.
- Nagyobb megbízhatóság
- Gyorsabb naplók kézbesítése
- Erőforrás-alapú táblacsoportozás és alapértelmezett lekérdezések
Feljegyzés
Az Új Azure Montitor-integráció nyilvános előzetes verzióban érhető el az összes régióban, ahol a HDInsight elérhető.
Az új Azure Monitor-integráció előnyei
Ez a dokumentum ismerteti az Azure Monitor-integráció változásait, és ajánlott eljárásokat biztosít az új táblák használatához.
Újratervezett sémák: Az új Azure Monitor-integráció sémaformázása jobban rendszerezett és könnyen érthető. Az örökölt sémákban a lehető legtöbb kétértelműség eltávolításához kétharmadával kevesebb séma található.
Szelektív naplózás: A Log Analytics szolgáltatással naplók és metrikák érhetők el. A monitorozási költségek csökkentése érdekében egy új szelektív naplózási funkciót fogunk kiadni. Ezzel a funkcióval be- és kikapcsolhatja a különböző naplókat és metrikaforrásokat. Ezzel a funkcióval csak a használatért kell fizetnie. További részletekért lásd: Szelektív naplózás
Naplófürt portálintegráció: A Naplók panel új a HDInsight-fürtportálon. A fürthöz hozzáféréssel rendelkezők ezen a panelen lekérdezhetik azokat a táblákat, amelyekbe a fürterőforrás rekordokat küld. A felhasználóknak már nincs szükségük hozzáférésre a Log Analytics-munkaterülethez egy adott fürterőforrás rekordjainak megtekintéséhez.
Elemzések fürtportál integrációja: A Elemzések panel szintén új a HDInsight-fürtportálon. Az új Azure Monitor-integráció engedélyezése után kiválaszthatja a Elemzések panelt, és a fürt típusára vonatkozó beépített naplók és metrikák irányítópult automatikusan fel lesznek töltve. Ezeket az irányítópultokat átdolgoztuk a korábbi Azure-megoldásokból. Részletes betekintést nyújtanak a fürt teljesítményébe és állapotába.
Ügyfélforgatókönyvek
A következő szakaszok bemutatják, hogyan használhatják az ügyfelek az új Azure Monitor-integrációt különböző forgatókönyvekben. Az Új Azure Monitor-integráció aktiválása szakasz az új Azure Monitor-integráció aktiválását és használatát ismerteti. A klasszikus Azure Monitorról az új Azure Monitor-integrációs szakaszba való migrálás további információkat tartalmaz a régi Azure Monitor-integrációtól függő felhasználók számára.
Feljegyzés
Csak a 2020 szeptember végén létrehozott és azt követően létrehozott fürtök jogosultak az új Azure Monitoring-integrációra.
Új Azure Monitor-integráció aktiválása
Feljegyzés
Az új integráció engedélyezése előtt létre kell hoznia egy Log Analytics-munkaterületet egy olyan előfizetésben, amelyhez hozzáféréssel rendelkezik. A Log Analytics-munkaterületek létrehozásával kapcsolatos további információkért lásd : Log Analytics-munkaterület létrehozása az Azure Portalon.
Az új integráció aktiválásához lépjen a fürt portállapjára, és görgessen lefelé a bal oldali menüben, amíg el nem éri a Figyelés szakaszt. A Figyelés szakaszban válassza az Integráció monitorozása lehetőséget. Ezután válassza az Engedélyezés lehetőséget , és kiválaszthatja azt a Log Analytics-munkaterületet, ahová a naplókat el szeretné küldeni. A munkaterület kiválasztása után válassza a Mentés lehetőséget.
Az új táblák elérése
Az új táblák kétféleképpen érhetők el.
1. megközelítés:
Az új táblák első elérésének módja a Log Analytics-munkaterületen keresztül érhető el.
- Nyissa meg az integráció engedélyezésekor kiválasztott Log Analytics-munkaterületet.
- Görgessen le a képernyő bal oldalán található menüben, és válassza a Naplók lehetőséget. A Naplók lekérdezésszerkesztő megjelenik a munkaterület összes táblájának listájával.
- Ha a táblák megoldás szerint vannak csoportosítva, az új HDI-táblák a Naplók kezelése szakaszban találhatók.
- Ha a táblákat erőforrástípus szerint csoportosítja, a táblák a HDInsight-fürtök szakasz alatt találhatók az alábbi képen látható módon.
Feljegyzés
Ez a folyamat azt ismerteti, hogyan fértek hozzá a naplók a régi integrációban. Ehhez a felhasználónak hozzá kell férnie a munkaterülethez.
2. megközelítés:
Az új táblák elérésének második módja a Fürtportál elérése.
- Lépjen a fürt portállapjára, és görgessen lefelé a bal oldalon található menüben, amíg meg nem jelenik a Figyelés szakasz. Ebben a szakaszban a Naplók panel jelenik meg.
- Válassza a Naplók lehetőséget, és megjelenik egy Napló lekérdezésszerkesztő. A szerkesztő tartalmazza a fürterőforráshoz társított összes naplót. Amikor engedélyezte az integrációt, elküldte a naplókat a Log Analytics-munkaterületre. Ezek a naplók erőforrás-alapú hozzáférést (RBAC) biztosítanak. Az RBAC-ben azok a felhasználók láthatják a fürthöz társított naplókat, akik hozzáférnek a fürthöz, de nem a munkaterülethez.
Összehasonlításképpen az alábbi képernyőképek az örökölt integrációs munkaterület nézetet és az új integrációs munkaterület nézetet jelenítik meg:
Örökölt integrációs munkaterület nézet
Új integrációs munkaterület nézet
Az új táblák használata
Ezek az integrációk segíthetnek az új táblák használatában:
Az új táblákkal használható alapértelmezett lekérdezések
A Naplók lekérdezésszerkesztőben állítsa a kapcsolót Lekérdezések értékre a táblák listája fölött. Győződjön meg arról, hogy a lekérdezéseket erőforrástípus szerint csoportosítja, és hogy a HDInsight-fürtöken kívül más erőforrástípushoz nincs szűrőkészlet. Az alábbi kép azt mutatja be, hogyan néznek ki az eredmények, ha erőforrástípus szerint csoportosítják és szűrik a HDInsight-fürtökre. Csak válasszon egyet, és megjelenik a Naplók lekérdezésszerkesztőben. Mindenképpen olvassa el a lekérdezésekben szereplő megjegyzéseket, mert néhány esetben meg kell adnia néhány információt, például a fürt nevét, hogy a lekérdezés sikeresen fusson.
Saját lekérdezések létrehozása
Saját lekérdezéseket a Naplók lekérdezésszerkesztőben adhat meg. A régi táblákban használt lekérdezések nem lesznek érvényesek az új táblákra, mivel sok új tábla új, kifinomult sémákkal rendelkezik. Az alapértelmezett lekérdezések nagyszerű referenciák az új táblák lekérdezéseinek alakításához.
Elemzések
Elemzések fürtspecifikus vizualizációs irányítópultok, amelyek Azure-munkafüzetek. Ezek az irányítópultok részletes grafikonokat és vizualizációkat nyújtanak a fürt futásáról. Az irányítópultok szakaszokkal rendelkeznek az egyes fürttípusokhoz, YARN-hoz, rendszermetrikákhoz és összetevőnaplókhoz. A fürt irányítópultját úgy érheti el, hogy megtekinti a fürt lapját a portálon, görgessen le a Figyelés szakaszhoz, és válassza ki a Elemzések panelt. Az irányítópult automatikusan betöltődik, ha engedélyezte az új integrációt. A diagramok betöltésének engedélyezése néhány másodpercig a naplók lekérdezése során.
Egyéni Azure-munkafüzetek
Létrehozhat saját Azure-munkafüzeteket egyéni grafikonokkal és vizualizációkkal. A fürt portáloldalán görgessen le a Figyelés szakaszhoz, és válassza a Munkafüzetek panelt a bal oldali menüben. Használhat üres sablont, vagy használhatja az egyik sablont a HDInsight-fürtök szakaszban. Minden fürttípushoz tartozik egy sablon. A sablonok akkor hasznosak, ha olyan testreszabásokat szeretne menteni, amelyeket az alapértelmezett HDInsight Elemzések nem biztosít. Ha úgy érzi, hogy hiányzik valami, küldjön kéréseket a HDInsight új funkcióira Elemzések.
Riasztások
A Napló lekérdezésszerkesztőben egyéni riasztásokat adhat hozzá a fürtökhöz és munkaterületekhez. Nyissa meg a Naplók lekérdezésszerkesztőt úgy, hogy kiválasztja a Naplók panelt a fürtből vagy a munkaterület-portálról. Futtasson egy lekérdezést, majd válassza az Új riasztási szabály lehetőséget az alábbi képernyőképen látható módon. További információ a riasztások konfigurálásáról.
Migrálás az új Azure Monitor-integrációba
Ha a klasszikus Azure Monitor-integrációt használja, az új Azure Monitor-integrációra való váltás után módosítania kell az új táblázatformátumokat.
Az új Azure Monitor-integráció engedélyezéséhez kövesse az Új Azure Monitor-integráció aktiválása szakaszban ismertetett lépéseket.
Lekérdezések futtatása a Log Analyticsben
Mivel az új táblázat formátuma eltér az előzőtől, a lekérdezéseket át kell dolgoznunk, hogy használhassa az új táblákat. Az új Azure Monitor-integráció engedélyezése után a táblákban és sémákban böngészve azonosíthatja a régi lekérdezésekben használt mezőket.
A régi tábla és az új tábla közötti leképezési táblával gyorsan megtalálhatja az irányítópultok és lekérdezések áttelepítéséhez szükséges új mezőket.
Alapértelmezett lekérdezések: Alapértelmezett lekérdezéseket hoztunk létre, amelyek bemutatják, hogyan használhatók az új táblák a gyakori helyzetekhez. Az alapértelmezett lekérdezések azt is megjelenítik, hogy milyen információk érhetők el az egyes táblákban. Az alapértelmezett lekérdezésekhez a jelen cikk Új táblák szakaszában található Alapértelmezett lekérdezések szakasz utasításait követve férhet hozzá.
HDInsight-fürtök irányítópultjának frissítése
Ha több irányítópultot is létrehozott a HDInsight-fürtök monitorozásához, az új Azure Monitor-integráció engedélyezése után módosítania kell a tábla mögötti lekérdezést. Előfordulhat, hogy a tábla vagy a mező neve megváltozik az új integrációban, de a régi integrációban szereplő összes információ megtalálható benne.
Az irányítópultok mögötti lekérdezés frissítéséhez tekintse meg a régi tábla/séma közötti leképezési táblát az új táblára/sémára.
Beépített irányítópultok
A beépített irányítópultokat a fürt szintjén is továbbfejlesztettük. Minden gráf jobb felső sarkában található egy gomb, amellyel megtekintheti az információt előállító mögöttes lekérdezést. A gráf nagyszerű módja annak, hogy megismerje, hogyan kérdezhetők le hatékonyan az új táblák.
Mindkét integráció engedélyezése a migrálás felgyorsításához
Egyszerre aktiválhatja a klasszikus és az új Azure Monitor-integrációt is egy olyan fürtön, amely mindkét integrációra jogosult az új Azure Monitor-integrációra való gyors migráláshoz. Az új integráció a 2020. szeptember közepe után létrehozott összes fürthöz elérhető.
Így egyszerűen összehasonlíthatja egymás mellett a használt lekérdezéseket.
A klasszikus integráció engedélyezése
Ha 2020. szeptember közepe után létrehozott fürtöt használ, az új portált a fürt portálján fogja látni. Az új folyamat engedélyezéséhez kövesse az Új Azure Monitor-integráció aktiválása szakaszban ismertetett lépéseket. A fürt klasszikus integrációjának aktiválásához nyissa meg a fürt portálját. Válassza a Monitorozás integrációs panelt a fürtportál bal oldalán található menü Figyelés szakaszában. Válassza az Azure Monitor for HDInsight-fürtök integrációjának konfigurálása (klasszikus) lehetőséget. A klasszikus Azure Monitoring-integráció engedélyezéséhez és letiltásához használható kapcsolóval megjelenik egy mellékkörnyezet.
Feljegyzés
A fürtportál naplóin és Elemzések lapján nem fog látni naplókat vagy metrikákat a klasszikus integrációból. Ezeken a helyeken csak az új integrációs naplók és metrikák lesznek jelen.
A klasszikus Azure Monitor-integrációval rendelkező új fürtök létrehozása 2023. január 1. után nem érhető el.
Kiadási és támogatási ütemterv
- A klasszikus Azure Monitoring-integráció 2021. október 15. után nem érhető el. A klasszikus Azure Monitoring-integrációt a dátum után nem engedélyezheti.
- A meglévő klasszikus Azure monitorozási integrációk továbbra is működni fognak. A klasszikus Azure Monitoring-integráció csak korlátozott mértékben támogatott.
- A problémákat a támogatási jegy elküldése után vizsgáljuk meg.
- Ha a megoldás képmódosítást igényel, az ügyfeleknek át kell lépni az új integrációra.
- A kritikus biztonsági problémákon kívül nem javítjuk ki a klasszikus Azure Monitoring integrációs fürtöket.
Függelék: Táblázatleképezés
A log table mappings from the classic Azure Monitor integration to the new one, see Log table mapping.
Kapcsolódó tartalom
Azure Monitor-naplók lekérdezése HDInsight-fürtök monitorozásához