Lehetséges problémák észlelése és elhárítása az AIOps és a gépi tanulás használatával az Azure Monitorban
Az informatikai műveletekhez készült mesterséges intelligencia (AIOps) hatékony módszerekkel javíthatja a szolgáltatásminőséget és a megbízhatóságot azáltal, hogy gépi tanulással feldolgozhatja és automatikusan eljárhat az alkalmazásokból, szolgáltatásokból és informatikai erőforrásokból az Azure Monitorba gyűjtött adatokon.
Az Azure Monitor beépített AIOps-képességei elemzéseket nyújtanak, és segítenek a problémák elhárításában és az adatvezérelt feladatok automatizálásában, például a kapacitáshasználat és az automatikus skálázás előrejelzésében, az alkalmazások teljesítményproblémáinak azonosításában és elemzésében, valamint a virtuális gépek, tárolók és egyéb erőforrások rendellenes viselkedésének észlelésében. Ezek a funkciók anélkül növelik az informatikai monitorozást és üzemeltetést, hogy gépi tanulási ismeretekre és további beruházásokra lenne szükség.
Az Azure Monitor olyan eszközöket is biztosít, amelyekkel saját gépi tanulási folyamatot hozhat létre új elemzési és válaszképességek bevezetéséhez, valamint az Azure Monitor-naplók adatainak kezeléséhez.
Ez a cikk az Azure Monitor beépített AIOps-képességeit ismerteti, és ismerteti, hogyan hozhat létre és futtathat testre szabott gépi tanulási modelleket, és hogyan hozhat létre automatizált gépi tanulási folyamatot az Azure Monitor-naplók adatain.
Beépített Azure Monitor AIOps és gépi tanulási képességek
| Monitorozási forgatókönyv | Funkció | Leírás |
|---|---|---|
| Naplófigyelés | Log Analytics-munkaterület elemzései | Egységes nézetet biztosít a Log Analytics-munkaterületekről, és gépi tanulással észleli a betöltési anomáliákat. |
| Kusto lekérdezésnyelv (KQL) idősorozat-elemzési és gépi tanulási függvények | Könnyen használható eszközök az idősoradatok létrehozásához, az anomáliák észleléséhez, az előrejelzéshez és a kiváltó okok elemzéséhez közvetlenül az Azure Monitor-naplókban anélkül, hogy az adatelemzés és a programozási nyelvek alapos ismerete szükséges. | |
| Microsoft Copilot for Azure | Segít a Log Analytics használatával elemezni az adatokat, és elhárítani a problémákat. Példaként szolgáló KQL-lekérdezéseket hoz létre a következő kérések alapján: "Vannak-e hibák a tárolónaplókban?". | |
| Alkalmazásteljesítmény monitorozása | Alkalmazástérkép intelligens nézete | Térképek szolgáltatások közötti függőségeket, és segít észlelni az elosztott alkalmazás összes összetevőjének teljesítménybeli szűk keresztmetszeteit vagy hibagócait. |
| Intelligens detektálás | Elemzi az alkalmazás által az alkalmazásnak küldött telemetriát Elemzések, a teljesítményproblémákra és a hibákra vonatkozó riasztásokat, valamint azonosítja az alkalmazás teljesítményproblémáinak lehetséges kiváltó okait. | |
| Metrikariasztások | Dinamikus küszöbértékek a metrikariasztáshoz | Megismeri a metrikák mintáit, automatikusan beállítja a riasztási küszöbértékeket az előzményadatok alapján, és azonosítja azokat az anomáliákat, amelyek szolgáltatásproblémákat jelezhetnek. |
| Virtuálisgép-méretezési csoportok | Prediktív automatikus skálázás | Előrejelezi egy virtuálisgép-méretezési csoport általános CPU-követelményeit a korábbi CPU-használati minták alapján, és automatikusan felskálázza ezeket az igényeket. |
Gépi tanulás az Azure Monitor-naplókban
A Kusto lekérdezésnyelv beépített idősorelemzési és gépi tanulási funkcióival, operátoraival és beépülő moduljaival betekintést nyerhet a szolgáltatás állapotára, használatára, kapacitására és egyéb trendjeire, valamint előrejelzéseket készíthet, és észlelheti az Azure Monitor-naplók anomáliáit.
A nagyobb rugalmasság és az adatok elemzési és cselekvési képességének bővítése érdekében saját gépi tanulási folyamatot is implementálhat az Azure Monitor-naplókban lévő adatokon.
Ez a táblázat összehasonlítja a KQL beépített gépi tanulási képességeinek és saját gépi tanulási folyamat létrehozásának előnyeit és korlátait, valamint az oktatóanyagokra mutató hivatkozásokat, amelyek bemutatják, hogyan implementálhatja az egyeseket:
| Beépített KQL gépi tanulási képességek | Saját gépi tanulási folyamat létrehozása | |
|---|---|---|
| Forgatókönyv | ✅ Anomáliadetektálás, kiváltó ok és idősorelemzés |
✅ Anomáliadetektálás, kiváltó ok és idősorelemzés ✅Speciális elemzési és AIOPs-forgatókönyvek |
| Előnye | 🔹Nagyon gyorsan elkezdi. 🔹Nincs szükség adatelemzési ismeretekre és programozási készségekre. 🔹 Optimális teljesítmény és költségmegtakarítás. |
🔹Támogatja a nagyobb skálázást. 🔹Speciális, összetettebb forgatókönyveket tesz lehetővé. 🔹Rugalmasság a kódtárak, modellek, paraméterek kiválasztásában. |
| Szolgáltatási korlátok és adatmennyiségek | Az Azure Portal vagy a Query API napló lekérdezési korlátai attól függően, hogy a portálon dolgozik vagy az API-t használja, például egy jegyzetfüzetből. | 🔹A lekérdezési API-napló lekérdezési korlátai, ha az Azure Monitor-naplókban lévő adatokat a gépi tanulási folyamat részeként kérdezi le. Ellenkező esetben nincs Azure-szolgáltatáskorlát. 🔹Nagyobb adatköteteket támogat. |
| Integráció | Nem kötelező. Futtassa a Log Analytics szolgáltatást az Azure Portalon vagy egy integrált Jupyter Notebookból. | Integrálást igényel egy eszközzel, például a Jupyter Notebookkal. Általában más Azure-szolgáltatásokkal, például az Azure Synapse Analyticsszel is integrálható. |
| Teljesítmény | Optimális teljesítmény az Azure Data Explorer platform használatával, nagy léptékben, elosztott módon. | Kis mértékű késést eredményez az adatok lekérdezése vagy exportálása során, attól függően, hogy hogyan valósítja meg a gépi tanulási folyamatot. |
| Modell típusa | A KQL idősorfüggvényei által támogatott lineáris regressziós modell és egyéb modellek konfigurálható paraméterek készletével. | Teljesen testre szabható gépi tanulási modell vagy anomáliadetektálási módszer. |
| Költségek | Nincs extra költség. | A gépi tanulási folyamat implementálásától függően előfordulhat, hogy díjat számít fel az adatok exportálása, a pontozott adatok Azure Monitor-naplókba való betöltése és más Azure-szolgáltatások használata. |
| Oktatóanyag | Anomáliák észlelése és elemzése KQL gépi tanulási képességekkel az Azure Monitorban | Adatok elemzése az Azure Monitor-naplókban jegyzetfüzet használatával |
Saját gépi tanulási folyamat létrehozása adatokon az Azure Monitor-naplókban
Saját gépi tanulási folyamatot hozhat létre az Azure Monitor-naplók adatain új AIOps-képességek bevezetéséhez és speciális forgatókönyvek támogatásához, például:
- A KQL által használtnál kifinomultabb modellekkel rendelkező biztonsági támadásokra vadászik.
- Teljesítményproblémák észlelése és hibák elhárítása egy webalkalmazásban.
- Többlépéses folyamatok létrehozása, kód futtatása minden lépésben az előző lépés eredményei alapján.
- Az Azure Monitor naplóadatainak elemzésének automatizálása és több területre vonatkozó elemzések biztosítása, beleértve az infrastruktúra állapotát és az ügyfelek viselkedését.
- Az Azure Monitor-naplók adatainak korrelálása más forrásokból származó adatokkal.
Az Azure Monitor-naplók adatainak a gépi tanulási folyamat számára való elérhetővé tételének két módszere van:
Adatok lekérdezése az Azure Monitor-naplókban Integrálhat egy jegyzetfüzetet az Azure Monitor-naplókkal, vagy futtathat egy szkriptet vagy alkalmazást naplóadatokon olyan kódtárak használatával, mint az Azure Monitor Query ügyfélkódtára vagy az MSTICPY, hogy táblázatos formában kérje le az adatokat az Azure Monitor-naplókból, például egy Pandas DataFrame-be. - A lekérdezés adatai a kiszolgálón lévő memóriabeli objektumba lesznek beolvasva anélkül, hogy exportálni szeretné az adatokat a Log Analytics-munkaterületről.
Feljegyzés
Előfordulhat, hogy a folyamat részeként át kell alakítania az adatformátumokat. Ha például az Apache Sparkra épülő kódtárakat szeretne használni, például a SynapseML-t, előfordulhat, hogy a Pandas-t PySpark DataFrame-gé kell konvertálnia.
Adatok exportálása az Azure Monitor-naplókból - Adatok exportálása a Log Analytics-munkaterületről, általában egy Blob Storage-fiókba, és a gépi tanulási folyamat implementálása egy gépi tanulási kódtár használatával.
Ez a táblázat a gépi tanulási folyamat adatainak lekérése során használt módszerek előnyeit és korlátait hasonlítja össze:
| Adatok lekérdezése az Azure Monitor-naplókban | Adatexportálás | |
|---|---|---|
| Előnye | 🔹Gyorsan elkezdheti. 🔹Csak alapszintű adatelemzési és programozási ismereteket igényel. 🔹Minimális késés és költségmegtakarítás. |
🔹Támogatja a nagyobb skálázást. 🔹Nincs lekérdezési korlátozás. |
| Exportált adatok? | Nem | Igen |
| Szolgáltatási korlátozások | A lekérdezési API-napló lekérdezési korlátai és a felhasználói lekérdezés szabályozása. A Lekérdezési API bizonyos mértékű korlátozásait a nagyobb lekérdezések adattömbökre való felosztásával háríthatja el. | Nincs az Azure Monitorból. |
| Adatkötetek | Elemezzen több GB-t, vagy óránként néhány millió rekordot. | Nagy mennyiségű adatot támogat. |
| Gépi tanulási kódtár | A kis- és közepes méretű adathalmazok esetében általában egycsomópontos gépi tanulási kódtárakat használ, például a Scikit Learnet. | Nagy adathalmazok esetén általában big data rendszerű gépi tanulási kódtárakat használ, például a SynapseML-t. |
| Késés | Minimális. | Kis mértékű késést eredményez az adatok exportálása során. |
| Költségek | Nincs extra díj az Azure Monitorban. Az Azure Synapse Analytics, az Azure Machine Tanulás vagy más szolgáltatás költségei, ha használják. |
Az adatexportálás és a külső tárolás költsége. Az Azure Synapse Analytics, az Azure Machine Tanulás vagy más szolgáltatás költségei, ha használják. |
Tipp.
Ha mindkét megvalósítási módszer közül a legjobbat szeretné kihasználni, hozzon létre egy hibrid folyamatot. Gyakori hibrid megközelítés az adatok exportálása a modellbetanításhoz, amely nagy mennyiségű adatot foglal magában, valamint a lekérdezési adatok használata az Azure Monitor Logs-megközelítésben az adatok feltárására és új adatok pontozására a késés és a költségek csökkentése érdekében.
A gépi tanulási életciklus lépéseinek megvalósítása az Azure Monitor-naplókban
A gépi tanulási folyamat beállítása általában az alábbiakban leírt lépések egészét vagy egy részét foglalja magában.
Különböző Azure- és nyílt forráskód gépi tanulási kódtárak használhatók a gépi tanulási folyamat implementálásához, például a Scikit Learn, a PyTorch, a Tensorflow, a Spark MLlib és a SynapseML.
Ez a táblázat ismerteti az egyes lépéseket, és magas szintű útmutatást és néhány példát kínál arra, hogyan implementálhatja ezeket a lépéseket a saját gépi tanulási folyamat létrehozása az Azure Monitor-naplókban található adatokon ismertetett implementációs megközelítések alapján:
| Lépés | Leírás | Adatok lekérdezése az Azure Monitor-naplókban | Adatexportálás |
|---|---|---|---|
| Adatok megismerése | Vizsgálja meg és ismerje meg az összegyűjtött adatokat. | Az adatok megismerésének legegyszerűbb módja a Log Analytics használata, amely számos eszközt biztosít az adatok feltárásához és vizualizációjához az Azure Portalon. Az Azure Monitor-naplókban lévő adatokat jegyzetfüzet használatával is elemezheti. | Az Azure Monitoron kívüli naplók elemzéséhez exportáljon adatokat a Log Analytics-munkaterületről, és állítsa be a környezetet a választott szolgáltatásban. Az Azure Monitoron kívüli naplók feltárására vonatkozó példa: Log Analyticsből a Synapse használatával exportált adatok elemzése. |
| Gépi tanulási modell létrehozása és betanítása | A modell betanítása iteratív folyamat. A kutatók vagy adattudósok a betanítási adatok, a mérnökök funkcióinak beolvasásával és tisztításával, a különböző modellek kipróbálásával és a paraméterek finomhangolásával fejlesztenek ki egy modellt, majd megismételik ezt a ciklust, amíg a modell pontos és robusztus nem lesz. | A kis- és közepes méretű adathalmazok esetében általában egycsomópontos gépi tanulási kódtárakat használ, például a Scikit Learnet. Egy példa arra, hogyan taníthat be gépi tanulási modellt az Azure Monitor-naplók adataira a Scikit Learn-kódtár használatával, tekintse meg ezt a mintajegyzetfüzetet: A rendellenességek észlelése az Azure Monitor-naplókban gépi tanulási technikákkal. |
Nagy adathalmazok esetén általában big data rendszerű gépi tanulási kódtárakat használ, például a SynapseML-t. |
| Modell üzembe helyezése és pontszáma | A pontozás egy gépi tanulási modell új adatokra való alkalmazásának folyamata az előrejelzések lekéréséhez. A pontozást általában minimális késéssel kell elvégezni. | Ha új adatokat szeretne lekérdezni az Azure Monitor-naplókban, használja az Azure Monitor Query ügyfélkódtárát. Az adatok nyílt forráskód eszközökkel történő pontozására példaként tekintse meg ezt a mintajegyzetfüzetet: Rendellenességek észlelése az Azure Monitor-naplókban gépi tanulási technikákkal. |
|
| A folyamat ütemezés szerinti futtatása | Automatizálja a folyamatot a modell rendszeres újratanításához az aktuális adatokon. | Ütemezze a gépi tanulási folyamatot az Azure Synapse Analytics vagy az Azure Machine Tanulás használatával. | Tekintse meg a példákat az Azure Monitor Naplók oszlop lekérdezési adatai között. |
A pontozott eredmények Log Analytics-munkaterületre való betöltése lehetővé teszi, hogy az adatok segítségével speciális elemzéseket kapjon, valamint riasztásokat és irányítópultokat hozzon létre. A pontozott eredmények Azure Monitor-betöltési ügyfélkódtár használatával történő betöltésére vonatkozó példa: Ingest anomáliák egy egyéni táblába a Log Analytics-munkaterületen.
Következő lépések
További információk: