Az Azure Stream Analytics monitorozása

Ez a cikk a következőket ismerteti:

  • A szolgáltatáshoz gyűjthető monitorozási adatok típusai.
  • Az adatok elemzésének módjai.

Feljegyzés

Ha már ismeri ezt a szolgáltatást és/vagy az Azure Monitort, és csak tudni szeretné, hogyan elemezheti a figyelési adatokat, tekintse meg a cikk végén található Elemzés szakaszt.

Ha olyan kritikus alkalmazásokkal és üzleti folyamatokkal rendelkezik, amelyek Az Azure-erőforrásokra támaszkodnak, figyelnie kell és riasztásokat kell kapnia a rendszeréről. Az Azure Monitor szolgáltatás a rendszer minden összetevőjéből gyűjti és összesíti a metrikákat és naplókat. Az Azure Monitor áttekintést nyújt a rendelkezésre állásról, a teljesítményről és a rugalmasságról, és értesíti Önt a problémákról. A monitorozási adatok beállításához és megtekintéséhez használhatja az Azure Portalt, a PowerShellt, az Azure CLI-t, a REST API-t vagy az ügyfélkódtárakat.

Az Azure Stream Analytics-erőforrások Azure PowerShell-parancsmagokkal és PowerShell-szkriptekkel való monitorozásával és kezelésével kapcsolatos útmutatásért tekintse meg a Stream Analytics-feladatok Monitorozása és kezelése Az Azure PowerShell-parancsmagokkal című témakört.

Erőforrástípusok

Az Azure az erőforrástípusok és azonosítók fogalmát használja az előfizetések minden elemének azonosítására. Az erőforrástípusok az Azure-ban futó összes erőforrás erőforrásazonosítóinak is részét képezik. A virtuális gépek egyik erőforrástípusa például az Microsoft.Compute/virtualMachines. A szolgáltatások és a hozzájuk kapcsolódó erőforrástípusok listáját az Erőforrás-szolgáltatók című témakörben találja.

Az Azure Monitor hasonlóan rendszerezi az alapvető monitorozási adatokat metrikákba és naplókba az erőforrástípusok, más néven névterek alapján. Különböző metrikák és naplók érhetők el a különböző erőforrástípusokhoz. Előfordulhat, hogy a szolgáltatás több erőforrástípushoz is társítva van.

Az Azure Stream Analytics erőforrástípusairól további információt az Azure Stream Analytics monitorozási adatainak referenciaanyagában talál.

Adattárolás

Azure Monitor esetén:

  • A metrikák adatait az Azure Monitor metrikák adatbázisa tárolja.
  • A naplóadatok tárolása az Azure Monitor naplók tárolójában történik. A Log Analytics egy eszköz az Azure Portalon, amely le tudja kérdezni ezt az áruházat.
  • Az Azure-tevékenységnapló egy külön tároló, amelynek saját felülete van az Azure Portalon.

A metrikák és a tevékenységnaplók adatait igény szerint átirányíthatja az Azure Monitor-naplók tárolójába. Ezután a Log Analytics használatával lekérdezheti az adatokat, és összehasonlíthatja azokat más naplóadatokkal.

Számos szolgáltatás diagnosztikai beállításokkal küldhet metrikákat és naplóadatokat az Azure Monitoron kívüli más tárolóhelyekre. Ilyenek például az Azure Storage, a üzemeltetett partnerrendszerek és a nem Azure-beli partnerrendszerek az Event Hubs használatával.

Az Azure Monitor adatainak tárolásáról az Azure Monitor adatplatformja nyújt részletes tájékoztatást.

Az Azure Monitor platformmetrikái

Az Azure Monitor platformmetrikát biztosít a legtöbb szolgáltatáshoz. Ezek a metrikák a következők:

  • Egyedileg definiálva minden névtérhez.
  • Az Azure Monitor idősoros metrikák adatbázisában tárolva.
  • Könnyű és képes közel valós idejű riasztások támogatására.
  • Egy erőforrás teljesítményének nyomon követésére szolgál az idő függvényében.

Gyűjtemény: Az Azure Monitor automatikusan gyűjti a platformmetrikákat. Nem igényel konfigurálást.

Útválasztás: Egyes platformmetrikákat az Azure Monitor-naplókba/ Log Analyticsbe is átirányíthat, hogy más naplóadatokkal is lekérdezhesse őket. Ellenőrizze az egyes metrikák DS-exportálási beállításait, és ellenőrizze, hogy használhat-e diagnosztikai beállítást a metrika Azure Monitor-naplókhoz/ Log Analyticshez való átirányításához.

Az Azure Monitor összes erőforrásához gyűjthető metrikák listájáért tekintse meg az Azure Monitor támogatott metrikáit.

Azure Stream Analytics-metrikák

A metrikák Azure Portalon való monitorozásának leírását a Stream Analytics-feladat monitorozása az Azure Portalon című témakörben talál.

Feljegyzés

A REST API-k, az Azure SDK vagy a PowerShell használatával létrehozott Azure Stream Analytics-feladatok alapértelmezés szerint nem rendelkeznek engedélyezve a figyeléssel. A figyelés engedélyezéséhez kövesse a Stream Analytics-feladatmonitor programozott módon történő létrehozásának lépéseit. A monitorozási adatok ezután megjelennek a Stream Analytics-feladat Azure Portal oldalának Metrikák területén.

Az alábbi táblázat néhány gyakran monitorozott Azure Stream Analytics-metrikához tartozó feltételeket és korrekciós műveleteket sorolja fel.

Metrika Feltétel Idő aggregáció Küszöbérték Korrekciós műveletek
SU (memória) kihasználtság %-a Nagyobb mint Átlag 80 Több tényező növeli az SU-k kihasználását. Növelheti a lekérdezések párhuzamosítását, vagy növelheti az SU-k számát. További információért lásd az Azure Stream Analytics-lekérdezések párhozamosításának előnyeit ismertető cikket.
Processzorhasználat %-os kihasználtsága Nagyobb mint Átlag 90 Ez valószínűleg azt jelenti, hogy egyes műveletek (például a felhasználó által definiált függvények, a felhasználó által definiált összesítések vagy az összetett bemeneti deszerializálás) sok processzorciklust igényelnek. Ezt a problémát általában a feladathoz tartozó termékváltozatok számának növelésével háríthatja el.
Futtatókörnyezeti hibák Nagyobb mint Összesen 0 Vizsgálja meg a tevékenységet vagy az erőforrásnaplókat, és végezze el a bemenetek, lekérdezések vagy kimenetek megfelelő módosítását.
Vízjel késleltetése Nagyobb mint Átlag Ha a metrika átlagos értéke az elmúlt 15 percben nagyobb, mint a késői érkezési tűrés (másodpercben). Ha nem módosította a késői érkezési tűréshatárt, az alapértelmezett érték 5 másodperc. Próbálja meg növelni az SUs számát, vagy párhuzamosítani a lekérdezést. További információért a SU-król tekintse meg a streamelési egységek megértése és beállítása című témakört. A lekérdezés párhuzamosításáról további információt az Azure Stream Analytics lekérdezés-párhuzamosításának kihasználása című témakörben talál.
Bemeneti deszerializálási hibák Nagyobb mint Összesen 0 Vizsgálja meg a tevékenységet vagy az erőforrásnaplókat, és végezze el a megfelelő módosításokat a bemeneten. Az erőforrásnaplókkal kapcsolatos további információkért tekintse meg az Azure Stream Analytics hibaelhárítását erőforrásnaplók használatával.

Az Azure Stream Analyticshez elérhető metrikák listáját és leírását az Azure Stream Analytics monitorozási adatreferenciája tartalmazza.

Azure Monitor-erőforrásnaplók

Az erőforrásnaplók betekintést nyújtanak az Azure-erőforrások által végrehajtott műveletekbe. A naplók automatikusan jönnek létre, de a mentésükhöz vagy lekérdezésükhöz az Azure Monitor naplóihoz kell irányítani őket. A naplók kategóriákba vannak rendezve. Egy adott névtér több erőforrásnapló-kategóriával is rendelkezhet.

Gyűjtemény: Az erőforrásnaplók csak akkor lesznek összegyűjtve és tárolva, ha diagnosztikai beállítást hoz létre, és a naplókat egy vagy több helyre irányítja. Diagnosztikai beállítás létrehozásakor meg kell adnia, hogy milyen kategóriájú naplókat kíván gyűjteni. A diagnosztikai beállításokat többféleképpen is létrehozhatja és karbantarthatja, beleértve az Azure Portalt, programozottan és Azure Policyn keresztül.

Útválasztás: A javasolt alapértelmezett beállítás az erőforrásnaplók Azure Monitor-naplókba való átirányítása, hogy más naplóadatokkal is lekérdezhesse őket. Más helyek is elérhetők, például az Azure Storage, az Azure Event Hubs és bizonyos Microsoft monitorozási partnerek. További információ: Azure-erőforrásnaplók és erőforrásnapló-célhelyek.

Az erőforrásnaplók gyűjtésével, tárolásával és útválasztásával kapcsolatos részletes információkért tekintse meg az Azure Monitor diagnosztikai beállításait.

Az Azure Monitor összes elérhető erőforrásnapló-kategóriájának listáját lásd: Támogatott erőforrásnaplók az Azure Monitorban.

Az Azure Monitor összes erőforrásnaplója ugyanazokkal a fejlécmezőkkel rendelkezik, amelyeket a szolgáltatásspecifikus mezők követnek. A közös sémát az Azure Monitor erőforrásnapló-sémája ismerteti.

Azure Stream Analytics-naplók

Az Azure Stream Analytics az erőforrásnaplók két kategóriáját rögzíti:

  • Létrehozás: Rögzíti a feladatkészítési műveletekhez kapcsolódó naplóeseményeket, például a feladatok létrehozását, a bemenetek és kimenetek hozzáadását és törlését, a lekérdezés hozzáadását és frissítését, valamint a feladat elindítását vagy leállítását.

  • Végrehajtás: Rögzíti a feladat végrehajtása során előforduló eseményeket.

    • Csatlakozási hibák
    • Adatfeldolgozási hibák, például:
      • A lekérdezésdefiníciónak nem megfelelő események (eltérő mezőtípusok és értékek, hiányzó mezők stb.)
      • Kifejezésértékelési hibák
    • Egyéb események és hibák

Az elérhető erőforrásnapló-kategóriákról, a hozzájuk tartozó Log Analytics-táblákról és az Azure Stream Analytics naplós sémáiról lásd az Azure Stream Analytics monitorozási adatreferenciáját.

Az Azure Stream Analytics-feladathibák erőforrásnaplók használatával történő hibaelhárításáról az Azure Stream Analytics erőforrásnaplók használatával történő hibaelhárításával kapcsolatos részletes útmutatót talál.

Azure-tevékenységnapló

A tevékenységnapló előfizetésszintű eseményeket tartalmaz, amelyek nyomon követik az egyes Azure-erőforrások műveleteit az adott erőforráson kívülről látható módon; például új erőforrás létrehozása vagy virtuális gép indítása.

Gyűjtemény: A tevékenységnapló-események automatikusan létrejönnek, és egy külön tárolóban lesznek összegyűjtve az Azure Portalon való megtekintéshez.

Útválasztás: Tevékenységnapló-adatokat küldhet az Azure Monitor-naplókba, hogy más naplóadatokkal együtt elemezhesse azokat. Más helyek is elérhetők, például az Azure Storage, az Azure Event Hubs és bizonyos Microsoft monitorozási partnerek. A tevékenységnapló irányításával kapcsolatos további információkért tekintse meg az Azure-tevékenységnapló áttekintését.

Az Azure Stream Analytics-feladathibák tevékenységnaplóval történő hibaelhárításának részletes útmutatóját a tevékenységnaplók használatával végzett hibakeresés című témakörben találja.

Monitorozási adatok elemzése

A monitorozási adatok elemzésére számos eszköz áll rendelkezésre.

Azure Monitor-eszközök

Az Azure Monitor a következő alapvető eszközöket támogatja:

Az összetettebb vizualizációt lehetővé tevő eszközök a következők:

  • Irányítópultok , amelyek lehetővé teszik, hogy különböző típusú adatokat egyesítsen egyetlen panelen az Azure Portalon.
  • Az Azure Portalon létrehozható munkafüzetek, testreszabható jelentések. A munkafüzetek tartalmazhatnak szöveget, metrikákat és napló lekérdezéseket.
  • Grafana, egy nyíltplatformos eszköz, amely kiválóan működik az irányítópultokon. A Grafana használatával olyan irányítópultokat hozhat létre, amelyek az Azure Monitoron kívül több forrásból származó adatokat is tartalmaznak.
  • A Power BI egy üzleti elemzési szolgáltatás, amely interaktív vizualizációkat biztosít különböző adatforrásokban. A Power BI-t úgy konfigurálhatja, hogy automatikusan importálja a naplóadatokat az Azure Monitorból a vizualizációk előnyeinek kihasználásához.

Az Azure Monitor exportálási eszközei

Az Azure Monitorból más eszközökre is lekérheti az adatokat az alábbi módszerekkel:

Az Azure MonitorHOZ készült REST API használatának megkezdéséhez tekintse meg az Azure monitoring REST API-útmutatót.

Kusto-lekérdezések

A monitorozási adatokat az Azure Monitor Naplók/ Log Analytics-tárolóban a Kusto lekérdezési nyelv (KQL) használatával elemezheti.

Fontos

Amikor a portálon a szolgáltatás menüjében a Naplók lehetőséget választja, megnyílik a Log Analytics, és a lekérdezés hatóköre az aktuális szolgáltatásra van állítva. Ez a hatókör azt jelenti, hogy a napló lekérdezései csak az adott típusú erőforrásból származó adatokat tartalmazzák. Ha más Azure-szolgáltatásokból származó adatokat tartalmazó lekérdezést szeretne futtatni, válassza a Naplók lehetőséget az Azure Monitor menüjében. A részletekért tekintse meg az Azure Monitor Log Analytics napló lekérdezési hatókörét és időtartományát.

A szolgáltatások gyakori lekérdezéseinek listáját a Log Analytics lekérdezési felületén találja.

Minta lekérdezések

Az alábbi minta lekérdezésekkel figyelheti az Azure Stream Analytics-erőforrásokat:

  • Az összes bemeneti adathiba listázása. Az alábbi lekérdezés az összes hibát megjeleníti, amely a bemenetek adatainak feldolgozása során történt.

    AzureDiagnostics 
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).Type == "DataError" 
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Késve érkezett események Az alábbi lekérdezés olyan események miatti hibákat jelenít meg, ahol az alkalmazás ideje és az érkezési idő közötti különbség nagyobb, mint a késői érkezési szabályzat.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and  parse_json(properties_s).DataErrorType == "LateInputEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Események, amelyek korán érkeztek. Az alábbi lekérdezés olyan események miatti hibákat jelenít meg, ahol az alkalmazás ideje és az érkezési idő közötti különbség meghaladja az 5 percet.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType == "EarlyInputEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Az események rossz sorrendben érkeztek. Az alábbi lekérdezés sorrenden kívüli politikának megfelelően sorrenden kívül érkező események miatt hibákat jelez.

    // To create an alert for this query, click '+ New alert rule'
AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType == "OutOfOrderEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Minden kimeneti adathiba. Az alábbi lekérdezés az összes hibát megjeleníti, amely a lekérdezés eredményeinek a feladat kimeneteibe való írása során történt.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType in ("OutputDataConversionError.RequiredColumnMissing", "OutputDataConversionError.ColumnNameInvalid", "OutputDataConversionError.TypeConversionError", "OutputDataConversionError.RecordExceededSizeLimit", "OutputDataConversionError.DuplicateKey")
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Az alábbi lekérdezés az elmúlt hét nap sikertelen műveleteinek összegzését mutatja be.

    AzureDiagnostics
| where TimeGenerated > ago(7d) //last 7 days
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and status_s == "Failed" 
| summarize Count=count(), sampleEvent=any(properties_s) by JobName=Resource

Riasztások

Az Azure Monitor-riasztások proaktív módon értesítik, ha adott feltételek találhatók a monitorozási adatokban. A riasztások lehetővé teszik a rendszer problémáinak azonosítását és kezelését, mielőtt az ügyfelek észrevennénk őket. További információ: Azure Monitor-riasztások.

Az Azure-erőforrásokra vonatkozó gyakori riasztások számos forrásból állnak. Az Azure-erőforrásokra vonatkozó gyakori riasztások példáiért lásd a naplóriasztási lekérdezéseket. Az Azure Monitor Alapszintű riasztások (AMBA) webhelye félautomata módszert biztosít a fontos platformmetrika-riasztások, irányítópultok és irányelvek implementálására. A webhely az Azure-szolgáltatások folyamatosan bővülő részhalmazára vonatkozik, beleértve az Azure Landing Zone (ALZ) részét képező összes szolgáltatást is.

Az általános riasztási séma szabványosítja az Azure Monitor riasztási értesítéseinek fogyasztását. További információ: Gyakori riasztási séma.

Riasztások típusai

Az Azure Monitor adatplatformon bármilyen metrika- vagy naplóadatforrásról riasztást készíthet. A figyelt szolgáltatásoktól és a gyűjtött monitorozási adatoktól függően számos különböző típusú riasztás létezik. A különböző típusú riasztások különböző előnyökkel és hátrányokkal rendelkeznek. További információ: A megfelelő figyelési riasztástípus kiválasztása.

Az alábbi lista a létrehozható Azure Monitor-riasztások típusait ismerteti:

  • A metrikariasztások rendszeres időközönként értékelik ki az erőforrásmetrikákat. A metrikák lehetnek platformmetrikák, egyéni metrikák, az Azure Monitorból metrikákká konvertált naplók vagy Application Insights-metrikák. A metrikariasztások több feltételt és dinamikus küszöbértéket is alkalmazhatnak.
  • A naplóriasztások lehetővé teszik, hogy a felhasználók Log Analytics-lekérdezéssel kiértékeljék az erőforrásnaplókat egy előre meghatározott gyakorisággal.
  • A tevékenységnapló-riasztások akkor aktiválnak, ha egy új tevékenységnapló-esemény következik be, amely megfelel a megadott feltételeknek. A Resource Health-riasztások és a Service Health-riasztások olyan tevékenységnapló-riasztások, amelyek jelentést jelentenek a szolgáltatásról és az erőforrás állapotáról.

Egyes Azure-szolgáltatások intelligens észlelési riasztásokat, Prometheus-riasztásokat vagy ajánlott riasztási szabályokat is támogatnak.

Egyes szolgáltatások esetében nagy léptékben monitorozhat, ha ugyanazt a metrikariasztási szabályt több, azonos típusú erőforrásra alkalmazza, amelyek ugyanabban az Azure-régióban léteznek. Minden figyelt erőforráshoz külön értesítéseket küld a rendszer. A támogatott Azure-szolgáltatásokról és felhőkről lásd : Több erőforrás monitorozása egyetlen riasztási szabmánnyal.

Azure Stream Analytics-riasztási szabályok

Az alábbi táblázat felsorol néhány javasolt riasztási szabályt az Azure Stream Analyticshez. Ezek a riasztások csak példák. Riasztásokat állíthat be az Azure Stream Analytics monitorozási adatreferenciájában felsorolt metrikákhoz, naplóbejegyzésekhez vagy tevékenységnapló-bejegyzésekhez.

Riasztástípus Feltétel Leírás
Platformmetrikák Streamelési egység (SU) memóriakihasználtsága Ha az átlagos su (memória) kihasználtsága meghaladja a 80%-ot
Tevékenységnapló Sikertelen műveletek Ha a tevékenységnaplóban a Category='Administrative', Signal name='All Administrative operations', Status='Failed' (Minden felügyeleti művelet) esemény szerepel, akkor a rendszer a következő eseményt adja meg: Category='Administrative', Signal name='All Administrative operations', Status='Failed'

Az Azure Stream Analytics riasztásainak beállítására vonatkozó részletes útmutatásért lásd: Riasztások beállítása az Azure Stream Analytics-feladatokhoz.

Az Advisor javaslatai

Egyes szolgáltatások esetében, ha az erőforrás-műveletek során kritikus feltételek vagy közelgő változások lépnek fel, riasztás jelenik meg a portál szolgáltatásáttekintő lapján. A riasztással kapcsolatos további információkat és javasolt javításokat a bal oldali menü Figyelés területén található Advisor-javaslatok között találja. Normál műveletek során nem jelennek meg tanácsadói javaslatok.

Az Azure Advisorról további információt az Azure Advisor áttekintésében talál.

Kapcsolódó tartalom

  • Last updated on