Az Azure Machine Learning monitorozása

Ez a cikk a következőket ismerteti:

• A szolgáltatáshoz gyűjthető monitorozási adatok típusai.
• Az adatok elemzésének módjai.

Feljegyzés

Ha már ismeri ezt a szolgáltatást és/vagy az Azure Monitort, és csak tudni szeretné, hogyan elemezheti a figyelési adatokat, tekintse meg a cikk végén található Elemzés szakaszt.

Ha olyan kritikus alkalmazásokkal és üzleti folyamatokkal rendelkezik, amelyek Az Azure-erőforrásokra támaszkodnak, figyelnie kell és riasztásokat kell kapnia a rendszeréről. Az Azure Monitor szolgáltatás a rendszer minden összetevőjéből gyűjti és összesíti a metrikákat és naplókat. Az Azure Monitor áttekintést nyújt a rendelkezésre állásról, a teljesítményről és a rugalmasságról, és értesíti Önt a problémákról. A monitorozási adatok beállításához és megtekintéséhez használhatja az Azure Portalt, a PowerShellt, az Azure CLI-t, a REST API-t vagy az ügyfélkódtárakat.

• Az Azure Monitorral kapcsolatos további információkért tekintse meg az Azure Monitor áttekintését.
• Az Azure-erőforrások általános monitorozásával kapcsolatos további információkért lásd : Azure-erőforrások monitorozása az Azure Monitorral.

Feljegyzés

A dokumentumban szereplő információk elsősorban a rendszergazdák számára találhatók, mivel az Azure Machine Learning szolgáltatás és a kapcsolódó Azure-szolgáltatások monitorozását ismerteti. Ha Ön adatelemző vagy fejlesztő, és a modellbetanítási futtatásokra vonatkozó információkat szeretne figyelni, tekintse meg az alábbi dokumentumokat:

• Betanítási futtatások indítása, monitorozása és megszakítása
• Naplómetrikák betanítási futtatásokhoz
• Kísérletek nyomon követése az MLflow használatával

Ha az online végpontokon üzembe helyezett modellek által létrehozott információkat szeretné figyelni, tekintse meg az online végpontok monitorozását ismertető cikket.

Elemzések

Az Azure egyes szolgáltatásai beépített monitorozási irányítópulttal rendelkeznek az Azure Portalon, amely kiindulópontot biztosít a szolgáltatás monitorozásához. Ezeket az irányítópultokat elemzéseknek nevezzük, és az Azure Monitor Insights Hubjában, az Azure Portalon találhatja meg őket.

A Machine Learning az Application Insights használatával nyomon követheti a metrikákat és a naplókat. A beépített metrikákat és naplókat elküldheti az Application Insightsnak, és az Application Insights olyan funkcióit is használhatja, mint az Élő metrikák, a Tranzakciókeresés, a Hibák és a Teljesítmény. További információ: Online végpontok figyelése.

Erőforrástípusok

Az Azure az erőforrástípusok és azonosítók fogalmát használja az előfizetések minden elemének azonosítására. Az erőforrástípusok az Azure-ban futó összes erőforrás erőforrásazonosítóinak is részét képezik. A virtuális gépek egyik erőforrástípusa például az Microsoft.Compute/virtualMachines. A szolgáltatások és a hozzájuk kapcsolódó erőforrástípusok listáját az Erőforrás-szolgáltatók című témakörben találja.

Az Azure Monitor hasonlóan rendszerezi az alapvető monitorozási adatokat metrikákba és naplókba az erőforrástípusok, más néven névterek alapján. Különböző metrikák és naplók érhetők el a különböző erőforrástípusokhoz. Előfordulhat, hogy a szolgáltatás több erőforrástípushoz is társítva van.

A Machine Learning erőforrástípusairól további információt a Machine Learning monitorozási adatainak referenciaanyagában talál.

Adattárolás

Azure Monitor esetén:

• A metrikák adatait az Azure Monitor metrikák adatbázisa tárolja.
• A naplóadatok tárolása az Azure Monitor naplók tárolójában történik. A Log Analytics egy eszköz az Azure Portalon, amely le tudja kérdezni ezt az áruházat.
• Az Azure-tevékenységnapló egy külön tároló, amelynek saját felülete van az Azure Portalon.

A metrikák és a tevékenységnaplók adatait igény szerint átirányíthatja az Azure Monitor-naplók tárolójába. Ezután a Log Analytics használatával lekérdezheti az adatokat, és összehasonlíthatja azokat más naplóadatokkal.

Számos szolgáltatás diagnosztikai beállításokkal küldhet metrikákat és naplóadatokat az Azure Monitoron kívüli más tárolóhelyekre. Ilyenek például az Azure Storage, a üzemeltetett partnerrendszerek és a nem Azure-beli partnerrendszerek az Event Hubs használatával.

Az Azure Monitor adatainak tárolásáról az Azure Monitor adatplatformja nyújt részletes tájékoztatást.

Az Azure Monitor platformmetrikái

Az Azure Monitor platformmetrikát biztosít a legtöbb szolgáltatáshoz. Ezek a metrikák a következők:

• Egyedileg definiálva minden névtérhez.
• Az Azure Monitor idősoros metrikák adatbázisában tárolva.
• Könnyű és képes közel valós idejű riasztások támogatására.
• Egy erőforrás teljesítményének nyomon követésére szolgál az idő függvényében.

Gyűjtemény: Az Azure Monitor automatikusan gyűjti a platformmetrikákat. Nem igényel konfigurálást.

Útválasztás: Egyes platformmetrikákat az Azure Monitor-naplókba/ Log Analyticsbe is átirányíthat, hogy más naplóadatokkal is lekérdezhesse őket. Ellenőrizze az egyes metrikák DS-exportálási beállításait, és ellenőrizze, hogy használhat-e diagnosztikai beállítást a metrika Azure Monitor-naplókhoz/ Log Analyticshez való átirányításához.

• További információt a Metrikák diagnosztikai beállításában talál.
• A szolgáltatás diagnosztikai beállításainak konfigurálásához lásd: Diagnosztikai beállítások létrehozása az Azure Monitorban.

Az Azure Monitor összes erőforrásához gyűjthető metrikák listájáért tekintse meg az Azure Monitor támogatott metrikáit.

A Machine Learninghez elérhető metrikák listájáért tekintse meg a Machine Learning monitorozási adatreferenciáját.

Az Azure Machine Learning összes metrikája a Machine Learning Service-munkaterület névterében található.

Azure Monitor-erőforrásnaplók

Az erőforrásnaplók betekintést nyújtanak az Azure-erőforrások által végrehajtott műveletekbe. A naplók automatikusan jönnek létre, de a mentésükhöz vagy lekérdezésükhöz az Azure Monitor naplóihoz kell irányítani őket. A naplók kategóriákba vannak rendezve. Egy adott névtér több erőforrásnapló-kategóriával is rendelkezhet.

Gyűjtemény: Az erőforrásnaplók csak akkor lesznek összegyűjtve és tárolva, ha diagnosztikai beállítást hoz létre, és a naplókat egy vagy több helyre irányítja. Diagnosztikai beállítás létrehozásakor meg kell adnia, hogy milyen kategóriájú naplókat kíván gyűjteni. A diagnosztikai beállításokat többféleképpen is létrehozhatja és karbantarthatja, beleértve az Azure Portalt is, programozott módon, és bár az Azure Policyt.

Útválasztás: A javasolt alapértelmezett beállítás az erőforrásnaplók Azure Monitor-naplókba való átirányítása, hogy más naplóadatokkal is lekérdezhesse őket. Más helyek is elérhetők, például az Azure Storage, az Azure Event Hubs és bizonyos Microsoft monitorozási partnerek. További információ: Azure-erőforrásnaplók és erőforrásnapló-célhelyek.

Az erőforrásnaplók gyűjtésével, tárolásával és útválasztásával kapcsolatos részletes információkért tekintse meg az Azure Monitor diagnosztikai beállításait.

Az Azure Monitor összes elérhető erőforrásnapló-kategóriájának listáját lásd: Támogatott erőforrásnaplók az Azure Monitorban.

Az Azure Monitor összes erőforrásnaplója ugyanazokkal a fejlécmezőkkel rendelkezik, amelyeket a szolgáltatásspecifikus mezők követnek. A közös sémát az Azure Monitor erőforrásnapló-sémája ismerteti.

Az elérhető erőforrásnapló-kategóriákról, a hozzájuk tartozó Log Analytics-táblákról és a Machine Learning naplós sémáiról lásd : Machine Learning monitorozási adatokra vonatkozó referencia.

Azure-tevékenységnapló

A tevékenységnapló előfizetésszintű eseményeket tartalmaz, amelyek nyomon követik az egyes Azure-erőforrások műveleteit az adott erőforráson kívülről látható módon; például új erőforrás létrehozása vagy virtuális gép indítása.

Gyűjtemény: A tevékenységnapló-események automatikusan létrejönnek, és egy külön tárolóban lesznek összegyűjtve az Azure Portalon való megtekintéshez.

Útválasztás: Tevékenységnapló-adatokat küldhet az Azure Monitor-naplókba, hogy más naplóadatokkal együtt elemezhesse azokat. Más helyek is elérhetők, például az Azure Storage, az Azure Event Hubs és bizonyos Microsoft monitorozási partnerek. A tevékenységnapló irányításával kapcsolatos további információkért tekintse meg az Azure-tevékenységnapló áttekintését.

Monitorozási adatok elemzése

A monitorozási adatok elemzésére számos eszköz áll rendelkezésre.

Azure Monitor-eszközök

Az Azure Monitor a következő alapvető eszközöket támogatja:

• A Metrics Explorer egy eszköz az Azure Portalon, amely lehetővé teszi az Azure-erőforrások mérőszámainak megtekintését és elemzését. További információ: Metrikák elemzése az Azure Monitor metrikakezelőjével.

• A Log Analytics egy eszköz az Azure Portalon, amely lehetővé teszi a naplóadatok lekérdezését és elemzését a Kusto lekérdezési nyelv (KQL) használatával. További információ: A napló lekérdezéseinek első lépései az Azure Monitorban.

• A tevékenységnapló, amely egy felhasználói felülettel rendelkezik az Azure Portalon a megtekintéshez és az alapszintű keresésekhez. A részletesebb elemzéshez át kell irányítania az adatokat az Azure Monitor-naplókba, és összetettebb lekérdezéseket kell futtatnia a Log Analyticsben.

Az összetettebb vizualizációt lehetővé tevő eszközök a következők:

• Irányítópultok , amelyek lehetővé teszik, hogy különböző típusú adatokat egyesítsen egyetlen panelen az Azure Portalon.
• Az Azure Portalon létrehozható munkafüzetek, testreszabható jelentések. A munkafüzetek tartalmazhatnak szöveget, metrikákat és napló lekérdezéseket.
• Grafana, egy nyíltplatformos eszköz, amely kiválóan működik az irányítópultokon. A Grafana használatával olyan irányítópultokat hozhat létre, amelyek az Azure Monitoron kívül több forrásból származó adatokat is tartalmaznak.
• A Power BI egy üzleti elemzési szolgáltatás, amely interaktív vizualizációkat biztosít különböző adatforrásokban. A Power BI-t úgy konfigurálhatja, hogy automatikusan importálja a naplóadatokat az Azure Monitorból a vizualizációk előnyeinek kihasználásához.

Az Azure Monitor exportálási eszközei

Az Azure Monitorból más eszközökre is lekérheti az adatokat az alábbi módszerekkel:

• Metrikák: Metrikákhoz használja a REST API-t metrikaadatok kinyeréséhez az Azure Monitor metrika-adatbázisából. Az API támogatja a szűrőkifejezéseket a lekért adatok finomításához. További információ: Azure Monitor REST API-referencia.

• Naplók: Használja a REST API-t vagy a kapcsolódó ügyfélkódtárakat.

• Egy másik lehetőség a munkaterület adatexportálása.

Az Azure MonitorHOZ készült REST API használatának megkezdéséhez tekintse meg az Azure monitoring REST API-útmutatót.

Kusto-lekérdezések

A monitorozási adatokat az Azure Monitor Naplók/ Log Analytics-tárolóban a Kusto lekérdezési nyelv (KQL) használatával elemezheti.

Fontos

Amikor a portálon a szolgáltatás menüjében a Naplók lehetőséget választja, megnyílik a Log Analytics, és a lekérdezés hatóköre az aktuális szolgáltatásra van állítva. Ez a hatókör azt jelenti, hogy a napló lekérdezései csak az adott típusú erőforrásból származó adatokat tartalmazzák. Ha más Azure-szolgáltatásokból származó adatokat tartalmazó lekérdezést szeretne futtatni, válassza a Naplók lehetőséget az Azure Monitor menüjében. A részletekért tekintse meg az Azure Monitor Log Analytics napló lekérdezési hatókörét és időtartományát.

A szolgáltatások gyakori lekérdezéseinek listáját a Log Analytics lekérdezési felületén találja.

A Machine Learning-erőforrások monitorozásához az alábbi lekérdezésekkel segíthet:

• Sikertelen feladatok lekérése az elmúlt öt napban:

  AmlComputeJobEvent
  | where TimeGenerated > ago(5d) and EventType == "JobFailed"
  | project  TimeGenerated , ClusterId , EventType , ExecutionState , ToolType
  

• Adott feladatnév rekordjainak lekérése:

  AmlComputeJobEvent
  | where JobName == "automl_a9940991-dedb-4262-9763-2fd08b79d8fb_setup"
  | project  TimeGenerated , ClusterId , EventType , ExecutionState , ToolType
  

• Fürtesemények lekérése az elmúlt öt napban olyan fürtök esetében, ahol a virtuális gép mérete Standard_D1_V2:

  AmlComputeClusterEvent
  | where TimeGenerated > ago(4d) and VmSize == "STANDARD_D1_V2"
  | project  ClusterName , InitialNodeCount , MaximumNodeCount , QuotaAllocated , QuotaUtilized
  

• Kérje le a fürtcsomópont-foglalásokat az elmúlt nyolc napban::

  AmlComputeClusterEvent
  | where TimeGenerated > ago(8d) and TargetNodeCount  > CurrentNodeCount
  | project TimeGenerated, ClusterName, CurrentNodeCount, TargetNodeCount
  

Ha több Machine Learning-munkaterületet csatlakoztat ugyanahhoz a Log Analytics-munkaterülethez, az összes erőforrást lekérdezheti.

• A munkaterületeken és fürtökön futó csomópontok számának lekérése az elmúlt napon:

  AmlComputeClusterEvent
  | where TimeGenerated > ago(1d)
  | summarize avgRunningNodes=avg(TargetNodeCount), maxRunningNodes=max(TargetNodeCount)
           by Workspace=tostring(split(_ResourceId, "/")[8]), ClusterName, ClusterType, VmSize, VmPriority
  

Riasztások

Az Azure Monitor-riasztások proaktív módon értesítik, ha adott feltételek találhatók a monitorozási adatokban. A riasztások lehetővé teszik a rendszer problémáinak azonosítását és kezelését, mielőtt az ügyfelek észrevennénk őket. További információ: Azure Monitor-riasztások.

Az Azure-erőforrásokra vonatkozó gyakori riasztások számos forrásból állnak. Az Azure-erőforrásokra vonatkozó gyakori riasztások példáiért lásd a naplóriasztási lekérdezéseket. Az Azure Monitor Alapszintű riasztások (AMBA) webhelye félautomata módszert biztosít a fontos platformmetrika-riasztások, irányítópultok és irányelvek implementálására. A webhely az Azure-szolgáltatások folyamatosan bővülő részhalmazára vonatkozik, beleértve az Azure Landing Zone (ALZ) részét képező összes szolgáltatást is.

A gyakori riasztási séma szabványosítja az Azure Monitor riasztási értesítéseinek használatát. További információ: Gyakori riasztási séma.

Riasztások típusai

Az Azure Monitor adatplatformon bármilyen metrika- vagy naplóadatforrásról riasztást készíthet. A figyelt szolgáltatásoktól és a gyűjtött monitorozási adatoktól függően számos különböző típusú riasztás létezik. A különböző típusú riasztások különböző előnyökkel és hátrányokkal rendelkeznek. További információ: A megfelelő figyelési riasztástípus kiválasztása.

Az alábbi lista a létrehozható Azure Monitor-riasztások típusait ismerteti:

• A metrikariasztások rendszeres időközönként értékelik ki az erőforrásmetrikákat. A metrikák lehetnek platformmetrikák, egyéni metrikák, az Azure Monitorból metrikákká konvertált naplók vagy Application Insights-metrikák. A metrikariasztások több feltételt és dinamikus küszöbértéket is alkalmazhatnak.
• A naplóriasztások lehetővé teszik, hogy a felhasználók Log Analytics-lekérdezéssel kiértékeljék az erőforrásnaplókat egy előre meghatározott gyakorisággal.
• A tevékenységnapló-riasztások akkor aktiválnak, ha egy új tevékenységnapló-esemény következik be, amely megfelel a megadott feltételeknek. A Resource Health-riasztások és a Service Health-riasztások olyan tevékenységnapló-riasztások, amelyek jelentést jelentenek a szolgáltatásról és az erőforrás állapotáról.

Egyes Azure-szolgáltatások intelligens észlelési riasztásokat, Prometheus-riasztásokat vagy ajánlott riasztási szabályokat is támogatnak.

Egyes szolgáltatások esetében nagy léptékben monitorozhat, ha ugyanazt a metrikariasztási szabályt több, azonos típusú erőforrásra alkalmazza, amelyek ugyanabban az Azure-régióban léteznek. Minden figyelt erőforráshoz külön értesítéseket küld a rendszer. A támogatott Azure-szolgáltatásokról és felhőkről lásd : Több erőforrás monitorozása egyetlen riasztási szabmánnyal.

Feljegyzés

Ha olyan alkalmazást hoz létre vagy futtat, amely a szolgáltatáson fut, az Azure Monitor alkalmazáselemzései több típusú riasztást is kínálhatnak.

Machine Learning-riasztási szabályok

Az alábbi táblázat a Machine Learning gyakori és ajánlott riasztási szabályait sorolja fel.

Riasztástípus	Feltétel	Leírás
A modell üzembe helyezése sikertelen	Összesítés típusa: Összeg, Operátor: Nagyobb, Küszöbérték: 0	Ha egy vagy több modelltelepítés meghiúsult
Kvótakihasználtság százalékos aránya	Összesítés típusa: Átlag, Operátor: Nagyobb, Küszöbérték: 90	Ha a kvóta kihasználtsága meghaladja a 90%-ot
Használhatatlan csomópontok	Összesítés típusa: Összeg, Operátor: Nagyobb, Küszöbérték: 0	Ha egy vagy több használhatatlan csomópont van

Az Advisor javaslatai

Egyes szolgáltatások esetében, ha az erőforrás-műveletek során kritikus feltételek vagy közelgő változások lépnek fel, riasztás jelenik meg a portál szolgáltatásáttekintő lapján. A riasztással kapcsolatos további információkat és javasolt javításokat a bal oldali menü Figyelés területén található Advisor-javaslatok között találja. Normál műveletek során nem jelennek meg tanácsadói javaslatok.

Az Azure Advisorról további információt az Azure Advisor áttekintésében talál.

Kapcsolódó tartalom

• A Machine Learning monitorozási adatainak referenciáját a Machine Learninghez létrehozott metrikák, naplók és egyéb fontos értékek hivatkozásához tekinti meg.
• Az Azure-erőforrások monitorozásával kapcsolatos általános részletekért tekintse meg az Azure-erőforrások Monitorozása az Azure Monitorral című témakört.
• Az Azure-erőforrások kvótáinak kezelése és kérése a Machine Learninghez kapcsolódó kvóták kezelésével kapcsolatos információkért.