Útmutató: A metrikaadatok előkészítése a Metrics Advisorba
Fontos
2023. szeptember 20-tól nem hozhat létre új Metrics Advisor-erőforrásokat. A Metrics Advisor szolgáltatás 2026. október 1-jén megszűnik.
Ebből a cikkből megtudhatja, hogyan hozhatja be az adatokat a Metrics Advisorba.
Adatséma követelményei és konfigurációja
Az Azure AI Metrics Advisor az idősorozat-anomáliadetektáláshoz, diagnosztikához és elemzéshez használható szolgáltatás. Mi-alapú szolgáltatásként az ön adataival tanítja be a használt modellt. A szolgáltatás a következő oszlopokkal fogadja el az összesített adatok tábláit:
- Mérték (kötelező): A mérték a mérőszám alapvető vagy egységspecifikus kifejezése, és számszerűsíthető értéke. Ez azt jelenti, hogy egy vagy több oszlop numerikus értékeket tartalmaz.
- Időbélyeg (nem kötelező): Nulla vagy egy oszlop, amelynek típusa
DateTimevagyStringtípusa. Ha ez az oszlop nincs beállítva, az időbélyeg az egyes betöltési időszakok kezdő időpontjaként van beállítva. Formázza az időbélyeget a következőképpen:yyyy-MM-ddTHH:mm:ssZ. - Dimenzió (nem kötelező): A dimenzió egy vagy több kategorikus érték. Ezeknek az értékeknek a kombinációja azonosít egy adott egyvariátumos idősort (például országot/régiót, nyelvet és bérlőt). A dimenzióoszlopok bármilyen adattípusúak lehetnek. Nagy mennyiségű oszlop és érték használata esetén legyen óvatos, hogy ne lehessen túl sok dimenziót feldolgozni.
Ha olyan adatforrásokat használ, mint az Azure Data Lake Storage vagy az Azure Blob Storage, összesítheti az adatokat, hogy igazodjon a várt metrikák sémájához. Ennek az az oka, hogy ezek az adatforrások egy fájlt használnak metrikák bemeneteként.
Ha olyan adatforrásokat használ, mint az Azure SQL vagy az Azure Data Explorer, aggregációs függvényekkel összesítheti az adatokat a várt sémában. Ennek az az oka, hogy ezek az adatforrások támogatják a lekérdezések futtatását a metrikák adatforrásokból való lekéréséhez.
Ha nem biztos a kifejezések némelyikében, tekintse meg a szószedetet.
Kerülje a részleges adatok betöltését
A részleges adatokat a Metrics Advisorban tárolt adatok és az adatforrás közötti ellentmondások okozzák. Ez akkor fordulhat elő, ha az adatforrás frissül, miután a Metrics Advisor befejezte az adatok lekérését. A Metrics Advisor csak egyszer kér le adatokat egy adott adatforrásból.
Ha például egy metrikát a Metrics Advisorhoz készítettek figyelésre. A Metrics Advisor sikeresen megragadja a metrikák adatait az A időbélyegnél, és anomáliadetektálási műveleteket hajt végre rajta. Ha azonban az adott időbélyeg A metrikaadatai az adatok betöltése után frissültek. Az új adatértékek nem lesznek beolvasva.
Az inkonzisztenciák mérséklése érdekében megpróbálhatja az előzményadatok (később ismertetett) visszatöltését , de ez nem vált ki új rendellenességi riasztásokat, ha az adott időpontokra vonatkozó riasztások már aktiválódtak. Ez a folyamat további számítási feladatokat adhat a rendszerhez, és nem automatikus.
A részleges adatok betöltésének elkerülése érdekében két módszert ajánlunk:
Adatok létrehozása egy tranzakcióban:
Győződjön meg arról, hogy az azonos időbélyegű dimenziókombinációk metrikaértékei egyetlen tranzakcióban vannak tárolva az adatforrásban. A fenti példában várjon, amíg az összes adatforrásból származó adatok készen állnak, majd betölti azokat a Metrics Advisorba egy tranzakcióban. A Metrics Advisor rendszeresen lekérdezheti az adatcsatornát az adatok sikeres (vagy részleges) lekéréséig.
Az adatbetöltés késleltetése a Betöltési idő eltolás paraméter megfelelő értékének beállításával:
Állítsa be az adatcsatorna betöltési időeltolás paraméterét úgy, hogy az az adatok teljes előkészítéséig késleltetje a betöltést. Ez hasznos lehet olyan adatforrások esetében, amelyek nem támogatják az olyan tranzakciókat, mint az Azure Table Storage. A részletekért tekintse meg a speciális beállításokat .
Első lépésként adjon hozzá egy adatcsatornát
Miután bejelentkezett a Metrics Advisor portálra, és kiválasztotta a munkaterületet, kattintson az Első lépések gombra. Ezután a munkaterület főoldalán kattintson az Adatcsatorna hozzáadása elemre a bal oldali menüből.
Kapcsolati beállítások hozzáadása
1. Alapbeállítások
A következő lépésben egy paraméterkészletet ad meg az idősoros adatforrás csatlakoztatásához.
- Forrás típusa: Az az adatforrástípus, amelyben az idősor adatai vannak tárolva.
- Részletesség: Az idősoradatok egymást követő adatpontjai közötti intervallum. A Metrics Advisor jelenleg a következőket támogatja: éves, havi, heti, napi, óránkénti, percenkénti és egyéni. A testreszabási beállítás által támogatott legkisebb időköz 60 másodperc.
- Másodperc: Az a másodpercek száma, amikor a granularityName beállítás a Testreszabás értékre van állítva.
- Adatok betöltése (UTC): Az adatbetöltés alapkonfigurációs kezdési ideje.
startOffsetInSecondsgyakran használják eltolás hozzáadására az adatkonzisztenciához.
2. Adja meg a kapcsolati sztring
Ezután meg kell adnia az adatforrás kapcsolati adatait. A többi mező részleteiért és a különböző típusú adatforrások összekapcsolásához lásd: Útmutató: Csatlakozás különböző adatforrások.
3. Lekérdezés megadása egyetlen időbélyeghez
A különböző típusú adatforrások részleteiért lásd: Útmutató: Csatlakozás különböző adatforrások.
Adatok betöltése
A kapcsolati sztring és a lekérdezési sztring bevitele után válassza az Adatok betöltése lehetőséget. Ebben a műveletben a Metrics Advisor ellenőrzi a kapcsolatot és az adatok betöltésére vonatkozó engedélyt, ellenőrzi a szükséges paramétereket (@IntervalStart és @IntervalEnd) amelyeket használni kell a lekérdezésben, és ellenőrzi az oszlop nevét az adatforrásból.
Ha hiba történt ebben a lépésben:
- Először ellenőrizze, hogy a kapcsolati sztring érvényes-e.
- Ezután ellenőrizze, hogy rendelkezik-e megfelelő engedélyekkel, és hogy a betöltési feldolgozó IP-címe rendelkezik-e hozzáféréssel.
- Ezután ellenőrizze, hogy a szükséges paraméterek (@IntervalStart és @IntervalEnd) a lekérdezésben használatosak-e.
Sémakonfiguráció
Az adatséma betöltése után válassza ki a megfelelő mezőket.
Ha egy adatpont időbélyege nincs megadva, a Metrics Advisor az időbélyeget használja az adatpont betöltésekor. Minden adatcsatorna esetében legfeljebb egy oszlopot adhat meg időbélyegként. Ha egy oszlopot nem lehet időbélyegként megadni, ellenőrizze a lekérdezést vagy az adatforrást, és hogy több időbélyeg van-e a lekérdezés eredményében – nem csak az előzetes adatokban. Az adatbetöltés végrehajtásakor a Metrics Advisor minden alkalommal csak egy adattömbet (például egy napot, egy órát – a részletességnek megfelelően) használhat fel az adott forrásból származó idősoradatokból.
| Kiválasztás | Leírás | Jegyzetek |
|---|---|---|
| Megjelenített név | A munkaterületen az eredeti oszlopnév helyett megjelenítendő név. | Opcionális. |
| Időbélyeg | Egy adatpont időbélyege. Ha nincs megadva, a Metrics Advisor az időbélyeget fogja használni az adatpont betöltésekor. Minden adatcsatorna esetében legfeljebb egy oszlopot adhat meg időbélyegként. | Opcionális. Legfeljebb egy oszlopot kell megadni. Ha egy oszlop nem adható meg időbélyeg-hibaként , ellenőrizze a lekérdezést vagy az adatforrást az ismétlődő időbélyegek keresésekor. |
| Intézkedés | Az adatcsatorna numerikus értékei. Minden adatcsatorna esetében több mértéket is megadhat, de legalább egy oszlopot ki kell jelölni mértékként. | Legalább egy oszlopot meg kell adni. |
| Dimenzió | Kategorikus értékek. A különböző értékek kombinációja egy adott egydimenziós idősort azonosít, például: ország/régió, nyelv, bérlő. Nulla vagy több oszlopot jelölhet ki dimenzióként. Megjegyzés: legyen óvatos, ha nem sztring típusú oszlopot jelöl ki dimenzióként. | Opcionális. |
| Figyelmen kívül hagyja | Hagyja figyelmen kívül a kijelölt oszlopot. | Opcionális. Ha az adatforrások támogatják a lekérdezések használatát az adatok lekéréséhez, nincs "Figyelmen kívül hagyás" lehetőség. |
Ha figyelmen kívül szeretné hagyni az oszlopokat, javasoljuk, hogy frissítse a lekérdezést vagy az adatforrást, hogy kizárja ezeket az oszlopokat. Az oszlopok figyelmen kívül hagyása az Oszlopok figyelmen kívül hagyása, majd az adott oszlopok figyelmen kívül hagyása funkcióval is mellőzhető. Ha egy oszlopnak dimenziónak kell lennie, és tévesen mellőzöttként van beállítva, előfordulhat, hogy a Metrics Advisor részleges adatokat tölt be. Tegyük fel például, hogy a lekérdezés adatai az alábbiak:
| Sorazonosító | Timestamp | Country/Region | Language | Bevétel |
|---|---|---|---|---|
| 1 | 2019/11/10 | Kína | ZH-CN | 10000 |
| 2 | 2019/11/10 | Kína | EN-US | 1000 |
| 3 | 2019/11/10 | US | ZH-CN | 12000 |
| 4 | 2019/11/11 | US | EN-US | 23000 |
| ... | ... | ... | ... | ... |
Ha az Ország dimenzió, a nyelv pedig Figyelmen kívül hagyva értékre van állítva, akkor az első és a második sor azonos dimenzióval fog rendelkezni az időbélyeghez. A Metrics Advisor tetszőlegesen egy értéket használ a két sorból. A Metrics Advisor ebben az esetben nem összesíti a sorokat.
A séma konfigurálása után válassza a Séma ellenőrzése lehetőséget. Ebben a műveletben a Metrics Advisor a következő ellenőrzéseket hajtja végre:
- Azt jelzi, hogy a lekérdezett adatok időbélyege egyetlen intervallumba esik-e.
- Azt jelzi, hogy egy metrikaintervallumon belül duplikált értékek vannak-e visszaadva ugyanahhoz a dimenziókombinációhoz.
Automatikus összesítési beállítások
Fontos
Ha engedélyezni szeretné a kiváltó okok elemzését és más diagnosztikai képességeket, konfigurálnia kell az automatikus összesítési beállításokat . Ha engedélyezve van, az automatikus összesítési beállítások nem módosíthatók.
A Metrics Advisor a betöltés során automatikusan képes aggregációt (például SZUM, MAX, MIN) végrehajtani az egyes dimenziókon, majd létrehoz egy hierarchiát, amely a gyökéreset-elemzésben és más diagnosztikai funkciókban lesz használva.
Vegyük példaként a következő forgatókönyveket:
"Nem kell belefoglalnom az adatok összesítő elemzését."
Nem kell használnia a Metrics Advisor összegző frissítését.
"Az adataim már összesültek, és a dimenzióértéket a következő jelöli: NULL vagy Üres (Alapértelmezett), CSAK NULL, Egyéb."
Ez a beállítás azt jelenti, hogy a Metrics Advisornak nem kell összesítenie az adatokat, mert a sorok már összegezve vannak. Ha például csak a NULL értéket választja, akkor az alábbi példában szereplő második adatsor az összes ország és az EN-US nyelv összesítéseként jelenik meg; a negyedik adatsor, amely üres értéket ad az Országhoz, azonban egy szokásos sorként jelenik meg, amely hiányos adatokat jelezhet.
Country/Region Language Bevétel Kína ZH-CN 10000 (NULL) EN-US 999999 US EN-US 12000 EN-US 5000 "Szükségem van a Metrics Advisorra, hogy összesíthesse az adataimat a Sum/Max/Min/Avg/Count kiszámításával, és {néhány sztring} szerint ábrázolja azokat."
Egyes adatforrások, például az Azure Cosmos DB vagy az Azure Blob Storage nem támogatnak bizonyos számításokat, például a csoportosítást vagy a kockát. A Metrics Advisor az adatkocka automatikus létrehozására szolgál a betöltés során. Ez a beállítás azt jelenti, hogy a Metrics Advisornak ki kell számítania az összesítést a kiválasztott algoritmussal, és a megadott sztringgel kell ábrázolnia az összesítést a Metrics Advisorban. Ez nem módosítja az adatforrásban lévő adatokat. Tegyük fel például, hogy rendelkezik egy idősorkészlettel, amely az Értékesítési metrikákat jelöli a dimenzióval (Ország, Régió). Egy adott időbélyeg esetében a következőhöz hasonló lehet:
Ország Region Sales Kanada Alberta 100 Kanada Brit Columbia 500 Egyesült Államok Montana 100 Miután engedélyezte az automatikus összegző összesítést, a Metrics Advisor kiszámítja a dimenziókombinációkat, és összegzi a metrikákat az adatbetöltés során. Az eredmény a következő lehet:
Ország Region Sales Kanada Alberta 100 NULL Alberta 100 Kanada Brit Columbia 500 NULL Brit Columbia 500 Egyesült Államok Montana 100 NULL Montana 100 NULL NULL 700 Kanada NULL 600 Egyesült Államok NULL 100 (Country=Canada, Region=NULL, Sales=600)azt jelenti, hogy a kanadai értékesítések összege (minden régióban) 600.Az alábbiakban az SQL-nyelven történő átalakításról van szó.
SELECT dimension_1, dimension_2, ... dimension_n, sum (metrics_1) AS metrics_1, sum (metrics_2) AS metrics_2, ... sum (metrics_n) AS metrics_n FROM each_timestamp_data GROUP BY CUBE (dimension_1, dimension_2, ..., dimension_n);Az automatikus összegző funkció használata előtt vegye figyelembe az alábbiakat:
- Ha a SZUM használatával szeretné összesíteni az adatokat, győződjön meg arról, hogy a metrikák additívak az egyes dimenziókban. Íme néhány példa a nem additív metrikákra:
- Törtalapú metrikák. Ez magában foglalja az arányt, a százalékot stb. Ne adja hozzá például az egyes államok munkanélküliségi rátáját az egész ország/régió munkanélküliségi rátájának kiszámításához.
- Átfedés a dimenzióban. Például nem szabad hozzáadni az egyes sportágakban lévő személyek számát a sportot kedvelők számának kiszámításához, mivel átfedés van közöttük, egy személy több sportot is kedvelhet.
- Az egész rendszer állapotának biztosítása érdekében a kocka mérete korlátozott. A korlát jelenleg 100 000. Ha az adatok túllépik ezt a korlátot, az adott időbélyeg betöltése sikertelen lesz.
- Ha a SZUM használatával szeretné összesíteni az adatokat, győződjön meg arról, hogy a metrikák additívak az egyes dimenziókban. Íme néhány példa a nem additív metrikákra:
Speciális beállítások
Számos speciális beállítással engedélyezheti az adatok egyéni módon történő betöltését, például a betöltési eltolás vagy az egyidejűség megadását. További információt az adatcsatorna-kezelési cikk speciális beállítások szakaszában talál.
Adja meg az adatcsatorna nevét, és ellenőrizze a betöltési folyamatot
Adjon egyéni nevet az adatcsatornának, amely megjelenik a munkaterületen. Ezután válassza a Küldés lehetőséget. Az adatcsatorna részletei lapon a betöltési folyamatsávon tekintheti meg az állapotinformációkat.
A betöltési hibák részleteinek ellenőrzése:
- Válassza a Részletek megjelenítése lehetőséget.
- Válassza az Állapot lehetőséget, majd válassza a Sikertelen vagy a Hiba lehetőséget.
- Vigye az egérmutatót egy sikertelen betöltési művelet fölé, és tekintse meg a megjelenő részleteket tartalmazó üzenetet.
A sikertelen állapot azt jelzi, hogy az adatforrás betöltése később újra meg fog próbálkozni. A hibaállapot azt jelzi, hogy a Metrics Advisor nem próbálkozik újra az adatforrással. Az adatok újratöltéséhez manuálisan kell aktiválnia a visszatöltést/újratöltést.
A betöltési folyamat előrehaladását a Frissítési folyamat gombra kattintva is betöltheti. Az adatbetöltés befejezése után szabadon rákattinthat a metrikákra, és ellenőrizheti az anomáliadetektálási eredményeket.