Előzményadatok betöltése az Azure Data Explorer

Az Azure Data Explorer való előkészítés során gyakori forgatókönyv az előzményadatok betöltése, más néven visszatöltés. A folyamat magában foglalja az adatok betöltését egy meglévő tárolórendszerből egy táblába, amely a mértékek gyűjteménye.

Javasoljuk, hogy a creationTime betöltési tulajdonság használatával betöltse az előzményadatokat, hogy a mértékek létrehozási idejét az adatok létrehozásának idejére állítsa. Ha a létrehozási időt használja a betöltési particionálási feltételként, az adatok a gyorsítótár - és adatmegőrzési szabályzatoknak megfelelően öregedhetnek, és hatékonyabbá tehetik az időszűrőket.

Alapértelmezés szerint a mértékek létrehozási ideje az adatok betöltésének időpontjára van beállítva, ami nem feltétlenül a várt viselkedést eredményezheti. Tegyük fel például, hogy van egy táblája, amelynek gyorsítótár-időtartama 30 nap, megőrzési ideje pedig két év. A normál folyamatban az előállított adatok 30 napig gyorsítótárazva lesznek, majd hideg tárolóba kerülnek. Két év elteltével a létrehozási idő alapján a régebbi adatok naponta törlődnek. Ha azonban két év előzményadatokat ad meg, ahol alapértelmezés szerint az adatok betöltésekor létrehozási idő van megjelölve. Ez nem feltétlenül hozza létre a kívánt eredményt, mert:

• Minden adat a gyorsítótárba omlik, és 30 napig ott marad, a vártnál több gyorsítótárat használva.
• A régebbi adatokat a rendszer nem távolítja el egyszerre egyszer; ezért az adatok a szükségesnél hosszabb ideig maradnak meg a fürtön, és két év elteltével mindet egyszerre távolítják el.
• A forrásrendszerben korábban dátum szerint csoportosított adatok mostantól ugyanolyan mértékben kötegelve lehetnek, ami nem hatékony lekérdezéseket eredményez.

Ebből a cikkből megtudhatja, hogyan particionálhatja az előzményadatokat:

• creationTime A betöltési tulajdonság használata a betöltés során (ajánlott)

  Ahol lehetséges, betöltheti az előzményadatokat a creationTime betöltési tulajdonság használatával, amely lehetővé teszi a mértékek létrehozási idejének beállítását a fájlból vagy blob elérési útjából való kinyeréssel. Ha a mappaszerkezet nem használ létrehozási dátummintát, javasoljuk, hogy alakítsa át a fájl vagy blob elérési útját a létrehozási időnek megfelelően. Ezzel a módszerrel a rendszer a megfelelő létrehozási idővel betölti az adatokat a táblába, és helyesen alkalmazza a gyorsítótárat és a megőrzési időtartamokat.

  Megjegyzés

  Alapértelmezés szerint a mértékek a létrehozás (betöltés) időpontja szerint vannak particionálva, és a legtöbb esetben nincs szükség adatparticionálási szabályzat beállítására.

• Particionálási szabályzat használata a betöltés után

  Ha nem tudja használni a creationTime betöltési tulajdonságot, például ha az Adatokat az Azure Cosmos DB-összekötővel betölti , ahol nem tudja szabályozni a létrehozási időt, vagy ha nem tudja átstrukturálja a mappastruktúrát, a betöltés után újraparticionálja a táblát, hogy ugyanazt a hatást érje el a particionálási szabályzat használatával. Ez a módszer azonban próba- és hibalehetőséget igényelhet a szabályzattulajdonságok optimalizálásához, és kevésbé hatékony, mint a creationTime betöltési tulajdonság használata. Ezt a módszert csak akkor javasoljuk, ha a creationTime betöltési tulajdonság használata nem lehetséges.

Előfeltételek

• Microsoft-fiók vagy Microsoft Entra felhasználói identitás. Nincs szükség Azure-előfizetésre.
• Egy Azure-Data Explorer-fürt és -adatbázis. Hozzon létre egy fürtöt és egy adatbázist.
• Egy tárfiók.
• A betöltési tulajdonság betöltés közbeni használatának ajánlott módszeréhez telepítse a creationTimeLightIngestet.

Előzményadatok betöltése

Javasoljuk, hogy a betöltési tulajdonság használatával particionálja az creationTime előzményadatokat a betöltés során. Ha azonban nem tudja használni ezt a módszert, particionálási szabályzattal újraparticionálhatja a betöltés utáni táblát.

Betöltés közben (ajánlott)

A LightIngest hasznos lehet az előzményadatok betöltéséhez egy meglévő tárolórendszerből az Azure Data Explorer. Bár saját parancsot is létrehozhat a parancssori argumentumok listájával, ez a cikk bemutatja, hogyan hozhatja létre automatikusan ezt a parancsot egy betöltési varázslóval. A parancs létrehozása mellett ez a folyamat egy új tábla létrehozására és sémaleképezés létrehozására is használható. Ez az eszköz sémaleképezést következtet az adathalmazból.

Cél

1. Az Azure Data Explorer webes felhasználói felületén, a bal oldali menüben válassza a Lekérdezés lehetőséget.

2. Kattintson a jobb gombbal arra az adatbázisra, amelyben az adatokat be szeretné betöltése, majd válassza a LightIngest parancsot.

   

   Megnyílik az Adatok betöltése ablak, amelyen a Cél lap van kijelölve. A Rendszer automatikusan kitölti a Fürt és az Adatbázis mezőket.

3. Válasszon ki egy céltáblát. Ha adatokat szeretne bevinni egy új táblába, válassza az Új tábla lehetőséget, majd adjon meg egy táblanevet.

   Megjegyzés

   A táblanevek legfeljebb 1024 karakterből állhatnak, beleértve a szóközöket, alfanumerikus karaktereket, kötőjeleket és aláhúzásjeleket. A speciális karakterek nem támogatottak.

   

4. Válassza a Tovább: Forrás lehetőséget.

Forrás

1. A Forrás kiválasztása területen válassza az URL-cím hozzáadása vagy a Tároló kiválasztása lehetőséget.

   • URL-cím hozzáadásakor a Hivatkozás a forráshoz területen adja meg a fiókkulcsot vagy a SAS URL-címet egy tárolóhoz. Az SAS URL-címet manuálisan vagy automatikusan is létrehozhatja.

   • Amikor kiválaszt egy tárolót a tárfiókból, válassza ki a Storage-előfizetését, a Tárfiókját és a Tárolót a legördülő menükből.

     

   Megjegyzés

   Legfeljebb 6 GB méretű fájl tölthető be. A javaslat a 100 MB és 1 GB közötti fájlok betöltése.

2. A Speciális beállítások lehetőséget választva további beállításokat adhat meg a betöltési folyamathoz a LightIngest használatával.

   

3. A Speciális konfiguráció panelen adja meg a LightIngest beállításokat az alábbi táblázatnak megfelelően.

   

   Tulajdonság	Leírás
   Létrehozási idő minta	Adja meg, hogy felülbírálja-e a létrehozott mérték betöltési idő tulajdonságát egy mintával, például a tároló mappaszerkezetén alapuló dátum alkalmazásához. Lásd még : Létrehozási idő minta.
   Blobnév minta	Adja meg a betöltendő fájlok azonosításához használt mintát. Betölti az összes olyan fájlt, amely megfelel az adott tárolóban lévő blobnév-mintának. Támogatja a helyettesítő karaktereket. Ajánlott idézőjelekbe ágyazni.
   Tag	A betöltött adatokhoz rendelt címke . A címke bármilyen sztring lehet.
   Fájlok mennyiségének korlátozása	Adja meg a betölthető fájlok számát. Betölti a blobnév mintájának megfelelő első n fájlokat a megadott számig.
   Ne várjon, amíg a betöltés befejeződik	Ha be van állítva, a betöltési folyamat monitorozása nélkül várólistára állítja a blobokat. Ha nincs beállítva, a LightIngest továbbra is lekérdezi a betöltési állapotot, amíg a betöltés be nem fejeződik.
   Csak a kijelölt elemek megjelenítése	Sorolja fel a tárolóban lévő fájlokat, de nem betölti őket.

4. Válassza a Kész lehetőséget a Forrás lapra való visszatéréshez.

   1. A Fájlszűrők lehetőséget választva szűrheti az adatokat úgy, hogy csak egy adott mappa elérési útján vagy egy adott fájlkiterjesztéssel rendelkező fájlokat fogadjanak be.

      

      Alapértelmezés szerint a tároló egyik fájlja véletlenszerűen van kiválasztva, és a tábla sémájának létrehozásához használatos.

   2. Ha szeretné, a Sémameghatározó fájl területen megadhatja a használni kívánt fájlt.

5. Válassza a Tovább: Séma lehetőséget a táblázat oszlopkonfigurációjának megtekintéséhez és szerkesztéséhez.

Séma

A sémalapon megtekintheti az adatok előnézetét.

A LightIngest parancs létrehozásához válassza a Tovább: Betöltés indítása lehetőséget.

Vagy:

• Módosítsa az automatikusan levont adatformátumot a legördülő menüben a kívánt formátum kiválasztásával.
• Módosítsa az automatikusan kikövetkeztetett leképezés nevét. Alfanumerikus karaktereket és aláhúzásokat is használhat. A szóközök, a speciális karakterek és az kötőjelek nem támogatottak.
• Meglévő tábla használata esetén megtarthatja az aktuális táblasémát , ha a táblaséma megegyezik a kijelölt formátummal.
• Válassza a Parancsmegjelenítő lehetőséget a bemenetekből létrehozott automatikus parancsok megtekintéséhez és másolásához.
• Oszlopok szerkesztése. A Részleges adatok előnézete területen válassza ki az oszlop legördülő menüjét a tábla különböző aspektusainak módosításához.

A táblázatban végrehajtott módosítások a következő paraméterektől függnek:

• A táblatípus új vagy meglévő
• A leképezés típusa új vagy meglévő

Táblatípus	Leképezés típusa	Elérhető módosítások
Új táblázat	Új leképezés	Adattípus módosítása, Oszlop átnevezése, Új oszlop, Oszlop törlése, Oszlop frissítése, Növekvő rendezés, Csökkenő rendezés
Meglévő tábla	Új leképezés	Új oszlop (amelyen módosíthatja az adattípust, átnevezheti és frissítheti), Oszlop frissítése, Növekvő rendezés, Csökkenő rendezés
	Meglévő leképezés	Növekvő rendezés, Csökkenő rendezés

Megjegyzés

Új oszlop hozzáadásakor vagy oszlop frissítésekor módosíthatja a leképezési átalakításokat. További információ: Átalakítások leképezése

Betöltés

1. Miután a tábla, a leképezés és a LightIngest parancs zöld pipával van megjelölve, a létrehozott LightIngest parancs másolásához kattintson a Generált parancs jobb felső sarkában található másolás ikonra.

   

   Megjegyzés

   Szükség esetén a LightIngest eszközt a LightIngest letöltése lehetőség kiválasztásával töltheti le.

2. A betöltési folyamat befejezéséhez a LightIngest parancsot kell futtatnia a másolt paranccsal.

Betöltés utáni

1. lépés: Előkészítés az újraparticionálásra

1. Módosítsa a megőrzési szabályzatot a régi adatok engedélyezéséhez. Az alábbi példában a MyTable tábla adatmegőrzési szabályzatát 10 évre állítja be.

   .alter-merge table MyTable policy retention softdelete = 3650d recoverability = enabled
   

2. Módosítsa a gyorsítótárazási szabályzatot úgy, hogy az összes adat a gyors gyorsítótárban legyen az újraparticionáláshoz, mivel csak a gyakori elérésű adatok lehetnek újraparticionáltak a betöltést követően. Az alábbi példában a MyTable tábla gyorsítótárazását 10 évre állítja.

   .alter table MyTable policy caching hot = 3650d
   

   Fontos

   A gyorsítótárazási szabályzat növelése a normál műveleteknél lényegesen több gyorsgyorsítótárat használhat, ami megnövelheti a költségeket.

2. lépés: Újraparticionálás kezdeményezése

1. Hozzon létre egy particionálási szabályzatot, amely particionálja az adatokat a nevű Timestamposzlop alapján. Az alábbi példában a MyTable tábla particionálási szabályzatát a nevű Timestamposzlop particionálására állította be.

   .alter table MyTable policy partitioning
   ```
   {
     "EffectiveDateTime" : "1970-01-01T00:00:00",
     "PartitionKeys": [
       {
         "ColumnName": "Timestamp",
         "Kind": "UniformRange",
         "Properties": {
           "Reference": "1970-01-01T00:00:00",
           "RangeSize": "1.00:00:00",
           "OverrideCreationTime": true
         }
       }
     ]
   }
   ```
   

   A particionálási szabályzat tulajdonságaival kapcsolatos információkért lásd: partíciótulajdonságok. Az előzménybetöltés szempontjából fontos, hogy hogyan állítsa be a következő tulajdonságokat:

   • Az EffectiveDateTime tulajdonságot a betöltés kezdete előtti dátumra kell állítani az újraparticionálás aktiválásához.
   • A RangeSize érték egy napra van állítva, így az adatok egy nap gyűjtőibe lesznek csoportosítva. Ezt az értéket azonban úgy kell beállítania, hogy megfeleljen az adatoknak. Ha például több GB-nál kevesebb adata van naponta, érdemes lehet nagyobb értéket beállítania.
   • A OverrideCreationTime értéket true (igaz ) értékre kell állítani, hogy az adatok napi gyűjtőkbe való újraparticionálása után a mértékek az adott nappal legyenek megjelölve létrehozási időként.

2. Állítson be egy egyesítési szabályzatot, amely lehetővé teszi az összes mérték egyesítését, beleértve a 14 napnál régebbi mértékeket is. A házirend beállítása azért fontos, mert az újraparticionálási folyamat 14 napnál régebbi mértékeket hoz létre, amelyeket alapértelmezés szerint kizár az egyesítési folyamat.

   .alter table MyTable policy merge
   ```
   {
     "Lookback": {
       "Kind": "HotCache"
     }
   }
   ```
   

3. Monitorozza az újraparticionálási folyamatot az .show database extents partitioning statistics paranccsal. A visszaadott eredmények között keresse meg az újraparticionált táblát, és figyelje a PartitionedRowPercentage oszlopot. Ha a PartitionedRowPercentage oszlop értéke 100, az újraparticionálás befejeződött.

3. lépés: Az újraparticionálás utáni tisztítás

Az újraparticionálás befejezése után törölheti az előző lépésekben beállított szabályzatokat.

1. Távolítsa el a particionálási szabályzatot.

   .delete table MyTable policy partitioning
   

2. Távolítsa el az egyesítési szabályzatot.

   .delete table MyTable policy merge
   

3. Távolítsa el vagy állítsa be a gyorsítótárazási szabályzatot.

   // Remove the caching policy
   .delete table MyTable policy caching
   // OR set the caching policy to your desired value
   .alter table MyTable policy caching hot = 90d
   

4. Távolítsa el vagy állítsa be a megőrzési szabályzatot.

   // Remove the retention policy
   .delete table MyTable policy retention
   // OR set the retention policy to your desired value
   .alter-merge table MyTable policy retention softdelete = 30d recoverability = enabled
   

Kapcsolódó tartalom

• Adatok lekérdezése az Azure Data Explorer