Adattárolás

Feljegyzés

A Time Series Insights szolgáltatás 2024. július 7-én megszűnik. Fontolja meg a meglévő környezetek migrálását alternatív megoldásokba a lehető leghamarabb. Az elavulással és a migrálással kapcsolatos további információkért tekintse meg dokumentációnkat.

Ez a cikk az Azure Time Series Insights Gen2 adattárolását ismerteti. Bemutatja a hideg és meleg adatokat, az adatok rendelkezésre állását és az ajánlott eljárásokat.

A szolgáltatás biztosítása

Azure Time Series Insights Gen2-környezet létrehozásakor a következő lehetőségek közül választhat:

• Hideg adattárolás:
  • Hozzon létre egy új Azure Storage-erőforrást a környezetéhez választott előfizetésben és régióban.
  • Csatoljon egy már meglévő Azure Storage-fiókot. Ez a lehetőség csak azure Resource Manager-sablonból történő üzembe helyezéssel érhető el, és nem látható az Azure Portalon.
• Meleg adattárolás:
  • A meleg tároló nem kötelező, és a kiépítés ideje alatt vagy után engedélyezhető vagy letiltható. Ha később úgy dönt, hogy engedélyezi a meleg tárolót, és már vannak adatok a hűtőtárolóban, tekintse át az alábbi szakaszt a várt viselkedés megértéséhez. A meleg tár adatmegőrzési ideje 7–31 napra konfigurálható, és szükség szerint módosítható.

Egy esemény betöltésekor a rendszer indexeli a meleg tárolóban (ha engedélyezve van) és a hűtőházban is.

Figyelmeztetés

A hideg tárolási adatokat tároló Azure Blob Storage-fiók tulajdonosaként teljes hozzáféréssel rendelkezik a fiók összes adatához. Ez a hozzáférés írási és törlési engedélyeket is tartalmaz. Ne szerkessze vagy törölje az Azure Time Series Insights Gen2 által írt adatokat, mert azok adatvesztést okozhatnak.

Adatok rendelkezésre állása

Az Azure Time Series Insights Gen2 partíciók és indexeli az adatokat az optimális lekérdezési teljesítmény érdekében. Az adatok az indexelés után a meleg (ha engedélyezett) és a hideg tárolóból is lekérdezhetők. A betöltendő adatok mennyisége és a partíciónkénti átviteli sebesség befolyásolhatja a rendelkezésre állást. Tekintse át az eseményforrás átviteli sebességére vonatkozó korlátozásokat és az ajánlott eljárásokat a legjobb teljesítmény érdekében. Ha a környezetében problémák merülnek fel az adatok feldolgozása során, úgy is konfigurálhat késési riasztást , hogy értesítést kapjon.

Fontos

Akár 60 másodpercig is eltarthat, amíg az adatok elérhetővé válnak a Time Series Query API-kkal. Ha 60 másodpercen túl jelentős késést tapasztal, küldjön támogatási jegyet az Azure Portalon keresztül.

Akár 5 percig is eltarthat, amíg az adatok elérhetővé válnak, amikor közvetlenül hozzáfér a Parquet-fájlokhoz az Azure Time Series Insights Gen2-n kívül. További információt a Parquet fájlformátum szakaszában talál.

Közepesen időkritikus tár

A meleg tárban lévő adatok csak a Time Series Query API-kkal, az Azure Time Series Insights TSI Explorerrel vagy a Power BI-összekötővel érhetők el. A meleg tár lekérdezései ingyenesek, és nincs kvóta, de legfeljebb 30 egyidejű kérés lehet.

A tárolók meleg viselkedése

• Ha engedélyezve van, a környezetbe streamelt összes adat az eseményidőbélyegtől függetlenül a meleg tárolóba lesz irányítva. Vegye figyelembe, hogy a streamelési betöltési folyamat közel valós idejű streameléshez készült, és az előzményesemények betöltése nem támogatott.

• A megőrzési időtartam kiszámítása az esemény meleg tárolóban való indexelésének időpontja alapján történik, nem pedig az esemény időbélyege alapján. Ez azt jelenti, hogy az adatok a megőrzési időszak leteltét követően már nem érhetők el a meleg tárolóban, még akkor sem, ha az esemény időbélyege a jövőre nézve van.

  • Példa: egy 10 napos időjárás-előrejelzést tartalmazó esemény betöltése és indexelése egy 7 napos megőrzési időszakkal konfigurált meleg tárolóban történik. Hét nap elteltével az előrejelzés már nem érhető el a meleg áruházban, de lekérdezhető a hidegtől.

• Ha olyan meglévő környezetben engedélyezi a meleg tárolást, amely már rendelkezik a legutóbbi adatok hideg tárolóban való indexelt indexelt állapotával, vegye figyelembe, hogy a meleg tároló nem lesz újra kitöltve ezekkel az adatokkal.

• Ha csak most engedélyezte a meleg tárolót, és problémákat tapasztal a legutóbbi adatok Explorerben való megtekintésével kapcsolatban, ideiglenesen kikapcsolhatja a meleg tár lekérdezéseit:

  

Offline tár

Ez a szakasz az Azure Storage 2. generációs Azure Time Series Insightshoz kapcsolódó adatait ismerteti.

Az Azure Blob Storage részletes leírását a Storage-blobok bevezetőjében olvashatja el.

Az Ön hűtőtárfiókja

Az Azure Time Series Insights Gen2 legfeljebb két példányt őriz meg az Egyes eseményekről az Azure Storage-fiókjában. Az egyik példány a betöltési idő alapján rendezett eseményeket tárolja, így mindig lehetővé teszi az eseményekhez való hozzáférést egy időrendben rendezett sorrendben. Idővel az Azure Time Series Insights Gen2 is létrehoz egy újraparticionált másolatot az adatokról, hogy optimalizálja a teljesítményt nyújtó lekérdezéseket.

Az összes adat korlátlan ideig az Azure Storage-fiókjában lesz tárolva.

Figyelmeztetés

Ne korlátozza a Time Series Insights által használt tárfiók nyilvános internetkapcsolatát, mert a szükséges kapcsolat megszakad.

Blobok írása és szerkesztése

A lekérdezési teljesítmény és az adatok rendelkezésre állásának biztosítása érdekében ne szerkessze vagy törölje az Azure Time Series Insights Gen2 által létrehozott blobokat.

A hűtőház adatainak elérése

Amellett, hogy az Azure Time Series Insights Explorer és a Time Series Query API-kból fér hozzá az adataihoz, érdemes lehet közvetlenül a hűtőházban tárolt Parquet-fájlokból is hozzáférnie. Például beolvashatja, átalakíthatja és megtisztíthatja az adatokat egy Jupyter-jegyzetfüzetben, majd ezzel betaníthatja az Azure Machine Learning-modellt ugyanabban a Spark-munkafolyamatban.

Ahhoz, hogy közvetlenül az Azure Storage-fiókból férhessen hozzá az adatokhoz, olvasási hozzáférésre van szüksége az Azure Time Series Insights Gen2-adatok tárolásához használt fiókhoz. Ezután a Parquet fájlformátum szakaszban leírt mappában PT=Time található Parquet-fájl létrehozási ideje alapján elolvashatja a kijelölt adatokat. A tárfiók olvasási hozzáférésének engedélyezéséről további információt a tárfiók erőforrásaihoz való hozzáférés kezelése című témakörben talál.

Adattörlés

Ne törölje az Azure Time Series Insights Gen2-fájljait. A kapcsolódó adatok kezelése csak az Azure Time Series Insights Gen2-ben.

Parquet fájlformátum és mappastruktúra

A parquet egy nyílt forráskódú oszlopos fájlformátum, amely hatékony tárolást és teljesítményt biztosít. Az Azure Time Series Insights Gen2 parquet használatával engedélyezi a Time Series ID-alapú lekérdezési teljesítményét nagy méretekben.

A Parquet fájltípussal kapcsolatos további információkért olvassa el a Parquet dokumentációját.

Az Azure Time Series Insights Gen2 az alábbi módon tárolja az adatok másolatát:

• A PT=Time mappa particionálása a betöltési idő alapján történik, és nagyjából érkezési sorrendben tárolja az adatokat. Ezek az adatok idővel megmaradnak, és közvetlenül elérheti azokat az Azure Time Series Insight Gen2-n kívülről, például a Spark-jegyzetfüzetekből. Az időbélyeg <YYYYMMDDHHMMSSfff> az adatok betöltési idejének felel meg. <MaxEventTimeStamp> A <MinEventTimeStamp> fájlban szereplő esemény-időbélyegek tartományának felel meg. Az elérési út és a fájlnév a következőképpen van formázva:

  V=1/PT=Time/Y=<YYYY>/M=<MM>/<BlobCreationTimestamp>_<MinEventTimestamp>_<MaxEventTimestamp>_<TsiInternalSuffix>.parquet

• A PT=Live mappák az PT=Tsid adatok egy második példányát tartalmazzák, amelyet újra particionáltak az idősoros lekérdezési teljesítményhez nagy méretekben. Ezek az adatok idővel optimalizálva lesznek, és nem statikusak. Az újraparticionálás során egyes események több blobban is jelen lehetnek, és a blobnevek változhatnak. Ezeket a mappákat az Azure Time Series Insights Gen2 használja, és nem érhető el közvetlenül; csak erre a célra használhatja PT=Time .

Feljegyzés

A mappában PT=Time 2021 júniusa előtti adatok fájlnévformátummal rendelkezhetnek, eseményidőtartományok nélkül: V=1/PT=Time/Y=<YYYY>/M=<MM>/<BlobCreationTimestamp>_<TsiInternalSuffix>.parquet. A belső fájlformátum ugyanaz, és a két elnevezési sémával rendelkező fájlok együtt használhatók.

• <YYYY> négyjegyű évábrázolásra.
• <MM> kétjegyű havi ábrázolás.
• Az <YYYYMMDDHHMMSSfff> időbélyegek formátuma négyjegyű év (YYYY), kétjegyű hónap (), kétjegyű nap (MMDD), kétjegyű óra (), kétjegyű perc (HH), kétjegyű másodperc (MMSS) és háromjegyű ezredmásodperc (fff) lesz.

Az Azure Time Series Insights Gen2-események parquet-fájltartalmakra vannak leképezve az alábbiak szerint:

• Minden esemény egyetlen sorra van leképzve.
• Minden sor tartalmazza az időbélyeg oszlopot egy esemény időbélyegével. Az időbélyeg tulajdonság soha nem null értékű. Ha az időbélyeg tulajdonság nincs megadva az eseményforrásban, alapértelmezés szerint az esemény lekérési ideje lesz. A tárolt időbélyeg mindig UTC-ben van.
• Minden sor tartalmazza az Azure Time Series Insights Gen2-környezet létrehozásakor definiált idősor-azonosító (TSID) oszlop(ok) oszlop(oka)t. A TSID tulajdonság neve tartalmazza az _string utótagot.
• A telemetriai adatokként küldött összes többi tulajdonság a tulajdonság típusától függően (logikai), (időbélyeg), _datetime (hosszú), _long _double (dupla), _string (sztring) vagy _dynamic (dinamikus) végződésű _bool oszlopnevekre van leképezve. További információkért olvassa el a támogatott adattípusokról szóló cikket.
• Ez a leképezési séma a fájlformátum első verziójára vonatkozik, V=1 néven hivatkozva, és az azonos nevű alapmappában van tárolva. A funkció fejlődésével ez a leképezési séma megváltozhat, és a hivatkozás neve nőhet.

Következő lépések

• További információ az adatmodellezésről.

• Tervezze meg az Azure Time Series Insights Gen2-környezetét.