Adattárolás

Cikk
06/01/2023

Megjegyzés

A Time Series Insights (TSI) szolgáltatás 2025 márciusa után már nem támogatott. Fontolja meg a meglévő TSI-környezetek alternatív megoldásokba való migrálását a lehető leghamarabb. Az elavulással és a migrálással kapcsolatos további információkért tekintse meg dokumentációnkat.

Ez a cikk a 2. generációs Azure Time Series Insights adattárolást ismerteti. Ide tartoznak a meleg és a ritka elérésű adatok, az adatok rendelkezésre állása és az ajánlott eljárások.

Kiépítés

Azure Time Series Insights Gen2-környezet létrehozásakor a következő lehetőségek állnak rendelkezésére:

Ritka elérésű adattárolás:
- Hozzon létre egy új Azure Storage-erőforrást a környezetéhez kiválasztott előfizetésben és régióban.
- Csatoljon egy már meglévő Azure Storage-fiókot. Ez a lehetőség csak Azure Resource Manager-sablonból való üzembe helyezéssel érhető el, és nem látható a Azure Portal.
Meleg adattárolás:
- A meleg tároló nem kötelező, és a kiépítés során vagy után engedélyezhető vagy letiltható. Ha később úgy dönt, hogy engedélyezi a meleg tárolót, és már vannak adatok a hűtőtárolóban, tekintse át az alábbi szakaszt a várt viselkedés megértéséhez. A meleg tár adatmegőrzési ideje 7–31 napra konfigurálható, és szükség szerint módosítható.

Egy esemény betöltésekor a rendszer indexeli a meleg tárolóban (ha engedélyezve van) és a ritka elérésű tárolóban is.

Figyelmeztetés

Az Azure Blob Storage-fiók tulajdonosaként, ahol a ritka elérésű tároló adatai találhatók, teljes hozzáféréssel rendelkezik a fiók összes adatához. Ez a hozzáférés írási és törlési engedélyeket is tartalmaz. Ne szerkessze vagy törölje azokat az adatokat, amelyeket Azure Time Series Insights Gen2 ír, mert az adatvesztést okozhat.

Adatok rendelkezésre állása

Azure Time Series Insights Gen2 partíciók és indexeli az adatokat az optimális lekérdezési teljesítmény érdekében. Az adatok az indexelés után a meleg (ha engedélyezve) és a ritka elérésű tárolóból is lekérdezhetők. A betöltött adatok mennyisége és a partíciónkénti átviteli sebesség befolyásolhatja a rendelkezésre állást. Tekintse át az eseményforrás átviteli sebességére vonatkozó korlátozásokat és az ajánlott eljárásokat a legjobb teljesítmény érdekében. Ha a környezetében problémák merülnek fel az adatok feldolgozása során, beállíthat késési riasztást is.

Fontos

Akár 60 másodpercig is eltarthat, amíg az adatok elérhetővé válnak a Time Series Query API-kkal. Ha 60 másodpercen túli jelentős késést tapasztal, küldjön támogatási jegyet a Azure Portal keresztül.

Akár 5 perc is eltelhet, amíg az adatok elérhetővé válnak, amikor közvetlenül hozzáfér a Parquet-fájlokhoz Azure Time Series Insights Gen2-n kívül. További információért tekintse meg a Parquet fájlformátumát ismertető szakaszt .

Meleg áruház

A meleg tárolóban lévő adatok csak a Time Series Query API-kkal, a Azure Time Series Insights TSI Explorerrel vagy a Power BI-összekötővel érhetők el. A meleg tár lekérdezései ingyenesek, és nincs kvóta, de legfeljebb 30 egyidejű kérés lehet.

A tárolók meleg viselkedése

Ha engedélyezve van, a környezetbe streamelt összes adat az esemény időbélyegétől függetlenül a meleg tárolóhoz lesz irányítva. Vegye figyelembe, hogy a streamelési betöltési folyamat közel valós idejű streameléshez és előzményesemények betöltéséhez készült , nem támogatott.
A megőrzési időtartam kiszámítása az esemény meleg tárolóban való indexelésének időpontja alapján történik, nem pedig az esemény időbélyege alapján. Ez azt jelenti, hogy az adatok a megőrzési időszak leteltét követően már nem érhetők el a meleg tárolóban, még akkor sem, ha az esemény időbélyege a jövőre vonatkozik.
- Példa: egy 10 napos időjárás-előrejelzést tartalmazó esemény betöltése és indexelése egy 7 napos megőrzési időszakkal konfigurált meleg tárolóban történik. Hét nap elteltével az előrejelzés már nem érhető el a meleg áruházban, de lekérdezhető a hidegtől.
Ha olyan meglévő környezetben engedélyezi a meleg tárolót, amelyen már vannak friss adatok indexelve a ritka elérésű tárolóban, vegye figyelembe, hogy a meleg tároló nem lesz újra kitöltve ezekkel az adatokkal.
Ha csak most engedélyezte a meleg tárolót, és problémákat tapasztal a legutóbbi adatok Explorerben való megtekintésekor, ideiglenesen kikapcsolhatja a meleg tár lekérdezéseit:

Hűtőház

Ez a szakasz az Azure Time Series Insights Gen2-höz kapcsolódó Azure Storage-adatokat ismerteti.

Az Azure Blob Storage részletes leírásáért olvassa el a Storage-blobok bemutatását.

A ritka elérésű tárfiók

Azure Time Series Insights Gen2 az Egyes események legfeljebb két példányát őrzi meg az Azure Storage-fiókban. Az egyik példány a betöltési idő alapján rendezett eseményeket tárolja, így mindig lehetővé teszi az eseményekhez való hozzáférést egy időben rendezett sorrendben. Idővel Azure Time Series Insights Gen2 is létrehoz egy újraparticionált másolatot az adatokról, hogy optimalizálja a teljesítményt nyújtó lekérdezéseket.

Minden adata határozatlan ideig az Azure Storage-fiókjában van tárolva.

Figyelmeztetés

Ne korlátozza a Nyilvános internet-hozzáférést a Time Series Insights által használt tárfiókhoz, mert a szükséges kapcsolat megszakad.

Blobok írása és szerkesztése

A lekérdezési teljesítmény és az adatok rendelkezésre állásának biztosítása érdekében ne szerkessze vagy törölje azokat a blobokat, amelyeket Azure Time Series Insights Gen2 hoz létre.

A ritka elérésű tároló adatainak elérése

Az adatoknak az Azure Time Series Insights Explorer és a Time Series Query API-kból való elérése mellett előfordulhat, hogy közvetlenül a ritka elérésű tárolóban tárolt Parquet-fájlokból is hozzá szeretne férni az adatokhoz. Például beolvashatja, átalakíthatja és megtisztíthatja az adatokat egy Jupyter-jegyzetfüzetben, majd ezzel betaníthatja az Azure Machine Learning-modellt ugyanabban a Spark-munkafolyamatban.

Ahhoz, hogy közvetlenül az Azure Storage-fiókból hozzáférjen az adatokhoz, olvasási hozzáférésre van szüksége a Azure Time Series Insights Gen2-adatok tárolásához használt fiókhoz. Ezután a Parquet fájlformátum szakaszban leírt mappában PT=Time található Parquet-fájl létrehozási ideje alapján olvashatja el a kijelölt adatokat. További információ a tárfiók olvasási hozzáférésének engedélyezéséről: A tárfiók erőforrásaihoz való hozzáférés kezelése.

Adattörlés

Ne törölje a Azure Time Series Insights Gen2-fájlokat. A kapcsolódó adatok csak Azure Time Series Insights Gen2-ből kezelhetők.

Parquet fájlformátum és mappastruktúra

A Parquet egy nyílt forráskódú oszlopos fájlformátum, amely hatékony tárolást és teljesítményt biztosít. Azure Time Series Insights Gen2 a Parquet használatával engedélyezi a time series ID-alapú lekérdezési teljesítményt nagy méretekben.

A Parquet fájltípusával kapcsolatos további információkért olvassa el a Parquet dokumentációját.

Azure Time Series Insights Gen2 az alábbi módon tárolja az adatok másolatát:

A PT=Time mappa a betöltési idő alapján van particionálva, és nagyjából érkezési sorrendben tárolja az adatokat. Ezek az adatok idővel megmaradnak, és közvetlenül elérheti azokat az Azure Time Series Insight Gen2-n kívülről, például a Spark-jegyzetfüzetekből. Az időbélyeg <YYYYMMDDHHMMSSfff> az adatok betöltési idejének felel meg. A <MinEventTimeStamp> és <MaxEventTimeStamp> az a fájlban található eseményidőbélyegek tartományának felel meg. Az elérési út és a fájlnév a következőképpen van formázva:

V=1/PT=Time/Y=<YYYY>/M=<MM>/<BlobCreationTimestamp>_<MinEventTimestamp>_<MaxEventTimestamp>_<TsiInternalSuffix>.parquet
A PT=Live és PT=Tsid a mappa az adatok egy második példányát tartalmazza, amelyet újra particionáltak az idősoros lekérdezési teljesítményhez nagy méretekben. Ezek az adatok idővel optimalizálva lesznek, és nem statikusak. Az újraparticionálás során egyes események több blobban is jelen lehetnek, és a blobnevek megváltozhatnak. Ezeket a mappákat Azure Time Series Insights Gen2 használja, és nem szabad közvetlenül hozzáférnie; csak erre a célra szabad használniPT=Time.