Aracılığıyla paylaş

Veri Depolama

  • Makale

Not

Time Series Insights hizmeti 7 Temmuz 2024'te kullanımdan kaldırılacaktır. Mevcut ortamları mümkün olan en kısa sürede alternatif çözümlere geçirmeyi göz önünde bulundurun. Kullanımdan kaldırma ve geçiş hakkında daha fazla bilgi için belgelerimizi ziyaret edin.

Bu makalede Azure Time Series Insights 2. Nesil'de veri depolama açıklanmaktadır. Sıcak ve soğuk, veri kullanılabilirliği ve en iyi yöntemleri kapsar.

Hazırlanıyor

Azure Time Series Insights 2. Nesil ortamı oluşturduğunuzda aşağıdaki seçeneklere sahip olursunuz:

  • Soğuk veri depolama:
    • Ortamınız için seçtiğiniz abonelikte ve bölgede yeni bir Azure Depolama kaynağı oluşturun.
    • Önceden var olan bir Azure Depolama hesabı ekleyin. Bu seçenek yalnızca bir Azure Resource Manager şablonundan dağıtılarak kullanılabilir ve Azure portalında görünmez.
  • Sıcak veri depolama:
    • Sıcak depo isteğe bağlıdır ve sağlama sırasında veya sonrasında etkinleştirilebilir veya devre dışı bırakılabilir. Sıcak depoyu daha sonra etkinleştirmeye karar verirseniz ve soğuk deponuzda zaten veriler varsa, beklenen davranışı anlamak için aşağıdaki bölümü gözden geçirin. Sıcak depolama veri saklama süresi 7 ile 31 gün arasında yapılandırılabilir ve gerektiğinde bu da ayarlanabilir.

Bir olay alınırken, hem sıcak depoda (etkinse) hem de soğuk depoda dizine alınır.

Depolamaya genel bakış

Uyarı

Soğuk depolama verilerinin bulunduğu Azure Blob depolama hesabının sahibi olarak hesaptaki tüm verilere tam erişiminiz vardır. Bu erişim, yazma ve silme izinlerini içerir. Azure Time Series Insights 2. Nesil'in yazdığı verileri düzenlemeyin veya silmeyin çünkü bu veri kaybına neden olabilir.

Veri kullanılabilirliği

Azure Time Series Insights 2. Nesil, en iyi sorgu performansı için verileri bölümler ve dizinler. Veriler hem sıcak (etkinleştirildiyse) hem de dizinlendikten sonra soğuk depodan sorgulanabilir hale gelir. Alınan veri miktarı ve bölüm başına aktarım hızı kullanılabilirliği etkileyebilir. En iyi performans için olay kaynağı aktarım hızı sınırlamalarını ve en iyi yöntemleri gözden geçirin. Ortamınızda veri işleme sorunları yaşanıyorsa bildirim almak için bir gecikme uyarısı da yapılandırabilirsiniz.

Önemli

Veriler Zaman Serisi Sorgu API'leri aracılığıyla kullanılabilir duruma gelmeden önce 60 saniyeye kadar bir süreyle karşılaşabilirsiniz. 60 saniyenin üzerinde önemli bir gecikmeyle karşılaşırsanız lütfen Azure portalı üzerinden bir destek bileti gönderin.

Azure Time Series Insights 2. Nesil dışındaki Parquet dosyalarına doğrudan erişirken verilerin kullanılabilir duruma gelmesi için 5 dakikaya kadar bir süreyle karşılaşabilirsiniz. Daha fazla bilgi için Parquet dosya biçimi bölümüne bakın.

Sıcak depo

Sıcak deponuzdaki veriler yalnızca Time Series Query API'leri, Azure Time Series Insights TSI Gezgini veya Power BI Bağlayıcısı aracılığıyla kullanılabilir. Sıcak depolama sorguları ücretsizdir ve kota yoktur, ancak 30 eşzamanlı istek sınırı vardır.

Sıcak mağaza davranışı

  • Etkinleştirildiğinde, ortamınıza akışı yapılan tüm veriler, olay zaman damgasından bağımsız olarak sıcak deponuza yönlendirilir. Akış alma işlem hattının neredeyse gerçek zamanlı akış için oluşturulduğuna ve geçmiş olayları alma işleminin desteklenmediğini unutmayın.

  • Bekletme süresi, olayın zaman damgasına değil sıcak depoda ne zaman dizine alındığına göre hesaplanır. Bu, etkinlik zaman damgası geleceğe yönelik olsa bile bekletme süresi dolduktan sonra verilerin artık sıcak depoda kullanılamadığı anlamına gelir.

    • Örnek: 10 günlük hava durumu tahminlerine sahip bir olay, 7 günlük saklama süresiyle yapılandırılmış sıcak depolama kapsayıcısında alınır ve dizine alınır. Yedi gün sonra tahmine artık sıcak depodan erişilemez, ancak soğuktan sorgulanabilir.

  • Soğuk depolamada dizine alınmış son verileri içeren mevcut bir ortamda sıcak depoyu etkinleştirirseniz, sıcak depolama alanınızın bu verilerle yeniden doldurulmayacağını unutmayın.

  • Yalnızca sıcak depoyu etkinleştirdiyseniz ve Gezgin'de son verilerinizi görüntülerken sorunlarla karşılaşıyorsanız, sıcak depo sorgularını geçici olarak kapatabilirsiniz:

    Sıcak sorguları devre dışı bırakma

Soğuk depolama alanı

Bu bölümde, Azure Time Series Insights 2. Nesil ile ilgili Azure Depolama ayrıntıları açıklanmaktadır.

Azure Blob depolama hakkında ayrıntılı bir açıklama için Depolama blobları tanıtımı'nı okuyun.

Soğuk depolama hesabınız

Azure Time Series Insights 2. Nesil, Azure Depolama hesabınızdaki her olayın en fazla iki kopyasını tutar. Bir kopya, alma zamanına göre sıralanmış olayları depolar ve her zaman zaman sıralı bir sırayla olaylara erişime izin verir. Zaman içinde Azure Time Series Insights 2. Nesil, performans sorgularını iyileştirmek için verilerin yeniden bölümlenmiş bir kopyasını da oluşturur.

Tüm verileriniz Azure Depolama hesabınızda süresiz olarak depolanır.

Uyarı

Time Series Insights tarafından kullanılan depolama hesabına Genel İnternet erişimini kısıtlamayın, aksi takdirde gerekli bağlantı kesilir.

Blobları yazma ve düzenleme

Sorgu performansını ve veri kullanılabilirliğini sağlamak için Azure Time Series Insights 2. Nesil'in oluşturduğu blobları düzenlemeyin veya silmeyin.

Soğuk depo verilerine erişme

Verilerinize Azure Time Series Insights Gezgini ve Time Series Query API'lerinden erişmenin yanı sıra, verilerinize doğrudan soğuk depoda depolanan Parquet dosyalarından da erişmek isteyebilirsiniz. Örneğin, Jupyter not defterindeki verileri okuyabilir, dönüştürebilir ve temizleyebilir, ardından azure machine learning modelinizi aynı Spark iş akışında eğitmek için kullanabilirsiniz.

Verilere doğrudan Azure Depolama hesabınızdan erişmek için Azure Time Series Insights 2. Nesil verilerinizi depolamak için kullanılan hesaba okuma erişiminiz olmalıdır. Ardından, parquet dosya biçimi bölümünde aşağıda açıklanan klasörde bulunan Parquet dosyasının PT=Time oluşturulma zamanına göre seçili verileri okuyabilirsiniz. Depolama hesabınıza okuma erişimini etkinleştirme hakkında daha fazla bilgi için bkz . Depolama hesabı kaynaklarınıza erişimi yönetme.

Silinmiş veriler

Azure Time Series Insights 2. Nesil dosyalarınızı silmeyin. İlgili verileri yalnızca Azure Time Series Insights 2. Nesil'den yönetin.

Parquet dosya biçimi ve klasör yapısı

Parquet, verimli depolama ve performans için tasarlanmış açık kaynak sütunlu bir dosya biçimidir. Azure Time Series Insights 2. Nesil, Zaman Serisi Kimliği tabanlı sorgu performansını büyük ölçekte etkinleştirmek için Parquet kullanır.

Parquet dosya türü hakkında daha fazla bilgi için Parquet belgelerini okuyun.

Azure Time Series Insights 2. Nesil, verilerinizin kopyalarını aşağıdaki gibi depolar:

  • Klasör PT=Time , alım zamanına göre bölümlenmiştir ve verileri kabaca varış sırasına göre depolar. Bu veriler zaman içinde korunur ve Spark not defterleriniz gibi Azure Time Series Insight 2. Nesil dışından doğrudan erişebilirsiniz. Zaman damgası <YYYYMMDDHHMMSSfff> , verilerin alım zamanına karşılık gelir. <MinEventTimeStamp> ve<MaxEventTimeStamp>, dosyaya dahil edilen olay zaman damgaları aralığına karşılık gelir. Yol ve dosya adı şu şekilde biçimlendirilir:

    V=1/PT=Time/Y=<YYYY>/M=<MM>/<BlobCreationTimestamp>_<MinEventTimestamp>_<MaxEventTimestamp>_<TsiInternalSuffix>.parquet

  • PT=Live ve PT=Tsid klasörleri verilerinizin ikinci bir kopyasını içerir ve büyük ölçekte zaman serisi sorgu performansı için yeniden bölümlenir. Bu veriler zaman içinde iyileştirilmiştir ve statik değildir. Yeniden bölümleme sırasında bazı olaylar birden çok blobda bulunabilir ve blob adları değişebilir. Bu klasörler Azure Time Series Insights 2. Nesil tarafından kullanılır ve doğrudan erişilmemelidir; yalnızca bu amaçla kullanmanız PT=Time gerekir.

Not

Haziran 2021'den önceki klasördeki PT=Time veriler, olay zaman aralıkları olmayan bir dosya adı biçimine sahip olabilir: V=1/PT=Time/Y=<YYYY>/M=<MM>/<BlobCreationTimestamp>_<TsiInternalSuffix>.parquet. İç dosya biçimi aynıdır ve her iki adlandırma düzenine sahip dosyalar birlikte kullanılabilir.

  • <YYYY> dört basamaklı bir yıl gösterimine eşler.
  • <MM> iki basamaklı ay gösterimine eşler.
  • <YYYYMMDDHHMMSSfff> Zaman damgalarının biçimi dört basamaklı yıl (), iki basamaklı ay (MMYYYY), iki basamaklı gün (), iki basamaklı saat (DD), iki basamaklı dakika (HH), iki basamaklı saniye (MMSS) ve üç basamaklı milisaniyeyle (fff) eşler.

Azure Time Series Insights 2. Nesil olayları Parquet dosya içeriğiyle aşağıdaki gibi eşlenir:

  • Her olay tek bir satıra eşler.
  • Her satır, olay zaman damgası içeren zaman damgası sütununu içerir. Zaman damgası özelliği hiçbir zaman null değildir. Zaman damgası özelliği olay kaynağında belirtilmezse, varsayılan olarak olay tarafından sıralanan saat kullanılır. Depolanan zaman damgası her zaman UTC'dedir.
  • Her satır, Azure Time Series Insights 2. Nesil ortamı oluşturulduğunda tanımlanan Zaman Serisi Kimliği (TSID) sütunlarını içerir. TSID özellik adı son eki içerir _string .
  • Telemetri verileri olarak gönderilen diğer tüm özellikler, özellik türüne bağlı olarak (boole), (zaman damgası), _datetime (uzun), _long (çift), _string_double (dize) veya _dynamic (dinamik) ile biten sütun adlarına _bool eşlenir. Daha fazla bilgi için Desteklenen veri türleri hakkında bilgi edinin.
  • Bu eşleme şeması, V=1 olarak başvurulan ve aynı ada sahip temel klasörde depolanan dosya biçiminin ilk sürümü için geçerlidir. Bu özellik geliştikçe, bu eşleme şeması değişebilir ve başvuru adı artırılır.

Sonraki adımlar