Azure Veri Gezgini'a geçmiş verileri yükleme

Azure Veri Gezgini'a geçiş sürecinde sık karşılaşılan bir senaryo, bazen geri doldurma olarak adlandırılan tarihsel verilerin alınmasıdır. bu işlem, mevcut bir depolama sisteminden verilerin bir uzantı koleksiyonu olan bir tabloya alınmasıdır.

Geçmiş verileri almak için extents'in oluşturulma zamanını verilerin oluşturıldığı zamana ayarlamak amacıyla creationTime ingestion özelliğini kullanın. Oluşturma zamanını içe aktarma bölümleme ölçütü olarak kullanmak, verilerinizi önbellek ve bekletme ilkelerinize uygun şekilde yaşlandırabilir ve zaman filtrelerini daha verimli hale getirebilir.

Varsayılan olarak, kapsamlar için oluşturma süresi, verileri alma zamanına ayarlanır ve bu da beklediğiniz davranışı üretmeyebilir. Örneğin, önbellek süresi 30 gün ve bekletme süresi iki yıl olan bir tablonuz olduğunu varsayalım. Normal akışta, üretildiği gibi alınan veriler 30 gün boyunca önbelleğe alınır ve ardından soğuk depolama alanına taşınır. İki yıl sonra, oluşturma zamanına bağlı olarak eski veriler birer birer kaldırılır. Ancak, varsayılan olarak verilerin alındığı zamanın oluşturma zamanı olarak işaretlendiği iki yıllık geçmiş verileri alırsanız. Bu davranış, aşağıdaki nedenden dolayı istenen sonucu üretmeyebilir:

• Tüm veriler önbelleğe alınır ve tahmin ettiğinizden daha fazla önbellek kullanarak 30 gün boyunca orada kalır.
• Eski veriler günde bir kez kaldırılmaz; bu nedenle veriler kümede gerekenden daha uzun süre tutulur ve iki yıl sonra hepsi aynı anda kaldırılır.
• Daha önce kaynak sistemde tarihe göre gruplandırılmış veriler artık aynı ölçüde toplu işlenerek verimsiz sorgular oluşturulabilir.

Bu makalede geçmiş verileri bölümlemeyi öğreneceksiniz:

• Veri alma sırasında creationTime alma özelliğini kullanın (önerilen)

  Mümkün olduğunda, dosya veya blob yolundan ayıklayarak uzantıların oluşturulma zamanını ayarlamak için kullanabileceğiniz creationTime alma özelliği ile geçmiş verileri alın. Klasör yapınız oluşturma tarihi deseni kullanmıyorsa, dosyanızı veya blob yolunuzu oluşturma zamanını yansıtacak şekilde yeniden yapılandırın. Bu yöntemi kullanarak verilerin tabloya doğru bir şekilde oluşturulma zamanı ile yüklendiğini sağlarsınız ve önbellek ve bekletme sürelerinin doğru şekilde uygulanmasını sağlarsınız.

  Not

  Varsayılan olarak, uzantılar oluşturma zamanına (alma) göre bölümlenir ve çoğu durumda veri bölümleme ilkesi ayarlamanıza gerek yoktur.

• Veri alımından sonra bölümleme stratejisi kullanma

  creationTime alma özelliğini kullanamıyorsanız, örneğin, Azure Cosmos DB bağlayıcısını kullanarak verileri alırken oluşturma zamanını denetleyemiyorsanız veya klasör yapınızı yeniden yapılandıramıyorsanız, aynı etkiyi elde etmek için alma sonrası tabloyu bölümleme ilkesini kullanarak yeniden bölümleyebilirsiniz. Ancak bu yöntem, politika özelliklerini optimize etmek için biraz deneme ve hata gerektirebilir ve creationTime ingestion özelliğini kullanmaktan daha az verimlidir. Bu yöntemi yalnızca creationTime alma özelliğini kullanmak mümkün olmadığında kullanın.

Önkoşullar

• Microsoft hesabı veya Microsoft Entra kullanıcı kimliği. Azure aboneliğine ihtiyacınız yoktur.
• bir Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
• Depolama hesabı.
• Alma sırasında alma özelliğinin kullanılması creationTime için önerilen yöntem için LightIngest'i yükleyin.

Geçmiş verileri alma

Alma sırasında creationTime alma niteliğini kullanarak geçmiş verileri bölümleyin. Bu yöntemi kullanamıyorsanız, bir bölümleme ilkesi kullanarak veri alımından sonra tabloyu yeniden bölümleyebilirsiniz.

Alım sırasında (önerilen)

LightIngest, mevcut bir depolama sisteminden Azure Veri Gezgini geçmiş verileri yüklemek için kullanışlıdır. Komut satırı bağımsız değişkenlerinin listesini kullanarak kendi komutunuzu oluşturabilirsiniz ancak bu makalede, bir alma sihirbazı aracılığıyla bu komutun nasıl otomatik olarak oluşturulabileceği gösterilir. Komutu oluşturmaya ek olarak, bu işlemi kullanarak yeni bir tablo oluşturabilir ve şema eşlemesi oluşturabilirsiniz. Bu araç, veri kümenizden şema eşlemesi çıkartır.

Hedef

1. Azure Veri Gezgini web kullanıcı arabiriminde sol menüden Query öğesini seçin.

2. Verileri almak istediğiniz veritabanına sağ tıklayın ve ardından LightIngest'i seçin.

   

   Veri alma penceresi açılır ve Hedef sekmesi seçili durumdadır. Küme ve Veritabanı alanları otomatik olarak doldurulur.

3. Bir hedef tablo seçin. Yeni bir tabloya veri almak için Yeni tablo'yu seçin ve bir tablo adı girin.

   Not

   Tablo adları, boşluk, alfasayısal karakterler, kısa çizgiler ve alt çizgiler dahil olmak üzere en fazla 1.024 karakter uzunluğunda olabilir. Özel karakterler desteklenmez.

   

4. İleri: Kaynak'ı seçin.

Kaynak

1. Kaynak seç'in altında URL Ekle veya Kapsayıcı seç'i seçin.

   • URL eklediğinizde, Kaynağa bağlantı'nın altında bir kapsayıcının hesap anahtarını veya SAS URL'sini belirtin. SAS URL'sini el ile veya otomatik olarak oluşturabilirsiniz.

   • Depolama hesabınızdan bir kapsayıcı seçtiğinizde açılan menülerden Depolama aboneliğinizi, Depolama hesabınızı ve Kapsayıcı'yı seçin.

     

   Not

   Veri alımı en fazla 6 GB'lık dosya boyutunu destekler. Öneri, 100 MB ile 1 GB arasında dosya almaktır.

2. LightIngest kullanarak alım işlemi için ek ayarlar tanımlamak için Gelişmiş ayarlar'ı seçin.

   

3. Gelişmiş yapılandırma bölmesinde, LightIngest ayarlarını aşağıdaki tabloya göre tanımlayın.

   

   Özellik	Açıklama
   Oluşturma zamanı düzeni	Oluşturulan veri kapsamının veri alma zamanı özelliğini bir şablonla, örneğin kapsayıcının klasör yapısına göre bir tarih uygulamak için geçersiz kılın. Ayrıca bkz. Oluşturma zamanı düzeni.
   Blob isim deseni	Alınacak dosyaları tanımlamak için kullanılan şablonu belirtin. Verilen kapsayıcıdaki blob adı deseni ile eşleşen tüm dosyaları alın. Wildcard destekler. Deseni çift tırnak içine alın.
   Tag	Alınan verilere atanmış bir etiket. Etiket herhangi bir dize olabilir.
   Dosya miktarını sınırla	Alınacak dosya sayısını belirtin. Blob adı düzeniyle eşleşen ilk n dosyaları belirtilen sayıya kadar alır.
   Alımın tamamlanmasını beklemeyin	Ayarlanırsa, alım sürecini izlemeden blob'ları alım için kuyruğa alır. Ayarlanmadıysa, LightIngest alma işlemi tamamlanana kadar alım durumunu yoklama işlemine devam eder.
   Yalnızca seçili öğeleri görüntüle	Kapsayıcıdaki dosyaları listeleyin, ancak yüklemez.

4. Kaynak sekmesine dönmek için Bitti'yi seçin.

   1. İsteğe bağlı olarak, verileri yalnızca belirli bir klasör yolundaki veya belirli bir dosya uzantısına sahip dosyaları almak üzere filtrelemek için Dosya Filtreleri'ni seçin.

      

      Varsayılan olarak, kapsayıcıdaki dosyalardan biri rastgele seçilir ve tablo şemasını oluşturmak için kullanılır.

   2. İsteğe bağlı olarak, Şema tanımlama dosyası altında kullanılacak dosyayı belirtin.

5. Tablo sütunu yapılandırmanızı görüntülemek ve düzenlemek için İleri: Şema'ya tıklayın.

Şema

Şema sekmesi verilerin önizlemesini sağlar.

LightIngest komutunu oluşturmak için İleri: Alıma Başlat'ı seçin.

İsteğe bağlı olarak şunları yapabilirsiniz:

• Açılan menüden istediğiniz biçimi seçerek otomatik olarak çıkarılan Veri biçimini değiştirin.
• Otomatik olarak türetilen Eşleme adını değiştirin. Alfasayısal karakterler ve alt çizgileri kullanabilirsiniz. Boşluklar, özel karakterler ve kısa çizgiler desteklenmez.
• Varolan bir tabloyu kullanırken, tablo şeması seçili biçimle eşleşiyorsa Geçerli tablo şemasını koruyabilirsiniz.
• Girdilerinizden oluşturulan otomatik komutları görüntülemek ve kopyalamak için Komut görüntüleyicisi'ni seçin.
• Sütunları düzenleyin. Kısmi veri önizleme altında, tablonun çeşitli yönlerini değiştirmek için sütun açılan menülerini seçin.

Tabloda yapabileceğiniz değişiklikler aşağıdaki parametrelere bağlıdır:

• Tablo türü yeni veya var
• Eşleme türü yeni veya mevcut

Tablo türü	Eşleme türü	Kullanılabilir ayarlamalar
Yeni tablo	Yeni eşleme	Veri türünü değiştirme, Sütunu yeniden adlandırma, Yeni sütun, Sütunu sil, Sütunu güncelleştir, Artan düzende sırala, Azalan düzende sırala
Varolan tablo	Yeni eşleme	Yeni sütun (daha sonra veri türünü değiştirebileceğiniz, yeniden adlandırabileceğiniz ve güncelleştirebileceğiniz), Sütunu güncelleştirme, Artan sıralama, Azalan düzende sırala
	Mevcut eşleme	Artan düzende sırala, Azalan düzende sırala

Not

Yeni sütun eklerken veya bir sütunu güncelleştirirken eşleme dönüştürmelerini değiştirebilirsiniz. Daha fazla bilgi için bkz. Eşleme dönüştürmeleri

Alma

1. Tablo, eşleme ve LightIngest komutu yeşil onay işaretleri gösterdiğinde, oluşturulan LightIngest komutunu kopyalamak için Oluşturulan komut kutusunun sağ üst köşesindeki kopyala simgesini seçin.

   

   Not

   Gerekirse LightIngest'i İndir'i seçerek LightIngest aracını indirebilirsiniz.

2. Alma işlemini tamamlamak için, kopyalanan komutu kullanarak LightIngest'i çalıştırmanız gerekir.

Alım sonrası

1. Adım: Yeniden bölümleme için hazırlanma

1. Eski verileri saklamak için bekletme ilkesini ayarlayın. Aşağıdaki örnekte , MyTable tablosunun bekletme ilkesini 10 yıl olarak ayarlayın.

   .alter-merge table MyTable policy retention softdelete = 3650d recoverability = enabled
   

2. Veri alımı sonrasında yalnızca sık erişimli veriler yeniden bölümlenebileceğinden, önbelleğe alma ilkesini tüm verilerin yeniden bölümleme için sık erişimli önbellekte olacak şekilde ayarlayın. Aşağıdaki örnekte MyTable tablosunun önbelleğe alınmasını 10 yıl olarak ayarlayın.

   .alter table MyTable policy caching hot = 3650d
   

   Önemli

   Önbelleğe alma ilkesini artırmak normal işlemlerden çok daha fazla sık erişimli önbellek kullanabilir ve maliyetin artmasına neden olabilir.

2. Adım: Yeniden bölümlendirmeyi başlatma

1. Verileri adlı Timestampsütuna göre bölümleyen bir bölümleme ilkesi oluşturun. Aşağıdaki örnekte MyTable tablosunun bölümleme ilkesini adlı Timestampsütuna göre bölümle olarak ayarlayın.

   .alter table MyTable policy partitioning
   ```
   {
     "EffectiveDateTime" : "1970-01-01T00:00:00",
     "PartitionKeys": [
       {
         "ColumnName": "Timestamp",
         "Kind": "UniformRange",
         "Properties": {
           "Reference": "1970-01-01T00:00:00",
           "RangeSize": "1.00:00:00",
           "OverrideCreationTime": true
         }
       }
     ]
   }
   ```
   

   Bölümleme ilkesi özellikleri hakkında bilgi için bölüm özellikleri'ne bakın. Geçmiş veri alımı için aşağıdaki özellikleri nasıl ayarladığınız önemlidir:

   • Yeniden bölümleme işlemini tetiklemek için EffectiveDateTime özelliğini alımın başlangıcından daha erken bir tarihe ayarlayın.
   • Verilerin bir günlük demetlere yeniden bölümlenmesi için RangeSize değerini bir gün olarak ayarlayın. Ancak, bu değeri verilerinizle uyumlu olacak şekilde ayarlayın. Örneğin, günde birden fazla GB'tan az veriniz varsa, daha büyük bir değer ayarlamayı göz önünde bulundurun.
   • OverrideCreationTime değerini true olarak ayarlayarak verileri günlük gruplara yeniden bölümlendirdikten sonra, bölgeler o günle oluşturma zamanı olarak işaretlenir.

2. 14 günden eski kapsamlar da dahil olmak üzere tüm kapsamların birleştirilmesine izin vermek için bir birleştirme ilkesi ayarlayın. Yeniden bölümleme işlemi varsayılan olarak birleştirme işleminin hariç tutulduğu 14 günden eski kapsamlar oluşturduğundan bu ilkeyi ayarlayın.

   .alter table MyTable policy merge
   ```
   {
     "Lookback": {
       "Kind": "HotCache"
     }
   }
   ```
   

3. .show database extents partitioning statistics komutunu kullanarak yeniden bölümleme ilerleme durumunu izleyin. Döndürülen sonuçlarda yeniden bölümlediğiniz tabloyu arayın ve PartitionedRowPercentage sütununu izleyin. PartitionedRowPercentage sütununun değeri olduğunda100, yeniden bölümleme tamamlanır.

3. Adım: Yeniden bölümleme sonrası temizleme

Yeniden bölümleme tamamlandığında, önceki adımlarda ayarladığınız ilkeleri temizleyin.

1. Bölümleme ilkesini kaldırın.

   .delete table MyTable policy partitioning
   

2. Birleştirme ilkesini kaldırın.

   .delete table MyTable policy merge
   

3. Önbelleğe alma ilkesini kaldırın veya ayarlayın.

   // Remove the caching policy
   .delete table MyTable policy caching
   // OR set the caching policy to your desired value
   .alter table MyTable policy caching hot = 90d
   

4. Bekletme ilkesini kaldırın veya ayarlayın.

   // Remove the retention policy
   .delete table MyTable policy retention
   // OR set the retention policy to your desired value
   .alter-merge table MyTable policy retention softdelete = 30d recoverability = enabled
   

İlgili içerik

• Azure Veri Gezgini'da Verileri Sorgula