Azure Depolama bant geçişlerine genel bakış

Bu makale bant geçişlerine odaklanır. Çeşitli bant medyalarında depolanan verilerin Azure depolama hizmetlerine başarılı bir şekilde geçirilmesi için basitleştirmeyi, rehberlik sağlamayı ve dikkat edilmesi gerekenleri gerçekleştirmeyi amaçlar.

Genel bakış

Bant, dünya verilerinin büyük bir bölümünü depolar ve baskın depolama medyası türlerinden biri olmaya devam eder. Bant medyası on yıllardır var ve her yıl yüzlerce exabayt yeni bant gönderildiğinde hala yoğun olarak kullanılıyor.

Bantlar, soğuk verileri depolamak için harika bir ortamdır. Sıralı okumada hızlıdırlar, ancak mekanik hareketler gerektiren aşamalar (bantların yüklenmesi ve boşaltılması, bant aramaları vb.) daha yavaştır. Bu, bantları geleneksel, rastgele tabanlı erişim için kullanılamaz hale getirir ve bugün bile bantlarda depolanan verilerin nadiren kullanılmasının ana nedenidir. Ayrıca bant, özel kullanım gerektiren manyetik bir ortamdır. Ortama, özellikle de sıcaklığa ve neme duyarlıdırlar. Çalışma ortamları dahilinde tutulursa, yüksek dayanıklılık ve iyi bir geri yükleme başarı oranı elde edebilirler. Ancak, düşmanca bir ortamda tutulduğunda, bozulma sık sık gerçekleşir ve bandı okunamaz hale getirir.

Bantların büyük bölümleri koyu verileri (oluşturulan ve depolanan ancak herhangi bir amaç için kullanılmayan veriler) depolar. Koyu veriler veri sahibine değer getirmez. Yapay zeka özelliğinin ve erişilebilirliğinin artmasıyla eğilim değişiyor. Müşteriler, koyu verilerin verimliliği artırmalarına, yeni gelir akışları açmalarına veya rekabet avantajlarını artırmalarına nasıl yardımcı olabileceğini araştırıyor. Birçok kuruluş, koyu verilerden yararlanmak için verileri bantlardan bulut depolama alanına geçirmeyi düşünmektedir. Bulut depolama, verileri analiz etmek, iş değerini ayıklamak (yapay zeka, Machine Learning, Azure Search gibi hizmetlerle) veya uzun süreli saklama için arşiv depolamadan yararlanarak maliyeti azaltmak için kolay bir yol sağlar.

Bantta buluta geçişlerde artış görmenin başlıca nedenlerinden bazıları şunlardır:

• Koyu verilerden iş değeri ayıklama,
• Uzun süreli saklama ile verileri yönetmek için gereken çabayı azaltın,
• Bir bant oluşturma işleminden diğerine geçiş işleminden kaçının,
• Özellikle eski bant nesilleri için veri kaybı riskini azaltın,
• Site dışı bant depolama tesislerini değiştirin,
• Olağanüstü durum kurtarma işlemlerini basitleştirin,
• Geçmiş verilere yapay zeka ve ML gibi modern araçlar uygulama.

Dikkat edilmesi gereken noktalar

Bant geçiş işlemi başlamadan önce seçeneklerin dikkatli bir şekilde dikkate alınması gerekir. İlk olarak geçişi kimin yürüttüğüne karar vermek gerekir. İki seçenek yaygın olarak kullanılır:

• Müşterinin geçişi uçtan uca yürüttüğü geçiş işlemi gerçekleştirildi.
• Bant geçiş iş ortağı , müşterinin bantları iş ortağına göndermesi ve iş ortağının geçiş işlemini yürütmesi.

Yaklaşım	Avantajlar	Dezavantajlar
Müşteri geçişi gerçekleştirdi	- Veriler hiçbir zaman siteden ayrılmaz - Nakliye bantları için lojistik yok	- Donanım kaynakları gerektirir - Personele daha fazla iş ekler - Bantları işleme konusunda belirli bir bilgi gerektirir - Olası bilinmeyen maliyetler
Bant geçiş iş ortağı	- Basit fiyatlandırma ve bilinen maliyet peşin (bant başına ödenir) - Üretim üzerinde hiçbir etkisi yoktur - Personel üzerinde hiçbir etkisi yoktur	- Nakliye bantları için lojistik gerektirir - Bantların sevkiyatı nedeniyle güvenlikle ilgili dikkat edilmesi gerekenler - Geçiş sırasında veri kullanılabilirliği için gereken birden çok kopya

Geçişi, müşteriyi veya iş ortağını kimlerin yürütebileceğine ilişkin kararımıza bazı önemli noktalar kolayca yol gösterebilir.

Kaynaklar

Kaynaklar bant geçiş işleminin en kritik parçasıdır ve bunları aşağıdaki kategorilere böleriz:

Kategori	Notlar
Halk	- Belirli beceri kümeleri gereklidir - Süreç yoğun emek gerektirir
Donanım	- Farklı bant nesilleri farklı türde donanım gerektirir - Geçiş hızı kullanılabilir sürücülerle ve ağ bant genişliğiyle orantılıdır
Yazılım	- Verileri oluşturan yazılımlara erişim gereklidir - Şifreleme anahtarlarına erişim gereklidir

Donanım genellikle en zorlu kısımdır. Mevcut bant nesillerini geçiriyorsak donanım kullanılabilir ancak mevcut üretimin bir parçası olarak kullanılır. Ancak eski bant nesilleri için donanım genellikle kullanım ömrü sonudur ve elde etmek daha zordur. Eski bant oluşturmada bant geçiş ortağı kullanmak tercih edilen ve daha basit bir seçenektir. Geçişler için üretim donanımı kullanıldığında, geçişin üretim iş yüklerini etkilemediğinden emin olmak için dikkatli bir planlama gerekir. Burada üç farklı model uygulayabiliriz:

1. Geçiş için ayrılmış donanım kullanın: en basit geçiş modeli, zamanlanması ve planlanması kolaydır ve üretim üzerinde hiçbir etkisi yoktur. Donanımı almak için maliyet ekler (zaten kullanılamıyorsa) ve geçiş sonrasında düşük donanım kullanımına neden olur.
2. Geçişi üretim donanımında çalışma saatleri dışında çalıştırma: üretime etkisi olmayan geçiş modeli. Karmaşık zamanlama, yürütme ve çalışma saatleri dışında çalışan kişileri gerektirir. Yalnızca üretim donanımı 7/24 kullanılmıyorsa mümkündür.
3. Üretimi ve geçişi birlikte çalıştırın: üretimi kolayca etkileyebilmesi için en az tercih edilen geçiş modeli. Bu model, üretim için kullanılabilir donanımı azaltır, karmaşık zamanlama ve planlama gerektirir. Bu model kullanılırsa, geçiş zaman çizelgesini denetim altında tutmak için üretim üzerindeki etkiyi azaltmaya yönelik işlemler kritik önem taşır. Bu model yalnızca üretim donanımının kullanımı düşük olduğunda önerilir.

Veri aktarımı seçenekleri

Veriler bantlardan okunduktan sonra Azure Depolama'ya taşınması gerekir. Veriler ağ veya Azure Data Box gibi çevrimdışı cihazlar kullanılarak taşınabilir. Veri aktarımı seçeneklerini etkileyen parametrelerden bazıları şunlardır:

• Kullanılabilir ağ genişliği
• Geçişi tamamlamak için gerekli zaman çizelgesi
• Veri değişikliklerinin sıklığı

Burada en uygun seçeneği belirleme yönergeleri hakkında daha fazla bilgi edinin. Ağ aktarımı daha basit ve tercih edilen bir seçenektir. Ağ ve çevrimdışı yöntemin birleşimi de mümkündür, ancak geçirilen verilerin çakışmadığından emin olmak için daha fazla planlama gerektirir.

Geçişi gerçekleştirmek için kullanılabilir kaynak yoksa( kaynak türü ne olursa olsun) tek seçeneğimiz bant geçiş ortağı kullanmaktır. Bu durumda iki seçenek arasından seçim yapabilirsiniz:

1. Müşterinin sitesinde gerçekleştirilen geçiş: bant geçiş iş ortağı donanımı getirir, kişileri işe alır ve işi müşterinin konumunda gerçekleştirir. Müşterinin bantlara, donanım için ayrılmış alana, ağ bağlantılarına ve Azure Depolama hizmetine erişim sağlaması gerekir. İş ortağı diğer tüm etkinliklerden sorumludur.
2. İş ortağının sitesinde gerçekleştirilen geçiş: müşteri bantları iş ortağına iletir ve Azure Depolama hizmetine erişim sağlar. Bant geçiş iş ortağı, bantlardan Azure Depolama'ya veri geçirmek için tüm çalışmaları gerçekleştirir.

İkinci seçenek daha kolaydır ve daha yaygın olarak kullanılır. Bant geçişi iş ortaklarının büyük ölçekte bant geçişi gerçekleştirmek için tasarlanmış ve donatılmış tesisleri vardır. Bu seçenek ayrıca iş ortaklarının daha fazla donanım kaynağı olduğundan riski ve zaman çizelgesini azaltır. Müşterinin sitesinde geçiş gerçekleştirmek yalnızca güvenlik ve gizlilik endişeleri müşterinin bantları iş ortağına göndermesine izin vermediğinde kullanılır.

Çeşitli iş ortakları Azure'a bant geçişleri gerçekleştirebilir. İş ortaklarının tam listesi çevrimdışı medya içeri aktarma işleminde bulunabilir.

Aşağıda, seçim sürecini kolaylaştırmak için basit bir akış çizelgesi yer alır.

Veri biçimi

Veri biçiminin geçiş tasarımı üzerinde büyük bir etkisi vardır ve gelecekteki veri kullanılabilirliği için dikkat edilmesi gereken önemli noktadır. Veriler özel veya yerel biçimde depolanabilir. Özel biçimler genellikle sanal bantlar olarak depolanır. Yerel biçim, bantlardan dosyaları geri yüklemeyi ve bunları dosya veya nesne olarak depolamayı gerektirir.

Model	Avantajlar	Dezavantajlar
Sanal bantlar	- Daha kolay ve daha hızlı geçiş - Özgün bant medyası olarak aynı bant medyasını yeniden oluşturabilir - Verileri yazmak için özgün yazılıma erişime gerek yoktur	- Sanal bant envanteri bakımını gerektirir - Uygulamaya bağımlı biçimde depolanan veriler, verileri geri yüklemek için özgün yazılım gerektirir - Geri yükleme olmadan Azure hizmetleri (AI / ML) tarafından erişilmeyen veriler
Yerel dosyalar	- Herhangi bir uygulama ve hizmet tarafından erişilebilen dosyalar (AI / ML) - Veriden para kazanmak mümkündür - Geri yüklemeler için özgün yazılıma erişime gerek yoktur	- Daha karmaşık geçiş - Verileri yazmak için özgün yazılıma erişim gerektirir

Biçime karar vermek için temel ölçüt, verileri kullanmayı planlama şeklimizdir. Veriler yalnızca uzun süreli saklama için geçiriliyorsa, sanal bantlar harika bir seçimdir. Başka bir durumda, verileri yerel biçimde depolamak tercih edilen bir seçenektir. Gelecekte verilerin basit kullanımına olanak tanır ve veri analizi ile birçok olasılık ortaya çıkar.

Geçiş süreci

Geçiş yürütme ve tercih edilen veri biçimiyle ilgili kararlar aldıktan sonra geçişle başlayabiliriz. Geçiş birkaç aşamadan geçer.

Bilgi aşaması

Bilgi aşaması, temel gereksinimlerin toplanması için kritik öneme sahiptir. Toplanan bilgiler doğru tasarım ve planlamaya yol gösterir. Bazı bilgiler sonraki aşamalarda güncelleştirilebilse de, kesin bilgiler sağlamak sahneyi ayarlar ve işlemde büyük değişiklikler yapma gereğini önler. Bu aşamanın yanıtlaması gereken önemli sorulardan bazıları şunlardır:

• Hangi tür bantların geçirilmesi gerekir (örneğin, LTO3, LTO6, 3592JC vb.)?
• Her model için geçirilmesi gereken bant miktarı (örneğin, 100xLTO3, 200xLTO6 vb.)?
• Bantlara veri yazmak için hangi yazılım kullanıldı, bu yazılım hala kullanılabilir mi?
• Bantlara veri yazmak için kullanılan biçim nedir, biçim açık mı yoksa özel mi sıkıştırma uygulanıyor?
• Şifreleme kullanıldı mı ve evet ise, şifreleme anahtarlarını değiştirmek için en güvenli seçenek nedir?
• Hedef bölge nedir?
• Hangi depolama hizmeti kullanılır?
• Hangi mevzuat gereksinimleri kritiktir (HIPAA, GDPR vb.)? Velayet zinciri zorunlu mu?
• Geçiş son tarihi nedir? Kritik kilometre taşları var mı?
• Geçiş için ne kadar ağ bant genişliği kullanılabilir?
• Bantlar fiziksel olarak nerede depolanır ve gönderilebilir mi?
• Tüm dosyalar için karma değerleriniz zaten var mı? Evet ise, hangi karma algoritması kullanılır?
• Geçiş sonrasında bantlar gerekli mi?
• Geçiş / taşıma sırasında bantlar için sıcaklık ve nem nasıl korunur?
• Ana paydaşlar kimler?

Hazırlık aşaması

Temel bilgileri topladıktan sonra geçişe hazırlanabiliriz. Hazırlık aşaması birçok farklı adımı içerebilir, ancak çoğu geçişin geçtiği bazı yaygın adımlar vardır:

1. Veri analizi , geçirilmesi gereken veriler hakkında bilgi sağlar. Verilerin bantlardan ne kadar hızlı okunabileceğini ve geçişi son tarihten önce başarıyla tamamlamak için ne kadar paralellik elde etmemiz gerektiğini tahmin etmek için bilgiler kritik önem taşır. Gerekli donanımlar (kitaplıklar, robotlar, sürücüler) üzerindeki tahminleri etkiler. Veri analizi, geçirilecek veri kümesini temsil eden birden çok bant örneklemesi yapılarak yapılır. Aradığımız tipik bilgiler:

   • dosya boyutları,
   • bant başına depolanan veri miktarı,
   • bant başına dosya sayısı,
   • en düşük ve en büyük dosya boyutları,
   • dosya türleri.

2. Veri kalitesi , geçirilmesi gereken son ve benzersiz veri kümesinin tahmin edilmesine yardımcı olur. Bant geçişiyle ilgili en yaygın sorunlardan biri verilerin çoğaltılıyor olmasıdır. Bant geçişi, yinelenen verileri temizlemek için ideal bir zamandır. Bu işlem gelecekteki kullanım için veri kalitesini artırır, maliyeti ve geçiş süresini azaltır.

3. Veri öncelik belirlemesi , verilerin geçirilebileceği sırayı belirler. İdeal olarak, farklı bantlardan dosyaları rastgele okumak yerine her banttan doğrudan akış elde etmek istiyoruz (sürekli yükleme, yükleme ve arama işlemlerini önlemek için). Bu yaklaşım mümkün olan en yüksek aktarım hızına ulaşır ve her zaman en hızlı geçiş yoludur. Veri öncelik belirleme, en iyi sonuçları elde etmek için iş gereksinimlerini ve teknik fizibiliteyi alır.

4. Geçiş tasarımı , geçişin tüm teknik yönlerini ve son geçiş işlemini oluşturmak için toplanan bilgileri içerir. Kalan aşamalar için gerçeğin kaynağı haline gelen yazılı bir belgedir. En azından şu içeriği içermelidir:

   • geçiş işlemini ve geçiş son tarihini temizleyin,
   • donanım ve personel gereksinimleri,
   • altyapı ve ağ tasarımı,
   • güvenlikle ilgili dikkat edilmesi gerekenler,
   • okunamayan bantlarla nasıl başa çıkılır,
   • rollerini ve sorumluluklarını vb.

Geçiş aşaması

Geçiş tasarımı tamamlandıktan sonra geçiş işlemini başlatırız. Tam geçiş hızına yükseltmeden önce her zaman daha küçük bir örnekle test gerçekleştiririz. Testin amacı, uçtan uca işlemin çalıştığından emin olmaktır. Ayarlamalar yapmamıza ve süreci geliştirmemize olanak tanır. Test başarılı olduktan ve sonuçlardan memnun olduktan sonra geçişi yürüteceğiz. Yerel dosyalar ve sanal bantlar kullanıyorsak geçiş aşaması biraz farklıdır. Her iki durumda da, tüm bantları daire içine alan ve içeriğinin tamamını okuyan yinelenen bir işlemdir. Bu akış çizelgesi, yerel dosyalara geçiş sırasında geçiş aşamasını gösterir.

Veri doğrulaması

Geçiş yaptığımız her dosyada, verilerin geçiş işlemi sırasında bozulmadığından emin olmak için veri doğrulama gerçekleştirmemiz gerekir. Veri doğrulama işlemi, geçiş öncesinde ve geçiş sonrasında karma değerleri karşılaştırılarak yapılır. Kullanılabilecek birçok karma algoritması türü vardır. Azure Depolama, geçiş sırasında doldurulabilen önceden tanımlanmış bir meta veri alanı Content-MD5 içerdiğinden MD5'i kullanmak yaygın bir yaklaşımdır. Bu yaklaşım, verilerin değiştirilmediğini veya bozulmadığını doğrulamak için verilere eriştiğimizde aynı MD5 değerinin denetlenmesini sağlar. İdeal durumda, kaynak veriler zaten geçiş sonrasında karma değerlerle kolayca karşılaştırılabilen karma değerler içerir. Karmalar yoksa, dosya geçirilmeden önce hesaplanmalıdır. Karmalar eşleşiyorsa, dosya geçirildi olarak işaretlenir. Aksi takdirde, dosya atılır ve yeniden geçirilir. Bazen veriler kaynak bantlarda bozulur. Özgün karma değerlerine sahip olmak, bu nadir durumları yakalamaya yardımcı olur. Bunlar gerçekleşirse, varsa ikincil kopyadaki verileri okuyabiliriz. Veri doğrulama işlemi, geçiş tasarımı için kritik bir bileşendir. Başarısız doğrulamayı işleme işlemi tanımlanmalıdır. Geçiş aşaması, öngörülemeyen duruma tepki vermemizi ve buna uyum sağlamamızı sağlamak için sürekli olarak izlenir. Geçişin yolundan ayrılmaması için ana paydaşlara düzenli raporlama yapmak önemlidir.

Geçiş sonrası aşama

Geçiş tamamlandıktan sonra, geçiş projesini başarıyla kapatmadan önce göz önünde bulundurmamız gereken birkaç adım vardır. Artık gerekli değilse geçiş için kullanılan donanımı atmalıyız. En önemli soru bantların nasıl atılmasıdır. Bant atma iki adımlı bir işlemdir. Bantlar hassas ve gizli bilgileri depoluyorsa (ve genellikle depolanıyorsa), önce bunların degaussed edilmesi gerekir. Kullanımdan kaldırma, tüm verilerin medyadan manyetik olarak silinmesini sağlar. Silme işleminden sonra bantların düzgün bir şekilde yok edilmesi ve geri dönüştürülmeleri gerekir. Bant geçiş iş ortağı kullandıysak iş ortağının bantları güvenli bir şekilde atmasına da izin verebiliriz.

Sonraki adımlar

• Azure Depolama'ya genel bakış
• Azure çevrimdışı medya içeri aktarma
• Veri aktarımı seçeneklerini karşılaştırma
• Depolama geçişe genel bakış