Azure Data Lake Storage 2. Nesli anlama
Veri gölü, genellikle blob veya dosya olan doğal biçiminde depolanmış verilerin deposudur. Azure Data Lake Depolama, Azure'da yerleşik yüksek performanslı analizler için kapsamlı, yüksek oranda ölçeklenebilir, güvenli ve uygun maliyetli bir veri gölü çözümüdür.
Azure Data Lake Storage, verilerinizdeki içgörüleri hızlıca tanımlamanıza yardımcı olmak için bir dosya sistemini bir depolama platformu ile bir araya getirir. Data Lake Depolama, özellikle analiz iş yükleri için en iyi duruma getirmek için Azure Blob depolama özelliklerini oluşturur. Bu tümleştirme Blob depolamanın katmanlama ve veri yaşam döngüsü yönetimi özellikleri ile Azure Depolama’nın yüksek kullanılabilirlik, güvenlik ve dayanıklılık özellikleri ile birlikte analiz performansını artırır.
Sosyal haklar
Data Lake Depolama, yüzlerce gigabaytlık aktarım hızını güvenli bir şekilde işlerken eksabayt ölçeğinde bu çeşitli ve hacimli verilerle başa çıkmak için tasarlanmıştır. Bu sayede hem gerçek zamanlı hem de toplu iş çözümlerinin temeli olarak Data Lake Storage 2. Nesli kullanabilirsiniz.
Hadoop uyumlu erişim
Data Lake Depolama'nin avantajlarından biri, verileri Hadoop Dağıtılmış Dosya Sistemi'nde (HDFS) depolanmış gibi ele alabilmenizdir. Bu özellik sayesinde verileri tek bir yerde depolayabilir ve verileri ortamlar arasında taşımadan Azure Databricks, Azure HDInsight ve Azure Synapse Analytics gibi işlem teknolojileri aracılığıyla verilere erişebilirsiniz. Veri mühendisi ayrıca yüksek oranda sıkıştırılmış olan ve iç sütunlu depolama kullanarak birden çok platformda iyi performans gösteren parquet biçimi gibi depolama mekanizmalarını da kullanabilir.
Güvenlik
Data Lake Depolama, üst dizinin izinlerini devralmamış erişim denetim listelerini (ACL) ve Taşınabilir İşletim Sistemi Arabirimi (POSIX) izinlerini destekler. Aslında, veri gölünde depolanan veriler için dizin düzeyinde veya dosya düzeyinde izinler ayarlayabilir ve çok daha güvenli bir depolama sistemi sağlayabilirsiniz. Bu güvenlik Hive ve Spark gibi teknolojiler veya Windows, macOS ve Linux üzerinde çalışan Azure Depolama Gezgini gibi yardımcı programlar aracılığıyla yapılandırılabilir. Depolanan tüm veriler Microsoft veya müşteri tarafından yönetilen anahtarlar kullanılarak bekleme durumundayken şifrelenir.
Performans
Azure Data Lake Storage, depolanmış verileri daha kolay gezinmeye olanak tanıyan bir dosya sistemi gibi bir dizin ve alt dizinler hiyerarşisi halinde düzenler. Sonuç olarak, veri işleme için daha az hesaplama kaynağı gerekir ve hem zaman hem de maliyet azalır.
Veri yedekliliği
Data Lake Depolama, coğrafi olarak yedekli depolama (GRS) seçeneğini kullanarak yerel olarak yedekli depolama (LRS) içeren tek bir veri merkezinde veya ikincil bir bölgede veri yedekliliği sağlayan Azure Blob çoğaltma modellerinden yararlanır. Bu özellik, bir felaket durumunda verilerinizin her zaman kullanılabilir ve koruma altında olmasını sağlar.
Bahşiş
Bir veri gölü için her planlamada veri mühendisinin yapı, veri idaresi ve güvenlik konularını dikkate alması gerekir. Bu, göl yapısını ve kuruluşunu etkileyebilecek faktörlerin dikkate alınmasını içermelidir, örneğin:
- Depolanacak veri türleri
- Veriler nasıl dönüştürülecek?
- Verilere kimlerin erişmesi gerekir?
- Tipik erişim desenleri nelerdir?
Bu yaklaşım, gölünüz genelinde erişim denetimi idaresini planlamaya yardımcı olur. Veri mühendisleri, veri idaresi ve veri kalitesi önlemlerinin olmaması nedeniyle gölün kullanıcılar için erişilemez ve kullanışlı olmayan bir veri bataklığı haline gelmediğinden emin olmak için proaktif olmalıdır. Azure Data Lake için bir temel oluşturmak ve aşağıdaki en iyi yöntemleri uygulamak, kuruluşun daha fazlasını başarmak için büyümesine ve içgörü kazanmasına olanak sağlayacak düzgün ve sağlam bir uygulama sağlamaya yardımcı olur.