Azure Data Lake Storage 2. Nesil'e giriş
Azure Data Lake Storage 2. Nesil, Azure Blob Depolama dayalı olarak büyük veri analizine ayrılmış bir özellik kümesidir.
Data Lake Storage 2. Nesil, Azure Blob Depolama ile Azure Data Lake Storage 1. Nesil'in özelliklerini yakınsıyor. Örneğin, Data Lake Storage 2. Nesil dosya sistemi semantiği, dosya düzeyi güvenlik ve ölçeklendirme sağlar. Bu özellikler Blob depolama üzerine oluşturulduğundan, yüksek kullanılabilirlik/olağanüstü durum kurtarma özelliklerine sahip düşük maliyetli, katmanlı depolama da elde edersiniz.
Data Lake Storage 2. Nesil, Azure Depolama'yı Azure'da kurumsal veri gölleri oluşturmanın temeli haline getirir. Başlangıçtan başlayarak yüzlerce gigabaytlık aktarım hızı sağlarken birden çok petabaytlık bilgiye hizmet vermek için tasarlanan Data Lake Storage 2. Nesil, çok büyük miktarlarda veriyi kolayca yönetmenize olanak tanır.
Data Lake nedir?
Veri gölü, tüm verilerinizi hem yapılandırılmış hem de yapılandırılmamış olarak depolayabileceğiniz tek ve merkezi bir depodur. Veri gölü, kuruluşunuzun çok çeşitli verileri tek bir konumda hızlı ve daha kolay bir şekilde depolamasına, erişmesine ve analiz etmesine olanak tanır. Veri gölü ile verilerinizi mevcut bir yapıya uyacak şekilde uyumlu hale getirmek zorunda değilsiniz. Bunun yerine, verilerinizi genellikle dosya veya ikili büyük nesneler (blob) olarak ham veya yerel biçimde depolayabilirsiniz.
Azure Data Lake Storage bulut tabanlı bir kurumsal veri gölü çözümüdür. Çok büyük miktarlarda veriyi herhangi bir biçimde depolamak ve büyük veri analiz iş yüklerini kolaylaştırmak için tasarlanmıştır. Çeşitli çerçeveleri kullanarak kolay erişim ve analiz için her tür ve alım hızına sahip verileri tek bir konumda yakalamak için kullanırsınız.
Data Lake Storage 2. Nesil
Azure Data Lake Storage 2. Nesil, Azure'ın Data Lake Storage çözümünün geçerli uygulamasını ifade eder. Önceki uygulama olan Azure Data Lake Storage 1. Nesil, 29 Şubat 2024'te kullanımdan kaldırılacaktır.
Data Lake Storage 1. Nesil farklı olarak Data Lake Storage 2. Nesil ayrılmış bir hizmet veya hesap türü değildir. Bunun yerine, Azure Depolama hesabınızın Blob Depolama hizmetiyle kullandığınız bir dizi özellik olarak uygulanır. Hiyerarşik ad alanı ayarını etkinleştirerek bu özelliklerin kilidini açabilirsiniz.
Data Lake Storage 2. Nesil aşağıdaki özellikleri içerir.
✓ Hadoop uyumlu erişim
✓ Hiyerarşik dizin yapısı
✓ İyileştirilmiş maliyet ve performans
✓ Daha ince tahıl güvenlik modeli
✓ Muazzam ölçeklenebilirlik
Hadoop uyumlu erişim
Azure Data Lake Storage 2. Nesil öncelikle Hadoop ve veri erişim katmanı olarak Apache Hadoop Dağıtılmış Dosya Sistemi'ni (HDFS) kullanan tüm çerçevelerle çalışacak şekilde tasarlanmıştır. Hadoop dağıtımları, birçok uygulama ve çerçevenin Azure Blob Depolama verilere doğrudan erişmesini sağlayan Azure Blob Dosya Sistemi (ABFS) sürücüsünü içerir. ABFS sürücüsü özellikle büyük veri analizi için iyileştirilmiştir . İlgili REST API'leri uç noktası dfs.core.windows.netüzerinden ortaya sunulur.
Veri erişim katmanı olarak HDFS kullanan veri çözümleme çerçeveleri, ABFS aracılığıyla Azure Data Lake Storage 2. Nesil verilere doğrudan erişebilir. Apache Spark analiz altyapısı ve Presto SQL sorgu altyapısı bu tür çerçevelere örnek olarak verilebilir.
Desteklenen hizmetler ve platformlar hakkında daha fazla bilgi için bkz. Azure Data Lake Storage 2. Nesil destekleyen Azure hizmetleri ve Azure Data Lake Storage 2. Nesil destekleyen Açık kaynak platformları.
Hiyerarşik dizin yapısı
Hiyerarşik ad alanı, Azure Data Lake Storage 2. Nesil nesne depolama ölçeğinde ve fiyatında yüksek performanslı veri erişimi sağlamasını sağlayan önemli bir özelliktir. Depolama hesabınızdaki tüm nesneleri ve dosyaları dizinler ve iç içe alt dizinler hiyerarşisinde düzenlemek için bu özelliği kullanabilirsiniz. Başka bir deyişle, Azure Data Lake Storage 2. Nesil verileriniz bilgisayarınızda dosyaların düzenlendiğinin çok benzer şekilde düzenlenir.
Bir dizini yeniden adlandırma veya silme gibi işlemler, dizinde tek atomik meta veri işlemlerine dönüşür. Dizinin ad ön ekini paylaşan tüm nesneleri listelemeye ve işlemeye gerek yoktur.
İyileştirilmiş maliyet ve performans
Azure Data Lake Storage 2. Nesil Azure Blob Depolama seviyelerde fiyatlanır. Büyük veri depolama maliyetlerini yönetmek için otomatik yaşam döngüsü ilkesi yönetimi ve nesne düzeyi katmanlama gibi Azure Blob Depolama özellikleri kullanır.
Analiz için önkoşul olarak verileri kopyalamanıza veya dönüştürmenize gerek olmadığından performans en iyi duruma getirilmiştir. Azure Data Lake Storage hiyerarşik ad alanı özelliği, verimli erişim ve gezinti sağlar. Bu mimari, veri işlemenin daha az hesaplama kaynağı gerektirdiği ve verilere erişim hızını ve maliyetini azalttığını gösterir.
Daha ayrıntılı güvenlik modeli
Azure Data Lake Storage 2. Nesil erişim denetimi modeli hem Azure rol tabanlı erişim denetimini (Azure RBAC) hem de UNIX için Taşınabilir İşletim Sistemi Arabirimi (POSIX) erişim denetim listelerini (ACL) destekler. Ayrıca Azure Data Lake Storage 2. Nesil özgü birkaç ek güvenlik ayarı da vardır. İzinleri dizin düzeyinde veya dosya düzeyinde ayarlayabilirsiniz. Depolanan tüm veriler, Microsoft tarafından yönetilen veya müşteri tarafından yönetilen şifreleme anahtarları kullanılarak bekleme durumunda şifrelenir.
Çok büyük ölçeklenebilirlik
Azure Data Lake Storage 2. Nesil çok büyük depolama alanı sunar ve analiz için çok sayıda veri türünü kabul eder. Hesap boyutlarına, dosya boyutlarına veya veri gölünde depolanabilecek veri miktarına herhangi bir sınır getirmez. Tek tek dosyaların boyutları birkaç kilobayt (KB) ile birkaç petabayt (KB) arasında olabilir. İşleme, hizmet, hesap ve dosya düzeylerinde ölçülen neredeyse sabit istek başına gecikme sürelerinde yürütülür.
Bu tasarım, Azure Data Lake Storage 2. Nesil en zorlu iş yüklerini karşılamak için ölçeği kolayca ve hızlı bir şekilde artırabileceği anlamına gelir. Ayrıca talep düştüğünde ölçeği kolayca azaltabilir.
Azure Blob Depolama üzerine kurulmuştur
Alınan veriler depolama hesabında blob olarak kalır. Blobları yöneten hizmet, Azure Blob Depolama hizmetidir. Data Lake Storage 2. Nesil, bu hizmette büyük veri analizi iş yüklerinin taleplerini karşılayan özellikleri veya "geliştirmeleri" açıklar.
Bu özellikler Blob Depolama üzerine oluşturulduğundan, tanılama günlüğü, erişim katmanları ve yaşam döngüsü yönetimi ilkeleri gibi özellikler hesabınızda kullanılabilir. Blob Depolama özelliklerinin çoğu tam olarak desteklenir, ancak bazı özellikler yalnızca önizleme düzeyinde desteklenebilir ve henüz desteklenmeyen birkaç özellik vardır. Destek deyimlerinin tam listesi için bkz. Azure Depolama hesaplarında Blob Depolama özelliği desteği. Destek genişlemeye devam ettikçe, listelenen her özelliğin durumu zaman içinde değişir.
Belgeler ve terminoloji
Azure Blob Depolama içindekiler tablosu, içeriğin iki bölümünü içerir. İçeriğin Data Lake Storage 2. Nesil bölümü, Data Lake Storage 2. Nesil özellikleri kullanmaya yönelik en iyi yöntemleri ve yönergeleri sağlar. İçeriğin Blob Depolama bölümü, Data Lake Storage 2. Nesil özgü olmayan hesap özellikleri için rehberlik sağlar.
Bölümler arasında ilerlerken bazı küçük terminoloji farklılıkları fark edebilirsiniz. Örneğin, Blob Depolama belgelerinde yer alan içerik, dosya yerine blob terimini kullanır. Teknik olarak, depolama hesabınıza alınan dosyalar hesabınızda blob olur. Bu nedenle, terim doğrudur. Ancak blob terimi,dosya terimine alışkınsanız karışıklığa neden olabilir. Ayrıca bir dosya sistemine başvurmak için kullanılan kapsayıcı terimini de görürsünüz. Bu terimleri eş anlamlı olarak değerlendirin.