Azure Blob Dosya Sistemi sürücüsü (ABFS): Hadoop için ayrılmış bir Azure Depolama sürücüsü
Azure Data Lake Storage'daki veriler için birincil erişim yöntemlerinden biri Hadoop FileSystem aracılığıyla oluşturulduğundadır. Data Lake Storage, Azure Blob Depolama kullanıcılarının yeni bir sürücüye, Azure Blob Dosya Sistemi sürücüsüne veya ABFSöğesine erişmesine olanak tanır. ABFS, Apache Hadoop'un bir parçasıdır ve Hadoop'un ticari dağıtımlarının birçoğuna dahildir. ABFS sürücüsü tarafından birçok uygulama ve çerçeve, Data Lake Storage'a açıkça başvuran herhangi bir kod olmadan Azure Blob Depolama'daki verilere erişebilir.
Önceki özellik: Windows Azure Depolama Blobu sürücüsü
Windows Azure Depolama Blobu sürücüsü veya WASB sürücüsü, Azure Blob Depolama için özgün desteği sağladı. Bu sürücü, dosya sistemi semantiğini (Hadoop Dosya Sistemi arabiriminin gerektirdiği şekilde) Azure Blob Depolama tarafından kullanıma sunulan nesne deposu stil arabirimininkiyle eşleme karmaşık görevini gerçekleştirmişti. Bu sürücü, bloblarda depolanan verilere yüksek performanslı erişim sağlayarak bu modeli desteklemeye devam eder, ancak bu eşlemeyi gerçekleştiren önemli miktarda kod içerir ve bakımı zorlaşır. Ayrıca dizinlere uygulandığında FileSystem.rename() ve FileSystem.delete() gibi bazı işlemler, sürücünün çok sayıda işlem gerçekleştirmesini gerektirir (nesne depolarının dizinler için destek olmaması nedeniyle) ve bu da performansın düşmesine neden olur. ABFS sürücüsü WASB'nin doğal eksikliklerinin üstesinden gelmek için tasarlanmıştır.
Azure Blob Dosya Sistemi sürücüsü
Azure Data Lake Storage REST arabirimi, Azure Blob Depolama üzerinden dosya sistemi semantiğini destekleyecek şekilde tasarlanmıştır. Hadoop dosya sisteminin de aynı semantiği destekleyecek şekilde tasarlandığı düşünüldüğünde, sürücüde karmaşık eşleme gereksinimi yoktur. Bu nedenle, Azure Blob Dosya Sistemi sürücüsü (veya ABFS), REST API için yalnızca bir istemci dolgusudur.
Ancak, sürücünün yine de gerçekleştirmesi gereken bazı işlevler vardır:
Verilere başvurmak için URI düzeni
Hadoop içindeki diğer dosya sistemi uygulamalarıyla tutarlı olan ABFS sürücüsü, kaynakların (dizinler ve dosyalar) ayrı bir şekilde ele alınabilmesi için kendi URI düzenini tanımlar. URI şeması, Azure Data Lake Storage URI'sini kullanma bölümünde belgelenmiştir. URI'nin yapısı şöyledir: abfs[s]://file_system@account_name.dfs.core.windows.net/<path>/<path>/<file_name>
Bu URI biçimi kullanılarak, standart Hadoop araçları ve çerçeveleri şu kaynaklara başvurmak için kullanılabilir:
hdfs dfs -mkdir -p abfs://fileanalysis@myanalytics.dfs.core.windows.net/tutorials/flightdelays/data
hdfs dfs -put flight_delays.csv abfs://fileanalysis@myanalytics.dfs.core.windows.net/tutorials/flightdelays/data/
DAHILI olarak, ABFS sürücüsü URI'de belirtilen kaynakları dosyalara ve dizinlere çevirir ve bu başvurularla Azure Data Lake Storage REST API'sine çağrı yapar.
Kimlik Doğrulaması
ABFS sürücüsü, Hadoop uygulamasının Data Lake Storage özellikli bir hesapta yer alan kaynaklara güvenli bir şekilde erişebilmesi için iki kimlik doğrulama biçimi destekler. Kullanılabilir kimlik doğrulama düzenlerinin tüm ayrıntıları Azure Depolama güvenlik kılavuzunda sağlanır. Bunlar:
Paylaşılan Anahtar: Bu, kullanıcıların hesaptaki TÜM kaynaklara erişmesine izin verir. Anahtar şifrelenir ve Hadoop yapılandırmasında depolanır.
Microsoft Entra Id OAuth Taşıyıcı Belirteci: Microsoft Entra taşıyıcı belirteçleri sürücü tarafından son kullanıcının kimliği veya yapılandırılmış bir Hizmet Sorumlusu kullanılarak alınır ve yenilenir. Bu kimlik doğrulama modelini kullanarak tüm erişim, sağlanan belirteçle ilişkili kimlik kullanılarak çağrı başına yetkilendirilir ve atanan POSIX Erişim Denetim Listesi'ne (ACL) göre değerlendirilir.
Not
Azure Data Lake Storage yalnızca Azure AD v1.0 uç noktalarını destekler.
Yapılandırma
ABFS sürücüsünün tüm yapılandırması yapılandırma dosyasında depolanır core-site.xml . Ambari içeren Hadoop dağıtımlarında yapılandırma, web portalı veya Ambari REST API kullanılarak da yönetilebilir.
Desteklenen tüm yapılandırma girdilerinin ayrıntıları Resmi Hadoop belgelerinde belirtilir.
Hadoop belgeleri
ABFS sürücüsü, Resmi Hadoop belgelerinde tam olarak belgelenmiştir