Azure Data Lake Storage 2. Nesil (ADLS 2. Nesil) dış konumuna bağlanma

Bu sayfada bir Azure Data Lake Storage 2. Nesil (ADLS 2. Nesil) dış konumuna nasıl bağlanıldığı açıklanır. Bu bağlantıyı tamamladıktan sonra Unity Kataloğu'nu kullanarak bu ADLS 2. Nesil nesnelerine erişimi yönetebilirsiniz.

Bir ADLS Gen2 kapsayıcı yoluna bağlanmak için iki Unity Catalog güvenliği sağlanabilir nesnesine ihtiyacınız vardır. Birincisi, ADLS 2. Nesil kapsayıcısına erişime izin veren Azure yönetilen kimliği belirten storage credential'dir. İkinci gerekli nesne için bu depolama kimlik bilgilerine ihtiyacınız vardır: ADLS 2. Nesil depolama konumunuzun yolunu ve bu konuma erişmek için gereken kimlik bilgilerini tanımlayan bir dış konum.

Requirements

Azure Databricks'te:

• Unity Kataloğu için etkinleştirilen Azure Databricks çalışma alanı.
• Çalışma alanına bağlı Unity Kataloğu meta veri deposunda CREATE STORAGE CREDENTIAL ayrıcalığı. Hesap yöneticileri ve meta veri deposu yöneticileri varsayılan olarak bu ayrıcalığı alır.
• CREATE EXTERNAL LOCATION hem Unity Catalog meta veri deposu hem de dış konumun başvurduğu depolama kimlik bilgisi üzerinde ayrıcalığı. Meta veri deposu yöneticileri ve çalışma alanı yöneticileri bu ayrıcalığı varsayılan olarak alır.

Azure hesabınızda:

• AdLS 2. Nesil depolama hesabı ve kapsayıcısı. Çıkış ücretlerini önlemek için bu, verilere erişmek istediğiniz çalışma alanıyla aynı bölgede olmalıdır.

  • Dış konum yolları yalnızca standart ASCII karakterleri (harfler A–Z, a–z, basamaklar 0–9 ve /, _, - gibi ortak simgeler) içermelidir.

  • Dış konum olarak kullandığınız Azure Data Lake Storage depolama hesaplarının hiyerarşik ad alanına sahip olması gerekir.

  • Azure depolama kapsayıcılarını, değiştirilemezlik (WORM - Bir Kez Yaz, Çok Oku) ilkesi etkinleştirildiğinde dış konumlar olarak kullanamazsınız. Unity Kataloğu, değiştirilemezlik ilkelerinin silme işlemini engellediği depolama birimlerinde DELETE izinleri gerektirir. Değişmezlik ilkeleri hakkında daha fazla bilgi için bkz. Kapsayıcılar için değişmezlik ilkelerini yapılandırma.

  • Depolama hesabında genel ağ erişimi devre dışı bırakılırsa Azure Databricks'in depolama hesabına bağlanmasına izin vermek için Azure güvenilen hizmetlerine izin ver seçeneğini etkinleştirmeniz gerekir. Bu ayarı Azure CLI kullanarak yapılandırabilirsiniz:

    # Check current network rule set
    az storage account show --name <storage_account_name> --resource-group <resource_group_name> --query "networkRuleSet"
    
    # Set bypass for Azure Services
    az storage account update \
      --name <storage_account_name> \
      --resource-group <resource_group_name> \
      --bypass AzureServices
    

• Azure aboneliğinizde Azure Databricks için erişim bağlayıcısı oluşturma izni. Bunu yapmak için, bir Azure kaynak grubunun Contributor veya Owner olmanız gerekir.

• Depolama hesabının erişim ilkesini değiştirme izni. Bunu yapmak için depolama hesabınızın sahibi olmanız veya depolama hesabınız üzerinde User Access Administrator Azure RBAC rolüne sahip bir kullanıcı olmanız gerekir.

ADLS 2. Nesil'e erişen bir depolama kimlik bilgisi oluşturma

ADLS 2. Nesil kapsayıcısına erişim için bir depolama kimlik bilgisi oluşturmak için önce yönetilen kimlikle Azure Databricks için bir erişim bağlayıcısı oluşturursunuz, ardından yönetilen kimliğe depolama hesabınıza erişim verirsiniz.

1. Adım: Azure Databricks için erişim bağlayıcısı oluşturma

Azure Databricks için erişim bağlayıcısı, yönetilen kimlikleri bir Azure Databricks hesabına bağlamanızı sağlayan birinci taraf bir Azure kaynağıdır. Azure Databricks için her erişim bağlayıcısı, sistem tarafından atanan bir yönetilen kimlik, bir veya daha fazla kullanıcı tarafından atanan yönetilen kimlik veya her ikisini de içerebilir.

1. Azure portal'da bir kaynak grubunun Katkıda Bulunanı veya Sahibi olarak oturum açın.

2. + Kaynak oluştur veya Oluştur'a tıklayın.

3. Azure Databricks için Access Bağlayıcısı'nı arayın ve seçin.

4. Oluştur'utıklayın.

5. Temel Bilgiler sekmesinde, aşağıdaki alanlar için değerleri kabul edin, seçin veya girin:

   • Abonelik: Bu, erişim bağlayıcısının oluşturulacağı Azure aboneliğidir. Varsayılan değer, şu anda kullanmakta olduğunuz Azure aboneliğidir. Kiracıdaki herhangi bir abonelik olabilir.
   • Kaynak grubu: Bu, erişim bağlayıcısının oluşturulacağı Azure kaynak grubudur.
   • Ad: Bağlayıcının amacını gösteren bir ad girin.
   • Bölge: Bu bölge, bağlanacağınız depolama hesabıyla aynı bölge olmalıdır.

6. İleriye tıklayın, etiketleri girin ve İleriye tıklayın.

7. Yönetilen Kimlik sekmesinde, yönetilen kimlikleri aşağıdaki gibi oluşturun:

   • Sistem tarafından atanan yönetilen kimliği kullanmak için Durum'aAçık olarak ayarlayın.
   • Kullanıcı tarafından atanan yönetilen kimlikleri eklemek için + ekle'ye tıklayın ve kullanıcı tarafından atanan bir veya daha fazla yönetilen kimlik seçin.

   

8. Gözden Geçir ve oluştur'a tıklayın.

9. Yapılandırma ayarlarınızı gözden geçirin ve Oluştur'a tıklayın.

10. Dağıtım tamamlandıktan sonra Kaynağa git’e tıklayın.

11. Kaynak Kimliğini not alın.

    Kaynak kimliği şu biçimdedir:

    /subscriptions/12f34567-8ace-9c10-111c-aea8eba12345c/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
    

2. Adım: Yönetilen kimliğe depolama hesabına erişim izni verin

Bu adımda izin vermek için depolama hesabınızda Owner veya User Access Administrator Azure RBAC rolüne sahip olmanız gerekir.

Yönetilen kimliğe depolama hesabı ve kapsayıcısı için erişim izni verirken aşağıdaki seçeneklere sahipsiniz:

• Storage Blob Data Contributor rolünü kullanarak depolama hesabının tamamına okuma ve yazma erişimi verin.
• Rol kullanarak depolama hesabında daha sınırlı bir yetki verin ve Storage Blob Delegator rolünü kullanarak belirli bir kapsayıcıya okuma ve yazma erişimi sağlayın.

Aşağıdaki yönergelerde, Storage Blob Data Contributor yetkisini depolama hesabında verdiğiniz varsayılır, fakat diğer seçenekler gerektiğinde değiştirilebilir.

1. Azure Data Lake Storage hesabınızda oturum açın.
2. Access Control (IAM) gidin, + Ekle'e tıklayın ve Rol ataması ekle'yi seçin.
3. ** Depolama Blob Verisi Katkıcısı rolünü seçin ve İleri'ye tıklayarak ilerleyin.
4. Erişim atama altında Yönetilen kimlik seçeneğini seçin.
5. +Üyeleri Seç'e tıklayın ve Azure Databricks için Access bağlayıcısı veya Kullanıcı tarafından atanan yönetilen kimlik'i seçin.
6. Bağlayıcınızın adını veya kullanıcı tarafından atanan kimliği arayın, seçin ve Gözden Geçir ve Ata seçeneğine tıklayın.

3. Adım: Yönetilen kimliğe dosya olaylarına erişim izni verme

Yönetilen kimliğinize dosya olaylarına erişim izni vermek, Azure Databricks'in bulut sağlayıcıları tarafından yayılan dosya olayı bildirimlerine abone olmasını sağlar. Bu, dosya işlemeyi daha verimli hale getirir. Daha fazla bilgi için bkz. Dış konum için dosya olaylarını ayarlama.

Bu adımda izinleri vermek için depolama hesabınızda Sahip veya Kullanıcı Erişim Yöneticisi Azure RBAC rolüne sahip olmanız gerekir.

1. Azure Data Lake Storage hesabınızda oturum açın.
2. Access Control (IAM) gidin, + Ekle'e tıklayın ve Rol ataması ekle'yi seçin.
3. Depolama Kuyruğu Verileri Katkıda Bulunanı rolünü seçin ve İleri'ye tıklayın.
4. Erişim atama altında Yönetilen kimlik seçeneğini seçin.
5. +Üyeleri Seç'e tıklayın ve Azure Databricks için Access bağlayıcısı veya Kullanıcı tarafından atanan yönetilen kimlik'i seçin.
6. Bağlayıcınızın adını veya kullanıcı tarafından atanan kimliği arayın, seçin ve Gözden Geçir ve Ata seçeneğine tıklayın.

4. Adım: Sizin yerinize dosya olaylarını yapılandırmak için Azure Databricks erişim verme

Note

Azure Databricks'e sizin yerinize dosya olaylarını yapılandırma erişimi vermezseniz, her konum için dosya olaylarını el ile yapılandırmanız gerekir. Bu el ile yapılandırmanın atlanması, erişiminizi çeşitli Databricks özelliklerine sınırlar. Dosya olayları hakkında daha fazla bilgi için bkz. Dış konum için dosya olaylarını ayarlama.

Bu adım, Azure Databricks'in dosya olaylarını otomatik olarak ayarlamasına olanak tanır. Bu adımda izin vermek için yönetilen kimliğinizde ve Azure Data Lake Storage hesabınızın içinde olduğu kaynak grubunda Sahip veya Kullanıcı Erişim Yöneticisi Azure RBAC rollerine sahip olmanız gerekir.

1. 3. Adım: Yönetilen kimliğe dosya olaylarına erişim izni verin bölümündeki yönergeleri izleyin ve yönetilen kimliğinize Depolama Hesabı Katkıda Bulunan rolünü atayın.

   Bu rol, bu sayfadaki 2 veya 3. adımlarda verilen rollerin yerini almaz, ancak bunlara ek olarak verilir.

2. Azure Data Lake Storage hesabınızın içinde olduğu Azure kaynak grubuna gidin.

3. Access Control (IAM) gidin, + Ekle'e tıklayın ve Rol ataması ekle'yi seçin.

4. EventGrid EventSubscription Katkıda Bulunan Rolü seçin ve İleritıklayın.

5. Erişim atama altında Yönetilen kimlik seçeneğini seçin.

6. +Üyeleri Seç'e tıklayın ve Azure Databricks için Access bağlayıcısı veya Kullanıcı tarafından atanan yönetilen kimlik'i seçin.

7. Bağlayıcınızın adını veya kullanıcı tarafından atanan kimliği arayın, seçin ve Gözden Geçir ve Ata seçeneğine tıklayın.

5. Adım: Databricks'te depolama kimlik bilgilerini oluşturma

Yönetilen kimlikle bir erişim bağlayıcısı oluşturduğunuza ve depolama hesabınıza izinler verdiğiniz için depolama kimlik bilgilerini Azure Databricks'de oluşturabilirsiniz.

1. Unity Kataloğu özellikli Azure Databricks çalışma alanınızda meta veri deposunda CREATE STORAGE CREDENTIAL ayrıcalığına sahip bir kullanıcı olarak oturum açın.

2. Kenar çubuğunda Katalog'a gidin.

3. ve ardından Kimlik bilgisi oluştur'a tıklayın.

4. Credential Type olarak Azure Managed Identity seçin.

5. Depolama kimlik bilgisi adını ve isteğe bağlı bir açıklama girin.

6. Access Bağlayıcısı Kimliğini (1. Adımda not ettiğiniz kaynak kimliği) girin.

   Kaynak kimliği şu biçimdedir:

   /subscriptions/12f34567-8ace-9c10-111c-aea8eba12345c/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
   

7. (İsteğe bağlı) Erişim bağlayıcısını kullanıcı tarafından atanan bir yönetilen kimlik kullanarak oluşturduysanız Yönetilen Kimlik Kimliğini (yönetilen kimliğin kaynak kimliği) girin.

8. (İsteğe bağlı) Kullanıcıların bu depolama kimlik bilgilerini kullanan dış konumlara salt okunur erişimi olmasını istiyorsanız Gelişmiş Seçenekler'e tıklayın ve Salt okunur kullanımla sınırla'yı seçin. Daha fazla bilgi için Depolama kimlik bilgilerini salt okunur olarak işaretleme kısmına bakın.

9. Oluştur'utıklayın.

10. (İsteğe bağlı) Depolama kimlik bilgilerini belirli çalışma alanlarına bağlayın.

    Varsayılan olarak, tüm ayrıcalıklı kullanıcılar meta veri deposuna bağlı herhangi bir çalışma alanında depolama kimlik bilgilerini kullanabilir. Yalnızca belirli çalışma alanlarından erişime izin vermek istiyorsanız, Çalışma Alanları sekmesine gidin ve çalışma alanları atayın. Bkz . Belirli çalışma alanlarına depolama kimlik bilgisi atama.

Artık depolama kimlik bilgilerinize başvuran bir dış konum oluşturabilirsiniz .

ADLS 2. Nesil kapsayıcısı için dış konum oluşturma

Bu bölümde, Katalog Gezgini veya SQL kullanarak dış konumun nasıl oluşturulacağı açıklanmaktadır. ADLS 2. Nesil kapsayıcınıza erişime izin veren bir depolama kimlik bilgileriniz olduğunu varsayar. Depolama kimlik bilgileriniz yoksa ADLS 2. Nesil'e erişen bir depolama kimlik bilgisi oluşturma bölümünde yer alan adımları izleyin.

1. Seçenek: Katalog Gezgini'ne kullanarak el ile dış konum oluşturma

Katalog Gezgini'ne el ile dış konum oluşturabilirsiniz.

Dış konumu oluşturmak için:

1. Metastore'a bağlı bir çalışma alanına giriş yapın.

2. Kenar çubuğunda Katalog'a gidin.

3. ve ardından Dış konum oluştur'a tıklayın.

4. Bir Dış konum adı girin.

5. Depolama türü altında Azure öğesini seçin.

6. URL'nin altında ADLS 2. Nesil kapsayıcı yolunu girin. Örneğin, abfss://mycontainer@mystorageaccount.dfs.core.windows.net/<path>.

7. Depolama kimlik bilgileri'nin altında, dış konuma erişim izni veren depolama kimlik bilgilerini seçin.

8. (İsteğe bağlı) Kullanıcıların dış konuma salt okunur erişimi olmasını istiyorsanız Gelişmiş Seçenekler'e tıklayın ve Salt okunur kullanımla sınırla'yı seçin. Daha fazla bilgi için bkz Dış konumu salt okunur olarak işaretleme.

9. (İsteğe bağlı) Dış konum bir Hive meta veri deposu federasyon kataloğuna yönelikse, Gelişmiş seçenekler kısmına tıklayın ve Geri Dönüş modunu etkinleştirin.

   Bkz.: Dış konumlarda geri dönüş modunu etkinleştirme.

10. (İsteğe bağlı) Dış konumda değişiklik bildirimlerine abone olma özelliğini etkinleştirmek için Gelişmiş Seçenekler'e tıklayın ve Dosya olaylarını etkinleştir'i seçin.

    Ayrıntılar için bkz. Dış konum için dosya olaylarını ayarlama.

11. Oluştur'utıklayın.

12. (İsteğe bağlı) Dış konumu belirli çalışma alanlarına bağlayın.

    Varsayılan olarak, tüm ayrıcalıklı kullanıcılar meta veri deposuna bağlı herhangi bir çalışma alanında dış konumu kullanabilir. Yalnızca belirli çalışma alanlarından erişime izin vermek istiyorsanız, Çalışma Alanları sekmesine gidin ve çalışma alanları atayın. Bkz . Belirli çalışma alanlarına dış konum atama.

13. Dış konumu kullanma izni vermek için İzinler sekmesine gidin.

    Herkesin dış konumu kullanması için izinler vermelisiniz:

    • Meta veri deposuna, kataloğa veya şemaya yönetilen bir depolama konumu eklemek için dış konumu kullanırken gerekli CREATE MANAGED LOCATION ayrıcalığını verin.
    • Dış tablolar veya birimler oluşturmak için CREATE EXTERNAL TABLE veya CREATE EXTERNAL VOLUME yetkisini verin.

    Aşağıdaki adımları izleyin:

    1. İzin Ver'e tıklayın.
    2. Grant on <external location> iletişim kutusunda, Sorumlular alanında kullanıcıları, grupları veya hizmet sorumlularını seçin ve vermek istediğiniz ayrıcalığı seçin.
    3. İzin Ver'e tıklayın.

2. Seçenek: SQL kullanarak dış konum oluşturma

SQL kullanarak dış konum oluşturmak için bir not defterinde veya SQL sorgu düzenleyicisinde aşağıdaki komutu çalıştırın. Yer tutucu değerlerini değiştirin. Gerekli izinler ve önkoşullar için bkz . Gereksinimler.

• <location-name>: Dış konum için bir ad. Eğer location_name kısa çizgi (-) gibi özel karakterler içeriyorsa, ters tırnak işaretleriyle (` `) çevrelenmelidir. Bkz. Adlar.
• <container-path>: Bu dış konumun erişim sağladığı bulut ortamınızdaki yol. Örneğin, abfss://mycontainer@mystorageaccount.dfs.core.windows.net/.
• <storage-credential-name>: Kapsayıcıdan okuma ve kapsayıcıya yazma yetkisi veren depolama kimlik bilgilerinin adı. Depolama kimlik bilgisi adı kısa çizgi (-) gibi özel karakterler içeriyorsa, ters tırnak işaretleri (` `) ile çevrelenmelidir.

CREATE EXTERNAL LOCATION [IF NOT EXISTS] `<location-name>`
URL '<container-path>'
WITH ([STORAGE] CREDENTIAL `<storage-credential-name>`)
[COMMENT '<comment-string>'];

Dış konum erişimini hesabınızdaki çalışma alanı bağlaması veya dış konum yalıtımı olarak da bilinen belirli çalışma alanlarıyla sınırlamak istiyorsanız bkz. Belirli çalışma alanlarına dış konum atama.

Bağlantıyı doğrulama

Dış konumu başarıyla oluşturduğunuzu doğrulamak için, dış konumdan bir dosyayı okumayı deneyin. Örneğin, adlı abfss://mycontainer@mystorageaccount.dfs.core.windows.net/bir CSV dosyası içeren bir dış konumunuz example.csv olduğunu varsayalım. Dosyadan abfss://mycontainer@mystorageaccount.dfs.core.windows.net/example.csv okumak için şu adımları izleyin:

1. Kenar çubuğunda Çalışma alanı.

2. Oluştur'a tıklayın, ardından Not Defteri'ni seçin.

3. Aşağıdaki Python kod parçacığını çalıştırın:

   display(dbutils.fs.ls('abfss://mycontainer@mystorageaccount.dfs.core.windows.net/'))
   

   Bu, dış konumdaki dosya yollarının listesini görüntüler. Bu örnekte, abfss://mycontainer@mystorageaccount.dfs.core.windows.net/example.csv dosya çıktıda görünür.

4. Dış konumdaki belirli bir dosyayı okumak için aşağıdaki Python kod parçacığını çalıştırın:

   spark.read.format("csv") \
      .option("header", "true") \
      .option("delimiter", ";") \
      .load('abfss://mycontainer@mystorageaccount.dfs.core.windows.net/example.csv') \
      .display()
   

   Bu, dosyadaki abfss://mycontainer@mystorageaccount.dfs.core.windows.net/example.csv verileri görüntüler.

Sonraki Adımlar

• Diğer kullanıcılara dış konumları kullanma izni verin. Bkz. Dış konumları yönetme.
• Dış konumları kullanarak yönetilen depolama konumlarını tanımlayın. Bkz Unity Kataloğu'nda yönetilen bir depolama konumunu belirtin.
• Dış konumları kullanarak dış tabloları tanımlayın. Bkz Dış Tablolarla Çalışma.
• Dış birimleri tanımlamak için dış konumları kullanın. Bkz. Unity Catalog'un birimleri nelerdir?.