Partager via

Utiliser .NET pour gérer les listes de contrôle d’accès dans Azure Data Lake Storage

  • Article

Cet article explique comment utiliser .NET pour récupérer, définir et mettre à jour les listes de contrôle d’accès des répertoires et des fichiers.

L’héritage des listes ACL est déjà disponible pour les nouveaux éléments enfants créés sous un répertoire parent. Toutefois, vous pouvez également ajouter, mettre à jour et supprimer des listes de contrôle d’accès de manière récursive au niveau des éléments enfants existants d’un répertoire parent sans avoir à apporter ces modifications individuellement à chaque élément enfant.

Package (NuGet) | Exemples | Référence d’API | Mappage de Gen1 à Gen2 | Envoyer des commentaires

Prérequis

  • Abonnement Azure : créez-en un gratuitement.
  • Un compte de stockage doté d’un espace de noms hiérarchique (HNS) activé. Pour créer un test, suivez ces instructions.
  • Azure CLI version 2.6.0 ou ultérieure.
  • Une des autorisations de sécurité suivantes :
    • Un principal de sécurité Microsoft Entra ID approvisionné qui a reçu le rôle Propriétaire des données d’objet de stockage Blob dans l’étendue du conteneur cible, du compte de stockage, du groupe de ressources parent ou de l’abonnement.
    • Utilisateur propriétaire du conteneur ou du répertoire cible auquel vous envisagez d’appliquer les paramètres ACL. Pour définir des listes de contrôle d’accès de façon récursive, cela inclut tous les éléments enfants du conteneur ou du répertoire cible.
    • Clé du compte de stockage.

Configuration de votre projet

Cette section vous explique comment configurer un projet pour qu’il fonctionne avec la bibliothèque cliente Azure Storage Data Lake.

Installer des packages

À partir du répertoire du projet, installez les packages pour les bibliothèques clientes Azure Storage Data Lake et Identité Azure à l’aide de la commande dotnet add package. Le package Azure.Identity est nécessaire pour les connexions sans mot de passe aux services Azure.

dotnet add package Azure.Storage.Files.DataLake
dotnet add package Azure.Identity

Ajoutez des directives using.

Ajoutez ces directives using au début de votre fichier de code :

using Azure;
using Azure.Core;
using Azure.Storage;
using Azure.Storage.Files.DataLake;
using Azure.Storage.Files.DataLake.Models;
using System.Collections.Generic;
using System.Threading.Tasks;

Se connecter au compte

Pour utiliser les extraits de code de cet article, vous devez créer une instance DataLakeServiceClient qui représente le compte de stockage. Vous pouvez autoriser l’objet client avec les informations d’identification Microsoft Entra ID ou avec une clé de compte.

Vous pouvez utiliser la bibliothèque de client Azure Identity pour .NET afin d’authentifier votre application auprès de Microsoft Entra ID.

Remarque

Si vous utilisez Microsoft Entra ID pour autoriser l'accès, assurez-vous que le rôle de propriétaire de données Storage Blob a été attribué à votre principal de sécurité. Pour en savoir plus sur l’application des autorisations de liste de contrôle d’accès et les conséquences de leur modification, consultez Modèle de contrôle d’accès dans Azure Data Lake Storage.

Tout d’abord, attribuez l’un des rôles Contrôle d’accès en fonction du rôle (Azure RBAC) suivants à votre principal de sécurité :

Rôle Capacité de paramétrage ACL
Propriétaire des données Blob du stockage Tous les répertoires et fichiers du compte.
Contributeur aux données Blob du stockage Seuls les répertoires et les fichiers appartenant au principal de sécurité.

Ensuite, créez une instance DataLakeServiceClient et transmettez une nouvelle instance de la classe DefaultAzureCredential.

public static DataLakeServiceClient GetDataLakeServiceClient(string accountName)
{
    string dfsUri = $"https://{accountName}.dfs.core.windows.net";

    DataLakeServiceClient dataLakeServiceClient = new DataLakeServiceClient(
        new Uri(dfsUri),
        new DefaultAzureCredential());

    return dataLakeServiceClient;
}

Pour en savoir plus sur l’utilisation de DefaultAzureCredential afin d’autoriser l’accès aux données, consultez Comment authentifier des applications .NET auprès des services Azure.

Définir les listes de contrôle d’accès

Lorsque vous définissez une liste de contrôle d’accès (ACL), vous remplacez l’ensemble de l’ACL, y compris toutes ses entrées. Si vous souhaitez modifier le niveau d’autorisation d’un principal de sécurité ou ajouter un nouveau principal de sécurité à la liste de contrôle d’accès sans affecter d’autres entrées existantes, vous devez mettre à jour l’ACL à la place. Pour mettre à jour une liste de contrôle d’accès au lieu de la remplacer, consultez la section Mettre à jour une liste de contrôle d’accès de cet article.

Si vous choisissez de définir la liste de contrôle d’accès, vous devez ajouter une entrée pour l’utilisateur propriétaire, une entrée pour le groupe propriétaire et une entrée pour tous les autres utilisateurs. Pour en savoir plus sur l’utilisateur propriétaire, le groupe propriétaire et tous les autres utilisateurs, consultez Utilisateurs et identités.

Cette section vous montre comment :

  • Définir la liste de contrôle d’accès d’un répertoire
  • Définir la liste de contrôle d’accès d’un fichier
  • Définir des listes de contrôle d’accès de façon récursive

Définir la liste de contrôle d’accès d’un répertoire

Obtenez la liste de contrôle d’accès (ACL) d’un répertoire en appelant la méthode DataLakeDirectoryClient.GetAccessControlAsync et définissez la liste ACL en appelant la méthode DataLakeDirectoryClient.SetAccessControlList.

Cet exemple obtient et définit la liste ACL d’un répertoire nommé my-directory. La chaîne user::rwx,group::r-x,other::rw- donne à l’utilisateur propriétaire des autorisations de lecture, d’écriture et d’exécution, donne au groupe propriétaire uniquement des autorisations de lecture et d’exécution et donne à tous les autres l’accès en lecture et en écriture.

public async Task ManageDirectoryACLs(DataLakeFileSystemClient fileSystemClient)
{
    DataLakeDirectoryClient directoryClient =
      fileSystemClient.GetDirectoryClient("");

    PathAccessControl directoryAccessControl =
        await directoryClient.GetAccessControlAsync();

    foreach (var item in directoryAccessControl.AccessControlList)
    {
        Console.WriteLine(item.ToString());
    }

    IList<PathAccessControlItem> accessControlList
        = PathAccessControlExtensions.ParseAccessControlList
        ("user::rwx,group::r-x,other::rw-");

    directoryClient.SetAccessControlList(accessControlList);

}

Vous pouvez également obtenir et définir la liste de contrôle d’accès du répertoire racine d’un conteneur. Pour obtenir le répertoire racine, transmettez une chaîne vide ("") dans la méthode DataLakeFileSystemClient.GetDirectoryClient.

Définir la liste de contrôle d’accès d’un fichier

Obtenez la liste de contrôle d’accès (ACL) d’un fichier en appelant la méthode DataLakeFileClient.GetAccessControlAsync et définissez la liste ACL en appelant la méthode DataLakeFileClient.SetAccessControlList.

Cet exemple obtient et définit la liste ACL d’un fichier nommé my-file.txt. La chaîne user::rwx,group::r-x,other::rw- donne à l’utilisateur propriétaire des autorisations de lecture, d’écriture et d’exécution, donne au groupe propriétaire uniquement des autorisations de lecture et d’exécution et donne à tous les autres l’accès en lecture et en écriture.

public async Task ManageFileACLs(DataLakeFileSystemClient fileSystemClient)
{
    DataLakeDirectoryClient directoryClient =
        fileSystemClient.GetDirectoryClient("my-directory");

    DataLakeFileClient fileClient =
        directoryClient.GetFileClient("hello.txt");

    PathAccessControl FileAccessControl =
        await fileClient.GetAccessControlAsync();

    foreach (var item in FileAccessControl.AccessControlList)
    {
        Console.WriteLine(item.ToString());
    }

    IList<PathAccessControlItem> accessControlList
        = PathAccessControlExtensions.ParseAccessControlList
        ("user::rwx,group::r-x,other::rw-");

    fileClient.SetAccessControlList(accessControlList);
}

Définir des listes de contrôle d’accès de façon récursive

Définissez les listes de contrôle d’accès de manière récursive en appelant la méthode DataLakeDirectoryClient.SetAccessControlRecursiveAsync. Transmettez à cette méthode une Liste de PathAccessControlItem. Chaque PathAccessControlItem définit une entrée de liste de contrôle d’accès.

Si vous souhaitez définir une entrée de liste de contrôle d’accès par défaut, vous pouvez définir la propriété PathAccessControlItem.DefaultScope de PathAccessControlItem sur true.

Cet exemple définit la liste ACL d’un répertoire nommé my-parent-directory. Cette méthode accepte un paramètre booléen nommé isDefaultScope qui spécifie s’il faut définir la liste de contrôle d’accès par défaut. Ce paramètre est utilisé dans le constructeur de PathAccessControlItem. Ces entrées de la liste de contrôle d'accès donnent à l’utilisateur propriétaire des autorisations de lecture, d’écriture et d’exécution et donnent uniquement au groupe propriétaire des autorisations de lecture et d’exécution. Les autres groupes ne reçoivent aucun accès. La dernière entrée de la liste de contrôle d’accès dans cet exemple donne à un utilisateur spécifique avec l’ID d’objet xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx des autorisations de lecture et d’exécution.

    public async Task SetACLRecursively(DataLakeServiceClient serviceClient, bool isDefaultScope)
{
    DataLakeDirectoryClient directoryClient =
        serviceClient.GetFileSystemClient("my-container").
            GetDirectoryClient("my-parent-directory");

    List<PathAccessControlItem> accessControlList =
        new List<PathAccessControlItem>()
    {
new PathAccessControlItem(AccessControlType.User,
    RolePermissions.Read |
    RolePermissions.Write |
    RolePermissions.Execute, isDefaultScope),

new PathAccessControlItem(AccessControlType.Group,
    RolePermissions.Read |
    RolePermissions.Execute, isDefaultScope),

new PathAccessControlItem(AccessControlType.Other,
    RolePermissions.None, isDefaultScope),

new PathAccessControlItem(AccessControlType.User,
    RolePermissions.Read |
    RolePermissions.Execute, isDefaultScope,
    entityId: "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx"),
    };

    await directoryClient.SetAccessControlRecursiveAsync
        (accessControlList, null);
}

Mettre à jour les ACL

Lorsque vous mettez à jour une liste de contrôle d’accès, vous modifiez l’ACL au lieu de la remplacer. Par exemple, vous pouvez ajouter un nouveau principal de sécurité à la liste de contrôle d’accès sans affecter les autres principaux de sécurité listés dans l’ACL. Pour remplacer la liste de contrôle d’accès au lieu de la mettre à jour, consultez la section Mettre à jour une liste de contrôle d’accès de cet article.

Cette section vous montre comment :

  • Mettre à jour une ACL
  • Mettre à jour les listes de contrôle d’accès de manière récursive

Mettre à jour une ACL

Tout d’abord, récupérez l’ACL d’un répertoire en appelant la méthode DataLakeDirectoryClient.GetAccessControlAsync. Copiez la liste des entrées ACL dans une nouvelle liste d’objets PathAccessControl. Recherchez ensuite l’entrée que vous souhaitez mettre à jour et remplacez-la dans la liste. Définissez la liste de contrôle d’accès en appelant la méthode DataLakeDirectoryClient.SetAccessControlList.

Cet exemple met à jour la liste de contrôle d’accès racine d’un conteneur en remplaçant l’entrée d’ACL pour tous les autres utilisateurs.

public async Task UpdateDirectoryACLs(DataLakeFileSystemClient fileSystemClient)
{
    DataLakeDirectoryClient directoryClient =
      fileSystemClient.GetDirectoryClient("");

    PathAccessControl directoryAccessControl =
        await directoryClient.GetAccessControlAsync();

    List<PathAccessControlItem> accessControlListUpdate 
        = (List<PathAccessControlItem>)directoryAccessControl.AccessControlList;

    int index = -1;

    foreach (var item in accessControlListUpdate)
    {
        if (item.AccessControlType == AccessControlType.Other)
        {
            index = accessControlListUpdate.IndexOf(item);
            break;
        }
    }

    if (index > -1)
    {
        accessControlListUpdate[index] = new PathAccessControlItem(AccessControlType.Other,
        RolePermissions.Read |
        RolePermissions.Execute);

        directoryClient.SetAccessControlList(accessControlListUpdate);
    }

   }

Mettre à jour les listes de contrôle d’accès de manière récursive

Pour mettre à jour une liste de contrôle d’accès de manière récursive, créez un objet ACL avec l’entrée ACL à mettre à jour, puis utilisez cet objet dans l’opération de mise à jour de l’ACL. Ne récupérez pas la liste de contrôle d’accès existante, il vous suffit de fournir les entrées ACL à mettre à jour.

Mettez à jour une liste de contrôle d’accès de manière récursive en appelant la méthode DataLakeDirectoryClient.UpdateAccessControlRecursiveAsync. Transmettez à cette méthode une Liste de PathAccessControlItem. Chaque PathAccessControlItem définit une entrée de liste de contrôle d’accès.

Si vous souhaitez mettre à jour une entrée de liste de contrôle d’accès par défaut, vous pouvez définir la propriété PathAccessControlItem.DefaultScope de PathAccessControlItem sur true.

Cet exemple met à jour une entrée de liste de contrôle d’accès avec l’autorisation d’écriture. Cette méthode accepte un paramètre booléen nommé isDefaultScope qui spécifie s’il faut mettre à jour la liste de contrôle d’accès par défaut. Ce paramètre est utilisé dans le constructeur de PathAccessControlItem.

public async Task UpdateACLsRecursively(DataLakeServiceClient serviceClient, bool isDefaultScope)
{
    DataLakeDirectoryClient directoryClient =
        serviceClient.GetFileSystemClient("my-container").
        GetDirectoryClient("my-parent-directory");

    List<PathAccessControlItem> accessControlListUpdate =
        new List<PathAccessControlItem>()
    {
new PathAccessControlItem(AccessControlType.User,
    RolePermissions.Read |
    RolePermissions.Write |
    RolePermissions.Execute, isDefaultScope,
    entityId: "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx"),
    };

    await directoryClient.UpdateAccessControlRecursiveAsync
        (accessControlListUpdate, null);

}

Supprimer des entrées de liste de contrôle d’accès

Vous pouvez supprimer une ou plusieurs entrées ACL. Cette section vous montre comment :

  • Supprimer une entrée de liste de contrôle d’accès
  • Supprimer des entrées de liste de contrôle d’accès (ACL) de manière récursive

Supprimer une entrée de liste de contrôle d’accès

Tout d’abord, récupérez l’ACL d’un répertoire en appelant la méthode DataLakeDirectoryClient.GetAccessControlAsync. Copiez la liste des entrées ACL dans une nouvelle liste d’objets PathAccessControl. Localisez ensuite l’entrée que vous souhaitez supprimer et appelez la méthode Remove de la collection. Définissez la liste de contrôle d’accès mise à jour en appelant la méthode DataLakeDirectoryClient.SetAccessControlList.

Cet exemple met à jour la liste de contrôle d’accès racine d’un conteneur en remplaçant l’entrée d’ACL pour tous les autres utilisateurs.

public async Task RemoveDirectoryACLEntry
    (DataLakeFileSystemClient fileSystemClient)
{
    DataLakeDirectoryClient directoryClient =
      fileSystemClient.GetDirectoryClient("");

    PathAccessControl directoryAccessControl =
        await directoryClient.GetAccessControlAsync();

    List<PathAccessControlItem> accessControlListUpdate
        = (List<PathAccessControlItem>)directoryAccessControl.AccessControlList;

    PathAccessControlItem entryToRemove = null;

    foreach (var item in accessControlListUpdate)
    {
        if (item.EntityId == "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx")
        {
            entryToRemove = item;
            break;
        }
    }

    if (entryToRemove != null)
    {
        accessControlListUpdate.Remove(entryToRemove);
        directoryClient.SetAccessControlList(accessControlListUpdate);
    }

}

Supprimer des entrées de liste de contrôle d’accès (ACL) de manière récursive

Pour supprimer des entrées ACL de manière récursive, créez un objet ACL pour l’entrée ACL à supprimer, puis utilisez cet objet dans l’opération de suppression de l’ACL. Ne récupérez pas la liste de contrôle d’accès existante, il vous suffit de fournir les entrées ACL à supprimer.

Supprimez des entrées de liste de contrôle d’accès en appelant la méthode DataLakeDirectoryClient.RemoveAccessControlRecursiveAsync. Transmettez à cette méthode une Liste de PathAccessControlItem. Chaque PathAccessControlItem définit une entrée de liste de contrôle d’accès.

Si vous souhaitez supprimer une entrée de liste de contrôle d’accès par défaut, vous pouvez définir la propriété PathAccessControlItem.DefaultScope de PathAccessControlItem sur true.

Cet exemple supprimer une entrée de liste de contrôle d’accès dans la liste ACL du répertoire nommé my-parent-directory. Cette méthode accepte un paramètre booléen nommé isDefaultScope qui spécifie s’il faut supprimer l’entrée de la liste de contrôle d’accès par défaut. Ce paramètre est utilisé dans le constructeur de PathAccessControlItem.

public async Task RemoveACLsRecursively(DataLakeServiceClient serviceClient, bool isDefaultScope)
{
    DataLakeDirectoryClient directoryClient =
        serviceClient.GetFileSystemClient("my-container").
            GetDirectoryClient("my-parent-directory");

    List<RemovePathAccessControlItem> accessControlListForRemoval =
        new List<RemovePathAccessControlItem>()
        {
    new RemovePathAccessControlItem(AccessControlType.User, isDefaultScope,
    entityId: "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx"),
        };

    await directoryClient.RemoveAccessControlRecursiveAsync
        (accessControlListForRemoval, null);

}

Récupérer suite à des échecs

Vous pouvez rencontrer des erreurs d’exécution ou d’autorisation lors de la modification récursive des listes de contrôle d’accès. Pour les erreurs d’exécution, redémarrez le processus à partir du début. Des erreurs d’autorisation peuvent se produire si le principal de sécurité ne dispose pas des autorisations suffisantes pour modifier la liste de contrôle d’accès d’un répertoire ou d’un fichier qui se trouve dans la hiérarchie de répertoires en cours de modification. Résolvez le problème d’autorisation, puis choisissez de reprendre le processus à partir du point de défaillance à l’aide d’un jeton de continuation ou de redémarrer le processus à partir du début. Vous n’êtes pas obligé d’utiliser le jeton de continuation si vous préférez redémarrer à partir du début. Vous pouvez réappliquer les entrées de liste de contrôle d’accès sans incidence négative.

Cet exemple retourne un jeton de continuation en cas d’échec. L’application peut appeler à nouveau cet exemple de méthode une fois que l’erreur a été traitée et transmettre le jeton de continuation. Si cet exemple de méthode est appelé pour la première fois, l’application peut transmettre une valeur de null pour le paramètre de jeton de continuation.

public async Task<string> ResumeAsync(DataLakeServiceClient serviceClient,
    DataLakeDirectoryClient directoryClient,
    List<PathAccessControlItem> accessControlList,
    string continuationToken)
{
    try
    {
        var accessControlChangeResult =
            await directoryClient.SetAccessControlRecursiveAsync(
                accessControlList, continuationToken: continuationToken, null);

        if (accessControlChangeResult.Value.Counters.FailedChangesCount > 0)
        {
            continuationToken =
                accessControlChangeResult.Value.ContinuationToken;
        }

        return continuationToken;
    }
    catch (Exception ex)
    {
        Console.WriteLine(ex.ToString());
        return continuationToken;
    }

}

Si vous souhaitez que le processus se termine sans être interrompu par des erreurs d’autorisation, vous pouvez le spécifier.

Pour vous assurer que le processus se termine sans interruption, passez un objet AccessControlChangedOptions et affectez à la propriété ContinueOnFailure de cet objet la valeur true.

Cet exemple définit les entrées ACL de manière récursive. Si ce code rencontre une erreur d’autorisation, il enregistre cet échec et poursuit l’exécution. Cet exemple inscrit le nombre d’échecs sur la console.

public async Task ContinueOnFailureAsync(DataLakeServiceClient serviceClient,
    DataLakeDirectoryClient directoryClient,
    List<PathAccessControlItem> accessControlList)
{
    var accessControlChangeResult =
        await directoryClient.SetAccessControlRecursiveAsync(
            accessControlList, null, new AccessControlChangeOptions()
            { ContinueOnFailure = true });

    var counters = accessControlChangeResult.Value.Counters;

    Console.WriteLine("Number of directories changed: " +
        counters.ChangedDirectoriesCount.ToString());

    Console.WriteLine("Number of files changed: " +
        counters.ChangedFilesCount.ToString());

    Console.WriteLine("Number of failures: " +
        counters.FailedChangesCount.ToString());
}

Bonnes pratiques

Cette section décrit certaines des meilleures pratiques pour définir des listes de contrôle d’accès (ACL) de manière récursive.

Traitement des erreurs d’exécution

Une erreur d’exécution peut se produire pour de nombreuses raisons (par exemple, une panne ou un problème de connectivité client). Si vous rencontrez une erreur d’exécution, redémarrez le processus ACL récursif. Les listes de contrôle d’accès peuvent être réappliquées à des éléments sans impact négatif.

Traitement des erreurs d’autorisation (403)

Si vous rencontrez une exception de contrôle d’accès lors de l’exécution d’un processus ACL récursif, votre principal de sécurité AD peut ne pas disposer des autorisations suffisantes pour appliquer une liste de contrôle d’accès à un ou plusieurs des éléments enfants dans la hiérarchie de répertoires. Lorsqu’une erreur d’autorisation se produit, le processus s’arrête et un jeton de continuation est fourni. Corrigez le problème d’autorisation, puis utilisez le jeton de continuation pour traiter le jeu de données restant. Les répertoires et les fichiers qui ont déjà été traités correctement n’ont pas besoin d’être retraités. Vous pouvez également choisir de redémarrer le processus ACL récursif. Les listes de contrôle d’accès peuvent être réappliquées à des éléments sans impact négatif.

Informations d'identification

Nous vous recommandons de provisionner un principal de sécurité Microsoft Entra auquel a été attribué le rôle Propriétaire des données Blob de stockage dans l’étendue du compte ou du conteneur de stockage cible.

Performances

Pour réduire la latence, nous vous recommandons d’exécuter le processus ACL récursif dans une machine virtuelle Azure située dans la même région que votre compte de stockage.

Limites des listes de contrôle d’accès (ACL)

Le nombre maximal de listes ACL que vous pouvez appliquer à un répertoire ou à un fichier est de 32 ACL d’accès et de 32 ACL par défaut. Pour plus d’informations, consultez Contrôle d’accès dans Azure Data Lake Storage Gen2.

Voir aussi