Copier une table OneLake lakehouse dans Azure Machine Learning via l’interface utilisateur

Cet article montre comment rendre disponibles dans Azure Machine Learning des données Microsoft Fabric OneLake de type /Tables () en les copiant dans un compte Azure Data Lake Storage (ADLS) et en créant un magasin de données à partir de cette copie. Vous effectuez l’ensemble de la tâche dans l’interface utilisateur de Studio.

Azure Machine Learning peut se connecter directement aux données de type fichier dans OneLake via un magasin de données OneLake/Files, sans copie. Ce magasin de données sans copie ne prend pas en charge les tables Lakehouse, comme le montre la capture d’écran suivante ; c’est pourquoi cet article présente une solution de contournement via l’interface utilisateur pour les données des tables.

Capture d’écran montrant une table dans Microsoft Fabric.

Note

Cette procédure copie les données dans Azure Data Lake Storage. Les données copiées sont un instantané à un moment donné, et non un lien dynamique ; vous devez donc relancer la copie lorsque la table source est modifiée. Si vous n'avez pas besoin d'un flux de travail d'interface utilisateur uniquement, envisagez d'abord les options sans copie : un magasin de données OneLake (Microsoft Fabric) pour /Files les données ou un accès direct à partir du calcul. Pour obtenir une vue d’ensemble de toutes les options d’intégration de OneLake, consultez Intégrer OneLake à Azure Machine Learning.

Quand utiliser cette approche

Utilisez la méthode basée sur la copie dans cet article lorsque ces deux conditions sont remplies :

  • Vos données sont des données de type table OneLake (/Tables), qu’un magasin de données OneLake ne peut pas référencer directement.
  • Vous souhaitez créer entièrement la connexion dans Azure Machine Learning studio, sans l’interface CLI ou le SDK.

Si vous avez besoin d’un accès en direct, sans copie ou que vos données se trouvent dans la section lakehouse /Files , utilisez plutôt un magasin de données OneLake .

Conditions préalables

Fonctionnement du flux de travail de copie

Cette solution de contournement comporte trois parties :

  1. Créez et configurez un compte Data Lake Storage dans le portail Azure.
  2. Utilisez un pipeline de données Fabric pour copier les données de la table de OneLake vers Azure Data Lake Storage.
  3. Créez un magasin de données Azure Machine Learning sur le conteneur Azure Data Lake Storage.

Le diagramme suivant montre le flux global :

Capture d’écran montrant le flux global de la solution.

Importante

Étant donné que cette approche copie les données, le magasin de données Azure Machine Learning contient un instantané des données à un instant donné. Réexécutez la copie lorsque la table lakehouse source change. La copie duplique également le stockage, ce qui augmente les coûts, et ne préserve pas la gouvernance ni la traçabilité d’OneLake.

Configurer le compte de stockage lac de données dans le portail Azure

Affectez les rôles Contributeur aux données de stockage Blob et Contributeur privilégié aux données de fichier de stockage à l’identité de l’utilisateur ou au principal du service pour accorder l’accès au plan de données et l’autorisation de créer des conteneurs. L’accès à la clé de compte est contrôlé séparément par le paramètre Autoriser l’accès à la clé de compte de stockage , que vous activez dans une étape ultérieure. Pour affecter les rôles à l’identité de l’utilisateur :

  1. Ouvrez le portail Microsoft Azure.

  2. Sélectionnez le service comptes de stockage .

    Capture d’écran montrant la sélection du service Comptes de stockage.

  3. Dans la page Comptes de stockage , sélectionnez le compte Data Lake Storage que vous avez créé à l’étape requise. Une page affichant les propriétés du compte de stockage s’ouvre.

    Capture d’écran montrant la page des propriétés du compte de stockage data lake.

  4. Sélectionnez Clés d’accès dans le volet gauche et enregistrez la clé. Vous avez besoin de cette valeur dans une étape ultérieure.

  5. Sélectionnez et activez Autoriser l'accès à la clé du compte de stockage, comme illustré dans la capture d’écran suivante :

    Conseil / Astuce

    Pour les charges de travail de production, utilisez l’authentification basée sur l’identité (ID Microsoft Entra) au lieu des clés de compte. Pour plus d’informations, consultez Créer des magasins de données.

    Capture d’écran montrant comment activer l’accès à la clé du compte de stockage Data Lake dans le portail Azure.

  6. Sélectionnez Access Control (IAM) dans le volet gauche, puis attribuez les rôles Contributeur aux données blob de stockage et Contributeur privilégié aux données de fichier de stockage au principal du service.

    Capture d’écran montrant comment attribuer des rôles de compte de stockage Data Lake dans le portail Azure.

  7. Créez un conteneur dans le compte de stockage. Nommez-le onelake-table.

    Capture d’écran montrant la création d’un conteneur de compte de stockage data lake dans le portail Azure.

Utiliser un pipeline de données Fabric pour copier des données vers un compte Azure Data Lake Storage

Conseil / Astuce

Vous pouvez également utiliser une tâche de copie Fabric, qui offre une expérience plus simple pour les scénarios de copie de données.

  1. Dans le portail Fabric, sélectionnez Pipeline de données dans la page Nouvel élément.

    Capture d’écran de la sélection du pipeline de données sur la page Fabric Nouvel élément.

  2. Sélectionnez l’Assistant Copier des données.

    Capture d’écran montrant la sélection de l’Assistant Copier des données.

  3. Dans l’Assistant Copie de données, sélectionnez Objets blob Azure :

    Capture d’écran montrant la sélection des objets blob Azure dans l’Assistant Copie de données Fabric.

  4. Pour créer une connexion au compte de stockage Azure Data Lake, sélectionnez Type d’authentification : Clé de compte , puis Suivant :

    Capture d’écran montrant comment créer une connexion dans un pipeline de données Fabric.

    Conseil / Astuce

    Pour éviter les clés de compte, sélectionnez un type d’authentification basé sur l’identité, tel que le compte organisationnel, et créez le magasin de données Azure Machine Learning avec un accès basé sur l’identité. Cette approche utilise les rôles de plan de données que vous avez attribués précédemment et ne nécessite pas l’activation de l’accès à la clé de compte.

  5. Sélectionnez la destination des données, puis sélectionnez Suivant :

    Capture d’écran montrant la sélection de la destination des données.

  6. Connectez-vous à la destination des données, puis sélectionnez Suivant :

    Capture d’écran montrant la connexion à la destination des données.

  7. Cette étape démarre automatiquement le travail de copie des données :

    Capture d’écran montrant l’activité de copie planifiée.

    Cette étape peut prendre un certain temps. Elle mène directement à l’étape suivante.

  8. Vérifiez que le travail de copie de données s’est terminé correctement :

    Capture d’écran montrant que l’opération de copie a réussi.

Créer un magasin de données Azure Machine Learning sur le conteneur Azure Data Lake Storage

Maintenant que vos données se trouvent dans la ressource de stockage Azure Data Lake, vous pouvez créer un magasin de données Azure Machine Learning.

  1. Dans le compte de stockage Azure, le conteneur , comme indiqué à gauche, contient des données, comme indiqué à droite :

    Capture d’écran montrant comment vérifier les données dans le conteneur de compte de stockage Azure.

  2. Dans Azure Machine Learning studio, créez une ressource de données. Pour décider du type, ouvrez le conteneur onelake-table et vérifiez si la copie a produit un fichier unique ou un dossier de fichiers. Sélectionnez Fichier (uri_file) pour un seul fichier ou dossier (uri_folder) pour un dossier de fichiers, qui est courant lorsque la table exporte en tant que plusieurs fichiers :

    Capture d’écran montrant la sélection du type de ressource de données.

  3. Sélectionnez à partir du stockageAzure :

    Capture d’écran montrant comment sélectionner stockage Azure.

  4. À l’aide de la valeur clé de compte de l’étape Créer une connexion au compte de stockage Azure Data Lake, créez un nouveau magasin de données :

    Capture d’écran montrant comment créer un magasin de données dans Azure Machine Learning.

  5. Vous pouvez également créer directement un magasin de données dans Azure Machine Learning Studio :

    Capture d’écran montrant comment créer un magasin de données dans Azure Machine Learning.

  6. Vous pouvez consulter les détails du magasin de données que vous avez créé :

    Capture d’écran montrant les détails du magasin de données que vous avez créé.

  7. Passer en revue les données dans le magasin de données

    Capture d’écran montrant comment accéder à un magasin de données dans Azure Machine Learning.

Maintenant que vous avez créé le magasin de données dans Azure Machine Learning, vous pouvez l’utiliser dans des exercices Machine Learning.

Troubleshooting

  • Attribution de rôle pas encore effective : Azure attributions de rôles peut prendre plusieurs minutes pour se propager. Si la création du travail de copie ou du magasin de données échoue avec une erreur d’autorisation, patientez quelques minutes et réessayez.
  • Accès à la clé de compte désactivé : si vous ne pouvez pas récupérer ou utiliser la clé de compte, vérifiez que l’autorisation d’accès à la clé de compte de stockage est activée sur le compte de stockage.
  • Fabric connexion échoue : vérifiez le nom et la clé du compte de stockage, puis vérifiez que le conteneur onelake-table existe.
  • L’instantané est obsolète : la copie produit un instantané à un point dans le temps. Pour le maintenir à jour, planifiez l’exécution du pipeline de données Fabric à une cadence périodique.

Contenu connexe

références

  • Dernière mise à jour :