Raccourcis OneLake

Avec des raccourcis dans Microsoft OneLake, vous pouvez unifier vos données entre domaines, clouds et comptes en rendant OneLake le lac de données virtuel unique pour toute votre entreprise. Les expériences fabric et les moteurs analytiques peuvent se connecter à vos sources de données existantes, notamment Azure, Amazon Web Services (AWS) et OneLake via un espace de noms unifié. OneLake gère toutes les autorisations et informations d’identification. Vous n’avez donc pas besoin de configurer séparément chaque expérience Fabric pour vous connecter à chaque source de données. En outre, vous pouvez utiliser des raccourcis pour éliminer les copies de périphérie des données et réduire la latence de processus associée aux copies de données et à la préproduction.

Que sont les raccourcis ?

Les raccourcis sont des objets dans OneLake qui pointent vers d’autres emplacements de stockage. L’emplacement peut être interne ou externe à OneLake. L’emplacement vers lequel pointe un raccourci est appelé chemin cible du raccourci. L’emplacement où le raccourci s’affiche est appelé chemin de raccourci.

Les raccourcis apparaissent sous forme de dossiers dans OneLake et toute expérience ou service qui a accès à OneLake peut les utiliser. Les raccourcis se comportent comme des liens symboliques. Il s’agit d’un objet indépendant de la cible. Si vous supprimez un raccourci, la cible reste inchangée. Si vous déplacez, renommez ou supprimez un chemin cible, le raccourci peut ne plus fonctionner.

Où puis-je créer des raccourcis ?

Vous pouvez créer des raccourcis dans des bases de données KQL (Lakehouses et Kusto Query Language).

Vous pouvez utiliser le portail Fabric pour créer des raccourcis de manière interactive, et vous pouvez utiliser l’API REST pour créer des raccourcis par programmation.

Lakehouse

Lorsque vous créez des raccourcis dans un lakehouse, vous devez comprendre la structure de dossiers de l’élément. Lakehouses possède deux dossiers de niveau supérieur : le dossier Tables et le dossier Fichiers . Le dossier tables est la partie managée du lakehouse pour les jeux de données structurés. Le dossier de fichiers est la partie non managée du « lakehouse » destinée aux données non structurées ou semi-structurées.

Dans le dossier tables, vous pouvez créer des raccourcis uniquement au niveau supérieur. Les raccourcis ne sont pas pris en charge dans les sous-répertoires du dossier tables. Les raccourcis de la section Tables pointent généralement vers des sources internes dans OneLake ou vers d’autres ressources de données conformes au format de table Delta. Si la cible du raccourci contient des données au format Delta Parquet, le lakehouse synchronise automatiquement les métadonnées et reconnaît le dossier en tant que table. Les raccourcis de la section Tables peuvent être liés à une seule table ou à un schéma, qui est un dossier parent pour plusieurs tables.

Remarque

Le format delta ne prend pas en charge les tables avec des caractères d’espace dans le nom. Tout raccourci contenant un espace dans le nom ne sera pas découvert sous la forme d’une table Delta dans le lakehouse.

Dans le dossier fichiers, il n’existe aucune restriction sur l’emplacement où vous pouvez créer des raccourcis. Vous pouvez créer des raccourcis à n’importe quel niveau de la hiérarchie de dossiers. La découverte de tables ne se produit pas dans le dossier fichiers. Les raccourcis ici peuvent pointer vers des systèmes de stockage OneLake internes et externes avec des données dans n’importe quel format.

Base de données KQL

Lorsque vous créez un raccourci dans une base de données KQL, il apparaît dans le dossier Raccourcis de la base de données. La base de données KQL traite les raccourcis comme des tables externes. Pour interroger le raccourci, utilisez la fonction external_table du Langage de requête Kusto.

Où puis-je accéder à mes raccourcis ?

Tout service Fabric ou non-Fabric qui peut accéder aux données dans OneLake peut utiliser des raccourcis. Les raccourcis sont transparents pour tout service accédant aux données via l’API OneLake. Les raccourcis apparaissent simplement sous la forme d’un autre dossier dans le lac. Apache Spark, SQL, Real-Time Intelligence et Analysis Services peuvent tous utiliser des raccourcis pour l’interrogation des données.

Apache Spark

Les notebooks Apache Spark et les tâches Apache Spark peuvent utiliser les raccourcis que vous créez dans OneLake. Utilisez des chemins de fichier relatifs pour lire les données directement à partir de raccourcis. En outre, si vous créez un raccourci dans la section Tables du lakehouse et qu’il est au format Delta, vous pouvez le lire en tant que table managée à l’aide de la syntaxe SQL Apache Spark.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

SQL

Vous pouvez lire des raccourcis dans la section Tables d’un lakehouse via le point de terminaison d’analytique SQL pour le lakehouse. Vous pouvez accéder au point de terminaison d’analytique SQL par le biais du sélecteur de mode du lakehouse ou via SQL Server Management Studio (SSMS).

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

Informations en temps réel

Les raccourcis dans les bases de données KQL sont reconnus comme des tables externes. Pour interroger le raccourci, utilisez la fonction external_table du Langage de requête Kusto.

external_table('MyShortcut')
| take 100

Services d'Analyse

Vous pouvez créer des modèles sémantiques pour les lakehouses contenant des raccourcis dans la section Tables du lakehouse. Quand le modèle sémantique s’exécute en mode Direct Lake, Analysis Services peut lire les données directement à partir du raccourci.

Services non-Fabric

Les applications et services en dehors de Fabric peuvent également accéder aux raccourcis via l’API OneLake. OneLake prend en charge un sous-ensemble des API de stockage ADLS Gen2 et Blob. Pour en savoir plus sur l’API OneLake, consultez l’accès OneLake avec les API.

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

Types de raccourcis

Les raccourcis OneLake prennent en charge plusieurs sources de données de système de fichiers. Il s’agit notamment d’emplacements OneLake internes et de sources externes ou tierces.

Vous pouvez également créer des raccourcis vers des emplacements locaux ou restreints au réseau avec l’utilisation de la passerelle de données locale Fabric (OPDG).

Raccourcis OneLake internes

Les raccourcis OneLake internes vous permettent de référencer des données dans des éléments Fabric existants, notamment :

• Bases de données KQL
• Maisons au bord du lac
• Catalogues Azure Databricks mis en miroir
• Bases de données en miroir
• Modèles sémantiques
• Bases de données SQL
• Entrepôts

Pour obtenir des instructions sur la création d’un raccourci interne, consultez Créer un raccourci OneLake interne.

Le raccourci peut pointer vers un emplacement de dossier dans le même élément, entre des éléments du même espace de travail ou même entre des éléments dans des espaces de travail différents. Lorsque vous créez un raccourci entre les éléments, les types d’éléments n’ont pas besoin de correspondre. Par exemple, vous pouvez créer un raccourci dans un lakehouse qui pointe vers des données dans un entrepôt de données.

Lorsqu’un utilisateur accède à des données via un raccourci vers un autre emplacement OneLake, OneLake utilise l’identité de l’utilisateur appelant pour autoriser l’accès aux données dans le chemin cible du raccourci. Cet utilisateur doit disposer d’autorisations à l’emplacement cible pour lire les données.

Important

Lors de l’accès aux raccourcis via des modèles sémantiques Power BI à l’aide de DirectLake sur desmoteurs SQL ou T-SQL en mode d’identité déléguée, l’identité de l’utilisateur appelant n’est pas transmise à la cible de raccourci. L’identité du propriétaire de l’élément appelant est transmise à la place, en déléguant l’accès à l’utilisateur appelant. Pour résoudre ce problème, utilisez des modèles sémantiques Power BI en mode DirectLake sur OneLake ou T-SQL en mode d’identité de l’utilisateur.

Raccourcis OneLake externes

Pour obtenir des instructions détaillées pour créer un type de raccourci spécifique, sélectionnez un article dans cette liste de sources externes prises en charge :

• Raccourcis Amazon S3
• Raccourcis compatibles Amazon S3
• Raccourcis Azure Data Lake Storage (ADLS) Gen 2
• Raccourcis de stockage Blob Azure
• Raccourcis Dataverse
• Raccourcis de Google Cloud Storage
• Raccourcis d'Iceberg
• Raccourcis OneDrive et SharePoint

Mise en cache

La mise en cache des raccourcis peut réduire les coûts de sortie associés à l’accès aux données entre les clouds. À mesure que les fichiers sont lus via un raccourci externe, les fichiers sont stockés dans un cache pour l’espace de travail Fabric. Les requêtes de lecture suivantes sont traitées à partir du cache plutôt que du fournisseur de stockage au dépôt distant. La période de rétention des fichiers mis en cache peut être définie de 1 à 28 jours. Chaque fois que le fichier est accessible, la période de rétention est réinitialisée. Si le fichier du fournisseur de stockage distant est plus récent que le fichier dans le cache, la demande est traitée à partir du fournisseur de stockage distant et le fichier mis à jour est ensuite stocké dans le cache. Si un fichier n’a pas été accédé depuis plus de la période de rétention sélectionnée, il est vidé du cache. Les fichiers individuels supérieurs à 1 Go de taille ne sont pas mis en cache.

Remarque

La mise en cache des raccourcis est actuellement prise en charge pour les raccourcis de passerelle de données GCS, S3, compatibles S3 et locales.

Pour activer la mise en cache des raccourcis, ouvrez le panneau paramètres de l’espace de travail . Choisissez l’onglet OneLake . Basculez le paramètre de cache sur Activé et sélectionnez la période de rétention.

Le cache peut également être effacé à tout moment. Dans la même page de paramètres, sélectionnez le bouton Réinitialiser le cache . Cette action supprime tous les fichiers du cache de raccourcis dans cet espace de travail.

Comment les raccourcis utilisent les connexions cloud

L’autorisation de raccourci ADLS et S3 est déléguée à l’aide de connexions cloud. Lorsque vous créez un raccourci ADLS ou S3, vous créez une connexion ou sélectionnez une connexion existante pour la source de données. La définition d’une connexion pour un raccourci est une opération de liaison. Seuls les utilisateurs disposant d’une autorisation sur la connexion peuvent effectuer l’opération de liaison. Si vous n’avez pas d’autorisations sur la connexion, vous ne pouvez pas créer de raccourcis à l’aide de cette connexion.

Sécurité des raccourcis

Les raccourcis nécessitent certaines autorisations pour pouvoir les gérer et les utiliser. La sécurité des raccourcis OneLake examine les autorisations requises pour créer des raccourcis et accéder aux données à l’aide de celles-ci.

Comment les raccourcis gèrent-ils les suppressions ?

Les raccourcis n’effectuent pas de suppressions en cascade. Lorsque vous supprimez un raccourci, vous supprimez uniquement l’objet de raccourci. Les données dans la cible de raccourci restent inchangées. Toutefois, si vous supprimez un fichier ou un dossier dans un raccourci et que vous disposez des autorisations dans la cible de raccourci pour effectuer l’opération de suppression, les fichiers ou dossiers sont supprimés dans la cible.

Par exemple, considérez un lakehouse avec le chemin d’accès suivant : MyLakehouse\Files\MyShortcut\Foo\Bar. MyShortcut est un raccourci qui pointe vers un compte ADLS Gen2 qui contient les répertoires Foo\Bar .

Vous pouvez effectuer une opération de suppression sur le chemin suivant : MyLakehouse\Files\MyShortcut. Dans ce cas, le raccourci MyShortcut est supprimé de la lakehouse, mais les fichiers et répertoires du compte ADLS Gen2 Foo\Bar ne sont pas affectés.

Vous pouvez également effectuer une opération de suppression sur le chemin suivant : MyLakehouse\Files\MyShortcut\Foo\Bar. Dans ce cas, si vous disposez d’autorisations d’écriture dans le compte ADLS Gen2, le répertoire Bar est supprimé du compte ADLS Gen2.

Affichage du lignage de l’espace de travail

Lorsque vous créez des raccourcis entre plusieurs éléments Fabric au sein d’un espace de travail, vous pouvez visualiser les relations de raccourci via la vue de traçabilité de l’espace de travail. Sélectionnez le bouton Vue de traçabilité ( ) dans le coin supérieur droit de l’explorateur d’espaces de travail.

Remarque

L’affichage du lignage est limité à un seul espace de travail. Les raccourcis vers les emplacements en dehors de l’espace de travail sélectionné n’apparaissent pas.

Limitations et considérations

• Le nombre maximal de raccourcis par élément Fabric est de 100 000. Dans ce contexte, le terme élément fait référence aux applications, aux lakehouses, aux entrepôts et aux rapports, entre autres.
• Le nombre maximal de raccourcis dans un seul chemin OneLake est de 10.
• Le nombre maximal de raccourcis directs vers les liens de raccourcis est de 5.
• Les noms des raccourcis OneLake, les chemins parents et les chemins cibles ne peuvent pas contenir de caractères « % » ou « + ».
• Les raccourcis ne prennent pas en charge les caractères non latins.
• Le lignage des raccourcis vers les entrepôts de données et les modèles sémantiques n’est actuellement pas disponible.
• Un raccourci Fabric se synchronise avec la source presque instantanément, mais le temps de propagation peut varier en raison des performances de la source de données, des vues mises en cache ou des problèmes de connectivité réseau.
• L’API Table peut prendre jusqu’à une minute pour reconnaître de nouveaux raccourcis.

Contenu connexe

• Créer un raccourci OneLake
• Utiliser les API REST Raccourcis OneLake