Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
La fonctionnalité de cache intelligent fonctionne en toute transparence en arrière-plan et met en cache les données pour accélérer l’exécution des travaux Apache Spark dans Microsoft Fabric, car elle lit votre stockage OneLake ou Azure Data Lake Storage (ADLS) Gen2 via des raccourcis. Il détecte également automatiquement les modifications apportées aux fichiers sous-jacents et actualise automatiquement les fichiers dans le cache, ce qui vous fournit les données les plus récentes. Lorsque la taille du cache atteint sa limite, le cache libère automatiquement les données les moins lues pour rendre l’espace pour les données plus récentes. Cette fonctionnalité réduit le coût total de possession en améliorant les performances jusqu’à 60% sur les lectures suivantes des fichiers stockés dans le cache disponible.
Lorsque le moteur Apache Spark dans Fabric interroge un fichier ou une table depuis votre lakehouse, il appelle le stockage distant pour lire les fichiers sous-jacents. Avec chaque demande de requête pour lire les mêmes données, le moteur Spark doit effectuer un appel au stockage distant chaque fois. Ce processus redondant ajoute une latence à votre temps de traitement total. Spark a une exigence de mise en cache que vous devez définir et libérer manuellement le cache pour réduire la latence et améliorer les performances globales. Toutefois, cette exigence peut entraîner des données obsolètes si les données sous-jacentes changent.
Le cache intelligent simplifie le processus en mettant automatiquement en cache chaque lecture dans l’espace de stockage du cache alloué sur chaque nœud Spark où les fichiers de données sont mis en cache dans SSD. Chaque demande d’un fichier vérifie si le fichier existe dans le cache de nœud local et comparez la balise du stockage distant pour déterminer si le fichier est obsolète. Si le fichier n’existe pas ou si le fichier est obsolète, Spark lit le fichier et le stocke dans le cache. Lorsque le cache devient plein, le fichier avec l’heure d’accès la plus ancienne est supprimé du cache pour permettre des fichiers plus récents.
Le cache intelligent est un seul cache par nœud. Si vous utilisez un nœud de taille moyenne et que vous exécutez avec deux petits exécuteurs sur ce nœud unique, les deux exécuteurs partagent le même cache. En outre, cette mise en cache au niveau des fichiers de données permet à plusieurs requêtes d’utiliser le même cache s’ils accèdent aux mêmes données ou fichiers de données.
Fonctionnement
Dans Fabric, la mise en cache intelligente est activée par défaut pour tous les pools Spark avec une taille de cache de 50%. La taille réelle du stockage disponible et de la taille du cache sur chaque nœud dépend de la famille de nœuds et de la taille du nœud.
Quand utiliser le cache intelligent
Cette fonctionnalité vous offre les avantages suivants :
Votre charge de travail nécessite la lecture du même fichier plusieurs fois et la taille du fichier s’adapte au cache.
Votre charge de travail utilise des tables Delta Lake, des formats de fichiers Parquet ou CSV.
Vous ne voyez pas l’avantage du cache intelligent si :
Vous lisez un fichier qui dépasse la taille du cache. Si c’est le cas, le début des fichiers peut être supprimé, et les requêtes suivantes doivent supprimer les données du stockage distant. Dans ce cas, vous ne voyez aucun avantage du cache intelligent et vous souhaiterez peut-être augmenter la taille de votre cache et/ou la taille du nœud.
Votre charge de travail nécessite de grandes quantités de shuffle. La désactivation du cache intelligent libère de l’espace disponible pour empêcher votre travail d’échouer en raison d’un espace de stockage insuffisant.
Configurer le cache intelligent
Vous pouvez désactiver ou activer le cache intelligent au sein d’une session en exécutant le code suivant dans votre bloc-notes ou en définissant cette configuration au niveau de l’espace de travail ou de l’élément d’environnement .
Pourcentage d’espace disque que le cache intelligent peut utiliser par défaut sur 50%: