Grands jeux de données dans Power BI Premium

Article
02/25/2023
9 minutes de lecture

Les jeux de données Power BI peuvent stocker des données dans un cache en mémoire fortement compressé pour des performances optimisées des requêtes, ce qui permet une interactivité rapide des utilisateurs. Avec les capacités Premium, les grands jeux de données au-delà de la limite par défaut peuvent être activés avec le paramètre Format de stockage des grands jeux de données. Quand ce paramètre est activé, la taille du jeu de données est limitée par la taille de capacité Premium ou la taille maximale définie par l’administrateur.

Les grands jeux de données peuvent être activés pour toutes les références SKU Premium P et A Embedded et avec le modèle PPU (Premium par utilisateur). La limite de taille des grands jeux de données dans Premium est comparable à celle d’Azure Analysis Services, en termes de limitations de taille des modèles de données.

L’activation du paramètre Format de stockage de jeu de données volumineux est nécessaire pour permettre aux jeux de données de dépasser 10 Go, mais elle offre également d’autres avantages. Si vous prévoyez d’utiliser des outils basés sur un point de terminaison XMLA pour les opérations d’écriture des jeux de données, veillez à activer ce paramètre, même pour les jeux de données que vous ne classeriez pas nécessairement en tant que grands jeux de données. Quand ce paramètre est activé, le format de stockage des grands jeux de données peut améliorer les performances des opérations d’écriture de XMLA.

Les grands jeux de données dans le service n’affectent pas la taille de chargement du modèle Power BI Desktop, qui reste limitée à 10 Go. Au lieu de cela, les jeux de données peuvent dépassent cette limite dans le service lors de l’actualisation.

Important

Power BI Premium prend en charge les jeux de données volumineux. Activez l’option Format de stockage des grands jeux de données pour utiliser dans Power BI Premium des jeux de données plus volumineux que la limite par défaut.

Activer les grands jeux de données

Les étapes ci-dessous décrivent l’activation des grands jeux de données pour un nouveau modèle publié sur le service. Pour les jeux de données existants, seule l’étape 3 est nécessaire.

Créez un modèle de données dans Power BI Desktop. Si votre jeu de données va devenir plus grand et consommer progressivement plus de mémoire, veillez à configurer Actualisation incrémentielle.
Publiez le modèle en tant que jeu de données sur le service.
Dans le service > jeu de données >Paramètres, développez Format de stockage des grands jeux de données, définissez le curseur sur Activé, puis sélectionnez Appliquer.
Appelez une actualisation pour charger les données d’historique en fonction de la stratégie d’actualisation incrémentielle. La première actualisation peut prendre un certain temps pour charger l’historique. Les actualisations suivantes doivent être plus rapides, selon votre stratégie d’actualisation incrémentielle.

Définir le format de stockage par défaut

Dans les régions prises en charge, tous les jeux de données créés dans un espace de travail affecté à une capacité Premium peuvent avoir le format de stockage des grands jeux de données activé par défaut. Si la région ne prend pas en charge les grands jeux de données, l’option Format de stockage des grands jeux de données décrite ci-dessous est désactivée. Vous pouvez voir quelles régions sont prises en charge dans la section Disponibilité des régions.

Dans l’espace de travail, sélectionnez Paramètres>Premium.
Dans Format de stockage par défaut, sélectionnez Format de stockage des grands jeux de données, puis sélectionnez Enregistrer.

Activer avec PowerShell

Vous pouvez aussi activer le format de stockage des grands jeux de données en utilisant PowerShell. Vous devez disposer de privilèges d’administrateur de capacité et d’administrateur d’espace de travail pour exécuter les applets de commande PowerShell.

Recherchez l’ID de jeu de données (GUID). Sous l’onglet Jeux de données de l’espace de travail, sous les paramètres du jeu de données, vous pouvez voir l’ID dans l’URL.
À partir d’une invite d’administrateur PowerShell, installez le module MicrosoftPowerBIMgmt.
```
Install-Module -Name MicrosoftPowerBIMgmt
```
Exécutez les applets de commande suivantes pour vous connecter et vérifier le mode de stockage du jeu de données.
```
Login-PowerBIServiceAccount

(Get-PowerBIDataset -Scope Organization -Id <Dataset ID> -Include actualStorage).ActualStorage
```
La réponse doit être la suivante. Le mode de stockage est ABF (fichier de sauvegarde Analysis Services), qui est la valeur par défaut.
```
Id                   StorageMode

--                   -----------

<Dataset ID>         Abf
```

Exécutez les applets de commande suivantes pour définir le mode de stockage. La conversion en fichiers Premium peut prendre quelques secondes.

Set-PowerBIDataset -Id <Dataset ID> -TargetStorageMode PremiumFiles

(Get-PowerBIDataset -Scope Organization -Id <Dataset ID> -Include actualStorage).ActualStorage

La réponse doit être la suivante. Le mode de stockage est maintenant défini sur les fichiers Premium.

Id                   StorageMode

--                   -----------

<Dataset ID>         PremiumFiles

Vous pouvez vérifier l’état des conversions de jeu de données vers et depuis les fichiers Premium à l’aide de l’applet de commande Get-PowerBIWorkspaceMigrationStatus.

Éviction de jeux de données

L’éviction de jeu de données est une fonctionnalité Premium qui permet d’obtenir une somme de tailles de jeu de données nettement supérieure à la mémoire disponible pour la taille de référence SKU achetée de la capacité. Un jeu de données unique est toujours contraint par les limites de mémoire de la référence SKU. Power BI utilise la gestion de mémoire dynamique pour supprimer les jeux de données inactifs de la mémoire. Les jeux de données sont supprimés afin que Power BI puisse charger d’autres jeux de données pour répondre aux requêtes des utilisateurs. Pour plus d’informations sur la gestion dynamique de la mémoire, consultez Éviction de jeux de données.

Notes

Si vous devez attendre qu’un jeu de données supprimé soit rechargé, vous pouvez rencontrer un délai notable.

Chargement à la demande

Le chargement à la demande est activé par défaut pour les grands jeux de données et peut améliorer sensiblement le temps de chargement des jeux de données supprimés. Avec le chargement à la demande, vous bénéficiez des avantages ci-après lors des requêtes et actualisations suivantes :

Les pages de données pertinentes sont chargées à la demande (paginées en mémoire).
Les jeux de données supprimés sont rapidement mis à disposition pour les requêtes.

Le chargement à la demande met en évidence des informations supplémentaires de vue de gestion dynamique (DMV) qui peuvent être utilisées pour identifier des modèles d’utilisation et comprendre l’état de vos modèles. Par exemple, vous pouvez vérifier les statistiques de température et de dernier accès pour chaque colonne du jeu de données, en exécutant la requête DMV suivante à partir de SQL Server Management Studio (SSMS) :

Select * from SYSTEMRESTRICTSCHEMA ($System.DISCOVER_STORAGE_TABLE_COLUMN_SEGMENTS, [DATABASE_NAME] = '<Dataset Name>')

Vérification de la taille du jeu de données

Après avoir chargé les données d’historique, vous pouvez utiliser SSMS par le biais du point de terminaison XMLA pour vérifier la taille estimée du jeu de données dans la fenêtre des propriétés du modèle.

Taille estimée du jeu de données

Vous pouvez également vérifier la taille du jeu de données en exécutant les requêtes DMV suivantes à partir de SSMS. Additionnez les colonnes DICTIONARY_SIZE et USED_SIZE à partir de la sortie pour afficher la taille du jeu de données en octets.

SELECT * FROM SYSTEMRESTRICTSCHEMA
($System.DISCOVER_STORAGE_TABLE_COLUMNS,
 [DATABASE_NAME] = '<Dataset Name>') //Sum DICTIONARY_SIZE (bytes)

SELECT * FROM SYSTEMRESTRICTSCHEMA
($System.DISCOVER_STORAGE_TABLE_COLUMN_SEGMENTS,
 [DATABASE_NAME] = '<Dataset Name>') //Sum USED_SIZE (bytes)

Taille de segment par défaut

Pour les jeux de données utilisant le format de stockage de grands jeux de données, Power BI définit automatiquement la taille de segment par défaut sur 8 millions lignes pour trouver un bon équilibre entre les besoins en mémoire et les performances des requêtes pour les grandes tables. C’est la même taille de segment que dans Azure Analysis Services. L’alignement des tailles de segments permet de garantir des caractéristiques de performances comparables lors de la migration d’un grand modèle de données depuis Azure Analysis Services vers Power BI.

Observations et limitations

Gardez à l’esprit les restrictions suivantes lors de l’utilisation de grands jeux de données :

Télécharger sur Power BI Desktop : si un jeu de données est stocké dans des fichiers Premium, le téléchargement en tant que fichier. pbix échoue.
Régions prises en charge : Les grands jeux de données sont disponibles dans les régions Azure qui prennent en charge le stockage Azure Premium Files. Passez en revue le tableau dans Disponibilité des régions pour voir la liste de toutes les régions prises en charge.
Définition de la taille maximale du jeu de données : la taille maximale du jeu de données peut être définie par les administrateurs. Pour plus d’informations, consultez Mémoire maximale dans Jeux de données.
Actualisation des grands jeux de données : les jeux de données qui sont proches de la moitié de la taille de la capacité (par exemple, un jeu de données de 12 Go sur une taille de capacité de 25 Go) peuvent dépasser la mémoire disponible pendant les actualisations. En utilisant l’API REST d’actualisation améliorée ou le point de terminaison XMLA, vous pouvez effectuer des actualisations de données affinées afin que la mémoire nécessaire à l’actualisation puisse être réduite pour s’adapter à la taille de votre capacité.
Jeux de données de transmission de type push : les jeux de données de transmission de type push ne prennent pas en charge le format de stockage des grands jeux de données.
Pro n’est pas pris en charge : les grands jeux de données ne sont pas pris en charge dans les espaces de travail Pro. Si un espace de travail est migré de Premium vers Pro, le chargement de tout jeu de données auquel est associé le paramètre de format de stockage des grands jeux de données est voué à l’échec.
Vous ne pouvez pas utiliser les API REST pour changer les paramètres d’un espace de travail afin d’autoriser les nouveaux jeux de données à utiliser par défaut le format de stockage des grands jeux de données.

Disponibilité des régions

Les grands jeux de données dans Power BI sont disponibles seulement dans les régions Azure qui prennent en charge le stockage Azure Premium Files.

La liste suivante contient les régions où les grands jeux de données dans Power BI sont disponibles. Les régions qui ne sont pas dans la liste suivante ne sont pas prises en charge pour les modèles volumineux.

Notes

Une fois qu’un jeu de données volumineux est créé dans un espace de travail, il doit rester dans cette région. Vous ne pouvez pas réaffecter un espace de travail avec un jeu de données volumineux à une capacité Premium dans une autre région.

Région Azure	Abréviation des régions Azure
Australie Est	australiaeast
Australie Sud-Est	australiasoutheast
Brésil Sud	brazilsouth
Est du Canada	canadaeast
Centre du Canada	canadacentral
Inde Centre	centralindia
USA Centre	centralus
Asie Est	eastasia
USA Est	eastus
USA Est 2	eastus2
France Centre	francecentral
France Sud	francesouth
Allemagne Nord	germanynorth
Allemagne Centre-Ouest	germanywestcentral
Japon Est	japaneast
OuJapon Est	japanwest
Centre de la Corée	KoreaCentral
Corée du Sud	KoreaSouth
Centre-Nord des États-Unis	northcentralus
Europe Nord	northeurope
Afrique du Sud Nord	southafricanorth
Afrique du Sud Ouest	southafricawest
États-Unis - partie centrale méridionale	southcentralus
Asie Sud-Est	southeastasia
Suisse Nord	switzerlandnorth
Suisse Ouest	switzerlandwest
Émirats arabes unis Centre	uaecentral
Émirats arabes unis Nord	uaenorth
Sud du Royaume-Uni	uksouth
Ouest du Royaume-Uni	ukwest
Europe Ouest	westeurope
Inde Ouest	westindia
USA Ouest	westus
USA Ouest 2	westus2