Configurer les fichiers journaux pour la passerelle de données locale

La passerelle de données locale comporte trois catégories de journaux de service : informations, erreurs et réseau. Cette catégorisation offre une expérience de dépannage qui vous permet de vous concentrer sur le domaine précis concerné par une erreur ou un problème.

Pour vérifier vos configurations de journalisation, procédez comme suit :

1. Ouvrez le fichier Microsoft.PowerBI.EnterpriseGateway.exe.configde configuration de passerelle . Par défaut, vous pouvez trouver ce fichier sous \Program Files\On-premises data gateway.
2. Effectuez une copie de ce fichier si vous devez le restaurer ultérieurement.
3. Recherchez l’écouteur ApplicationFileTraceListener, sous system.diagnostics.

Les sections suivantes fournissent les détails de configuration par type de rétention, qui dépendent de votre version de passerelle.

Rétention basée sur l’âge

À compter de février 2023, la passerelle introduit un nouveau concept de rétention basé sur l’âge. Ce concept est le type de rétention par défaut pour les nouvelles installations de passerelle.

Pour ce type de rétention, tenez compte de deux aspects principaux (dans l’ordre de priorité) :

• Espace disque maximum pour les journaux de la passerelle (GatewayInfo*.log, GatewayError*.log, GatewayNetwork*.log), la valeur par défaut étant de 5 Go.
• Période de rétention en jours, avec une valeur par défaut de 30 jours.

Dans cette nouvelle logique, la passerelle garantit que pour chaque nouveau jour, elle crée un fichier journal. Ce provisionnement garantit que les informations d’un jour donné sont présentes dans les fichiers journaux où le nom de fichier correspond aux dates d’entrée du journal. En outre, la passerelle effectue le partitionnement de fichiers dans le jour si la taille maximale du fichier individuel (valeur par défaut de 100 Mo) est atteinte.

  <system.diagnostics>
    <trace autoflush="true" indentsize="4">
      <listeners>
        <remove name="Default" />
        <add name="ApplicationFileTraceListener" type="Microsoft.PowerBI.DataMovement.Pipeline.Common.Diagnostics.AgeBasedRetentionRotatableFilesManagerTraceListener, Microsoft.PowerBI.DataMovement.Pipeline.Common" initializeData="%LOCALAPPDATA%\Microsoft\On-premises data gateway\,30,5120,100" />
      </listeners>
    </trace>
  </system.diagnostics>

Pour modifier les valeurs de paramètre par défaut de rétention, ajustez la initializeData valeur. La liste suivante décrit chaque paramètre :

• Période de rétention en jours (valeur comprise entre 1 et 365 jours).
• Taille totale maximale en Mo que les trois types de fichiers journaux peuvent consommer.
• Taille maximale en Mo que chaque fichier journal peut avoir individuellement. Chaque fois que la limite est atteinte, la passerelle crée un fichier avec un nombre séquentiel ajouté.

Remarque

Les journaux de passerelle utilisent des horodatages basés sur UTC, et la rotation quotidienne des fichiers journaux a lieu à 00:00 UTC.

Rétention basée sur le nombre de fichiers

Ce style était la logique de rétention des journaux par défaut au sein d’une passerelle pour les versions de décembre 2022 et antérieures. Cette logique a deux concepts principaux :

• Nombre de fichiers à conserver par type de journal (GatewayInfo*.log, GatewayError*.log, GatewayNetwork*.log).
• Espace disque maximal à consommer par type de journal (GatewayInfo*.log, GatewayError*.log, GatewayNetwork*.log).

Les fichiers sont partitionnés en fonction de ces critères. Par conséquent, chaque fois que vous atteignez le nombre maximal de fichiers, vous atteignez généralement l’espace disque maximal.

L’extrait suivant du fichier de configuration de passerelle Microsoft.PowerBI.EnterpriseGateway.exe.config contient les trois catégories suivantes : GatewayInfo.log, GatewayErrors.log et GatewayNetwork.log.

  <system.diagnostics>
    <trace autoflush="true" indentsize="4">
      <listeners>
        <remove name="Default" />
        <add name="ApplicationFileTraceListener"
             type="Microsoft.PowerBI.DataMovement.Pipeline.Common.Diagnostics.RotatableFilesManagerTraceListener, Microsoft.PowerBI.DataMovement.Pipeline.Common"
             initializeData="%LOCALAPPDATA%\Microsoft\On-premises data gateway\,GatewayInfo.log,GatewayErrors.log,GatewayNetwork.log,20,50" />
      </listeners>
    </trace>
  </system.diagnostics>

Par défaut, le fichier de configuration de la passerelle se trouve dans le répertoire \Program Files\Passerelle de données locale. Pour définir le nombre de fichiers journaux à conserver, modifiez le premier numéro dans la valeur du initializeData fichier. Pour configurer la taille de chaque fichier journal, modifiez le deuxième nombre.

L’exemple suivant spécifie que 20 fichiers journaux sont conservés et que la somme totale de tous les fichiers de chaque catégorie n’est pas supérieure à 50 Mo de taille : GatewayInfo.log,GatewayErrors.log,GatewayNetwork.log,20,50

La logique de rétention basée sur l’âge s’applique-t-elle par défaut à mon installation de passerelle de données locale existante ?

Non. Cette logique de rétention s’applique actuellement uniquement aux nouvelles installations de passerelle. Les passerelles existantes mises à niveau vers la version de février 2023 ou une version ultérieure conservent leur logique actuelle de rétention des journaux (rétention basée sur le nombre de fichiers).

Consentement de l'administrateur pour le diagnostic de la passerelle (aperçu)

Le consentement administrateur pour les diagnostics de passerelle est une fonctionnalité que les administrateurs utilisent pour contrôler explicitement si les données de diagnostic provenant de passerelles de données locales sont collectées et envoyées au cloud.

La fonctionnalité diagnostic de passerelle introduit un modèle basé sur le consentement pour s’assurer que les données potentiellement sensibles, telles que les journaux Mashup, ne sont transmises qu’après approbation administrative. Il permet également des fonctionnalités futures de surveillance et de diagnostic. Pour l’instant, cette fonctionnalité s’applique uniquement à l’artefact Dataflows Gen2. Pour plus d’informations, consultez Télécharger les journaux d’actualisation détaillés.

Remarque

Les diagnostics de passerelle sont activés à partir de l’expérience Gérer les connexions et les passerelles dans Microsoft Fabric. Il n’existe aucun paramètre dans l’application de passerelle de données locale pour activer cette fonctionnalité.

Fonctionnement

Les administrateurs de passerelle peuvent activer les diagnostics de passerelle dans les paramètres de passerelle. Lorsque vous activez ce paramètre, la passerelle commence à collecter et à envoyer des données de diagnostic au cloud.

Les administrateurs du locataire fournissent une couche supplémentaire de gouvernance en contrôlant le consentement à l’échelle de toute l’organisation pour les diagnostics. Par défaut, les administrateurs de passerelle peuvent activer les diagnostics sans avoir besoin d’approbation au niveau du locataire. Toutefois, les administrateurs clients peuvent révoquer le consentement à tout moment pour arrêter la collecte des données de diagnostic sur toutes les passerelles de l’organisation.

Si le consentement au niveau du locataire est révoqué, toutes les passerelles arrêtent immédiatement l’envoi de données de diagnostic et tout transfert de données en cours est terminé.

Pour une application immédiate, le redémarrage de la passerelle de données locale met fin à tous les chargements de diagnostics en cours.

Le service stocke les données de diagnostic de passerelle pendant 24 heures dans un Azure Data Lake Storage géré par le service. Après 24 heures, les données ne sont plus disponibles en téléchargement.

Tip

Actuellement, la fonctionnalité de diagnostic de passerelle s’applique uniquement aux artefacts Dataflow Gen2.

Comportement de chargement

Lorsque vous activez les diagnostics de passerelle, la passerelle charge les fichiers de diagnostic par lots périodiques. Les chargements ne sont pas en continu et ne sont pas en temps réel. La passerelle vérifie les fichiers de diagnostic pouvant être téléchargés environ toutes les 60 secondes. Par conséquent, il existe généralement un délai d'environ 1 à 2 minutes entre la génération de trace et la disponibilité dans le stockage géré par Microsoft.

Chaque chargement est une requête HTTPS sortante de courte durée à partir de l’ordinateur de passerelle. Une fois qu’un fichier de diagnostic est correctement chargé, la passerelle supprime immédiatement la copie intermédiaire locale.

Configuration réseau requise

Ajoutez la ligne suivante au tableau de configuration réseau requise :

Point de terminaison	Port	Direction	Purpose
*.dfs.core.windows.net	443	Sortant	Requis pour le chargement des diagnostics de passerelle vers Microsoft Azure Data Lake Storage managé.

Le compte de stockage utilisé pour le chargement des diagnostics est géré par Microsoft et peut varier selon la région. Étant donné que le nom du compte dépend de la région, autorisez le trafic HTTPS sortant vers *.dfs.core.windows.net ou utilisez l’étiquette de service stockage Azure.

Si votre environnement utilise un proxy d’inspection TLS, vérifiez que le proxy conserve l’URL de requête complète, y compris la chaîne de requête SAP. Le jeton SAP est requis pour que la passerelle charge les fichiers de diagnostic.

Activer les diagnostics de passerelle

Vous pouvez activer les diagnostics de passerelle uniquement dans le cloud à partir de Gérer les connexions et les passerelles dans le service Power BI ou Microsoft Fabric. L’application de passerelle de données locale n’a pas de paramètre pour activer cette fonctionnalité.

Avant d’activer les diagnostics de passerelle, vérifiez les conditions préalables suivantes :

• La passerelle s’exécute en mode standard. Les passerelles en mode personnel ne sont pas prises en charge.
• Le suivi ETW est activé sur la passerelle.
• Pour les clusters de passerelle, chaque membre de cluster charge les diagnostics indépendamment. Vérifiez que les règles de pare-feu et de proxy sortantes sont configurées pour chaque nœud de passerelle du cluster.

Espace disque et empreinte de stockage

Les données intermédiaires des diagnostics de passerelle sont écrites sous le chemin LOCALAPPDATA du compte de service de passerelle, et non dans le répertoire d’installation de la passerelle. Le sous-dossier MSessions contient les fichiers intermédiaires locaux utilisés pour le chargement des diagnostics.

En état stable, la rétention locale est généralement d’environ un à deux minutes, car les fichiers sont supprimés immédiatement après le chargement réussi. Dans les scénarios d’échec ou de nouvelle tentative, les données intermédiaires locales peuvent rester pendant environ une heure.

Cette empreinte de stockage est distincte du budget de rétention des journaux locaux de 5 Go documenté pour les journaux de passerelle. En guise de point de départ, planifiez environ 5 à 10 Go d’espace principal de disque libre supplémentaire sur chaque machine de passerelle, puis surveillez l’utilisation réelle dans votre environnement et ajustez si nécessaire.

Posture de sécurité du chargement des diagnostics

Le chargement des diagnostics de passerelle utilise un jeton SAS à courte durée de vie dans l’étendue du répertoire sur HTTPS. Le jeton SAP est valide pendant une durée limitée, actuellement jusqu’à neuf heures, et accorde uniquement des autorisations orientées écriture telles que Add, Write et Create.

La passerelle peut charger des fichiers de diagnostic, mais elle ne peut pas lire, répertorier ou énumérer les données de diagnostic chargées.

FAQ sur les diagnostics de passerelle pour les passerelles de données locales dans Fabric

Les paramètres de diagnostic des passerelles de données locales permettent de collecter des journaux de diagnostic détaillés pour résoudre les problèmes liés aux opérations d’actualisation de Fabric Dataflow Gen2. Cette section répond aux questions courantes sur l’emplacement où les journaux chargés sont stockés, les informations collectées, qui peuvent accéder aux journaux et si le stockage a des coûts supplémentaires.

La journalisation supplémentaire est-elle requise pour les diagnostics de passerelle ?

Les diagnostics de passerelle et la journalisation supplémentaire sont des fonctionnalités distinctes. La journalisation supplémentaire n’est pas nécessaire pour le chargement des diagnostics.

Les deux fonctionnalités écrivent dans différentes destinations : la journalisation supplémentaire écrit des journaux locaux plus détaillés, tandis que les diagnostics de passerelle étapent les données de diagnostic localement et les chargent dans un stockage géré par Microsoft après le consentement du locataire et l’activation au niveau de la passerelle.

Quelle est la relation entre les paramètres de diagnostic des passerelles de données locales et les dataflows ?

Actuellement, les paramètres de diagnostic des passerelles de données locales s’appliquent uniquement à Fabric Dataflow Gen2. Lorsqu’une actualisation Dataflow Gen2 s’exécute :

• La passerelle collecte les informations de diagnostic requises pour la résolution des problèmes.
• Le système téléverse les journaux de mashup pertinents vers le stockage géré par Microsoft.
• Les journaux sont associés à l’exécution de l’actualisation.
• Les utilisateurs peuvent télécharger les diagnostics détaillés à partir de l’expérience d’historique des actualisations Dataflow Gen2.

Cette fonctionnalité peut également prendre en charge les scénarios de diagnostic futurs.

Quels logs sont collectés et téléversés ?

Actuellement, les paramètres de diagnostic des passerelles de données locales téléchargent principalement les journaux du moteur Mashup associés aux opérations d’actualisation de Fabric Dataflow Gen2.

Voici quelques exemples d’informations collectées :

• Détails de l’exécution de l’actualisation de Dataflow Gen2.

• Diagnostics du moteur Mashup.

• Traitement des requêtes et traces d’exécution.

Où sont stockés les journaux chargés ?

La région d'inscription Power BI ou Fabric du locataire détermine l'emplacement de stockage. Le stockage géré par Microsoft dans la région applicable du locataire stocke les journaux téléchargés.

Quelles régions Azure prennent en charge cette fonctionnalité ?

Toutes les régions prises en charge par Fabric qui offrent la prise en charge de l’infrastructure de stockage managé prennent en charge les paramètres de diagnostic des passerelles de données locales. Cette fonctionnalité n’est pas disponible dans la région du Qatar.

Les données chargées contiennent-elles des informations sensibles ?

Yes. Les diagnostics chargés peuvent contenir des informations que les clients considèrent comme sensibles. La fonctionnalité est désactivée par défaut. Passez en revue les stratégies de gestion et de support des données de votre organisation avant de choisir les paramètres de diagnostic des passerelles de données locales.

Combien de temps les journaux sont-ils stockés ?

Le système conserve les données de diagnostic pendant 24 heures. Vous pouvez télécharger des données depuis les exécutions de Fabric Dataflow Gen2 pendant cette période de 24 heures.

Qui peut accéder aux logs téléversés ?

L’accès est étroitement contrôlé. Le personnel de Microsoft n’accède pas de manière habituelle aux journaux téléchargés. L’accès est limité par défaut et accordé uniquement si nécessaire dans les procédures opérationnelles approuvées.

Existe-t-il un coût supplémentaire pour le stockage de ces journaux ?

Non. À compter d’aujourd’hui, les paramètres de diagnostic des passerelles de données locales sont fournis sans frais supplémentaires.

Résolution des problèmes

Les diagnostics sont activés, mais aucun journal n’apparaît

Si les diagnostics sont activés, mais que les journaux de diagnostic n’apparaissent pas, vérifiez les éléments suivants :

1. Confirmez l’accès HTTPS sortant sur le port 443 vers *.dfs.core.windows.net.

2. Vérifiez que la passerelle s’exécute en mode standard. Les passerelles en mode personnel ne sont pas prises en charge.

3. Vérifiez que le consentement du locataire pour les diagnostics de passerelle n’a pas été révoqué.

4. Vérifiez gatewayInfo*.log pour les lignes de trace DiagnosticsUploader et DiagnosticsStorageClient. Les messages de suivi utiles incluent : Fichiers pouvant être téléchargés N trouvés, AuthenticationFailed, Nombre maximal d’échecs atteint

5. Si trois échecs de chargement consécutifs se produisent, la collecte des diagnostics s’arrête jusqu’à ce que l’accès soit renouvelé. Ce comportement peut faire apparaître que les diagnostics semblent avoir été désactivés de façon inattendue, même si la cause racine est un échec de chargement répété.

Contenu connexe

Pour plus d’informations sur l’exportation des journaux de passerelle pour la résolution des problèmes, consultez les outils de résolution des problèmes.