Rafraîchir l’activité des terminaux SQL Analytics

L’activité de rafraîchissement du terminau SQL Analytics dans les pipelines Microsoft Fabric vous permet de rafraîchir programmatiquement un point d’accès SQL Analytics Lakehouse dans le cadre d’un flux de travail orchestré. Il fait partie de Lakehouse Utility Suite pour les pipelines et est généralement utilisé après l’activité de maintenance de Lakehouse (par exemple, après les opérations OPTIMIZE ou VACUUM). Les consommateurs en aval, tels que les rapports Power BI, les notebooks ou les clients SQL externes, voient les données les plus récentes après l'achèvement des étapes de préparation ou de maintenance des données.

Utilisez cette activité pour que les terminaux d’analyse SQL reflètent immédiatement les mises à jour récentes sans recourir à des rafraîchissements manuels ou des processus ad hoc. Utilisez cette activité lorsque votre pipeline :

  • Met à jour ou gère les données du Lakehouse (par exemple, après les travaux de copie, l’exécution du Notebook ou les activités de maintenance du Lakehouse).
  • Nécessite que le point d’accès SQL Analytics de Lakehouse reflète les dernières métadonnées et changements de données.
  • Nécessite un minutage d’actualisation déterministe avant les étapes en aval telles que la création de rapports, l’analytique ou les exportations.

Prerequisites

Avant d’utiliser cette activité, assurez-vous que :

Ajoutez une activité d’actualisation du point de terminaison analytique SQL à votre pipeline dans l’interface utilisateur

  1. Créez un pipeline dans votre espace de travail.

  2. Cherchez le point de terminaison Refresh SQL Analytics dans le panneau Activités du pipeline et sélectionnez-le pour l’ajouter au caneas du pipeline.

    Capture d’écran de l’activité de rafraîchissement du terminau SQL Analytics dans le panneau Activités.

  3. Sélectionnez la nouvelle activité Actualiser le point de terminaison d’analytique SQL dans le canevas si elle n’est pas déjà sélectionnée.

    Capture d’écran de l’activité de rafraîchissement du endpoint SQL Analytics sur le canevas du pipeline.

    Conseil / Astuce

    Vous pouvez orchestrer cette activité avec d’autres activités de la Suite Utilitaire Lakehouse — comme l’activité de maintenance Lakehouse — dans le même pipeline afin que les processus de maintenance et d’actualisation s’exécutent en séquence.

  4. Reportez-vous aux instructions relatives aux paramètres Général pour configurer l’onglet Paramètres Général .

Actualiser les paramètres d’activité des terminaux SQL Analytics

  1. Sélectionnez l’onglet Paramètres pour configurer l’activité.  

  2. Configurez la connexion en sélectionnant une connexion existante dans la liste déroulante Connexion , ou en créant une connexion et en spécifiant ses détails de configuration.

  3. Spécifiez l’espace de travail qui contient le Lakehouse.

  4. Spécifiez le point de terminaison d’analyse SQL comme l’identifiant du point de terminaison d’analyse SQL du Lakehouse que vous souhaitez actualiser. La mise à jour met à jour les métadonnées du endpoint d’analyse SQL de Lakehouse afin qu’elles reflètent les changements récents de données et de schéma.

    Capture d’écran des paramètres d’activité d’actualisation du point de terminaison SQL Analytics, dans laquelle vous spécifiez le point de terminaison SQL Analytics.

Comportement de l’activité

Une fois l’exécution de l’activité terminée :

  • Si la fenêtre contextuelle Sortie affiche l’état Réussite , la requête synchronise correctement les données non synchronisées.

    Capture d’écran d’un état de réussite dans la fenêtre contextuelle Sortie de l’activité.

  • Un statut NotRun dans la fenêtre contextuelle Output signifie que le rafraîchissement du terminau SQL Analytics n’a pas été exécuté. Cette condition signifie généralement que vous n’avez pas ajouté de nouvelles données depuis la dernière synchronisation. Vous n’avez donc pas besoin de l’exécuter.

    Capture d’écran d’un état NotRun dans la fenêtre contextuelle Sortie de l’activité.

  • Si la fenêtre contextuelle Sortie affiche l’état Échec , un problème s’est produit.

Note

L'exécution de l'activité définit ces états dans la fenêtre contextuelle de sortie. Ne confondez pas ces états avec l’état d’activité lui-même.

Scénarios courants

  • Rafraîchir le point de terminaison d’analyse SQL après qu’un Notebook ait écrit des données transformées dans un Lakehouse.
  • Déclenchez une mise à jour du point d’accès SQL analytique après la fin de l’activité de maintenance Lakehouse (OPTIMIZE ou VACUUM).
  • S’assurer que les rapports et tableaux de bord interrogent l’état le plus récent du Lakehouse à des étapes bien définies du pipeline.

Pourquoi la mise à jour de mon endpoint SQL Analytics échoue-t-elle lorsque les données sous-jacentes sont verrouillées ?

L’activité de rafraîchissement des terminaux SQL Analytics peut échouer de façon intermittente lorsque d’autres processus mettent à jour activement les données sous-jacentes de Lakehouse. Ces processus incluent des pipelines d’ingestion, des notebooks ou des opérations d’écriture simultanées.

Cette défaillance survient parce que le terminau d’analyse SQL doit acquérir des verrous internes pour effectuer le rafraîchissement. Si une autre opération verrouille les données, la requête expire ou retourne une erreur.

Ce comportement est attendu en fonction de la manière dont les terminaux d’analyse SQL gèrent les opérations de rafraîchissement des métadonnées.

Symptoms

  • L’activité échoue par intermittence, pas de manière cohérente.
  • Les messages d’erreur indiquent des conflits d’actualisation ou des conflits de verrouillage.
  • Les pipelines avec plusieurs activités SQL Analytics Endpoint à rafraîchissement séquentiel présentent des taux de défaillance plus élevés.

Origine

Les terminaux d’analyse SQL nécessitent un accès exclusif à certaines structures de métadonnées lors de la mise à jour. Si un autre processus de calcul écrit dans le Lakehouse en même temps, il y a une contention de verrouillage.

Ce comportement n’est pas un défaut de l’activité de point de terminaison d’actualisation de SQL Analytics. Il s’agit du résultat naturel des opérations de lecture et d’écriture simultanées sur les données sous-jacentes.

Solutions de contournement

Deux approches pratiques peuvent atténuer ce problème :

N’utilisez qu’une seule activité de terminaison Refresh SQL Analytics à la fin du traitement

Pour réduire la probabilité de conflits de verrous, consolidez votre pipeline afin que :

  • Toutes les activités d’ingestion, de transformation et de mise à jour s’exécutent en premier,
  • Ensuite, une seule activité d’actualisation du point de terminaison SQL Analytics s’exécute à la fin.
  • Cette approche n’élimine pas complètement les défaillances, mais réduit considérablement la fréquence à laquelle elles se produisent.

Implémentez un programme de rafraîchissement récurrent

Si votre scénario ne nécessite pas de cohérence transactionnelle stricte à un moment spécifique, adoptez un modèle d’actualisation périodique :

  • Planifiez une actualisation toutes les 15 minutes, en continu. Certaines tentatives de rafraîchissement peuvent échouer à cause du verrouillage, mais suffisamment réussissent pour garder votre endpoint SQL Analytics relativement à jour.

Capture d’écran d’une configuration de planification de terminaux SQL Analytics en rafraîchissement récurrent.

Cette approche est pratique et robuste pour de nombreuses charges de travail d’analytique.

Enregistrer et exécuter ou planifier le pipeline

Basculez vers l’onglet Accueil en haut de l’éditeur de pipeline et sélectionnez le bouton Enregistrer pour enregistrer votre pipeline. Sélectionnez Exécuter pour l’exécuter directement ou planifier des exécutions à des moments ou intervalles spécifiques. Pour plus d’informations sur les exécutions de pipeline, consultez : planifier des exécutions de pipeline.

Capture d'écran montrant l'onglet Accueil dans l'éditeur de pipeline avec le nom de l'onglet, les boutons Enregistrer, Exécuter et Planifier en surbrillance.

Après l’exécution, vous pouvez surveiller l’exécution du pipeline et afficher l’historique des exécutions à partir de l’onglet Sortie sous le canevas.

Problèmes connus

Contenu connexe

  • Last updated on