Observability

Lakebase vous propose quatre façons de comprendre ce que fait une base de données Postgres :

  • Télémétrie Lakebase dans les tables système (Bêta) : plans de requête, historique de session, événements d’attente, modifications de schéma et journaux, capturés automatiquement dans le system.lakebase schéma.
  • Insights (Bêta) : un agent de fond qui examine cette télémétrie selon un planning et met en lumière les problèmes diagnostiqués.
  • Génie : aide conversationnelle pour enquêter sur un problème, lire la télémétrie et ajuster la configuration d’un projet.
  • Métriques et activité : vues intégrées des métriques de calcul et Postgres, requêtes en cours, performances récentes des requêtes et opérations de plateforme.

Des métriques et des vues d’activité sont disponibles pour chaque projet. Les deux fonctionnalités Bêta sont activées depuis la page des Aperçus.

Télémétrie de Lakebase dans les tables système

Insights et Genie lisent tous deux la télémétrie Lakebase dans des tables système. Insights est proactif, examinant la télémétrie selon un planning configurable ou à la demande et faisant apparaître des problèmes et des alertes précoces sans qu’on le lui demande. Genie est interactif, il enquête sur un problème que vous décrivez avec vos propres mots et propose une solution que vous confirmez. Fix with Genie transmet un aperçu de sa page de détails à Genie.

Lakebase écrit en continu la télémétrie Postgres dans le system.lakebase schéma, vous fournissant un historique interrogatif du comportement de votre base de données. Ces tables contiennent les plans de requête, l’historique des sessions, les événements d’attente, l’historique des modifications de schéma, la santé de la base de données et du calcul, ainsi que les journaux Postgres, et les enregistrements sont conservés pendant 7 jours.

Les administrateurs de compte et les administrateurs du metastore peuvent lire ces tables et y gérer l’accès. Tout utilisateur ayant obtenu l’accès peut interroger cette télémétrie comme il le ferait avec n’importe quelle table du catalogue Unity : depuis un carnet, un tableau de bord ou Genie. Voir la télémétrie Lakebase dans les tables système pour les tables et leurs colonnes, et la référence de table système Lakebase pour leur position par rapport aux autres tables système.

Aperçus

Insights examine la télémétrie capturée et met en lumière les problèmes sans qu’on le demande, chacun avec une gravité, les preuves qui les sous-tendent, et une solution recommandée. Il s’exécute par projet sur une identité système gérée, selon un planning que vous définissez dans les paramètres du projet ou une fois à la demande. La correction de ce qu’il détecte se poursuit généralement dans Genie.

Génie

Genie enquête sur un problème et propose une solution que vous confirmez. Utilisez-le sur quelque chose que vous avez remarqué vous-même, ou pour résoudre un problème détecté par Insights. Il lit la télémétrie capturée pour les utilisateurs qui y ont accès, et il vous aide aussi à ajuster la configuration d’un projet.

Indicateurs et activité

La page Lakebase Monitoring montrant les métriques en temps réel et l’exécution des requêtes

Ouvrez la page de Surveillance d’un projet dans l’application Lakebase pour voir ce que fait votre base de données, en fonction de la branche et du calcul que vous sélectionnez. Ces vues lisent directement les métriques de votre calcul et les statistiques propres à Postgres. Les graphiques de métriques remontent jusqu’à sept jours, tandis que les vues de requête se réinitialisent lorsqu’un calcul est suspendu.

Tool Descriptif
Metrics Graphiques de la RAM, du processeur, des connexions, de la taille de la base de données, du cache, et plus encore, d’un calcul, sur une période de temps sélectionnée.
Requêtes actives Les requêtes en cours d’exécution actuellement, depuis pg_stat_activity. Triez par durée pour trouver des opérations de longue durée.
Performance des requêtes Les 100 requêtes récentes les plus récentes par appels et temps d’exécution, depuis pg_stat_statements, regroupées par instruction normalisée.
Opérations système Un journal des actions de la plateforme sur le projet : démarrer et suspendre le calcul, créer des branches, appliquer la config.