Sistem tablolarında Lakebase telemetrisi

Important

Bu özellik Beta sürümündedir. Bunu kullanmak için, bir çalışma alanı yöneticisinin Önizlemeler sayfasından System Tables içinde Lakebase Observability'yi açması gerekir. Bkz. Azure Databricks önizlemelerini yönetme.

Lakebase, gözlemlenebilirlik telemetrisini system.lakebase şemaya kaydeder, gelişmiş Postgres sinyalleriyle başlar. Yakalama otomatik olur. Bu önizleme etkinleştirildiğinde, telemetri bu tablolara iner ve bir projenin hesaplaması çalışır. Oluşturulacak bir yapılandırma, seçilecek bir hedef ve sağlanacak bir kimlik bilgileri yok. Insights ve Genie aynı tabloları okur ve onları herhangi bir Azure Databricks aracıyla sorgulayabilirsiniz.

Note

Tablo ve sütun adları genel kullanılabilirlik öncesinde değişebilir.

Requirements

  • System Tables içindeki Lakebase Observability önizleme çalışma alanınız için etkinleştirilmiş.
  • AWS veya Azure üzerinde bir Lakebase projesi. Bkz. Postgres veritabanı alma.

Yakalananlar

Lakebase, yavaş veya arızalanan bir veritabanını açıklamak için gereken sinyalleri aşağıdaki tablolar üzerinden kaydeder:

Yakalananlar Tablo adı
Etkin oturumlar ve bekleme olayları system.lakebase.active_session_history, system.lakebase.wait_event_counters
Sorgu planları ve sorgu başına yürütme istatistikleri system.lakebase.plan_history, system.lakebase.pg_stat_statements_counters
Şema değişiklikleri: nelerin değiştiği, ne zaman ve kim tarafından yapıldığı system.lakebase.ddl_history
Veritabanı istatistikleri: boyut, okunan ve değiştirilen satırlar ve oturum sayıları system.lakebase.database_counters, system.lakebase.database_gauges
İşlem kaynağı kullanımı: CPU, bellek, önbellek, bağlantılar system.lakebase.compute_counters, system.lakebase.compute_gauges
Bir başarısızlığın altında yatan hata da dahil olmak üzere ham Postgres günlük iletileri system.lakebase.postgres_logs

Kayıtlar 7 gün boyunca saklanır. Bu sayfanın geri kalanı her tablodaki her sütunu belgeler. Bu tabloların diğer sistem tabloları arasında nerede yer aldığı için Lakebase sistem tablosu referansına bakınız.

Access

Tablolar system.lakebase Unity Kataloğu tarafından yönetilir. Hem hesap yöneticisi hem de metastore yöneticisi rolüne sahip kullanıcılar telemetriyi okuyup erişimi yönetebiliyor. Bkz. Unity Kataloğu'nda ayrıcalıkları yönetme.

Erişim şema seviyesinde uygulanır, yani okuyabilen system.lakebase bir kullanıcı hesaptaki her proje için telemetri görür.

Maskeli ifade metni

Hesap yöneticisi veya databricks_pii_access hesap düzeyindeki grup üyesi değilseniz ifade metni tutan sütunlar geri dönür<REDACTED>. Bir hesap yöneticisi o grubu oluşturup yönetiyor. Grup oluştur ve yönet databricks_pii_access ve maskeli ifade metnine eriş bölümlerine bakınız.

Her tablo için ortak sütunlar

Aşağıdaki her tablo, satırın nereden geldiğini tanımlayan şu sütunları içerir:

Column Tür Description
project_id STRING Satırın geldiği Lakebase projesi.
branch_id STRING Satırın geldiği dal.
endpoint_id STRING Satırın geldiği işlem uç noktası.
compute_id STRING Belirli bir işlem örneği. İşlem sıfıra ölçeklendirildiğinde ve sürdürülürken bu durum değişir.
ts TIMESTAMP Satır kaydedildiğinde.
compute_mode STRING İşlemin o sırada modu, örneğin okuma-yazma veya salt okunur.

adlarıyla biten tablolarda _counters , bir satırın değerlerinin biriktiği aralığın başlangıcını işaretleyerek bir previous_ts sütun da bulunur. Bunlar belirli bir noktaya okumalar için değil, bu aralık için birikmeli değerlerdir. ile _gauges biten tablolar bunun yerine belirli bir noktaya okumadır ve değeri yoktur previous_ts.

Aşağıdaki tablolarda yalnızca bu yaygın sütunların ötesindeki sütunlar listelenmiştir.

Oturum etkinliği

Sürekli olarak örneklenen her etkin arka ucun anlık görüntüsü. Bu, AWS Performance Insights veya Oracle'ın Etkin Oturum Geçmişi (ASH) ile aynı düzendedir: Bir oturum bekleme de dahil olmak üzere herhangi bir şey yapıyorsa burada gösterilir.

active_session_history

Column Tür Description
sample_seq LONG Bu örneğin toplu iş içindeki sıralı konumu.
pid LONG Arka ucun işlem kimliği.
datid LONG Veritabanının nesne kimliği.
userid LONG Bağlanan rolün nesne kimliği.
queryid LONG Çalıştırılmakta olan sorguyu tanımlar. içinde eşleşir queryidpg_stat_statements_counters.
wait_event_info LONG Bekleme olayının iç kodlaması.
wait_event_type STRING Bekleme olayının kategorisi, örneğin Timeout veya Lock.
wait_event STRING Belirli bir bekleme olayı, örneğin PgSleep.
backend_state LONG Arka ucun durumu, örneğin etkin veya boşta.
backend_type LONG Arka uç işleminin türü.
xact_age_ms LONG Geçerli işlemin ne kadar süreyle açık olduğu.
query_age_ms LONG Geçerli sorgunun ne kadar süredir çalıştığını.
blocking_pid LONG Varsa, oturumun PID'i bunu engelliyor.
leader_pid LONG Bu arka uç bir paralel çalışansa, paralel sorgu öncüsünün PID'i.
flags LONG İç durum bayrakları.
plan_fingerprint LONG içindeki belirli bir plan şekline plan_historybağlantılar.
appname_hash LONG Bağlanan uygulamanın adının karması.

Bekleme olayları

içinde örnek başına görünümü active_session_historytamamlayan toplam bekleme olayı sayısı ve zamanı.

wait_event_counters

Column Tür Description
wait_event_id LONG Bekleme olayının iç kodlaması.
wait_class_name STRING Bekleme olayının kategorisi.
wait_event_name STRING Belirli bir bekleme olayı.
wait_event_count LONG Bu bekleme olayının aralıkta kaç kez gerçekleştiği.
wait_event_time ÇİFT Aralık boyunca bu bekleme olayında harcanan toplam süre.

Sorgu planları

Tam plan ve Neon'a özgü depolama istatistikleri dahil olmak üzere sorgu planlarının yürütme başına kaydı. Bu en ayrıntılı tablodur ve genellikle yavaş sorgu araştırması yapılır.

plan_history

Column Tür Description
row_position LONG Bu satırın toplu iş içindeki sıralı konumu.
analyze_enabled BOOLEAN Planın yalnızca tahminleri değil gerçek yürütme istatistiklerini ()EXPLAIN ANALYZE içerip içermediği.
buffers_enabled BOOLEAN Planın arabellek kullanım istatistikleri içerip içermediği.
query_hash STRING Sorgu metnini tanımlayan karma.
queryid LONG Sorguyu tanımlar. ve queryidile pg_stat_statements_counters eşleşiractive_session_history.
duration_ms ÇİFT Sorgunun çalıştırılmasının ne kadar sürdüğü.
total_cost ÇİFT Planlayıcının sorgu için tahmini maliyeti.
plan_rows LONG Planlayıcının tahmini satır sayısı.
actual_rows LONG Gerçek satır sayısı döndürüldü.
plan_fingerprint LONG Bu özel plan şeklini tanımlar. içinde eşleşir plan_fingerprintactive_session_history.
lock_wait_time_ms ÇİFT Kilitleri beklerken harcanan zaman.
planning_time_ms ÇİFT Sorguyu planlamak için harcanan zaman yürütmeden ayrıdır.
shared_blks_hit / shared_blks_read / shared_blks_dirtied / shared_blks_written LONG Bu yürütme için paylaşılan arabellek önbelleği etkinliği.
local_blks_hit / local_blks_read / local_blks_dirtied / local_blks_written LONG Geçici tablolar için yerel arabellek etkinliği.
temp_blks_read / temp_blks_written LONG Örneğin büyük bir sıralama veya karmadan geçici dosya etkinliği.
neon_getpage_count LONG Sayfa sunucusuna gönderilen sayfa isteği sayısı.
neon_file_cache_hits LONG Sayfa sunucusu yerine yerel dosya önbelleğinden sunulan sayfa sayısı.
neon_getpage_wait_us LONG Mikrosaniye olarak sayfa sunucusu sayfa isteklerinde beklerken harcanan süre.
backend_pid LONG Bu sorguyu çalıştıran arka uç işlem kimliği.
lock_wait_count LONG Bu yürütmenin kilitte kaç kez beklediği.
userid / dbid LONG Bağlanan rolün ve veritabanının nesne kimlikleri.
query_text STRING Sorgu metni. Maskeli. Maskeli ifade metnine bakınız.
plan_json STRING JSON olarak tam sorgu planı. Maskeli. Maskeli ifade metnine bakınız.
usename / datname STRING Bağlanan rolün ve veritabanının adları.
application_name / client_addr STRING Bağlanan uygulamanın adı ve istemci adresi.
wait_events STRING Bu yürütme sırasında gözlemlenen bekleme olayları.
parameters STRING Varsa sorguda kullanılan bağlama parametreleri. Maskeli. Maskeli ifade metnine bakınız.
blocking_pids STRING Varsa, bu yürütmeyi engelleyen oturumların PID'leri.
neon_branch_id / neon_endpoint_id / neon_timeline_id STRING Dal, uç nokta ve zaman çizelgesi için iç Neon tanımlayıcıları.
cpu_user_time_ms / cpu_sys_time_ms ÇİFT Bu yürütme tarafından tüketilen CPU süresi, kullanıcı ve sistem süresine bölünür.
voluntary_csw / involuntary_csw LONG Bu yürütme sırasında bağlam geçişleri yapar.
trace_id / span_id / trace_flags / service_name TEL / IP / UZUN / TEL Sorgu, izlenen bir isteğin parçasıysa OpenTelemetry stili izleme tanımlayıcıları.
timeline_id LONG İç zaman çizelgesi tanımlayıcısı.
truncated BOOLEAN Bu satırın verilerinin (örneğin, büyük bir plan) yazılmadan önce kesilip kesilmediği.

Sorgu istatistikleri

Standart pg_stat_statements uzantıdan alınan sorgu başına toplanan istatistikler.

pg_stat_statements_counters

Column Tür Description
userid / dbid LONG Bağlanan rolün ve veritabanının nesne kimlikleri.
queryid LONG Sorguyu tanımlar. ve queryidile plan_history eşleşiractive_session_history.
toplevel BOOLEAN Bu satırın, PL/pgSQL işlevinin veya yordamının içinde iç içe yerleştirilmiş bir deyim yerine üst düzey bir deyim için olup olmadığı. Bkz. PL/pgSQL sınırlaması.
query STRING Sorgu metni. Maskeli. Maskeli ifade metnine bakınız.
calls LONG Bu sorgunun aralıkta kaç kez yürütüldü?
plans LONG Bu sorgunun aralıkta kaç kez planlandığı.
rows LONG Döndürülen veya etkilenen toplam satır sayısı.
total_exec_time / total_plan_time ÇİFT Aralıkta bu sorguyu yürütmek ve planlamak için harcanan toplam süre.
shared_blks_hit / shared_blks_read / shared_blks_dirtied / shared_blks_written LONG Paylaşılan arabellek önbelleği etkinliği.
local_blks_hit / local_blks_read / local_blks_dirtied / local_blks_written LONG Geçici tablolar için yerel arabellek etkinliği.
temp_blks_read / temp_blks_written LONG Geçici dosya etkinliği.
wal_bytes / wal_fpi / wal_records LONG Bu sorgu tarafından oluşturulan önceden yazma günlük birimi.
jit_emission_count / jit_emission_time / jit_functions / jit_generation_time / jit_inlining_count / jit_inlining_time / jit_optimization_count / jit_optimization_time Mixed Bu sorgu için JIT kullanıldıysa JIT (tam zamanında) derleme istatistikleri.

Şema değişiklikleri

Şema değişiklikleri: ne zaman, ne zaman ve kim tarafından değişti. Genie' nin, dağıtımdan veya el ile düzenlemeden bir olayı şema değişikliğine kadar izlemek için okuduğu şey budur.

ddl_history

Column Tür Description
row_position LONG Bu satırın toplu iş içindeki sıralı konumu.
command_tag STRING DDL komutunun türü, örneğin ALTER TABLE.
object_type / object_name STRING Değişen nesnenin türü ve adı.
schema_name STRING Nesnenin ait olduğu Postgres şeması.
query_text STRING Tam DDL deyimi. Maskeli. Maskeli ifade metnine bakınız.
duration_ms ÇİFT DDL deyiminin çalışması ne kadar sürdü?
userid / usename UZUN / TELI Bağlanan rolün nesne kimliği ve adı.
application_name STRING Bağlanan uygulamanın adı.
backend_pid LONG deyimini çalıştıran arka uç işlem kimliği.
dbid LONG Veritabanının nesne kimliği.
search_path STRING O sırada oturumun arama yolu.
ddl_json STRING DDL deyiminin yapılandırılmış, ayrıştırılmış gösterimi. Maskeli. Maskeli ifade metnine bakınız.

Note

DDL yakalama gerçek bir boşluğa sahiptir: Doğrudan ölçek-sıfırdan sıfıra devam eden bir işlem etrafında yapılan bir değişiklik kaçırılabilir. Şema değişikliği olduğunu bilmenize rağmen burada görünmüyorsa, en olası neden budur. Bkz. Sınırlamalar.

Postgres günlükleri

Ham Postgres, bir hatanın ardındaki hata da dahil olmak üzere iletileri günlüğe kaydeder.

postgres_logs

Column Tür Description
sample_seq LONG Bu satırın toplu iş içindeki sıralı konumu.
elevel LONG İç günlük düzeyi kodlama.
severity STRING Günlük önem derecesi, örneğin ERROR veya LOG.
sqlstate STRING Postgres SQLSTATE hata kodu, örneğin 42703 tanımsız bir sütun.
backend_pid / leader_backend_pid LONG Arka uç işlem kimliği ve varsa paralel sorgu liderinin PID değeri.
userid / usename UZUN / TELI Bağlanan rolün nesne kimliği ve adı.
datid / datname UZUN / TELI Veritabanının nesne kimliği ve adı.
application_name / client_addr STRING Bağlanan uygulamanın adı ve istemci adresi.
schema_name / table_name / column_name / constraint_name / datatype_name STRING Postgres'de bir tane olduğunda hata tarafından başvuruda bulunılan şema, tablo, sütun, kısıtlama veya veri türü.
funcname STRING Varsa hatanın oluştuğu işlev.
filename / lineno TELI / UZUN Postgres kaynak dosyası ve hatanın kaynaklandığı satır.
message STRING Günlük iletisi metni.
detail / hint / context STRING Postgres'in sahip olduğu ek ayrıntılar, önerilen bir düzeltme ve hatanın bağlamı.
internalquery STRING Varsa, hatayla ilgili dahili olarak oluşturulmuş bir sorgu.
statement STRING Bu günlük girdisini tetikleyen deyim. Maskeli. Maskeli ifade metnine bakınız.
truncated_mask LONG Varsa, hangi alanların yazılmadan önce kesildiğini gösterir.

Note

Yapılandırılmış schema_name, table_nameve column_name alanları her hata türü için doldurulmuyor. Düz bir "sütun yok" ayrıştırma hatası (SQLSTATE 42703 ), örneğin, sütunu doğrudan adlandırsa message bile boş bırakır. Doldurulan bu alanlara güvenmeyin. Önce kontrol edin message .

Metrikleri hesapla

İşlem düzeyi kaynak kullanımı: CPU, bellek, disk ve ağ G/Ç ve yerel dosya önbelleği (LFC), Lakebase'in sayfa sunucusu önünde işlem tarafı önbelleği.

compute_counters

Column Tür Description
backpressure_throttling_seconds ÇİFT Depolama katmanının bu aralıktaki yazmaları azaltmaya harcadığı süre. Sıfır olmayan bir değer, yazma biriminin depolamanın emebileceği değeri aştığı anlamına gelir.
host_busiest_cpu_seconds / host_cpu_seconds ÇİFT En yoğun çekirdek için ve toplamda tüketilen CPU süresi.
host_disk_read_bytes / host_disk_written_bytes ÇİFT Disk G/Ç birimi.
host_network_receive_bytes / host_network_transmit_bytes ÇİFT Ağ G/Ç birimi.
lfc_evictions / lfc_hits / lfc_misses / lfc_writes LONG Bu aralık için yerel dosya önbelleği etkinliği.
replica_lfc_redo_evictions LONG Bu işlem bir okuma çoğaltmasıysa çoğaltma yinelemesi nedeniyle yerel dosya önbelleği çıkarmaları.

compute_gauges

Column Tür Description
current_lsn LONG Geçerli önceden yazma günlük konumu.
replica_wal_replay_lsn / replica_wal_receive_lsn LONG Bu işlem okuma amaçlı bir çoğaltmaysa WAL yeniden yürütme ve alma konumları.
max_connections LONG Yapılandırılan bağlantı sınırı.
lfc_working_set_size_5m / lfc_working_set_size_15m / lfc_working_set_size_60m LONG Son 5, 15 ve 60 dakika içinde tahmini çalışma kümesi boyutu.
lfc_size_limit / lfc_allocated / lfc_used LONG Yerel dosya önbelleği kapasitesi ve geçerli kullanım.
total_size_limit / total_size LONG Genel depolama kapasitesi ve geçerli kullanım.
replication_lag_bytes / replication_lag_time_ms UZUN / ÇIFT Bu işlem bir okuma amaçlı çoğaltmaysa çoğaltma gecikmesi.
host_logical_cpus / host_memory_total_bytes ÇİFT İşlemin sağlanan CPU ve belleği.

Veritabanı ölçümleri

Veritabanı başına etkinlik: satırlar değiştirildi, işlemler, oturumlar ve vakum durumu. Burası tablo şişkinliği ve otomatik vakum sinyallerinin yaşadığı yerdir.

database_counters

Column Tür Description
datid / datname UZUN / TELI Veritabanının nesne kimliği ve adı.
active_time_ms / idle_in_transaction_time_ms / session_time_ms ÇİFT Etkin, açık bir işlemde boşta ve genel olarak bağlı harcanan süre.
deadlocks LONG Algılanan kilitlenme sayısı.
rows_deleted / rows_fetched / rows_inserted / rows_returned / rows_updated LONG Aralık için satır düzeyi etkinliği.
sessions_abandoned / sessions_established / sessions_fatal / sessions_killed LONG Oturum yaşam döngüsü sayıları.
shared_blks_hit / shared_blks_read LONG Paylaşılan arabellek önbelleği etkinliği.
xact_commit / xact_rollback LONG Yürütülen ve geri alınan işlemler.

database_gauges

Column Tür Description
datid / datname UZUN / TELI Veritabanının nesne kimliği ve adı.
numbackends LONG Bu veritabanına geçerli bağlantı sayısı.
size LONG Veritabanının disk boyutu.
oldest_frozen_xid_age / oldest_mxid_age LONG En eski çözülmemiş satırın işlem kimliği ve çok faktörlü kimlik yaşı. Yükselen değerler, vakumun tablo boyutunda görünür hale gelmeden önce en erken geri düştüğü sinyaldir.

Sınırlamalar

Note

Şifreler, bir ifade ele geçirildiğinde sansürlenir, böylece ele CREATE ROLEPASSWORD '***'geçirilen bir ifade okunur. Redaksiyon, ifadedeki şifrenin tespit edilmesine bağlıdır ve yanlış biçimlendirilmiş bir ifade tespit edilmekten kaçabiliyor.

Azure Databricks, Azure Databricks identitys'lerini tokenlarla doğrulayan ve yazmak için şifre bırakmayan OAuth rollerini önerir.

Aşağıdaki sınırlamalar geçerlidir:

  • COPY Operasyonlar sorgu planı geçmişinde kaydedilmez.

  • PL/pgSQL işlevi veya yordamı içinde yürütülen bir sorgu, üst düzey bir deyim olarak da çalıştırılmadığı sürece sorgu düzeyinde telemetride yakalanmaz. Postgres'in kendi deyim izlemesi varsayılan olarak yalnızca üst düzey deyimleri sayar.

  • Dallar ve uç noktalar, telemetri ve içgörülerde dahili ID ile (örneğin, br-odd-mud-y2icrn1h), "üretim" gibi bir gösterim ismasıyla değil, görünür. Bir içgörü veya tablo satırının hangi dal veya uç noktaya atıfta olduğunu doğrulamanız gerekiyorsa, Lakebase arayüzünde ID'yi çapraz referansla karşılaştırın.

  • Telemetri yakalamayı etkinleştiren GUC'ler otomatik olarak mevcut bir işleme yayılmayabilir. Önizleme etkinleştirildikten sonra telemetri görünmezse, projeye bağlanın ve kontrol edin:

    SHOW neon_monitor.log_capture_enabled;
SHOW databricks.o11y_exporter_enabled;

    Her ikisi de on döndürmelidir. Bunlardan herhangi biri off döndürürse, işlem uç noktasını yeniden başlatın.

Miras gözlemlenebilirlik konfigürasyonları

Telemetri sistem tablolarına geçmeden önce, kendi Unity Kataloğunuzda bir katalog ve şemaya telemetriyi yakalayan ve önceden oluşturulmuş gösterge panelleri sağlayan bir gözlemlenebilirlik yapılandırması oluşturabiliyordunuz. Mevcut yapılandırmalar çalışmaya devam ediyor ve gösterge panelleri hâlâ kullanılabilir. Artık yeni gözlemlenebilirlik yapılandırmaları oluşturamazsınız ve sistem tablolarına capture kontrol paneli oluşturmaz.

Sonraki Adımlar

  • Last updated on