Telemetri tablosu başvurusu

Important

Bu özellik Beta sürümündedir. Çalışma alanı yöneticileri Bu özelliğe erişimi Önizlemeler sayfasından denetleyebilir. Bkz. Azure Databricks önizlemelerini yönetme.

Bu sayfada, proje için gözlemlenebilirliği yapılandırdıktan sonra Lakebase'in Unity Kataloğu şemanıza yazdığı tablolar belgelenmiştir. İçgörüler ve Genie bu verileri okur ve kendi Unity Kataloğunuza ekli olduğundan, herhangi bir Azure Databricks aracıyla doğrudan sorgulayabilirsiniz.

Note

Bu bir Beta özelliğidir. Tablo ve sütun adları genel kullanılabilirlik öncesinde değişebilir.

Yakalananlar

Lakebase, deneyimli bir DBA'nın arayacağı sinyalleri yakalar; bunlar dışa aktarıldıktan sonra doğrudan sorgulayabileceğiniz birkaç tabloda toplanır:

Yakalananlar Nereye indiği
Etkin oturumlar ve bekleme olayları active_session_history, wait_event_counters
Sorgu planları ve sorgu başına yürütme istatistikleri plan_history, pg_stat_statements_counters
Şema değişiklikleri: nelerin değiştiği, ne zaman ve kim tarafından yapıldığı ddl_history
Veritabanı istatistikleri: boyut, okunan ve değiştirilen satırlar ve oturum sayıları database_counters, database_gauges
İşlem kaynağı kullanımı: CPU, bellek, önbellek, bağlantılar compute_counters, compute_gauges
Bir başarısızlığın altında yatan hata da dahil olmak üzere ham Postgres günlük iletileri postgres_logs

Insights ve Genie, bu verileri okuyor, cevaplarını veritabanınızda gerçekten ne olduğunu temel alıyor ve aynı tablolar hazır gözlemlenebilirlik panellerini besliyor. Bu sayfanın geri kalanı her tablodaki her sütunu belgeler.

Her tablo için ortak sütunlar

Aşağıdaki her tablo, satırın nereden geldiğini tanımlayan şu sütunları içerir:

Column Tür Description
project_id STRING Satırın geldiği Lakebase projesi.
branch_id STRING Satırın geldiği dal.
endpoint_id STRING Satırın geldiği işlem uç noktası.
compute_id STRING Belirli bir işlem örneği. İşlem sıfıra ölçeklendirildiğinde ve sürdürülürken bu durum değişir.
ts TIMESTAMP Satır kaydedildiğinde.
compute_mode STRING İşlemin o sırada modu, örneğin okuma-yazma veya salt okunur.

adlarıyla biten tablolarda _counters , bir satırın değerlerinin biriktiği aralığın başlangıcını işaretleyerek bir previous_ts sütun da bulunur. Bunlar belirli bir noktaya okumalar için değil, bu aralık için birikmeli değerlerdir. ile _gauges biten tablolar bunun yerine belirli bir noktaya okumadır ve değeri yoktur previous_ts.

Aşağıdaki tablolarda yalnızca bu yaygın sütunların ötesindeki sütunlar listelenmiştir.

Oturum etkinliği

Sürekli olarak örneklenen her etkin arka ucun anlık görüntüsü. Bu, AWS Performance Insights veya Oracle'ın Etkin Oturum Geçmişi (ASH) ile aynı düzendedir: Bir oturum bekleme de dahil olmak üzere herhangi bir şey yapıyorsa burada gösterilir.

active_session_history

Column Tür Description
sample_seq LONG Bu örneğin toplu iş içindeki sıralı konumu.
pid LONG Arka ucun işlem kimliği.
datid LONG Veritabanının nesne kimliği.
userid LONG Bağlanan rolün nesne kimliği.
queryid LONG Çalıştırılmakta olan sorguyu tanımlar. içinde eşleşir queryidpg_stat_statements_counters.
wait_event_info LONG Bekleme olayının iç kodlaması.
wait_event_type STRING Bekleme olayının kategorisi, örneğin Timeout veya Lock.
wait_event STRING Belirli bir bekleme olayı, örneğin PgSleep.
backend_state LONG Arka ucun durumu, örneğin etkin veya boşta.
backend_type LONG Arka uç işleminin türü.
xact_age_ms LONG Geçerli işlemin ne kadar süreyle açık olduğu.
query_age_ms LONG Geçerli sorgunun ne kadar süredir çalıştığını.
blocking_pid LONG Varsa, oturumun PID'i bunu engelliyor.
leader_pid LONG Bu arka uç bir paralel çalışansa, paralel sorgu öncüsünün PID'i.
flags LONG İç durum bayrakları.
plan_fingerprint LONG içindeki belirli bir plan şekline plan_historybağlantılar.
appname_hash LONG Bağlanan uygulamanın adının karması.

Bekleme olayları

içinde örnek başına görünümü active_session_historytamamlayan toplam bekleme olayı sayısı ve zamanı.

wait_event_counters

Column Tür Description
wait_event_id LONG Bekleme olayının iç kodlaması.
wait_class_name STRING Bekleme olayının kategorisi.
wait_event_name STRING Belirli bir bekleme olayı.
wait_event_count LONG Bu bekleme olayının aralıkta kaç kez gerçekleştiği.
wait_event_time ÇİFT Aralık boyunca bu bekleme olayında harcanan toplam süre.

Sorgu planları

Tam plan ve Neon'a özgü depolama istatistikleri dahil olmak üzere sorgu planlarının yürütme başına kaydı. Bu en ayrıntılı tablodur ve genellikle yavaş sorgu araştırması yapılır.

plan_history

Column Tür Description
row_position LONG Bu satırın toplu iş içindeki sıralı konumu.
analyze_enabled BOOLEAN Planın yalnızca tahminleri değil gerçek yürütme istatistiklerini ()EXPLAIN ANALYZE içerip içermediği.
buffers_enabled BOOLEAN Planın arabellek kullanım istatistikleri içerip içermediği.
query_hash STRING Sorgu metnini tanımlayan karma.
queryid LONG Sorguyu tanımlar. ve queryidile pg_stat_statements_counters eşleşiractive_session_history.
duration_ms ÇİFT Sorgunun çalıştırılmasının ne kadar sürdüğü.
total_cost ÇİFT Planlayıcının sorgu için tahmini maliyeti.
plan_rows LONG Planlayıcının tahmini satır sayısı.
actual_rows LONG Gerçek satır sayısı döndürüldü.
plan_fingerprint LONG Bu özel plan şeklini tanımlar. içinde eşleşir plan_fingerprintactive_session_history.
lock_wait_time_ms ÇİFT Kilitleri beklerken harcanan zaman.
planning_time_ms ÇİFT Sorguyu planlamak için harcanan zaman yürütmeden ayrıdır.
shared_blks_hit / shared_blks_read / shared_blks_dirtied / shared_blks_written LONG Bu yürütme için paylaşılan arabellek önbelleği etkinliği.
local_blks_hit / local_blks_read / local_blks_dirtied / local_blks_written LONG Geçici tablolar için yerel arabellek etkinliği.
temp_blks_read / temp_blks_written LONG Örneğin büyük bir sıralama veya karmadan geçici dosya etkinliği.
neon_getpage_count LONG Sayfa sunucusuna gönderilen sayfa isteği sayısı.
neon_file_cache_hits LONG Sayfa sunucusu yerine yerel dosya önbelleğinden sunulan sayfa sayısı.
neon_getpage_wait_us LONG Mikrosaniye olarak sayfa sunucusu sayfa isteklerinde beklerken harcanan süre.
backend_pid LONG Bu sorguyu çalıştıran arka uç işlem kimliği.
lock_wait_count LONG Bu yürütmenin kilitte kaç kez beklediği.
userid / dbid LONG Bağlanan rolün ve veritabanının nesne kimlikleri.
query_text STRING Sorgu metni.
plan_json STRING JSON olarak tam sorgu planı.
usename / datname STRING Bağlanan rolün ve veritabanının adları.
application_name / client_addr STRING Bağlanan uygulamanın adı ve istemci adresi.
wait_events STRING Bu yürütme sırasında gözlemlenen bekleme olayları.
parameters STRING Varsa sorguda kullanılan bağlama parametreleri.
blocking_pids STRING Varsa, bu yürütmeyi engelleyen oturumların PID'leri.
neon_branch_id / neon_endpoint_id / neon_timeline_id STRING Dal, uç nokta ve zaman çizelgesi için iç Neon tanımlayıcıları.
cpu_user_time_ms / cpu_sys_time_ms ÇİFT Bu yürütme tarafından tüketilen CPU süresi, kullanıcı ve sistem süresine bölünür.
voluntary_csw / involuntary_csw LONG Bu yürütme sırasında bağlam geçişleri yapar.
trace_id / span_id / trace_flags / service_name TEL / IP / UZUN / TEL Sorgu, izlenen bir isteğin parçasıysa OpenTelemetry stili izleme tanımlayıcıları.
timeline_id LONG İç zaman çizelgesi tanımlayıcısı.
truncated BOOLEAN Bu satırın verilerinin (örneğin, büyük bir plan) yazılmadan önce kesilip kesilmediği.

Sorgu istatistikleri

Standart pg_stat_statements uzantıdan alınan sorgu başına toplanan istatistikler.

pg_stat_statements_counters

Column Tür Description
userid / dbid LONG Bağlanan rolün ve veritabanının nesne kimlikleri.
queryid LONG Sorguyu tanımlar. ve queryidile plan_history eşleşiractive_session_history.
toplevel BOOLEAN Bu satırın, PL/pgSQL işlevinin veya yordamının içinde iç içe yerleştirilmiş bir deyim yerine üst düzey bir deyim için olup olmadığı. Bkz. PL/pgSQL sınırlaması.
query STRING Sorgu metni.
calls LONG Bu sorgunun aralıkta kaç kez yürütüldü?
plans LONG Bu sorgunun aralıkta kaç kez planlandığı.
rows LONG Döndürülen veya etkilenen toplam satır sayısı.
total_exec_time / total_plan_time ÇİFT Aralıkta bu sorguyu yürütmek ve planlamak için harcanan toplam süre.
shared_blks_hit / shared_blks_read / shared_blks_dirtied / shared_blks_written LONG Paylaşılan arabellek önbelleği etkinliği.
local_blks_hit / local_blks_read / local_blks_dirtied / local_blks_written LONG Geçici tablolar için yerel arabellek etkinliği.
temp_blks_read / temp_blks_written LONG Geçici dosya etkinliği.
wal_bytes / wal_fpi / wal_records LONG Bu sorgu tarafından oluşturulan önceden yazma günlük birimi.
jit_emission_count / jit_emission_time / jit_functions / jit_generation_time / jit_inlining_count / jit_inlining_time / jit_optimization_count / jit_optimization_time Mixed Bu sorgu için JIT kullanıldıysa JIT (tam zamanında) derleme istatistikleri.

Şema değişiklikleri

Şema değişiklikleri: ne zaman, ne zaman ve kim tarafından değişti. Genie' nin, dağıtımdan veya el ile düzenlemeden bir olayı şema değişikliğine kadar izlemek için okuduğu şey budur.

ddl_history

Column Tür Description
row_position LONG Bu satırın toplu iş içindeki sıralı konumu.
command_tag STRING DDL komutunun türü, örneğin ALTER TABLE.
object_type / object_name STRING Değişen nesnenin türü ve adı.
schema_name STRING Nesnenin ait olduğu Postgres şeması.
query_text STRING Tam DDL deyimi.
duration_ms ÇİFT DDL deyiminin çalışması ne kadar sürdü?
userid / usename UZUN / TELI Bağlanan rolün nesne kimliği ve adı.
application_name STRING Bağlanan uygulamanın adı.
backend_pid LONG deyimini çalıştıran arka uç işlem kimliği.
dbid LONG Veritabanının nesne kimliği.
search_path STRING O sırada oturumun arama yolu.
ddl_json STRING DDL deyiminin yapılandırılmış, ayrıştırılmış gösterimi.

Note

DDL yakalama gerçek bir boşluğa sahiptir: Doğrudan ölçek-sıfırdan sıfıra devam eden bir işlem etrafında yapılan bir değişiklik kaçırılabilir. Şema değişikliği olduğunu bilmenize rağmen burada görünmüyorsa, en olası neden budur. Bkz. Sınırlamalar.

Postgres günlükleri

Ham Postgres, bir hatanın ardındaki hata da dahil olmak üzere iletileri günlüğe kaydeder.

postgres_logs

Column Tür Description
sample_seq LONG Bu satırın toplu iş içindeki sıralı konumu.
elevel LONG İç günlük düzeyi kodlama.
severity STRING Günlük önem derecesi, örneğin ERROR veya LOG.
sqlstate STRING Postgres SQLSTATE hata kodu, örneğin 42703 tanımsız bir sütun.
backend_pid / leader_backend_pid LONG Arka uç işlem kimliği ve varsa paralel sorgu liderinin PID değeri.
userid / usename UZUN / TELI Bağlanan rolün nesne kimliği ve adı.
datid / datname UZUN / TELI Veritabanının nesne kimliği ve adı.
application_name / client_addr STRING Bağlanan uygulamanın adı ve istemci adresi.
schema_name / table_name / column_name / constraint_name / datatype_name STRING Postgres'de bir tane olduğunda hata tarafından başvuruda bulunılan şema, tablo, sütun, kısıtlama veya veri türü.
funcname STRING Varsa hatanın oluştuğu işlev.
filename / lineno TELI / UZUN Postgres kaynak dosyası ve hatanın kaynaklandığı satır.
message STRING Günlük iletisi metni.
detail / hint / context STRING Postgres'in sahip olduğu ek ayrıntılar, önerilen bir düzeltme ve hatanın bağlamı.
internalquery STRING Varsa, hatayla ilgili dahili olarak oluşturulmuş bir sorgu.
statement STRING Bu günlük girdisini tetikleyen deyim.
truncated_mask LONG Varsa, hangi alanların yazılmadan önce kesildiğini gösterir.

Note

Yapılandırılmış schema_name, table_nameve column_name alanları her hata türü için doldurulmuyor. Düz bir "sütun yok" ayrıştırma hatası (SQLSTATE 42703 ), örneğin, sütunu doğrudan adlandırsa message bile boş bırakır. Doldurulan bu alanlara güvenmeyin. Önce kontrol edin message .

Metrikleri hesapla

İşlem düzeyi kaynak kullanımı: CPU, bellek, disk ve ağ G/Ç ve yerel dosya önbelleği (LFC), Lakebase'in sayfa sunucusu önünde işlem tarafı önbelleği.

compute_counters

Column Tür Description
backpressure_throttling_seconds ÇİFT Depolama katmanının bu aralıktaki yazmaları azaltmaya harcadığı süre. Sıfır olmayan bir değer, yazma biriminin depolamanın emebileceği değeri aştığı anlamına gelir.
host_busiest_cpu_seconds / host_cpu_seconds ÇİFT En yoğun çekirdek için ve toplamda tüketilen CPU süresi.
host_disk_read_bytes / host_disk_written_bytes ÇİFT Disk G/Ç birimi.
host_network_receive_bytes / host_network_transmit_bytes ÇİFT Ağ G/Ç birimi.
lfc_evictions / lfc_hits / lfc_misses / lfc_writes LONG Bu aralık için yerel dosya önbelleği etkinliği.
replica_lfc_redo_evictions LONG Bu işlem bir okuma çoğaltmasıysa çoğaltma yinelemesi nedeniyle yerel dosya önbelleği çıkarmaları.

compute_gauges

Column Tür Description
current_lsn LONG Geçerli önceden yazma günlük konumu.
replica_wal_replay_lsn / replica_wal_receive_lsn LONG Bu işlem okuma amaçlı bir çoğaltmaysa WAL yeniden yürütme ve alma konumları.
max_connections LONG Yapılandırılan bağlantı sınırı.
lfc_working_set_size_5m / lfc_working_set_size_15m / lfc_working_set_size_60m LONG Son 5, 15 ve 60 dakika içinde tahmini çalışma kümesi boyutu.
lfc_size_limit / lfc_allocated / lfc_used LONG Yerel dosya önbelleği kapasitesi ve geçerli kullanım.
total_size_limit / total_size LONG Genel depolama kapasitesi ve geçerli kullanım.
replication_lag_bytes / replication_lag_time_ms UZUN / ÇIFT Bu işlem bir okuma amaçlı çoğaltmaysa çoğaltma gecikmesi.
host_logical_cpus / host_memory_total_bytes ÇİFT İşlemin sağlanan CPU ve belleği.

Veritabanı ölçümleri

Veritabanı başına etkinlik: satırlar değiştirildi, işlemler, oturumlar ve vakum durumu. Burası tablo şişkinliği ve otomatik vakum sinyallerinin yaşadığı yerdir.

database_counters

Column Tür Description
datid / datname UZUN / TELI Veritabanının nesne kimliği ve adı.
active_time_ms / idle_in_transaction_time_ms / session_time_ms ÇİFT Etkin, açık bir işlemde boşta ve genel olarak bağlı harcanan süre.
deadlocks LONG Algılanan kilitlenme sayısı.
rows_deleted / rows_fetched / rows_inserted / rows_returned / rows_updated LONG Aralık için satır düzeyi etkinliği.
sessions_abandoned / sessions_established / sessions_fatal / sessions_killed LONG Oturum yaşam döngüsü sayıları.
shared_blks_hit / shared_blks_read LONG Paylaşılan arabellek önbelleği etkinliği.
xact_commit / xact_rollback LONG Yürütülen ve geri alınan işlemler.

database_gauges

Column Tür Description
datid / datname UZUN / TELI Veritabanının nesne kimliği ve adı.
numbackends LONG Bu veritabanına geçerli bağlantı sayısı.
size LONG Veritabanının disk boyutu.
oldest_frozen_xid_age / oldest_mxid_age LONG En eski çözülmemiş satırın işlem kimliği ve çok faktörlü kimlik yaşı. Yükselen değerler, vakumun tablo boyutunda görünür hale gelmeden önce en erken geri düştüğü sinyaldir.

Sınırlamalar

Warning

Uygulamaların bağlanması için roller oluşturursanız, bir SQL deyimine girilen CREATE ROLE ... PASSWORD '...' parola sorgu veya deyim geçmişine kaydedilebilir. Rolü UI, SDK, API veya CLI üzerinden oluşturun; bunlar şifreyi sunucu tarafında oluşturur, böylece asla açık metin olarak yazmazsınız. Arayüz, oluşturulan şifreyi bir kez gösterir. SDK, API ve CLI onu geri göndermez, bu yüzden sonrasında bir şifre alın. Şifre nasıl alınırsa bkz.

Beta sırasında aşağıdaki sınırlamalar geçerlidir:

  • COPY işlemler şu anda sorgu planı geçmişinde yakalanmaz.

  • PL/pgSQL işlevi veya yordamı içinde yürütülen bir sorgu, üst düzey bir deyim olarak da çalıştırılmadığı sürece sorgu düzeyinde telemetride yakalanmaz. Postgres'in kendi deyim izlemesi varsayılan olarak yalnızca üst düzey deyimleri sayar.

  • Dallar ve uç noktalar, dışa aktarılan telemetri ve içgörülerde, "production" gibi bir görünen adla değil, dahili kimlikleriyle görünür (örneğin, br-odd-mud-y2icrn1h). Bir içgörünün veya tablo satırının hangi dala ya da uç noktaya karşılık geldiğini doğrulamanız gerekiyorsa, kimliği Lakebase kullanıcı arayüzünde çapraz denetleyin.

  • Telemetri yakalamayı etkinleştiren GUC'ler otomatik olarak mevcut bir işleme yayılmayabilir. Gözlemlenebilirliği yapılandırdıktan sonra telemetri görünmüyorsa projeye bağlanın ve şunları denetleyin:

    SHOW neon_monitor.log_capture_enabled;
SHOW databricks.o11y_exporter_enabled;

    Her ikisi de on döndürmelidir. Bunlardan herhangi biri off döndürürse, işlem uç noktasını yeniden başlatın.

Sonraki Adımlar

  • Last updated on