Referenční informace k tabulce OpenTelemetry pro Ingest nulabus

Důležité

Tato funkce je v beta verzi.

Tato stránka obsahuje referenční informace pro schémata tabulek OpenTelemetry (OTLP) a mapování dat, které používá Zerobus Ingest OTLP.

Schéma tabulky

Jakmile data OTLP dorazí, Nulabus Ingest převede každý záznam z vnořené hierarchie prostředků OTLP/ oboru/záznamu na plochý denormalizovaný řádek. Atributy prostředků a informace o oboru instrumentace jsou vloženy přímo do každého řádku a data se dají okamžitě dotazovat bez spojení.

Všechna pole atributů (attributes, resource.attributes, instrumentation_scope.attributesbody , pro protokoly, metadata pro metriky) se ukládají jako VARIANT sloupce. VARIANT je částečně strukturovaný typ v Delta Lake, který ukládá data JSON při zachování původních typů.

Každý záznam je rozšířen o pole specifická pro Databricks:

Pole Description Zdroj
record_id Systémově generované ID pro jedinečné identifikace a řazení seřazené podle času. Vygenerováno na základě času
time Časové razítko v mikrosekundách z epochy Unixu. Časové razítko (v mikrosekundách) odvozené z start_time_unix_nano rozsahů (rozsahů) nebo time_unix_nano (protokolů, metrik)
date Sloupec oddílu data pro efektivní filtrování časového rozsahu Odvozeno z time
service_name Sloupec nejvyšší úrovně pro efektivní filtrování podle názvu služby, jak je definováno v sémantické konvenci OTel. Extrahován z resource.attributes["service.name"]

Mapování schématu

Nubus Ingestuje data OTLP na sloupce tabulky Delta, jak je popsáno níže.

Denormalizace

V protokolu OTLP se telemetrická data vnořují podobně.

ResourceSpans (or ResourceLogs, ResourceMetrics)
  └── Resource (attributes, schema_url)
       └── ScopeSpans (or ScopeLogs, ScopeMetrics)
            └── InstrumentationScope (name, version, attributes)
                 └── Span (or LogRecord, Metric)

Nubus Ingestuje tuto hierarchii tak, aby každý řádek obsahoval celý kontext:

  • resource: Struktura obsahující atributy prostředků (as VARIANT) a dropped_attributes_count.
  • resource_schema_url: Adresa URL schématu z nadřazených prostředků ResourceSpans, ResourceLogs nebo ResourceMetrics.
  • instrumentation_scope: Struktura obsahující název oboru, verzi, atributy (as VARIANT) a dropped_attributes_count.
  • span_schema_url / log_schema_url / metric_schema_url: Adresa URL schématu z ohraničení ScopeSpans, ScopeLogs nebo ScopeMetrics.

Kódování ID

trace_id, span_ida parent_span_id jsou uloženy jako šestnáctkové řetězce s malými písmeny:

  • trace_id: Šestiznakový šestnáctkový řetězec (16 bajtů)
  • span_id: Šestiznakový šestnáctkový řetězec (8 bajtů)

Kódování výčtu

Hodnoty výčtu (kind, status.code, aggregation_temporality, severity_number) se ukládají jako názvy řetězců definované ve specifikaci OTLP. Například: SPAN_KIND_SERVER, STATUS_CODE_OK, AGGREGATION_TEMPORALITY_DELTA.

Další kroky

  • Last updated on