Megosztás a következőn keresztül:

Számítási rendszertáblák referenciája

  • Cikk

Fontos

Ez a funkció a nyilvános előzetes verzióban érhető el. A sémának engedélyeznie kell, hogy látható legyen a system katalógusban. További információ: Rendszertábla-sémák engedélyezése

Ez a cikk referencia-útmutatót nyújt a számítási rendszer tábláihoz. Ezeket a táblákat használhatja a teljes célú és a feladatok számítási tevékenységének és metrikáinak figyelésére a fiókjában:

  • clusters: A fiók számítási konfigurációit rögzíti.
  • node_types: Egyetlen rekordot tartalmaz az összes jelenleg elérhető csomóponttípushoz, beleértve a hardverinformációkat is.
  • node_timeline: Percről percre rögzíti a számítás kihasználtsági metrikáit.

Fürttábla sémája

A fürttábla egy lassan változó dimenziótábla, amely a számítási konfigurációk teljes előzményeit tartalmazza az egész célú és a feladatok kiszámításához.

A fürtök rendszertáblája a következő sémával system.compute.clusters rendelkezik:

Oszlop neve Adattípus Leírás Példa
account_id húr Annak a fióknak az azonosítója, ahol a fürt létre lett hozva. 23e22ba4-87b9-
4cc2-9770-d10b894b7118
workspace_id húr Annak a munkaterületnek az azonosítója, ahol a fürt létre lett hozva. 1234567890123456
cluster_id húr Annak a fürtnek az azonosítója, amelyhez ez a rekord társítva van. 0000-123456-crmpt124
cluster_name húr A fürt felhasználó által definiált neve. My cluster
owned_by húr A fürt tulajdonosának felhasználóneve. Alapértelmezés szerint a fürt létrehozója, de a Clusters API-val módosítható. sample_user@email.com
create_time időbélyeg A számítási definíció módosításának időbélyege. 2023-01-09 11:00:00.000
delete_time időbélyeg A fürt törlésének időbélyege. Az érték az, null ha a fürt nincs törölve. 2023-01-09 11:00:00.000
driver_node_type húr Az illesztőcsomópont típusa. Ez megegyezik a felhőszolgáltató példánytípusának nevével. Standard_D16s_v3
worker_node_type húr Feldolgozó csomóponttípus neve. Ez megegyezik a felhőszolgáltató példánytípusának nevével. Standard_D16s_v3
worker_count bigint Dolgozók száma. Csak rögzített méretű fürtökhöz van definiálva. 4
min_autoscale_workers bigint A munkavállalók minimális számának beállítása. Ez a mező csak a fürtök automatikus méretezésére érvényes. 1
max_autoscale_workers bigint A dolgozók maximális száma. Ez a mező csak a fürtök automatikus méretezésére érvényes. 1
auto_termination_minutes bigint A konfigurált automatikus kiírás időtartama. 120
enable_elastic_disk Logikai Lemezengedélyezési állapot automatikus skálázása. true
tags térkép A fürt felhasználó által definiált címkéi (nem tartalmazzák az alapértelmezett címkéket). {"ResourceClass":"SingleNode"}
cluster_source húr A fürt létrehozója: UI, API, JOBstb. UI
init_scripts array Init-szkriptek elérési útjai. "/Users/example@email.com
/files/scripts/install-python-pacakges.sh"
aws_attributes Struct AWS-specifikus beállítások. null
azure_attributes Struct Azure-specifikus beállítások. {
"first_on_demand": "0",
"availability": "ON_DEMAND_AZURE",
"spot_bid_max_price": "—1"
}
gcp_attributes Struct GCP-specifikus beállítások. Ez a mező üres lesz. null
driver_instance_pool_id húr Példánykészlet azonosítója, ha az illesztőprogram egy példánykészlet tetején van konfigurálva. 1107-555555-crhod16-pool-DIdnjazB
worker_instance_pool_id húr Példánykészlet azonosítója, ha a feldolgozó egy példánykészlet tetején van konfigurálva. 1107-555555-crhod16-pool-DIdnjazB
dbr_version húr A fürt Databricks-futtatókörnyezete. 14.x-snapshot-scala2.12
change_time időbélyeg A számítási definíció módosításának időbélyege. 2023-01-09 11:00:00.000
change_date dátum: Dátum módosítása. Megőrzésre szolgál. 2023-01-09

Csomóponttípusok táblaséma

A csomóponttípustáblázat az alapszintű hardverinformációkkal rögzíti a jelenleg elérhető csomóponttípusokat. A csomóponttípus rendszertáblája a következő sémával system.compute.node_types rendelkezik:

Oszlop neve Adattípus Leírás Példa
account_id húr Annak a fióknak az azonosítója, ahol a fürt létre lett hozva. 23e22ba4-87b9-4cc2-9770-d10b894b7118
node_type_name húr A csomóponttípus egyedi azonosítója. Standard_D16s_v3
core_count double A példányhoz tartozó vCPU-k száma. 48.0
memory_mb hosszú A példány teljes memóriája. 393216
gpu_count hosszú A példány GPU-jainak száma. 0

Csomópont ütemtervtáblázatának sémája

A csomópont idősortáblája a csomópontszintű erőforrás-kihasználtsági adatokat rögzíti a percek részletességével. Minden rekord példányonként egy adott percnyi ideig tartalmaz adatokat.

A csomópont idővonalának rendszertáblája a következő sémával system.compute.node_timeline rendelkezik:

Oszlop neve Adattípus Leírás Példa
account_id húr Annak a fióknak az azonosítója, amelyen ez a számítási erőforrás fut. 23e22ba4-87b9-4cc2-9770-d10b894b7118
workspace_id húr Annak a munkaterületnek az azonosítója, amelyen ez a számítási erőforrás fut. 1234567890123456
cluster_id húr A számítási erőforrás azonosítója. 0000-123456-crmpt124
instance_id húr Az adott példány azonosítója. i-1234a6c12a2681234
start_time időbélyeg A rekord kezdési időpontja UTC-ben. 2024-07-16T12:00:00Z
end_time időbélyeg A rekord befejezési ideje UTC-ben. 2024-07-16T13:00:00Z
driver Logikai Legyen szó illesztőprogramról vagy feldolgozó csomópontról. true
cpu_user_percent double A processzor felhasználóországban töltött idejének százalékos aránya. 34.76163817234407
cpu_system_percent double A processzor által a kernelben töltött idő százalékos aránya. 1.0895310279488264
cpu_wait_percent double A processzor által az I/O-ra való várakozással töltött idő százalékos aránya. 0.03445157400629276
mem_used_percent double Az adott időszakban használt számítási memória százalékos aránya (beleértve a számításon futó háttérfolyamatok által használt memóriát is). 45.34858216779041
mem_swap_percent double A memória felcserélésének tulajdonított memóriahasználat százalékos aránya. 0.014648443087939
network_sent_bytes bigint A hálózati forgalomban kiküldött bájtok száma. 517376
network_received_bytes bigint A hálózati forgalomból fogadott bájtok száma. 179234
disk_free_bytes_per_mount_point térkép A lemez kihasználtsága csatlakoztatási pont szerint csoportosítva. Ez a rövid élettartamú tároló csak a számítás futtatása közben van kiépítve. {"/var/lib/lxc":123455551234,"/":

123456789123,"/local_disk0":123412341234}
node_type húr A csomóponttípus neve. Ez megegyezik a felhőszolgáltató példánytípusának nevével. Standard_D16s_v3

Ismert korlátozások

  • A 2023. október 23. előtt törölt számítási erőforrások nem jelennek meg a fürtök táblában. Ez azt eredményezheti, hogy a system.billing.usage táblából származó illesztések nem egyeznek a fürtök táblájának rekordjaival. Az összes aktív számítási erőforrás vissza lett töltve.
  • Ezek a táblák csak a teljes célú és a feladatok számítási rekordjait tartalmazzák. Nem tartalmaznak rekordokat kiszolgáló nélküli számításhoz, Delta Live Tables-számításhoz vagy SQL-raktárakhoz.
  • Előfordulhat, hogy a 10 percnél rövidebb ideig futott csomópontok nem jelennek meg a node_timeline táblázatban.

Minta lekérdezések

Az alábbi minta lekérdezésekkel válaszolhat a gyakori kérdésekre:

Feljegyzés

Néhány példa összekapcsolja a fürttáblát a system.billing.usage táblával. Mivel a számlázási rekordok régióköziek, és a fürtrekordok régiónként eltérőek, a számlázási rekordok csak annak a régiónak a fürtrekordjaival egyeznek meg, amelyben a lekérdezést futtatja. Egy másik régió rekordjainak megtekintéséhez hajtsa végre a lekérdezést az adott régióban.

Fürtrekordok összekapcsolása a legújabb számlázási rekordokkal

Ez a lekérdezés segíthet megérteni az idő múlásával kapcsolatos kiadásokat. Miután frissítette a usage_start_time legújabb számlázási időszakot, a rendszer a számlázási rekordok legfrissebb frissítéseit fogja meg, hogy csatlakozzon a fürtök adataihoz.

Minden rekord a fürt tulajdonosához van társítva az adott futtatás során. Így ha a fürt tulajdonosa megváltozik, a költségek a fürt használatának időpontjától függően a megfelelő tulajdonosra kerülnek.

SELECT
  u.record_id,
  c.cluster_id,
  c.owned_by,
  c.change_time,
  u.usage_start_time,
  u.usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
  JOIN (SELECT u.record_id, c.cluster_id, max(c.change_time) change_time
    FROM system.billing.usage u
    JOIN system.compute.clusters c
    WHERE
      u.usage_metadata.cluster_id is not null
      and u.usage_start_time >= '2023-01-01'
      and u.usage_metadata.cluster_id = c.cluster_id
      and date_trunc('HOUR', c.change_time) <= date_trunc('HOUR', u.usage_start_time)
    GROUP BY all) config
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and u.record_id = config.record_id
  and c.cluster_id = config.cluster_id
  and c.change_time = config.change_time
ORDER BY cluster_id, usage_start_time desc;

Költségek attribútuma a fürt tulajdonosának

Ha csökkenteni szeretné a számítási költségeket, ezzel a lekérdezéssel megállapíthatja, hogy a fiókban mely fürttulajdonosok használják a legtöbb DBU-t.

SELECT
  u.record_id record_id,
  c.cluster_id cluster_id,
  max_by(c.owned_by, c.change_time) owned_by,
  max(c.change_time) change_time,
  any_value(u.usage_start_time) usage_start_time,
  any_value(u.usage_quantity) usage_quantity
FROM
  system.billing.usage u
  JOIN system.compute.clusters c
WHERE
  u.usage_metadata.cluster_id is not null
  and u.usage_start_time >= '2023-01-01'
  and u.usage_metadata.cluster_id = c.cluster_id
  and c.change_time <= u.usage_start_time
GROUP BY 1, 2
ORDER BY cluster_id, usage_start_time desc;

A legnagyobb átlagos kihasználtsággal és csúcskihasználtsággal rendelkező számítási erőforrások azonosítása

Azonosítsa azokat a teljes célú és feladatalapú számításokat, amelyek a legmagasabb átlagos processzorkihasználtsággal és a legmagasabb csúcs cpu-kihasználtsággal rendelkeznek.

SELECT
        distinct cluster_id,
driver,
avg(cpu_user_percent + cpu_system_percent) as `Avg CPU Utilization`,
max(cpu_user_percent + cpu_system_percent) as `Peak CPU Utilization`,
        avg(cpu_wait_percent) as `Avg CPU Wait`,
        max(cpu_wait_percent) as `Max CPU Wait`,
        avg(mem_used_percent) as `Avg Memory Utilization`,
        max(mem_used_percent) as `Max Memory Utilization`,
avg(network_received_bytes)/(1024^2) as `Avg Network MB Received per Minute`,
avg(network_sent_bytes)/(1024^2) as `Avg Network MB Sent per Minute`
FROM
        node_timeline
WHERE
        start_time >= date_add(now(), -1)
GROUP BY
        cluster_id,
        driver
ORDER BY
        3 desc;