Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
Ezekkel a példa SQL-lekérdezésekkel rendszertáblákkal figyelheti az SQL Warehouse teljesítményét, használatát és költségeit. Módosítsa a lekérdezéseket a szervezet igényeinek megfelelően. Adjon hozzá riasztásokat, hogy értesítést kapjon a váratlan értékekről.
Követelmények
- Hozzáféréssel kell rendelkeznie a rendszertáblákhoz. A követelményekről lásd a rendszertáblákra vonatkozó referenciát .
- A legtöbb rendszertáblához engedélyezni kell a Unity-katalógust.
Táblák az SQL Warehouse monitorozásához
| Rendszertábla | Leírás |
|---|---|
system.compute.warehouse_events |
Nyomon követi a raktárindítási, leállítási, vertikális felskálázási és vertikális leskálázási eseményeket. |
system.compute.warehouses |
A raktárkonfigurációk pillanatképeit tartalmazza. |
system.query.history |
Az SQL-raktárakban végrehajtott összes lekérdezés adatait rögzíti. |
system.billing.usage |
Az összes Azure Databricks használat számlázási rekordjait tartalmazza. |
Példa: Raktárhasználat
Az alábbi lekérdezésekkel megtudhatja, hogyan használja a raktárat, beleértve azt is, hogy mely lekérdezések, felhasználók és alkalmazások hajtják a legtöbb tevékenységet.
A leglassabb lekérdezések megkeresése egy raktárban
SELECT
statement_id,
executed_by,
statement_type,
execution_status,
total_duration_ms,
execution_duration_ms,
compilation_duration_ms,
waiting_at_capacity_duration_ms,
read_rows,
produced_rows,
start_time,
statement_text
FROM
system.query.history
WHERE
compute.warehouse_id = '<warehouse-id>'
AND start_time >= NOW() - INTERVAL 1 DAY
ORDER BY
total_duration_ms DESC
LIMIT 50
Lekérdezési teljesítmény trendjeinek elemzése az idő függvényében
SELECT
DATE(start_time) AS query_date,
COUNT(*) AS total_queries,
COUNT(CASE WHEN execution_status = 'FINISHED' THEN 1 END) AS successful_queries,
COUNT(CASE WHEN execution_status = 'FAILED' THEN 1 END) AS failed_queries,
ROUND(AVG(total_duration_ms), 0) AS avg_duration_ms,
ROUND(PERCENTILE(total_duration_ms, 0.5), 0) AS p50_duration_ms,
ROUND(PERCENTILE(total_duration_ms, 0.95), 0) AS p95_duration_ms,
ROUND(AVG(waiting_at_capacity_duration_ms), 0) AS avg_queue_wait_ms
FROM
system.query.history
WHERE
compute.warehouse_id = '<warehouse-id>'
AND start_time >= NOW() - INTERVAL 30 DAY
GROUP BY
DATE(start_time)
ORDER BY
query_date DESC
A legaktívabb felhasználók megkeresése egy raktárban
SELECT
executed_by,
COUNT(*) AS query_count,
ROUND(SUM(total_duration_ms) / 1000 / 60, 2) AS total_duration_minutes,
ROUND(AVG(total_duration_ms), 0) AS avg_duration_ms
FROM
system.query.history
WHERE
compute.warehouse_id = '<warehouse-id>'
AND start_time >= NOW() - INTERVAL 7 DAY
GROUP BY
executed_by
ORDER BY
query_count DESC
A legnépszerűbb ügyfélalkalmazások megkeresése
SELECT
client_application,
CASE
WHEN query_source.job_info.job_id IS NOT NULL THEN 'Job'
WHEN query_source.dashboard_id IS NOT NULL THEN 'Dashboard'
WHEN query_source.alert_id IS NOT NULL THEN 'Alert'
WHEN query_source.notebook_id IS NOT NULL THEN 'Notebook'
WHEN query_source.genie_space_id IS NOT NULL THEN 'Genie Agent'
WHEN query_source.sql_query_id IS NOT NULL THEN 'SQL Editor'
ELSE 'Other'
END AS source_type,
COUNT(*) AS query_count,
ROUND(AVG(total_duration_ms), 0) AS avg_duration_ms
FROM
system.query.history
WHERE
compute.warehouse_id = '<warehouse-id>'
AND start_time >= NOW() - INTERVAL 7 DAY
GROUP BY
client_application,
source_type
ORDER BY
query_count DESC
Sikertelen lekérdezések monitorozása
SELECT
DATE(start_time) AS failure_date,
execution_status,
error_message,
COUNT(*) AS failure_count,
COLLECT_SET(executed_by) AS affected_users
FROM
system.query.history
WHERE
compute.warehouse_id = '<warehouse-id>'
AND execution_status IN ('FAILED', 'CANCELED')
AND start_time >= NOW() - INTERVAL 7 DAY
GROUP BY
DATE(start_time),
execution_status,
error_message
ORDER BY
failure_date DESC,
failure_count DESC
Példa: Raktár méretezése
Az alábbi lekérdezésekkel állapítsa meg, hogy a raktár mérete megfelelő-e. A kapacitásban várakozó lekérdezések azt jelzik, hogy növelnie kell a kapacitást max_clusters. A túlzott lemezkiömléssel rendelkező lekérdezések arra utalnak, hogy növelnie kell a raktár méretét.
Kapacitáson várakozó lekérdezések azonosítása
A magas waiting_at_capacity_duration_ms értékeket tartalmazó lekérdezések futás helyett várólistára kerülnek. Fontolja meg a raktár max_clusters beállításának növelését, hogy lehetővé tegye a raktár skálázását.
SELECT
statement_id,
executed_by,
total_duration_ms,
waiting_at_capacity_duration_ms,
execution_duration_ms,
start_time,
statement_text
FROM
system.query.history
WHERE
compute.warehouse_id = '<warehouse-id>'
AND start_time >= NOW() - INTERVAL 7 DAY
AND waiting_at_capacity_duration_ms > 0
ORDER BY
waiting_at_capacity_duration_ms DESC
LIMIT 50
Olyan lekérdezések azonosítása, amelyek túlzott mértékű lemezkiömlést eredményeznek
A lemezömlés akkor fordul elő, ha egy lekérdezés több memóriát igényel, mint amennyi rendelkezésre áll. Fontolja meg a raktár méretének növelését, hogy több memóriát adjon a lekérdezések számára. A túlzott kiömlés általában azt jelenti, hogy a lekérdezések optimalizálást igényelnek, vagy hogy a raktár mérete túl kicsi a számítási feladathoz.
SELECT
statement_id,
executed_by,
spilled_local_bytes / (1024 * 1024) AS spilled_mb,
read_bytes / (1024 * 1024) AS read_mb,
total_duration_ms,
start_time,
statement_text
FROM
system.query.history
WHERE
compute.warehouse_id = '<warehouse-id>'
AND start_time >= NOW() - INTERVAL 7 DAY
AND spilled_local_bytes > 0
ORDER BY
spilled_local_bytes DESC
LIMIT 50
Példa: Raktárköltségek
Az alábbi lekérdezésekkel megismerheti és nyomon követheti az SQL-raktárakhoz kapcsolódó költségeket.
Raktárköltség figyelése napról napra
SELECT
usage_date,
sku_name,
ROUND(SUM(usage_quantity), 2) AS total_dbus,
ROUND(SUM(usage_quantity * list_prices.pricing.default), 2) AS estimated_list_cost
FROM
system.billing.usage
LEFT JOIN system.billing.list_prices ON usage.sku_name = list_prices.sku_name
AND price_end_time IS NULL
WHERE
usage_metadata.warehouse_id = '<warehouse-id>'
AND usage_date >= NOW() - INTERVAL 30 DAY
GROUP BY
usage_date,
sku_name
ORDER BY
usage_date DESC
Raktáresemények korrelálása lekérdezéskötettel
Ez a lekérdezés segít megérteni a raktár skálázási eseményei és a lekérdezési tevékenység közötti kapcsolatot a költségoptimalizálási lehetőségek azonosításához.
WITH hourly_events AS (
SELECT
DATE_TRUNC('hour', event_time) AS event_hour,
warehouse_id,
MAX(cluster_count) AS max_clusters,
COLLECT_SET(event_type) AS event_types
FROM
system.compute.warehouse_events
WHERE
warehouse_id = '<warehouse-id>'
AND event_time >= NOW() - INTERVAL 7 DAY
GROUP BY
DATE_TRUNC('hour', event_time),
warehouse_id
),
hourly_queries AS (
SELECT
DATE_TRUNC('hour', start_time) AS query_hour,
COUNT(*) AS query_count,
ROUND(AVG(total_duration_ms), 0) AS avg_duration_ms,
ROUND(AVG(waiting_at_capacity_duration_ms), 0) AS avg_queue_wait_ms
FROM
system.query.history
WHERE
compute.warehouse_id = '<warehouse-id>'
AND start_time >= NOW() - INTERVAL 7 DAY
GROUP BY
DATE_TRUNC('hour', start_time)
)
SELECT
COALESCE(e.event_hour, q.query_hour) AS hour,
q.query_count,
q.avg_duration_ms,
q.avg_queue_wait_ms,
e.max_clusters,
e.event_types
FROM
hourly_events e
FULL OUTER JOIN hourly_queries q ON e.event_hour = q.query_hour
ORDER BY
hour DESC