Поделиться через

Справочник по системной таблице журнала запросов

  • Статья

Внимание

Эта системная таблица находится в общедоступной предварительной версии. Чтобы получить доступ к таблице, в каталоге должна быть включена system схема. Дополнительные сведения см. в разделе "Включение схем системной таблицы".

В этой статье содержатся сведения о системной таблице журнала запросов, включая структуру схемы таблицы.

Внимание

Чтобы получить доступ к системной таблице журнала запросов, необходимо включить схему query . Инструкции по включению системных схем см. в разделе "Включение схем системной таблицы".

Путь к таблице: эта системная таблица расположена по адресу system.query.history.

Использование таблицы журнала запросов

Таблица журнала запросов содержит записи для каждого запуска инструкции SQL с помощью хранилищ SQL. Таблица содержит записи на уровне учетной записи из всех рабочих областей в одном регионе, из которого вы обращаетесь к таблице.

По умолчанию доступ к системной таблице имеют только администраторы. Если вы хотите поделиться данными таблицы с пользователем или группой, Databricks рекомендует создать динамическое представление для каждого пользователя или группы. См. раздел Создание динамического представления.

Схема системной таблицы журнала запросов

В таблице журнала запросов используется следующая схема:

Имя столбца Тип данных Description Пример
account_id строка Идентификатор учетной записи. 11e22ba4-87b9-4cc2

-9770-d10b894b7118
workspace_id строка Идентификатор рабочей области, в которой выполнялся запрос. 1234567890123456
statement_id строка Идентификатор, который однозначно идентифицирует выполнение инструкции. Этот идентификатор можно использовать для поиска выполнения инструкции в пользовательском интерфейсе журнала запросов. 7a99b43c-b46c-432b

-b0a7-814217701909
session_id строка Идентификатор сеанса Spark. 01234567-cr06-a2mp

-t0nd-a14ecfb5a9c2
execution_status строка Состояние завершения инструкции. Возможны следующие значения:

- FINISHED: выполнение выполнено успешно
- FAILED: сбой выполнения с причиной сбоя, описанного в сопутствующем сообщении об ошибке
- CANCELED: выполнение было отменено		 FINISHED
compute struct Структуру, представляющую тип вычислительного ресурса, используемого для выполнения инструкции, и идентификатор ресурса, в котором применимо. Значение type будет либо WAREHOUSE SERVERLESS_COMPUTE. {

type: WAREHOUSE,

cluster_id: NULL,

warehouse_id: ec58ee3772e8d305

}
executed_by_user_id строка Идентификатор пользователя, выполнившего инструкцию. 2967555311742259
executed_by строка Адрес электронной почты или имя пользователя, выполнившего инструкцию. example@databricks.com
statement_text строка Текст инструкции SQL. Если вы настроили ключи, управляемые клиентом, statement_text пуст. SELECT 1
statement_type строка Тип оператора. Например: ALTER, COPYиINSERT. SELECT
error_message строка Сообщение, описывающее условие ошибки. Если вы настроили ключи, управляемые клиентом, error_message пуст. [INSUFFICIENT_PERMISSIONS]

Insufficient privileges:

User does not have

permission SELECT on table

'default.nyctaxi_trips'.
client_application строка Клиентское приложение, выполняющее инструкцию. Например: Databricks SQL, Tableau и Power BI. Databricks SQL
client_driver строка Соединитель, используемый для подключения к Azure Databricks для выполнения инструкции. Например: Databricks SQL Driver for Go, Databricks ODBC Driver, Databricks JDBC Driver. Databricks JDBC Driver
total_duration_ms bigint Общее время выполнения инструкции в миллисекундах (за исключением времени получения результата). 1
waiting_for_compute_duration_ms bigint Время ожидания подготовки вычислительных ресурсов в миллисекундах. 1
waiting_at_capacity_duration_ms bigint Время ожидания в очереди для доступной вычислительной емкости в миллисекундах. 1
execution_duration_ms bigint Время, затраченное на выполнение инструкции в миллисекундах. 1
compilation_duration_ms bigint Время загрузки метаданных и оптимизация инструкции в миллисекундах. 1
total_task_duration_ms bigint Сумма всех длительности задач в миллисекундах. На этот раз представляет собой объединенное время, необходимое для выполнения запроса во всех ядрах всех узлов. Это может быть значительно больше времени, чем длительность настенных часов, если несколько задач выполняются параллельно. Это может быть меньше времени, если задачи ожидают доступных узлов. 1
result_fetch_duration_ms bigint Время, затраченное в миллисекундах, извлекает результаты инструкции после завершения выполнения. 1
start_time TIMESTAMP Время получения запроса Databricks. Сведения о часовом поясе записываются в конце значения с +00:00 представлением UTC. 2022-12-05T00:00:00.000+0000
end_time TIMESTAMP Время завершения выполнения инструкции, за исключением времени получения результата. Сведения о часовом поясе записываются в конце значения с +00:00 представлением UTC. 2022-12-05T00:00:00.000+00:00
update_time TIMESTAMP Время последнего получения инструкции обновления хода выполнения. Сведения о часовом поясе записываются в конце значения с +00:00 представлением UTC. 2022-12-05T00:00:00.000+00:00
read_partitions bigint Количество секций, считываемых после обрезки. 1
pruned_files bigint Количество отрезаемых файлов. 1
read_files bigint Количество файлов, считываемых после очистки. 1
read_rows bigint Общее количество строк, считываемых инструкцией. 1
produced_rows bigint Общее количество строк, возвращаемых инструкцией. 1
read_bytes bigint Общий размер данных, считываемых инструкцией в байтах. 1
read_io_cache_percent INT Процент байтов постоянных данных, считываемых из кэша операций ввода-вывода. 50
from_result_cache boolean TRUE указывает, что результат инструкции был получен из кэша. TRUE
spilled_local_bytes bigint Размер данных в байтах временно записывается на диск при выполнении инструкции. 1
written_bytes bigint Размер в байтах постоянных данных, записанных в облачное хранилище объектов. 1
shuffle_read_bytes bigint Общий объем данных в байтах, отправленных по сети. 1
query_source struct Структура, содержащая пары "ключ-значение", представляющие одну или несколько сущностей Databricks, участвующих в выполнении этой инструкции, например задания, записные книжки или панели мониторинга. Это поле записывает только сущности Databricks. {
job_info: {
job_id: 64361233243479
job_run_id: 887406461287882
job_task_key: “job_task_1”
job_task_run_id: 110378410199121
}
executed_as строка Имя пользователя или субъекта-службы, привилегии которого использовались для выполнения инструкции. example@databricks.com
executed_as_user_id строка Идентификатор пользователя или субъекта-службы, привилегии которого использовались для выполнения инструкции. 2967555311742259

Просмотр профиля запроса для записи

Чтобы перейти к профилю запроса на основе записи в таблице журнала запросов, сделайте следующее:

  1. Определите интересующую запись, а затем скопируйте запись statement_id.
  2. Напишите запись workspace_id , чтобы убедиться, что вы вошли в ту же рабочую область, что и запись.
  3. Щелкните журнал Значок журнала запросов на боковой панели рабочей области.
  4. В поле "Идентификатор инструкции" вставьте statement_id запись.
  5. Щелкните имя запроса. Откроется обзор метрик запросов.
  6. Щелкните "Просмотреть профиль запроса".