Поделиться через


HDInsightSparkTaskEvents

События задачи Spark.

Атрибуты таблицы

Атрибут Значение
Типы ресурсов microsoft.hdinsight/clusters
Категории ресурсов Azure
Решения LogManagement
Базовый журнал No
Преобразование ingestion-time Да
Примеры запросов -

Столбцы

Column Type Описание
ApplicationId строка Идентификатор приложения, создающего запись.
AttemptId строка Идентификатор попытки задачи.
_BilledSize real Размер записи в байтах
BytesRead длинный Число байтов, считываемых во время задачи.
BytesWritten длинный Количество байтов, записанных задачей.
ClusterDnsName строка DNS-имя кластера, выполняющего задачу.
ClusterTenantId строка Идентификатор клиента кластера, выполняющего задачу.
DiskBytesSpilled длинный Число разливаемых байтов диска.
EndReason строка Причина, по которой задача закончилась.
ИсполнителяCPUTime длинный Время ЦП, затраченное исполнителем задачи.
ExecutorDeserializeCPUTime длинный Время ЦП, затраченное на десериализацию исполнителя задач.
ExecutorDeserializeTime длинный Время десериализации исполнителя задачи.
ExecutorId строка Исполнитель идентификатора.
ИсполнительRunTime длинный Выполняющаяся задача времени.
Неудачно bool Логическое описание сбоя задачи.
FinishTime datetime Время (UTC) задачи завершено.
Хост строка Полное доменное имя узла, выполняющего задачу.
Входные метрики длинный Метрики, связанные с входными данными задачи.
IpAddress строка IP-адрес узла, выполняющего задачу.
_IsBillable строка Указывает, можно ли выставлять счета за прием данных. Если _IsBillable false прием не взимается в учетную запись Azure.
JvmGcTime длинный Время, когда JVM провел сбор мусора.
Убитый bool Логическое описание того, была ли задача убита.
LaunchTime datetime Время запуска задачи (UTC).
MemoryBytesSpilled длинный Байты разливаемой памяти.
NumUpdatedBlockStatuses длинный Число обновленных состояний блока во время задачи.
Выходные метрики длинный Метрики, связанные с выходными данными задачи.
PeakExecutionMemory длинный Пиковый объем памяти, используемый во время выполнения.
RecordsRead длинный Количество записей, считываемых во время задачи.
RecordsWritten длинный Количество записей, записанных задачей.
Область/регион строка Регион кластера, на котором выполняется задача.
_ResourceId строка Уникальный идентификатор ресурса, с которым связана запись.
ResultSerializationTime длинный Время сериализации, затраченное на получение результата.
Результат длинный Размер результата.
Роль строка Тип узла, выполняющего задачу.
SchedulerDelay длинный Объем задержки планировщика.
ShuffleBytesWritten длинный байты, записанные во время задачи перетасовки.
ShuffleFetchWaitTime длинный Время, затраченное на ожидание получения.
ShuffleLocalBlocksFetched длинный Количество локальных блоков, сложенных во время задачи перетасовки.
ShuffleReadMetrics длинный Метрики, связанные с перетасовкой чтения.
ShuffleRecordsWritten длинный Количество записей, записанных во время задачи перетасовки.
ShuffleRemoteBlocksFetched длинный Количество удаленных блоков, сложенных во время задачи перетасовки.
ShuffleTotalBlocksFetched длинный Количество блоков, сложенных во время задачи перетасовки.
ShuffleTotalBytesRead длинный Число байтов, считываемых во время задачи перетасовки.
ShuffleWriteMetrics длинный Метрики, связанные с перетасовкой записей.
ShuffleWriteTime длинный Время, затраченное на запись во время задачи перетасовки.
SourceSystem строка Тип агента, на который было собрано событие. Например, OpsManager для агента Windows прямой подключения или Operations Manager Linux для всех агентов Linux или Azure для Диагностика Azure
StageId строка Идентификатор этапа, связанного с задачей.
_SubscriptionId строка Уникальный идентификатор подписки, с которой связана запись
TaskId строка Идентификатор задачи.
TaskType строка Тип задачи.
TenantId строка Идентификатор рабочей области Log Analytics
TimeGenerated datetime Метка времени создания журнала (в формате UTC).
Тип строка Имя таблицы.
Обновленные блоки длинный Количество обновленных блоков.
UserSubscriptionId строка Идентификатор подписки кластера, выполняющего задачу