Руководство по приему данных мониторинга и созданию к ним запросов в Azure Data Explorer

Из этого руководства вы узнаете, как принимать данные из журналов диагностики и действий в кластер Azure Data Explorer без необходимости писать код. Этот простой метод приема позволяет вам оперативно начать отправку запросов в Azure Data Explorer для анализа данных.

Из этого руководства вы узнаете, как выполнять следующие задачи:

• создавать таблицы и сопоставления приема в базе данных Azure Data Explorer;
• форматировать принятые данные с помощью политики обновления;
• создавать концентраторы событий и подключать их к Azure Data Explorer;
• выполнять потоковую передачу данных в концентратор событий из журналов и метрик диагностики Azure Monitor и журналов действий Azure Monitor;
• создавать запросы к принятым данным с помощью Azure Data Explorer.

Примечание

Создавайте все ресурсы в одном расположении или регионе Azure.

Предварительные требования

• Подписка Azure. Создайте бесплатную учетную запись Azure.
• Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных. В этом руководстве используется имя базы данных TestDatabase.

Поставщик данных Azure Monitor — журналы и метрики диагностики и журналы действий

Просмотрите и проанализируйте приведенные ниже данные, предоставленные журналами и метриками диагностики, а также журналами действий для службы Azure Monitor. На основе этих схем данных вы создадите конвейер приема. Обратите внимание, что для каждого события в журнале имеется массив записей. Позже в этом учебнике этот массив записей будет разделен.

Примеры журналов и метрик диагностики, а также журналов действий

Журналы и метрики диагностики Azure, а также журналы действий создаются службой Azure. Они предоставляют данные о работе службы.

Метрики диагностики

Пример метрик диагностики

Метрики диагностики агрегируются по интервалам времени в 1 минуту. Ниже приведен пример схемы события для метрики Azure Data Explorer (на основе длительности запроса):

{
    "records": [
    {
        "count": 14,
        "total": 0,
        "minimum": 0,
        "maximum": 0,
        "average": 0,
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
        "time": "2018-12-20T17:00:00.0000000Z",
        "metricName": "QueryDuration",
        "timeGrain": "PT1M"
    },
    {
        "count": 12,
        "total": 0,
        "minimum": 0,
        "maximum": 0,
        "average": 0,
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
        "time": "2018-12-21T17:00:00.0000000Z",
        "metricName": "QueryDuration",
        "timeGrain": "PT1M"
    }
    ]
}

Журналы диагностики

Примеры журналов диагностики

Ниже приведен пример журнала приема диагностики Azure Data Explorer:

{
    "time": "2019-08-26T13:22:36.8804326Z",
    "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "FailedIngestion",
    "resultType": "Failed",
    "correlationId": "d59882f1-ad64-4fc4-b2ef-d663b6cc1cc5",
    "properties": {
        "OperationId": "00000000-0000-0000-0000-000000000000",
        "Database": "Kusto",
        "Table": "Table_13_20_prod",
        "FailedOn": "2019-08-26T13:22:36.8804326Z",
        "IngestionSourceId": "d59882f1-ad64-4fc4-b2ef-d663b6cc1cc5",
        "Details":
        {
            "error":
            {
                "code": "BadRequest_DatabaseNotExist",
                "message": "Request is invalid and cannot be executed.",
                "@type": "Kusto.Data.Exceptions.DatabaseNotFoundException",
                "@message": "Database 'Kusto' was not found.",
                "@context":
                {
                    "timestamp": "2019-08-26T13:22:36.7179157Z",
                    "serviceAlias": "<cluster-name>",
                    "machineName": "KEngine000001",
                    "processName": "Kusto.WinSvc.Svc",
                    "processId": 5336,
                    "threadId": 6528,
                    "appDomainName": "Kusto.WinSvc.Svc.exe",
                    "clientRequestd": "DM.IngestionExecutor;a70ddfdc-b471-4fc7-beac-bb0f6e569fe8",
                    "activityId": "f13e7718-1153-4e65-bf82-8583d712976f",
                    "subActivityId": "2cdad9d0-737b-4c69-ac9a-22cf9af0c41b",
                    "activityType": "DN.AdminCommand.DataIngestPullCommand",
                    "parentActivityId": "2f65e533-a364-44dd-8d45-d97460fb5795",
                    "activityStack": "(Activity stack: CRID=DM.IngestionExecutor;a70ddfdc-b471-4fc7-beac-bb0f6e569fe8 ARID=f13e7718-1153-4e65-bf82-8583d712976f > DN.Admin.Client.ExecuteControlCommand/5b764b32-6017-44a2-89e7-860eda515d40 > P.WCF.Service.ExecuteControlCommandInternal..IAdminClientServiceCommunicationContract/c2ef9344-069d-44c4-88b1-a3570697ec77 > DN.FE.ExecuteControlCommand/2f65e533-a364-44dd-8d45-d97460fb5795 > DN.AdminCommand.DataIngestPullCommand/2cdad9d0-737b-4c69-ac9a-22cf9af0c41b)"
                },
                "@permanent": true
            }
        },
        "ErrorCode": "BadRequest_DatabaseNotExist",
        "FailureStatus": "Permanent",
        "RootActivityId": "00000000-0000-0000-0000-000000000000",
        "OriginatesFromUpdatePolicy": false,
        "ShouldRetry": false,
        "IngestionSourcePath": "https://c0skstrldkereneus01.blob.core.windows.net/aam-20190826-temp-e5c334ee145d4b43a3a2d3a96fbac1df/3216_test_3_columns_invalid_8f57f0d161ed4a8c903c6d1073005732_59951f9ca5d143b6bdefe52fa381a8ca.zip"
    }
}

Журналы действий

Пример журналов действий

Журналы действий Azure являются журналами уровня подписки, предоставляющими информацию об операциях, выполненных в ресурсах в подписке. Ниже приведен пример события журнала действия для проверки доступа:

{
    "records": [
    {
        "time": "2018-12-26T16:23:06.1090193Z",
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.WEB/SITES/CLNB5F73B70-DCA2-47C2-BB24-77B1A2CAAB4D/PROVIDERS/MICROSOFT.AUTHORIZATION",
        "operationName": "MICROSOFT.AUTHORIZATION/CHECKACCESS/ACTION",
        "category": "Action",
        "resultType": "Start",
        "resultSignature": "Started.",
        "durationMs": 0,
        "callerIpAddress": "13.66.225.188",
        "correlationId": "0de9f4bc-4adc-4209-a774-1b4f4ae573ed",
        "identity": {
            "authorization": {
                ...
            },
            "claims": {
                ...
            }
        },
        "level": "Information",
        "location": "global",
        "properties": {
            ...
        }
    },
    {
        "time": "2018-12-26T16:23:06.3040244Z",
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.WEB/SITES/CLNB5F73B70-DCA2-47C2-BB24-77B1A2CAAB4D/PROVIDERS/MICROSOFT.AUTHORIZATION",
        "operationName": "MICROSOFT.AUTHORIZATION/CHECKACCESS/ACTION",
        "category": "Action",
        "resultType": "Success",
        "resultSignature": "Succeeded.OK",
        "durationMs": 194,
        "callerIpAddress": "13.66.225.188",
        "correlationId": "0de9f4bc-4adc-4209-a774-1b4f4ae573ed",
        "identity": {
            "authorization": {
                ...
            },
            "claims": {
                ...
            }
        },
        "level": "Information",
        "location": "global",
        "properties": {
            "statusCode": "OK",
            "serviceRequestId": "87acdebc-945f-4c0c-b931-03050e085626"
        }
    }]
}

Настройка конвейера приема данных в Azure Data Explorer

Настройка конвейера Azure Data Explorer включает несколько этапов, в том числе создание таблиц и прием данных. Вы также можете работать с данными, сопоставлять и обновлять их.

Подключение к пользовательскому веб-интерфейсу Azure Data Explorer

В базе данных TestDatabase для Azure Data Explorer выберите пункт Запрос, чтобы открыть пользовательский веб-интерфейс Azure Data Explorer.

Создание целевых таблиц

Структура журналов Azure Monitor не является табличной. Вам потребуется обработать данные и развернуть каждое событие в одну или несколько записей. Необработанные данные будут поступать в промежуточную таблицу с именем ActivityLogsRawRecords для журналов действий и DiagnosticRawRecords для журналов и метрик диагностики. При этом данные будут обработаны и развернуты. Затем на основе политики обновления развернутые данные будут поступать в таблицу ActivityLogs для журналов действий, DiagnosticMetrics для метрик диагностики и DiagnosticLogs для журналов диагностики. Это означает, что вам нужно создать две отдельные таблицы для приема журналов действий и три отдельные таблицы для приема журналов и метрик диагностики.

С помощью пользовательского веб-интерфейса Azure Data Explorer создайте целевые таблицы в базе данных Azure Data Explorer.

Метрики диагностики

Создание таблиц для метрик диагностики

1. Создайте в базе данных TestDatabase таблицу с именем DiagnosticMetrics для хранения записей метрик диагностики. Используйте следующую .create table команду управления:

   .create table DiagnosticMetrics (Timestamp:datetime, ResourceId:string, MetricName:string, Count:int, Total:double, Minimum:double, Maximum:double, Average:double, TimeGrain:string)
   

2. Выберите Выполнить, чтобы создать таблицу.

   

3. С помощью следующего запроса создайте в базе данных TestDatabase промежуточную таблицу данных с именем DiagnosticRawRecords для обработки данных: Выберите Выполнить, чтобы создать таблицу.

   .create table DiagnosticRawRecords (Records:dynamic)
   

4. Задайте нулевую политику хранения для промежуточной таблицы:

   .alter-merge table DiagnosticRawRecords policy retention softdelete = 0d
   

Журналы диагностики

Создание таблиц для журналов диагностики

1. Создайте в базе данных TestDatabase таблицу с именем DiagnosticLogs для хранения записей журнала диагностики. Используйте следующую .create table команду управления:

   .create table DiagnosticLogs (Timestamp:datetime, ResourceId:string, OperationName:string, Result:string, OperationId:string, Database:string, Table:string, IngestionSourceId:string, IngestionSourcePath:string, RootActivityId:string, ErrorCode:string, FailureStatus:string, Details:string)
   

2. Выберите Выполнить, чтобы создать таблицу.

3. С помощью следующего запроса создайте в базе данных TestDatabase промежуточную таблицу данных с именем DiagnosticRawRecords для обработки данных: Выберите Выполнить, чтобы создать таблицу.

   .create table DiagnosticRawRecords (Records:dynamic)
   

4. Задайте нулевую политику хранения для промежуточной таблицы:

   .alter-merge table DiagnosticRawRecords policy retention softdelete = 0d
   

Журналы действий

Создание таблиц для журналов действий

1. Создайте таблицу с именем ActivityLogs в базе данных TestDatabase, которая будет принимать записи журнала действий. Выполните следующий запрос Azure Data Explorer, чтобы создать эту таблицу:

   .create table ActivityLogs (Timestamp:datetime, ResourceId:string, OperationName:string, Category:string, ResultType:string, ResultSignature:string, DurationMs:int, IdentityAuthorization:dynamic, IdentityClaims:dynamic, Location:string, Level:string)
   

2. Создайте в базе данных TestDatabase промежуточную таблицу данных с именем ActivityLogsRawRecords для обработки данных:

   .create table ActivityLogsRawRecords (Records:dynamic)
   

3. Задайте нулевую политику хранения для промежуточной таблицы:

   .alter-merge table ActivityLogsRawRecords policy retention softdelete = 0d
   

Создание сопоставлений таблиц

Так как используется формат данных json, сопоставление данных обязательно. Сопоставление json сопоставляет каждый путь JSON с именем столбца в таблице. Пути JSON, содержащие специальные символы, должны быть представлены как ["Имя свойства"]. Дополнительные сведения см. в статье Синтаксис JSONPath.

Метрики диагностики / Журналы диагностики

Сопоставление метрик и журналов диагностики с таблицей

Чтобы сопоставить данные журналов и метрик диагностики с таблицей, выполните следующий запрос:

.create table DiagnosticRawRecords ingestion json mapping 'DiagnosticRawRecordsMapping' '[{"column":"Records","Properties":{"path":"$.records"}}]'

Журналы действий

Сопоставление журналов действий с таблицей

Чтобы сопоставить данные журнала действий с таблицей, выполните следующий запрос:

.create table ActivityLogsRawRecords ingestion json mapping 'ActivityLogsRawRecordsMapping' '[{"column":"Records","Properties":{"path":"$.records"}}]'

Создание политики обновления для данных журнала и метрик

Метрики диагностики

Создание политики обновления данных для метрик диагностики

1. Создайте функцию, которая развертывает коллекцию записей метрик диагностики таким образом, чтобы каждое значение в коллекции получало отдельную строку. Используйте оператор mv-expand:

   .create function DiagnosticMetricsExpand() {
      DiagnosticRawRecords
      | mv-expand events = Records
      | where isnotempty(events.metricName)
      | project
          Timestamp = todatetime(events['time']),
          ResourceId = tostring(events.resourceId),
          MetricName = tostring(events.metricName),
          Count = toint(events['count']),
          Total = todouble(events.total),
          Minimum = todouble(events.minimum),
          Maximum = todouble(events.maximum),
          Average = todouble(events.average),
          TimeGrain = tostring(events.timeGrain)
   }
   

2. Добавьте политику обновления для целевой таблицы. Эта политика будет автоматически выполнять запрос для новых данных, принятых в промежуточную таблицу данных DiagnosticRawRecords, и вставлять результаты запроса в таблицу DiagnosticMetrics:

   .alter table DiagnosticMetrics policy update @'[{"Source": "DiagnosticRawRecords", "Query": "DiagnosticMetricsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Журналы диагностики

Создание политики обновления данных для журналов диагностики

1. Создайте функцию, которая развертывает коллекцию записей журналов диагностики таким образом, чтобы каждое значение в коллекции получало отдельную строку. Журналы приема можно включить в кластере Azure Data Explorer и использовать схему журналов приема. Вы создадите одну таблицу для успешной и одну для неудачной операции приема, а некоторые поля будут пустыми для успешной операции приема (например, ErrorCode). Используйте оператор mv-expand:

   .create function DiagnosticLogsExpand() {
       DiagnosticRawRecords
       | mv-expand events = Records
       | where isnotempty(events.operationName)
       | project
           Timestamp = todatetime(events['time']),
           ResourceId = tostring(events.resourceId),
           OperationName = tostring(events.operationName),
           Result = tostring(events.resultType),
           OperationId = tostring(events.properties.OperationId),
           Database = tostring(events.properties.Database),
           Table = tostring(events.properties.Table),
           IngestionSourceId = tostring(events.properties.IngestionSourceId),
           IngestionSourcePath = tostring(events.properties.IngestionSourcePath),
           RootActivityId = tostring(events.properties.RootActivityId),
           ErrorCode = tostring(events.properties.ErrorCode),
           FailureStatus = tostring(events.properties.FailureStatus),
           Details = tostring(events.properties.Details)
   }
   

2. Добавьте политику обновления для целевой таблицы. Эта политика будет автоматически выполнять запрос для новых данных, принятых в промежуточную таблицу данных DiagnosticRawRecords, и вставлять результаты запроса в таблицу DiagnosticLogs:

   .alter table DiagnosticLogs policy update @'[{"Source": "DiagnosticRawRecords", "Query": "DiagnosticLogsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Журналы действий

Создание политики обновления данных для журналов действий

1. Создайте функцию, которая развертывает коллекцию записей журнала действий таким образом, чтобы каждое значение в коллекции получало отдельную строку. Используйте оператор mv-expand:

   .create function ActivityLogRecordsExpand() {
       ActivityLogsRawRecords
       | mv-expand events = Records
       | project
           Timestamp = todatetime(events['time']),
           ResourceId = tostring(events.resourceId),
           OperationName = tostring(events.operationName),
           Category = tostring(events.category),
           ResultType = tostring(events.resultType),
           ResultSignature = tostring(events.resultSignature),
           DurationMs = toint(events.durationMs),
           IdentityAuthorization = events.identity.authorization,
           IdentityClaims = events.identity.claims,
           Location = tostring(events.location),
           Level = tostring(events.level)
   }
   

2. Добавьте политику обновления для целевой таблицы. Эта политика будет автоматически выполнять запрос для новых данных, принятых в промежуточную таблицу данных ActivityLogsRawRecords, и вставлять результаты запроса в таблицу ActivityLogs:

   .alter table ActivityLogs policy update @'[{"Source": "ActivityLogsRawRecords", "Query": "ActivityLogRecordsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Создание пространства имен Центров событий Azure

Параметры диагностики Azure позволяют экспортировать метрики и журналы в учетную запись хранения или в концентратор событий. В этом учебнике мы направим метрики и журналы в концентратор событий. На следующих шагах вы создадите пространство имен концентраторов событий и концентратор событий для журналов и метрик диагностики. Служба Azure Monitor создаст концентратор событий insights-operational-logs для журналов действий.

1. Создайте концентратор событий на портале Azure с помощью шаблона Azure Resource Manager. Чтобы выполнить остальные шаги из этой статьи, щелкните правой кнопкой кнопку Развеhнуть в Azure и выберите вариант Открыть в новом окне. Нажав кнопку Развернуть в Azure, вы перейдете на портал Azure.

   

2. Создайте пространство имен концентраторов событий и концентратор событий для журналов диагностики. Узнайте, как создать пространство имен концентратора событий.

3. Заполните форму, указав следующую информацию. Сохраните значения по умолчанию для всех параметров, не указанных в следующей таблице.

   Параметр	Рекомендуемое значение	Описание
   Подписка	Ваша подписка	Выберите подписку Azure, которую нужно использовать для своего концентратора событий.
   Группа ресурсов	test-resource-group	Создайте новую группу ресурсов.
   Расположение	Выберите регион в соответствии со своими потребностями.	Создайте пространство имен концентратора событий в том же расположении, в котором находятся другие ресурсы.
   Имя пространства имен	AzureMonitoringData	Выберите уникальное имя, идентифицирующее пространство имен.
   Имя концентратора событий	DiagnosticData	Концентратор событий находится в пространстве имен, предоставляющем уникальный контейнер области.
   Имя группы потребителей	adxpipeline	Создайте имя группы потребителей. Группы получателей событий позволяют каждому из нескольких получающих события приложений иметь отдельное представление потока событий.

Подключение журналов и метрик Azure Monitor к концентратору событий

Теперь вам следует подключить к концентратору событий журналы и метрики диагностики, а также журналы действий.

Метрики диагностики / Журналы диагностики

Подключение журналов и метрик диагностики к концентратору событий

Выберите ресурс, из которого следует экспортировать метрики. Экспорт данных диагностики поддерживают ресурсы нескольких типов, в том числе пространство имен концентраторов событий, Azure Key Vault, Центр Интернета вещей и кластер Azure Data Explorer. В этом учебнике в качестве ресурса мы используем кластер Azure Data Explorer, мы рассмотрим метрики производительности запросов и журналы результатов приема.

1. Выберите свой кластер Kusto на портале Azure.

2. Выберите элемент Параметры диагностики, а затем ссылку Включить диагностику.

   

3. Откроется панель Параметры диагностики. Сделайте следующее:

   1. Присвойте данным журнала диагностики имя ADXExportedData.

   2. В поле LOG установите флажки SucceededIngestion и FailedIngestion.

   3. В разделе Метрика установите флажок Производительность запроса.

   4. Установите флажок Передать в концентратор событий.

   5. Нажмите кнопку Настроить.

      

4. На панели Выбор концентратора событий настройте метод экспорта данных из журналов диагностики в созданный вами концентратор событий.

   1. В списке Выбрать пространство имен концентратора событий выберите AzureMonitoringData.
   2. В списке Выберите имя концентратора событий выберите DiagnosticData.
   3. В списке Выбрать имя политики концентратора событий выберите RootManagerSharedAccessKey.
   4. Щелкните ОК.

5. Щелкните Сохранить.

Журналы действий

Подключение журналов действий к концентратору событий

1. В меню слева на портале Azure выберите Журнал действий.

2. Откроется окно Журнал действий. Выберите Параметры диагностики.

   

3. Откроется окно Параметры диагностики. Щелкните команду Добавить параметр диагностики.

   

4. Откроется новое окно Параметры диагностики.

   

   Выполните следующие шаги:

   1. Введите имя в поле Имя параметра диагностики.
   2. В левой части полей с флажками выберите журналы платформы, которые нужно получить из подписки.
   3. Установите флажок Передать в концентратор событий.
   4. Выберите свою подписку.
   5. В списке Пространство имен концентратора событий выберите элемент AzureMonitoringData.
   6. При необходимости выберите нужное имя концентратора событий.
   7. В списке Имя политики концентратора событий выберите имя политики концентратора событий по умолчанию.
   8. В левом верхнем углу этого окна выберите Сохранить. Будет создан концентратор событий с именем insights-operational-logs (если не выбрано имя концентратора событий, как указано выше).

Просмотр потока данных к концентраторам событий

1. Подождите несколько минут, пока создается подключение и завершается экспорт журнала действий в концентратор событий. Перейдите к пространству имен концентраторов событий, чтобы просмотреть созданные концентраторы событий.

   

2. Просмотрите потоки данных к вашему концентратору событий:

   

Подключение концентратора событий к Azure Data Explorer

Теперь пора создать подключения к данным для журналов и метрик диагностики, а также журналов действий.

Создание подключения к данным для журналов и метрик диагностики, а также журналов действий

1. В кластере Azure Data Explorer с именем kustodocs выберите в меню слева Базы данных.

2. В окне Базы данных выберите базу данных TestDatabase.

3. В меню слева выберите Прием данных.

4. В окне Прием данных выберите + Добавить подключение к данным.

5. В окне Подключение к данным введите следующую информацию:

   

Метрики диагностики / Журналы диагностики

1. Примените следующие параметры в окне Подключение к данным.

   Источник данных:

   Параметр	Рекомендуемое значение	Описание поля
   Имя подключения к данным	DiagnosticsLogsConnection	Имя создаваемого подключения к обозревателю данных Azure.
   Пространство имен концентратора событий	AzureMonitoringData	Имя, выбранное ранее и определяющее пространство имен.
   Концентратор событий	DiagnosticData	Созданный концентратор событий.
   Группа потребителей	adxpipeline	Группа получателей событий, определенная в созданном концентраторе событий.

   Целевая таблица

   Существует два варианта маршрутизации: статическая и динамическая. В этом руководстве используется статическая маршрутизация (по умолчанию), для которой нужно указать имя таблицы, формат данных и сопоставление. Не активируйте флажок My data includes routing info (Мои данные содержат сведения о маршрутизации).

   Параметр	Рекомендуемое значение	Описание поля
   Таблица	DiagnosticRawRecords	Таблица, которую вы создали в базе данных TestDatabase.
   Формат данных	JSON	Формат, используемый в этой таблице.
   Сопоставление столбцов	DiagnosticRawRecordsMapping	Сопоставление, которое вы создали в базе данных TestDatabase между входящими данными JSON и именами столбцов и типами данных в таблице DiagnosticRawRecords.

2. Нажмите кнопку создания.

Журналы действий

1. Примените следующие параметры в окне Подключение к данным.

   Источник данных:

   Параметр	Рекомендуемое значение	Описание поля
   Имя подключения к данным	ActivityLogsConnection	Имя создаваемого подключения к обозревателю данных Azure.
   Пространство имен концентратора событий	AzureMonitoringData	Имя, выбранное ранее и определяющее пространство имен.
   Концентратор событий	insights-operational-logs	Созданный концентратор событий.
   Группа потребителей	$Default	Группа потребителей по умолчанию. При необходимости вы можете создать другую группу потребителей.

   Целевая таблица

   Существует два варианта маршрутизации: статическая и динамическая. В этом руководстве используется статическая маршрутизация (по умолчанию), для которой нужно указать имя таблицы, формат данных и сопоставление. Не активируйте флажок My data includes routing info (Мои данные содержат сведения о маршрутизации).

   Параметр	Рекомендуемое значение	Описание поля
   Таблица	ActivityLogsRawRecords	Таблица, которую вы создали в базе данных TestDatabase.
   Формат данных	JSON	Формат, используемый в этой таблице.
   Сопоставление столбцов	ActivityLogsRawRecordsMapping	Сопоставление, которое вы создали в базе данных TestDatabase между входящими данными JSON и именами столбцов и типами данных в таблице ActivityLogsRawRecords.

2. Нажмите кнопку создания.

Отправка запросов новым таблицам

Теперь у вас есть конвейер, передающий данные. Прием данных через кластер занимает по умолчанию около пяти минут, поэтому подождите несколько минут с момента начала передачи данных, прежде чем начинать отправку запросов.

Метрики диагностики

Запрос таблицы метрик диагностики

Приведенный ниже запрос анализирует данные о длительности запросов по записям метрик диагностики в Azure Data Explorer.

DiagnosticMetrics
| where Timestamp > ago(15m) and MetricName == 'QueryDuration'
| summarize avg(Average)

Результаты запроса:

avg_Average
00:06.156

Журналы диагностики

Запрос таблицы журналов диагностики

Этот конвейер производит прием с помощью концентратора событий. Вы просмотрите результаты этого приема. Приведенный ниже запрос анализирует количество приемов за минуту, включая пример Database, Table и IngestionSourcePath для каждого интервала:

DiagnosticLogs
| where Timestamp > ago(15m) and OperationName has 'INGEST'
| summarize count(), take_any(Database, Table, IngestionSourcePath) by bin(Timestamp, 1m)

Результаты запроса:

count_	any_Database	any_Table	any_IngestionSourcePath
00:06.156	TestDatabase	DiagnosticRawRecords	https://rtmkstrldkereneus00.blob.core.windows.net/20190827-readyforaggregation/1133_TestDatabase_DiagnosticRawRecords_6cf02098c0c74410bd8017c2d458b45d.json.zip

Журналы действий

Запрос таблицы журналов действий

Приведенный ниже запрос анализирует данные в записях журнала действий Azure Data Explorer.

ActivityLogs
| where OperationName == 'MICROSOFT.EVENTHUB/NAMESPACES/AUTHORIZATIONRULES/LISTKEYS/ACTION'
| where ResultType == 'Success'
| summarize avg(DurationMs)

Результаты запроса:

avg(DurationMs)
768.333

См. также

• Написание запросов для Data Explorer Azure.
• Monitor Azure Data Explorer ingestion operations using diagnostic logs (Preview) (Мониторинг операций приема Azure Data Explorer с помощью журналов диагностики (предварительная версия))
• Использование метрик для мониторинга работоспособности кластера