Мониторинг численности карт данных в Microsoft Purview
В Microsoft Purview можно сканировать различные типы источников данных и просматривать состояние сканирования с течением времени. Вы также можете подключить другие службы к Microsoft Purview и просмотреть тенденции приема ресурсов и связей. В этой статье описывается, как отслеживать и получать представление с высоты птичьего полета для населения карты данных.
Мониторинг выполнения сканирования
Откройте портал управления Microsoft Purview, выполнив следующие действия.
- Перейдите непосредственно к https://web.purview.azure.com учетной записи Microsoft Purview и выберите ее.
- Открытие портал Azure, поиск и выбор учетной записи Microsoft Purview. Нажмите кнопку портала управления Microsoft Purview .
Откройте учетную запись Microsoft Purview и выберите Карта данных ->Мониторинг. Для доступа к этой странице требуется роль администратора источника данных в любой коллекции. Вы увидите запуски сканирования, принадлежащие коллекциям, в которых у вас есть права администратора источника данных.
Высокоуровневые ключевые показатели эффективности показывают общее количество запусков сканирования в течение определенного периода. Период времени по умолчанию — последние 30 дней. Вы также можете выбрать последние семь дней. В зависимости от выбранного фильтра времени можно увидеть распределение успешных, неудачных, отмененных и выполняемых проверок по неделям или дням на графике.
В нижней части диаграммы есть ссылка Просмотреть дополнительные сведения. Ссылка открывает страницу Состояние сканирования . Здесь вы можете увидеть имя проверки и количество успешных, неудачных или отмененных проверок за период времени. Вы также можете отфильтровать список по типам источников.
Вы можете изучить конкретную проверку, выбрав имя сканирования. Он соединяет вас со страницей журнала сканирования, где можно найти список идентификаторов выполнения с дополнительными сведениями о выполнении.
Вы можете щелкнуть идентификатор выполнения, чтобы проверка дополнительные сведения о выполнении сканирования.
Известные ограничения:
В настоящее время этот интерфейс мониторинга не включает следующие сведения. Вы можете проверка соответствующие сведения о выполнении проверки.
- Состояние и длительность включают только этап сканирования (обнаружение из источника), но не этап приема. Вы можете увидеть несоответствие по сравнению с панелью сведений о выполнении сканирования.
- Запуски сканирования извлечения происхождения для базы данных Azure SQL не охвачены.
- При сканировании рабочей области Azure Synapse Analytics, подписки Или группы ресурсов Azure и учетной записи AWS она фиксирует только состояние или количество родительских запусков сканирования, но не запуски дочернего сканирования для каждого ресурса.
Проверка сведений о выполнении
Вы можете перейти к журналу выполнения для заданной проверки из разных мест:
- Перейдите в раздел Карта данных ->Мониторинг, как описано в разделе Мониторинг выполнения сканирования.
- Перейдите в раздел Карта данных ->Источники .> Выберите нужный источник данных.> См. статью Сканирование, последние проверки или Последние неудачные проверки.
- Перейдите в раздел Карта данных ->Коллекции -> выберите нужную коллекцию ->Scans -> выберите имя сканирования, которое требуется просмотреть больше.
Срок хранения журнала выполнения сканирования составляет 90 дней.
Вы можете щелкнуть идентификатор выполнения, чтобы проверка дополнительные сведения о выполнении сканирования:
Идентификатор запуска: GUID, используемый для идентификации заданного запуска сканирования.
Тип выполнения: полная или добавочная проверка.
Раздел сканирования содержит сводку метрик для этапа обнаружения, который Purview подключает к источнику, извлекает метаданные или происхождение и классифицирует данные.
Состояние сканирования:
Состояние Описание Завершено Этап сканирования завершается успешно. Не выполнено Сбой этапа сканирования. Вы можете проверка сведения об ошибке, щелкнув ссылку "Дополнительные сведения" рядом с ней. Canceled. Запуск сканирования отменяется пользователем. Выполняется Выполняется проверка. В очереди При выполнении сканирования ожидается доступный ресурс среды выполнения интеграции.
Если вы используете локальную среду выполнения интеграции, обратите внимание, что каждый узел может одновременно выполнять несколько одновременных проверок в зависимости от спецификации компьютера (ЦП и памяти). Другие проверки находятся в состоянии в очереди.Задушил Выполнение сканирования регулируется. Это означает, что эта учетная запись Microsoft Purview на данный момент имеет больше выполняемых проверок, чем допустимое максимальное число одновременных операций. Дополнительные сведения об ограничении см. здесь. Этот конкретный запуск сканирования ожидается и будет выполнен после завершения других текущих проверок. При выполнении проверки не взимается плата за состояние "Throttled" или "В очереди".
Тип сканирования: ручная или запланированная проверка.
Обнаруженные ресурсы. Количество ресурсов, перечисляемых из источника. Для полной и добавочной проверки она включает все ресурсы в настроенном область, независимо от того, были ли они существующими ресурсами или только что созданными или обновленными ресурсами с момента последнего запуска проверки. В то время как для добавочного сканирования подробные метаданные извлекаются только для вновь созданных или обновленных ресурсов дополнительно.
Классифицированные ресурсы. Количество ресурсов, которые были выбраны для классификации данных, независимо от того, имеют ли ресурсы соответствующую классификацию. Это подмножество обнаруженных ресурсов на основе механизма выборки. Для добавочного сканирования для классификации могут быть выбраны только вновь созданные или обновленные ресурсы.
Длительность: длительность фазы сканирования и время начала и окончания.
Раздел приема данных содержит сводку метрик для этапа приема, на котором Purview заполняет карту данных определенными метаданными и связью.
Состояние приема:
Состояние Описание Завершено Все ресурсы и связи успешно попадают в карту данных. Завершено с исключениями (ранее "Частично завершено") Часть ресурсов и связей успешно попадает в карту данных, а некоторые из них завершаются сбоем. Не выполнено Сбой этапа приема. Canceled. Запуск сканирования отменяется пользователем, поэтому прием отменяется вместе. Выполняется Прием выполняется. В очереди При приеме ожидается доступ к ресурсу службы или ожидается сканирование для обнаружения метаданных. Ресурсы, которые были в приеме: количество ресурсов, поданных в карту данных. При добавочной проверке она включает только вновь созданные или обновленные ресурсы, в этом случае может быть меньше числа обнаруженных ресурсов. При проверке файлового источника это число необработанных ресурсов перед агрегированием набора ресурсов.
Связи, которые были загружены: количество связей, попадающих в карту данных. Он включает в себя происхождение и другие связи, такие как связи с внешним ключом.
Длительность: длительность приема и время начала и окончания.
Просмотр журнала исключений (предварительная версия)
Если некоторые ресурсы или связь не могут принять карту данных во время сканирования, например состояние приема завершается с исключениями, на панели сведений о выполнении сканирования отображается кнопка "Скачать журнал". Он предоставляет файлы журнала исключений, в которые записываются сведения о сбоях.
В следующей таблице показана схема файла журнала.
| Столбец | Описание |
|---|---|
| TimeStamp | Метка времени UTC при выполнении операции приема. |
| ErrorCode | Код ошибки исключения. |
| OperationItem | Идентификатор для неудаченного ресурса или связи, обычно использующий полное имя. |
| Сообщение | Дополнительные сведения о том, какой ресурс или связь не удалось принять по какой причине. Если произошел сбой приема для набора ресурсов, он может применяться к нескольким ресурсам, соответствующим одному шаблону именования, и сообщение содержит затронутый счетчик. |
В настоящее время журнал исключений не включает сбои, произошедшие на этапе сканирования (обнаружение метаданных). Он будет добавлен позже.
Мониторинг ссылок
Вы можете подключить другие службы с помощью Microsoft Purview, чтобы установить "ссылку", которая сделает метаданные и происхождение ресурсов этой службы доступными для Microsoft Purview. В настоящее время ссылка поддерживается для Фабрика данных Azure и Azure Synapse Analytics.
Чтобы отслеживать ресурсы и связи, передаваемые по ссылкам, выполните следующие действия:
Перейдите к учетной записи Microsoft Purview.> Откройте портал управления Microsoft Purview ->Карта данных ->Мониторинг ->Ссылки. Для доступа к вкладке Мониторинг необходимо иметь роль администратора источника данных в любой коллекции. Вы увидите результаты, относящиеся к коллекциям, для которых у вас есть права администратора источника данных. Разрешение на корневую коллекцию требуется для отслеживания Фабрика данных Azure и ссылок Azure Synapse Analytics.
Вы можете просмотреть высокоуровневые ключевые показатели эффективности, включая общее количество источников, количество принятых ресурсов и связь (происхождение), за которыми следуют трендовые диаграммы с течением времени. Чтобы сузить результаты, можно применить дополнительные фильтры к следующим:
- Тип источника
- Имя источника
- Диапазон дат: по умолчанию — 30 дней. Вы также можете выбрать последние семь дней или пользовательский диапазон дат. Срок хранения составляет 45 дней.
Метрики отображаются до даты, указанной в правом верхнем углу. И агрегат будет происходить ежечасно.
В нижней части диаграммы есть ссылка Просмотреть дополнительные сведения. На странице Состояние связи вы можете просмотреть список имен источников, а также тип источника, данные приема ресурсов, данные о связи и время последнего выполнения. Фильтры на предыдущей странице будут перенесены, и вы можете дополнительно отфильтровать список по типу источника, имени источника и диапазону дат.
Чтобы просмотреть сведения о следующем уровне, щелкните имя источника, выполните детализацию по каждому источнику. Например, для Фабрика данных Azure показано, как каждое действие конвейера сообщает о ресурсах и связях с Microsoft Purview с именем в формате
<pipeline_name>/<activity_name>.
Известные ограничения
- Для Фабрика данных Azure и аналитики Azure Synapse в настоящее время этот мониторинг связи фиксирует ресурсы и связи, созданные в связи с действием копирования, но не потоком данных и действиями служб SSIS.
- Агрегирование и фильтр даты находятся в формате UTC.
Сканирование больше не выполняется
Если проверка Microsoft Purview использовалась для успешного запуска, но теперь завершается сбоем, проверка следующие моменты:
- Сначала проверьте сообщение об ошибке, чтобы просмотреть сведения о сбое.
- Были ли изменены или изменены учетные данные для ресурса? Если это так, вам потребуется обновить, чтобы в проверке использовались правильные учетные данные.
- Предотвращает ли Политика Azureобновления учетных записей хранения? Если это так, следуйте инструкциям в руководстве по тегу исключения Microsoft Purview , чтобы создать исключение для учетных записей Microsoft Purview.
- Используете ли вы локальную среду выполнения интеграции? Убедитесь, что оно обновлено с последней версией программного обеспечения и подключено к вашей сети.