Регистрация источников данных в каталоге данных Azure

  • Статья

Внимание

Azure Каталог данных отменяется 15 мая 2024 г.

Новые учетные записи Azure Каталог данных больше не могут быть созданы.

Для функций каталога данных используйте службу Microsoft Purview , которая обеспечивает унифицированное управление данными для всего хранилища данных.

Если вы уже используете Azure Каталог данных, вам потребуется создать план миграции для вашей организации, чтобы перейти в Microsoft Purview к 15 мая 2024 г.

Введение

Каталог данных Azure — это полностью управляемая облачная служба, выполняющая функции системы регистрации и обнаружения корпоративных источников данных. Проще говоря, каталог данных помогает пользователям находить, оценивать и использовать источники данных, что, в свою очередь, повышает ценность имеющейся информации для организации. Чтобы источник данных можно было обнаружить с помощью каталога данных, этот источник нужно сначала зарегистрировать.

Регистрация источников данных

Регистрация — это извлечение метаданных из источника данных и их копирование в службу каталога данных. Данные никуда не перемещаются. Они остаются на своем месте под управлением администраторов и политик текущей системы.

Чтобы зарегистрировать источник данных, выполните следующие действия.

  1. На портале каталога данных Azure запустите средство регистрации источников данных каталога данных.
  2. Войдите с помощью рабочей или учебной учетной записи с теми же учетными данными Microsoft Entra, которые вы используете для входа на портал.
  3. Выберите источник данных, который требуется зарегистрировать.

После регистрации источника данных каталог отслеживает его расположение и индексирует его метаданные. Пользователи могут искать, просматривать и обнаруживать этот источник данных, а также подключаться к нему по расположению с помощью приложения или другого удобного средства.

Поддерживаемые источники данных

Список поддерживаемых сейчас источников данных см. в разделе Данные каталога DSR.

Структурные метаданные

При регистрации источника данных средство регистрации извлекает сведения о структуре выбранных объектов. Эти сведения называются структурными метаданными.

Для всех объектов эти структурные метаданные включают в себя расположение объекта, чтобы пользователи, обнаружившие данные, могли использовать эти сведения для подключения к объекту в удобных для них клиентских средствах. К другим структурным метаданным относятся имя, тип, имя атрибута или столбца и тип данных.

Описательные метаданные

Кроме основных структурных метаданных, извлекаемых из источника данных, средство регистрации также извлекает описательные метаданные. Для SQL Server Analysis Services и SQL Server Reporting Services эти метаданные берутся из свойств "Описание", предоставляемых этими службами. Для SQL Server извлекаются значения, предоставляемые с помощью расширенного свойства ms_description. Для Базы данных Oracle средство регистрации источника данных извлекает столбец COMMENTS из представления ALL_TAB_COMMENTS.

В дополнение к описательным метаданным, извлекаемым из источника данных, пользователи могут добавлять описательные метаданные с помощью средства регистрации источника данных. Пользователи могут добавлять теги и определять экспертов для регистрируемых объектов. Все описательные метаданные копируются в службу каталога данных вместе со структурными метаданными.

Включение функций предварительного просмотра

По умолчанию только метаданные извлекаются из источников данных и копируются в службу каталога данных. Но часто оценить источник бывает намного проще, если можно просмотреть образец его данных.

Вы можете включить предварительный просмотр данных моментального снимка в каждую таблицу и представление, зарегистрированное с помощью средства регистрации Каталог данных источника данных. Если вы решите добавить функцию предварительного просмотра, средство регистрации использует не более 20 записей из каждой таблицы и представления. Затем этот моментальный снимок копируется в каталог вместе со структурными и описательными метаданными.

Примечание.

Если в таблице много столбцов, количество записей, добавляемых для предварительного просмотра, может быть меньше 20.

Включение профилей данных

Как добавление функций предварительного просмотра позволяет предоставить ценный контекст для пользователей, ищущих источники данных в каталоге данных, так и добавление профиля данных помогает им оценить обнаруженные источники данных.

С помощью средства регистрации источников данных в каталоге данных можно добавить профиль данных для всех зарегистрированных таблиц и представлений. Если вы решаете включить профиль данных при регистрации, средство регистрации добавляет статистические сведения о данных в каждой таблице и представлении, в том числе:

  • число строк и размер данных в объекте;
  • дата последнего обновления данных и схемы объекта;
  • число пустых записей и уникальных значений для столбцов;
  • минимальное, максимальное, среднее и стандартное значение отклонения для столбцов.

Эти статистические сведения копируются в каталог вместе со структурными и описательными метаданными.

Примечание.

Для столбцов с текстом и датами статистика по среднему или стандартному отклонению в профиль данных не включается.

Обновление регистраций

После регистрации источник данных можно обнаружить в каталоге данных по метаданным и дополнительным данным предварительного просмотра, извлеченным во время регистрации. Если источник данных необходимо обновить в каталоге (например, если схема объекта изменилась, таблицы первоначально исключены или необходимо обновить данные, включенные в предварительные версии), средство регистрации источников данных можно повторно запустить.

При повторной регистрации уже зарегистрированный источник данных выполняет операцию слияния типа upsert: существующие объекты обновляются, а новые — создаются. Все метаданные, предоставленные пользователями через портал каталога данных, сохраняются.

Итоги

Благодаря тому, что из источника в службу каталога копируются структурные и описательные метаданные, регистрация источников данных в каталоге данных позволяет быстрее обнаружить и оценить эти данные. После регистрации источника данных вы можете зарегистрировать, управлять ими с помощью портала Каталог данных.