Регистрация источников данных в каталоге данных Azure
Внимание
Azure Каталог данных была прекращена 15 мая 2024 г.
Для функций каталога данных используйте службу Microsoft Purview , которая обеспечивает унифицированное управление данными для всего пространства данных.
Введение
Каталог данных Azure — это полностью управляемая облачная служба, выполняющая функции системы регистрации и обнаружения корпоративных источников данных. Проще говоря, каталог данных помогает пользователям находить, оценивать и использовать источники данных, что, в свою очередь, повышает ценность имеющейся информации для организации. Чтобы источник данных можно было обнаружить с помощью каталога данных, этот источник нужно сначала зарегистрировать.
Регистрация источников данных
Регистрация — это извлечение метаданных из источника данных и их копирование в службу каталога данных. Данные никуда не перемещаются. Они остаются на своем месте под управлением администраторов и политик текущей системы.
Чтобы зарегистрировать источник данных, выполните следующие действия.
- На портале каталога данных Azure запустите средство регистрации источников данных каталога данных.
- Войдите с помощью рабочей или учебной учетной записи с теми же учетными данными Microsoft Entra, которые вы используете для входа на портал.
- Выберите источник данных, который требуется зарегистрировать.
После регистрации источника данных каталог отслеживает его расположение и индексирует его метаданные. Пользователи могут искать, просматривать и обнаруживать этот источник данных, а также подключаться к нему по расположению с помощью приложения или другого удобного средства.
Поддерживаемые источники данных
Список поддерживаемых сейчас источников данных см. в разделе Данные каталога DSR.
Структурные метаданные
При регистрации источника данных средство регистрации извлекает сведения о структуре выбранных объектов. Эти сведения называются структурными метаданными.
Для всех объектов эти структурные метаданные включают в себя расположение объекта, чтобы пользователи, обнаружившие данные, могли использовать эти сведения для подключения к объекту в удобных для них клиентских средствах. К другим структурным метаданным относятся имя, тип, имя атрибута или столбца и тип данных.
Описательные метаданные
Кроме основных структурных метаданных, извлекаемых из источника данных, средство регистрации также извлекает описательные метаданные. Для SQL Server Analysis Services и SQL Server Reporting Services эти метаданные берутся из свойств "Описание", предоставляемых этими службами. Для SQL Server извлекаются значения, предоставляемые с помощью расширенного свойства ms_description. Для Базы данных Oracle средство регистрации источника данных извлекает столбец COMMENTS из представления ALL_TAB_COMMENTS.
В дополнение к описательным метаданным, извлекаемым из источника данных, пользователи могут добавлять описательные метаданные с помощью средства регистрации источника данных. Пользователи могут добавлять теги и определять экспертов для регистрируемых объектов. Все описательные метаданные копируются в службу каталога данных вместе со структурными метаданными.
Включение функций предварительного просмотра
По умолчанию только метаданные извлекаются из источников данных и копируются в службу каталога данных. Но часто оценить источник бывает намного проще, если можно просмотреть образец его данных.
Вы можете включить предварительный просмотр данных моментального снимка в каждую таблицу и представление, зарегистрированное с помощью средства регистрации Каталог данных источника данных. Если вы решите добавить функцию предварительного просмотра, средство регистрации использует не более 20 записей из каждой таблицы и представления. Затем этот моментальный снимок копируется в каталог вместе со структурными и описательными метаданными.
Примечание.
Если в таблице много столбцов, количество записей, добавляемых для предварительного просмотра, может быть меньше 20.
Включение профилей данных
Как добавление функций предварительного просмотра позволяет предоставить ценный контекст для пользователей, ищущих источники данных в каталоге данных, так и добавление профиля данных помогает им оценить обнаруженные источники данных.
С помощью средства регистрации источников данных в каталоге данных можно добавить профиль данных для всех зарегистрированных таблиц и представлений. Если вы решаете включить профиль данных при регистрации, средство регистрации добавляет статистические сведения о данных в каждой таблице и представлении, в том числе:
- число строк и размер данных в объекте;
- дата последнего обновления данных и схемы объекта;
- число пустых записей и уникальных значений для столбцов;
- минимальное, максимальное, среднее и стандартное значение отклонения для столбцов.
Эти статистические сведения копируются в каталог вместе со структурными и описательными метаданными.
Примечание.
Для столбцов с текстом и датами статистика по среднему или стандартному отклонению в профиль данных не включается.
Обновление регистраций
После регистрации источник данных можно обнаружить в каталоге данных по метаданным и дополнительным данным предварительного просмотра, извлеченным во время регистрации. Если источник данных необходимо обновить в каталоге (например, если схема объекта изменилась, таблицы первоначально исключены или необходимо обновить данные, включенные в предварительные версии), средство регистрации источников данных можно повторно запустить.
При повторной регистрации уже зарегистрированный источник данных выполняет операцию слияния типа upsert: существующие объекты обновляются, а новые — создаются. Все метаданные, предоставленные пользователями через портал каталога данных, сохраняются.
Итоги
Благодаря тому, что из источника в службу каталога копируются структурные и описательные метаданные, регистрация источников данных в каталоге данных позволяет быстрее обнаружить и оценить эти данные. После регистрации источника данных вы можете зарегистрировать, управлять ими с помощью портала Каталог данных.