Поделиться через

Пример настройки для управления данными

Управление данными Microsoft Purview, включающее Единый каталог Microsoft Purview и Схема данных Microsoft Purview, обеспечивает всестороннюю видимость, достоверность данных и ответственные инновации, помогая организациям достичь большей ценности для бизнеса в эпоху ИИ. Используя пример управления данными о работоспособности, выполните действия, описанные в этой статье, чтобы понять, как настроить Единый каталог и использовать его функции для создания разумной практики управления данными в организации.

Шаг 1. Настройка доменов управления в Единый каталог

Домены управления являются ключом к установлению ответственности за данные и помогают федеративно управлять данными в компании. При создании доменов управления начните с правильного владельца, чтобы вы могли эффективно идентифицировать и сотрудничать с экспертами для всех данных в пространстве данных. Домены управления могут быть различными типами, чтобы соответствовать типу границ данных для команды, которая управляет данными. Например, функциональные домены (финансы, отдел кадров, продажи) или домены данных (продукт, клиент, работоспособность).

Предварительные условия

Предоставление разрешений и создание первого домена управления

  1. Откройте портал Microsoft Purview.

  2. Войдите на портал Microsoft Purview, используя учетные данные учетной записи администратора с ролью управления ролями (например, администратор Purview). Перейдите в раздел Параметры > Роли и области для просмотра и управления ими.

  3. Выберите Группы ролей.

  4. На странице Группы ролей для решений Microsoft Purview выберите группу ролей Управление данными .

  5. На странице Изменение участника группы ролей выберите Выбрать пользователей или Выбрать группы.

  6. Выберите поле проверка для всех пользователей или групп, которые вы хотите добавить в группу ролей.

  7. Выберите Выбрать.

  8. В Единый каталог выберите Управление каталогом, а затем домены управления.

  9. На странице Домены управления вы можете настроить остальную часть каталога, чтобы позволить другим пользователям федеративно управлять данными, предоставить командам возможность накапливать свои знания и определять ценность ваших данных для бизнеса.

    1. Для начала выберите Новый домен управления.
      1. Вы можете обновить имя домена управления. В этом руководстве присвойте ему имя "(Учебник) Личное здоровье" и присвойте ему описание: "Персональные данные о здоровье относятся к любой информации, связанной с физическим или психическим здоровьем человека, которая собирается и используется в секторе здравоохранения. Эти данные могут включать широкий спектр типов, таких как медицинские записи, журналы лечения, диагностические изображения и результаты лабораторных испытаний. Он часто защищен различными законами и нормативными актами для обеспечения конфиденциальности и конфиденциальности.
      2. Выберите тип в качестве домена данных.
      3. Оставьте родительский элемент пустым (если это первый домен управления в каталоге, у него нет родительского домена).
      4. Нажмите Создать.
      5. Теперь создайте еще два домена самостоятельно. Эти домены являются ключевыми точками федерации для совместной работы и управления в организации. Подумайте о том, кто может быть владельцем ваших доменов при реализации Единый каталог.
        1. Ниже приведены примеры.
        • Корпоративный функциональный домен представляет строго контролируемые активы и термины, которые используются всей компанией. - Продажи — это функциональный домен, который большинство организаций имеют в качестве дочернего домена корпоративного.

  10. Выберите созданный домен управления.

  11. Перейдите на вкладку Роли домена управления.

  12. По умолчанию при создании домена управления вы добавляетесь ко всем ролям в домене управления. В качестве владельца домена управления вы добавляете администраторов данных (бизнес-экспертов в вашем домене) и владельцев продуктов данных (которые знают, какие ресурсы данных лучше всего использовать другим пользователям).

  13. Вернитесь на вкладку Сведения .

  14. Выберите Управление политиками , чтобы применить политику на уровне домена. Эта политика применяется ко всем продуктам данных в домене. Включив автоматическое применение политики, эксперты по данным также не должны быть экспертами по вопросам политики.

  15. На вкладке Управление политиками доступа установите флажок Разрешить копирование данных. Выбрав этот параметр политики, он автоматически применяет аттестацию, требующую от всех пользователей, запрашивающих доступ к вашим продуктам данных, чтобы подтвердить, что они понимают политику копирования данных для ваших данных.

  16. Выберите Сохранить изменения , чтобы убедиться, что политика задана доменом управления.

  17. Выберите Опубликовать в домене управления, который публикует все остальные понятия в домене.

Создание терминов глоссария

Добавление терминов глоссария в домен управления помогает другим пользователям понять, как бизнес использует и интерпретирует данные. Термины глоссария также обеспечивают использование общих терминов и, как правило, ваши знания в вашей области управления.

  1. На странице домена управления найдите термины Глоссария карта и выберите Просмотреть все.

  2. На странице Термины глоссария выберите Новый термин.

  3. Введите сведения: 1. Имя: "Вспышка".

    1. Описание: болезнь, которая затрагивает или может повлиять на большую часть населения.
    2. Вы можете оставить остальные поля пустыми, но есть поля для сбора: термин владелец, ответственный за определение термина для вашей компании, сокращения для совместного использования, также известные как названия термина, наконец, вы можете предоставить ссылки на ресурсы, которые будут содержать еще больше информации о термине.

  4. Нажмите Создать.

  5. Выберите Управление политиками. Как и политики уровня домена, можно создавать политики уровня терминов, которые применяются везде, где используется термин.

  6. Установите флажок рядом с пунктом Требуется утверждение диспетчера. Эта политика обеспечивает дополнительное утверждение от руководителя пользователя в Microsoft Entra идентификаторе при запросе доступа к продуктам данных.

  7. Выберите Опубликовать для созданного термина вспышки. Опубликованные термины можно фильтровать в Единый каталог и убедиться, что другие пользователи, использующие этот термин для описания своего продукта данных, могут видеть это описание в Единый каталог при просмотре продукта данных.

  8. Теперь создайте еще два термина. На этот раз выберите термин "Вспышка" в качестве родительского термина для созданных терминов. Попробуйте построить отношения между этими дочерними терминами на соответствующей вкладке для любого из терминов, чтобы помочь создать сеть того, как эти термины работают вместе, чтобы объяснить всю тему.

    1. Пандемия: глобальная вспышка болезни, которая затрагивает большое число людей в нескольких странах или регионах или континентах.
    2. Эпидемия: общенациональная или региональная вспышка болезни, которая является весьма заразной и затрагивает значительную часть населения.

  9. Попробуйте создать несколько других терминов в других доменах, созданных ранее. Если вы не знаете, что добавить, выберите Получить предлагаемые термины , чтобы генеративный ИИ предложил несколько на основе описания и имени уже предоставленного домена.

Добавление OKR

Добавьте OKR (целевой и ключевой результат) для домена личной работоспособности, чтобы помочь другим пользователям понять ценность ваших данных для бизнеса. На этом шаге создается прямая связь между данными и бизнес-ценностью, которые они предоставляют.

  1. Выберите поле OKR на странице домена управления.

  2. Выберите Создать OKR.

  3. Сначала введите сведения о цели:

    1. Цель: снижение риска пандемии путем эффективного использования вакцины для пациентов.
    2. Владелец: введите свое имя
    3. Целевая дата: 31.12.2024

  4. Нажмите Создать.

  5. Добавьте ключевые результаты к цели, чтобы сделать цели измеримыми и отслеживать ход достижения цели. Выберите Добавить результат ключа.

  6. Введите сведения о ключевом результате:

    1. Ключевой результат: обеспечить полную вакцинацию 80% пожилых групп (>65 лет), которые, скорее всего, будут затронуты пандемией, к концу календарного года 2024 года.
    2. Состояние выполнения: в нужном направлении
    3. Сумма выполнения: 70
    4. Сумма цели: 80
    5. Максимальная сумма: 100

  7. Нажмите Создать.

  8. Нажмите Опубликовать.

Создание критически важных элементов данных

Создайте критически важный элемент данных (CDE) в личной работоспособности, чтобы обеспечить согласованное определение и понимание наиболее важных столбцов данных. CDE всегда соответствует ожиданиям бизнеса в отношении того, как эти данные формируются и хранятся.

  1. На странице Домены управления с выбранным доменом Личной работоспособности выберите поле Критически важные элементы данных .
  2. Выберите Создать элемент критически важных данных.
  3. Введите базовые метаданные CDE:
    1. Имя: Возрастные группы
    2. Описание. Общие группы возрастов лиц, используемые для обеспечения того, чтобы необходимые аналитические отчеты следовали ссылке, от которую могут зависеть другие люди, и удаление отдельных возрастов для повышения анонимности данных. Возрастная группа делится на восемь групп: <2 года, 2-4 года, 5-11 лет, 12-17 лет, 18-24 лет, 25-49 лет, 50-64 лет, 65+ лет.
    3. Владелец: введите свое имя
    4. Ожидаемый тип данных: Text
    5. Нажмите Создать.

Реальная сила CDE заключается в том, что он сопоставляется непосредственно со столбцами физических данных, в которых хранятся эти данные. Это подключение обеспечивает общее понимание и позволяет оценивать правила и политики качества данных в большом масштабе.

  1. В только что созданном CDE выберите Добавить столбец.

  2. Поиск ресурса данных вакцины и случаев заболевания Covid 19 из золотого контейнера озера данных

  3. Выберите поле, а не имя, актива вакцины и случаев covid 19 .

    Совет

    Если выбрать синее имя ресурса, откроется новое окно со сведениями об активе.

  4. Нажмите переключатель рядом со столбцом AgeGroupVacc.

  5. Нажмите Добавить.

  6. Перейдите на вкладку Качество данных в верхней части только что созданного CDE, чтобы применить правила качества данных к CDE. Это похоже на то, как вы добавили политики для терминов глоссария и доменов управления.

  7. Выберите Новое правило.

  8. Выбор сопоставления типов данных

  9. Введите имя правила: Подтверждение форматирования возрастной группы

  10. Нажмите Создать.

  11. Выберите Опубликовать в CDE.

Теперь этот CDE автоматически применяет правило качества данных к каждому продукту данных, который использует ресурс вакцины от Covid 19 и тенденции случаев заболевания, который вы увидите в следующем разделе.

  1. Попробуйте создать несколько других cdes в других доменах. Ниже приведены некоторые идеи.
    • Sales: Revenue и Seller Name
    • Корпоративный: идентификатор продукта

Шаг 2. Настройка и регистрация данных в схеме данных

Если у вас нет источников данных, доступных для сканирования, выполните следующие действия, чтобы полностью развернуть пример Azure Data Lake Storage (ADLS 2-го поколения).

Совет

Если у вас уже есть источник данных в том же клиенте, что и учетная запись Microsoft Purview, перейдите к следующей части этого раздела, чтобы проверить ресурсы.

В реальных данных вы найдете множество различных систем, используемых для различных приложений с данными. Существуют такие среды отчетности, как Fabric и Snowflake, в которых команды используют копии данных для создания аналитических решений и управления своими отчетами и панелями мониторинга. Существуют операционные системы данных, которые используются командами приложений или клиентами для выполнения бизнес-процессов, которые собирают или добавляют данные на основе решений, принятых в ходе этого процесса.

Чтобы создать более реалистичное хранилище данных, покажите в каталоге множество источников данных, которые могут охватывать широкий спектр различных данных, используемых любой компанией. Типы данных, необходимые для использования варианта использования, могут сильно отличаться от бизнес-пользователей, которым требуются отчеты и панели мониторинга, аналитикам нужны соответствующие измерения и факты для создания отчетов, специалистам по обработке и анализу данных нужны необработанные исходные данные, поступающие непосредственно из системы, которая собирает данные. Все это и многое другое позволяет разным пользователям увидеть важность поиска, понимания и доступа к данным в одном месте.

Чтобы получить некоторые другие руководства по добавлению данных в ваше имущество, следуйте этим руководствам:

Предварительные условия

Настройка пространства данных

О. Создание и заполнение учетной записи хранения
  1. Следуйте этому руководству, чтобы создать учетную запись хранения: Создание учетной записи хранения для Azure Data Lake Storage 2-го поколения
  2. Создайте контейнеры для нового озера данных:
    1. Перейдите на страницу Обзор учетной записи хранения.
    2. Перейдите на вкладку Контейнеры в разделе Хранилище данных.
      1. Выберите Контейнер.
      2. Присвойте контейнеру имя bronze и нажмите кнопку Создать.
      3. Повторите эти действия, чтобы создать "золотой" контейнер.
  3. Скачайте примеры данных CSV из data.gov: Вакцинация от COVID-19 и тенденции случаев по возрастным группам, США
  4. Отправьте CSV-файл в контейнер с именем bronze в созданной учетной записи хранения.
  5. Выберите контейнер с именем "bronze" и нажмите кнопку Отправить.
  6. Найдите расположение, в котором вы сохранили CSV-файл, и выберите файл Covid-19_Vaccination_Case _Trends .
  7. Выберите Добавить.
Б. Создание Фабрика данных Azure

На этом шаге показано, как данные перемещаются между слоями озера данных медальона, и обеспечивается стандартизированный формат данных, который потребители ожидают использовать. Этот шаг является необходимым условием для запуска качества данных.

  1. Следуйте этому руководству, чтобы создать Фабрика данных Azure: Создание Фабрика данных Azure

  2. Скопируйте данные из CSV-файла в контейнере "bronze" в "золотой" контейнер в виде таблицы разностного формата с помощью Фабрика данных Azure руководства: Преобразование данных с помощью потока данных сопоставления

  3. Откройте интерфейс Фабрика данных Azure (ADF) из портал Azure, выбрав Запустить студию на вкладке Обзор созданного ресурса ADF.

  4. Перейдите на вкладку Автор в студии ADF.

  5. + Выберите команду, а затем — Поток данных.

  6. Присвойте потоку данных имя CSVtoDeltaC19VaxTrends.

  7. Выберите Добавить источник в пустом поле.

  8. Задайте для параметров источника значение:

    1. Имя выходного потока: "C19csv"
    2. Описание: оставьте пустым
    3. Тип источника: Встроенный
    4. Тип встроенного набора данных: текст с разделителями
    5. Связанная служба: выберите озеро данных, в котором хранится CSV-файл.

  9. Задайте для параметров источника значение:

    1. Режим файла: файл
    2. Путь к файлу: /bronze/ Covid-19_Vaccination_Case _Trends
    3. Разрешить отсутствие файлов: не устанавливайте флажок
    4. Отслеживание измененных данных: не устанавливайте флажок
    5. Тип сжатия: Нет
    6. Кодировка: по умолчанию (UTF-8)
    7. Разделитель столбцов: запятая (,)
    8. Разделитель строк: default(\r, \n или\r\n)
    9. Символ кавычек: двойная кавычка (")
    10. Escape-символ: обратная косая черта ()
    11. Первая строка в качестве заголовка: CHECKED
    12. Оставьте остальные значения по умолчанию

  10. Нажмите кнопку Далее по созданному источнику и выберите Приемник.

  11. Создайте приемник, в котором будут храниться данные формата и расположения, чтобы переместить данные из csv-файла в "bronze" в разностную таблицу с золотом.

    1. Задайте значения приемника (оставьте все параметры по умолчанию, если не указано).
    2. Тип приемника: Встроенный.
    3. Тип встроенного набора данных: Delta.
    4. Связанная служба: то же самое озеро данных, которое используется в источнике, так как вы хранитесь в другом контейнере.

  12. Задайте значения параметров (оставьте все параметры по умолчанию, если не указано)

    1. Путь к папке: gold/Covid19 Вакцины и случаи заболевания.

  13. Введите значение, так как это имя является способом хранения данных, и оно не существует для выбора.

  14. Выберите Проверить. Это действие проверяет поток данных и предоставляет инструкции по устранению ошибок.

  15. Выберите Опубликовать все.

  16. + Выберите команду, а затем — Конвейер.

  17. Присвойте конвейеру имя "CSV-to Delta C19 Vax Trends".

  18. Выберите поток данных, созданный на предыдущих шагах CSV-файла, в Delta (C19VaxTrends) и перетащите его на открытой вкладке конвейера.

  19. Выберите Проверить.

  20. Нажмите Опубликовать.

  21. Выберите Отладка (использовать среду выполнения действия), чтобы запустить конвейер.

    Совет

    Если вы получаете ошибки для пробелов или недопустимые символы для разностного формата, откройте скачанный CSV-файл и внесите исправления. Затем повторно отправьте и перезапишите CSV-файл в зоне bronze. Затем повторно запустите конвейер.

  22. Перейдите к контейнеру gold в озере данных, и теперь вы увидите новую таблицу Delta, созданную во время конвейера.

Сканирование ресурсов

Если вы не сканировали ресурсы данных в карте данных, выполните следующие действия, чтобы заполнить карту данных.

При сканировании источников в пространстве данных автоматически собираются метаданные ресурсов данных (таблицы, файлы, папки, отчеты и т. д.) в этих источниках. При регистрации источника данных и создании сканирования вы устанавливаете техническое право собственности на источники и ресурсы, которые отображаются в каталоге. Вы также можете управлять доступом к метаданным в Microsoft Purview. При регистрации и хранении источников и ресурсов на уровне домена они хранятся на самом высоком уровне иерархии доступа. Как правило, лучше всего создать некоторые коллекции, в которых вы сканируете метаданные ресурса и устанавливаете правильную иерархию доступа для данных.

Если вы решили использовать Fabric или SQL, воспользуйтесь следующими руководствами, чтобы предоставить доступ:

Регистрация озера данных и сканирование ресурсов

  1. На вкладке Домены на вкладке "Карта данных" выберите назначение ролей для домена (это имя учетной записи Microsoft Purview):

    1. Добавьте себя в качестве администратора источника данных и куратора данных в домен.
      1. Щелкните значок пользователя рядом с ролью Администратор источника данных. 1. Выполните поиск по имени в Microsoft Entra идентификаторе (вам может потребоваться ввести полное имя точно так, как в Microsoft Entra идентификаторе).
      2. Нажмите OK.
      3. Повторите эти действия для куратора данных.

  2. Зарегистрируйте озеро данных:

    1. Выберите вкладку Источники данных.
    2. Нажмите Зарегистрировать.
    3. Выберите тип хранилища Azure Data Lake Storage 2-го поколения.

  3. Укажите сведения для подключения:

    1. Подписка (необязательно)
    2. Имя источника данных (это имя источника ADLS 2-го поколения)
    3. Коллекция, в которой должны храниться метаданные ресурса (необязательно)
    4. Выберите Зарегистрировать

  4. После завершения регистрации источника данных можно настроить проверку. Регистрация означает, что Microsoft Purview подключен к источнику данных и поместил его в правильную коллекцию для владения. Сканирование считывает метаданные из источника и заполняет ресурсы на карте данных.

  5. Выберите источник, зарегистрированный на вкладке "Источники данных"

  6. Выберите новое сканирование и укажите сведения:

    1. Использование среды выполнения интеграции по умолчанию для этой проверки
    2. Учетные данные должны быть MSI Microsoft Purview (система)
    3. Уровень сканирования — автоматическое обнаружение
    4. Выберите коллекцию или используйте домен (коллекция должна быть той же или дочерней коллекцией, где был зарегистрирован источник данных).
    5. Нажмите кнопку Продолжить.

    Совет

    На этом этапе подключение проверяется, что проверка может быть выполнена. Если не предоставить читателю MSI Microsoft Purview доступ к источнику данных, произойдет сбой. Если вы не являетесь владельцем источника данных или у вас нет доступа пользователей участник, проверка завершается ошибкой, так как ожидается, что у вас есть авторизация для создания подключения.

  7. Теперь выберите только контейнер "gold", в котором вы разместили разностную таблицу в разделе данных о сборке учебника. Этот выбор предотвращает сканирование других ресурсов данных, которые находятся в хранилище данных.

    1. Если рядом с gold есть только один синий проверка, вы можете оставить чеки рядом со всем, так как он будет сканировать полный источник и по-прежнему создавать ресурсы, которые мы будем использовать, и многое другое.
    2. Нажмите кнопку Продолжить.

  8. На экране Выбор набора правил проверки следует использовать набор правил проверки по умолчанию.

  9. Нажмите кнопку Продолжить.

  10. При установке триггера сканирования вы зададите частоту сканирования, чтобы по мере добавления ресурсов данных в золотой контейнер озера он продолжал заполнять карту данных. Выберите Один раз.

  11. Нажмите Продолжить.

  12. Выберите Сохранить и выполнить. Это действие создает проверку, которая считывает метаданные из золотого контейнера озера данных и заполняет таблицу, которую мы будем использовать в Единый каталог в следующих разделах. Если выбрать только сохранить, проверка не выполняется, и ресурсы не отображаются. После выполнения проверки вы увидите созданное сканирование с состоянием Последнего выполнения в очереди. Когда проверка завершит чтение, ресурсы будут готовы к работе со следующим разделом. Этот процесс может занять несколько минут или часов в зависимости от количества ресурсов в источнике.

Шаг 3. Публикация продуктов данных

Создание продуктов данных важно, чтобы ваша организация могла обнаруживать нужные данные. Продукты данных помогают предотвратить переуправление данных, которые имеют низкую ценность или не имеют значения в вашем пространстве данных, так как они не имеют использования или имеют ограниченное значение. Когда ваши специалисты по данным публикуют продукты данных, вы активируете наиболее ценные данные и создаете правильный уровень управления на основе этих значений. Обработка ресурсов, которые технические команды не знают о бизнес-цели, или попытка управлять всем, что в вашем сложном и растущем пространстве данных, приводит к дополнительному времени и потере производительности, преследуя детали данных, которые никогда не будут использоваться или могут быть просто удалены из имущества. Вместо этого сосредоточьтесь на фрагментах данных, которые имеют ценность, и что людям необходимо обнаружить и создать еще больше ценности. По мере того как команды используют больше данных и лучше понимают, что необходимо, вы можете создавать более полезные продукты данных для удовлетворения этих потребностей. Система управления может адаптироваться, чтобы обеспечить правильный размер в зависимости от ценности и конфиденциальности данных.

Предварительные условия

Создание и публикация продукта данных

  1. Откройте портал Microsoft Purview.

  2. Выберите Единый каталог.

  3. Выберите Управление каталогом , а затем Домены управления.

  4. На странице Домены управления выберите личный домен работоспособности.

  5. Выберите Перейти к продуктам данных в разделе Бизнес-понятия.

  6. Здесь эксперты по данным, называемые владельцами продуктов данных, определяют ресурсы данных, которые предназначены для использования другими пользователями в вашей организации, и предоставляют необходимую информацию, чтобы сделать их пригодными для использования.

  7. Выберите Новый продукт данных.

  8. Предоставьте сведения о продукте данных: 1. Имя: "Вакцинация от Covid-19 и тенденции случаев по возрасту" 1. Описание: "Эти данные поступают из CDC в составе Министерства здравоохранения США & социальных служб. Данные содержат тенденции вакцинации и случаев по возрастным группам на национальном уровне США. Данные стратифицируются по крайней мере одной дозой и полностью вакцинированы. Данные также представляют всех партнеров по вакцинам, включая юрисдикционные партнерские клиники, розничные аптеки, учреждения по долгосрочному уходу, диализные центры, Федеральное агентство по управлению чрезвычайными ситуациями и партнерские сайты администрирования ресурсов и услуг здравоохранения, а также объекты федеральных организаций».

    1. Тип: Набор данных
    2. Нажмите кнопку Далее.
    3. Варианты использования: This data is provided for public use and is intended to help understand the trends of vaccination up take and new cases by different age groups. The ages are banded into two groups ranging from <2 years to 65+ years. Similarly the trends are provided in daily numbers that provide seven day average of new cases by age group.
    4. Пометка как одобренная как установленная.
    5. Выберите Сохранить.

  9. Теперь у вас есть базовые метаданные продукта данных. Затем добавьте некоторые свойства и сопоставите ресурс из карты данных.

  10. Выберите Добавить ресурсы данных.

  11. Вы увидите ресурсы, которые вы сканировали на карте данных, включая все папки и слои источника данных.

  12. Найдите ресурс Вакцины и тенденции случаев covid19 , добавленный в золотой контейнер озера данных, и выберите этот набор ресурсов.

  13. Нажмите Добавить. Вы можете выбрать столько ресурсов, сколько требуется для продукта данных, но здесь требуется только один.

    Совет

    Выберите Получить предложения , чтобы получить справку по генеративному ИИ из ресурсов на карте данных, а затем выберите Вакцина и тенденции случаев covid19 из сокращенного списка результатов.

  14. Теперь вы можете увидеть ресурс, добавленный в продукт данных.

  15. Выберите Добавить термин рядом с заголовком терминов глоссария.

  16. Выберите термин "Вспышка", созданный ранее, и нажмите кнопку Добавить.

  17. Вы должны увидеть критически важный элемент данных для возрастной группы из ресурса, сопоставленного с продуктом данных.

  18. Выберите Добавить OKR рядом с заголовком OKR.

  19. Выберите пункт Снижение риска пандемии путем эффективного использования вакцины для пациентов. Это цель, созданная в первом разделе.

Управление политиками запросов на доступ к продуктам данных

В верхней части страницы последним шагом перед публикацией продукта данных является выбор управления политиками. Здесь вы настраиваете политики доступа и рабочий процесс запроса доступа путем выбора и предоставления имен для утверждения. Вы также можете использовать вкладку Унаследованные политики , чтобы просмотреть политику домена управления, примененную для аттестации копий данных, примененной ранее. То же самое касается утверждения руководителя , необходимого из термина глоссария вспышки.

  1. Перейдите на вкладку Управление политиками .

  2. В разделе Ограничение времени доступа укажите сведения о том, как долго выполняется запрос на доступ, прежде чем его нужно продлить. Задайте это значение, чтобы предоставить доступ на срок до одного года.

  3. В поле введите 1.

  4. Выберите годы в раскрывающемся списке.

  5. В разделе Требования к утверждению укажите свое имя в поле утверждающих. (Необходимо, чтобы имя было зарегистрировано в Microsoft Entra идентификаторе.)

    Примечание.

    Вам не нужно проверка утверждение руководителя, так как эта политика наследуется от термина глоссария вспышки.

  6. Выберите Предварительный просмотр формы запроса , чтобы просмотреть представление потребителей каталога при запросе доступа. Вы увидите, что требуется аттестация копирования данных и утверждение руководителя, так как они были заданы доменом управления и термином глоссария.

  7. Нажмите Сохранить изменения.

После сопоставления ресурсов данных и настройки политик доступа вы можете опубликовать продукт данных в каталоге.

  1. Выберите Опубликовать в продукте данных.

  2. Попробуйте создать отчет о прибыли в других доменах, созданных ранее

    1. Отчет о прибыли, тип: панели мониторинга и отчеты.
    2. Источник продукта, тип: данные Maser и эталонные данные.

Примечание.

Вы можете добавить к ним много ресурсов и посмотреть, как выглядит продукт данных с большим количеством ресурсов. Добавьте продукты данных в термины из любого домена, чтобы увидеть, как глоссарий используется для описания данных с помощью согласованного набора терминов.

Шаг 4. Запуск качества данных

Теперь, когда у вас есть продукт данных, доступный в каталоге, выполнение правил качества данных сообщает всем, что данные в хорошей форме и готовы к использованию. По мере того как вы узнаете больше о данных, добавьте новые правила качества данных, чтобы убедиться, что они подходят для всех вариантов использования. Обеспечение высокого качества продуктов данных помогает повысить доверие к данным и показывает другим пользователям, что вы отслеживаете и улучшаете их. По мере увеличения ценности данных необходимо более тщательно отслеживать и контролировать качество этих данных. Проблемы с качеством данных с плохим управлением могут привести к значительным негативным последствиям.

Предварительные условия

  • Правила качества данных можно выполнять только в таблицах разностного формата в ADLS 2-го поколения и Microsoft Fabric.
  • Управляемое удостоверение от Microsoft Purview должно быть включено для чтения источника данных, так как на сегодняшний день это единственные поддерживаемые учетные данные для качества данных.
  • Вы должны иметь роль администратора качества данных в домене управления, в котором выполняется качество данных.
  • Вы должны быть владельцем или иметь доступ администратора пользователей к источнику данных, который подключается к проверке качества данных, чтобы обеспечить правильную авторизацию безопасности для сканирования данных.
  • Для запуска профилей с данными требуется роль администратора профиля данных.

Создание и выполнение правил качества данных

  1. Откройте портал Microsoft Purview.

  2. Выберите Единый каталог.

  3. Перейдите на вкладку Качество данных в разделе Управление данными.

  4. Выберите личный домен работоспособности, созданный в разделе 1.

  5. Выберите Управление, а затем Connections. При создании этого подключения можно выполнять проверку качества данных в источнике данных в этом домене управления. Этот шаг не позволяет командам получить доступ к знаниям о данных без надлежащего авторизации.

  6. Выберите Создать на экране подключений, чтобы создать новое подключение: 1. Введите отображаемое имя "Personal Health ADLSg2 DQ".

    1. Выберите тип источника Azure Data Lake Storage 2-го поколения.
      1. Введите сведения об источнике данных, созданном в разделе 2.

        Примечание.

        Для подключения к качеству данных учетные данные должны быть MSI (система) Microsoft Purview.

      2. Выберите Проверить подключение.
      3. После проверки подключения нажмите кнопку Отправить.

После установки подключения вы можете запустить профили и приступить к созданию правил качества данных. Этот шаг гарантирует, что эксперты, которые знают бизнес-правила и соответствующие правила, будут работать над наиболее важными продуктами данных.

  1. Назад на страницу Качество данных.
  2. Выберите домен управления личным здоровьем.
  3. Выберите продукт данных о вакцинации и случаев covid-19 По возрасту , встроенный в разделе 3.
  4. Выберите ресурс, добавленный в продукт данных. (Он должен быть в разностном формате из раздела 2, иначе качество данных не выполняется).
  5. Примените правила качества данных к столбцам данных, чтобы определить, соответствует ли они вашим ожиданиям качества:
    1. Выберите вкладку Правила в выбранном ресурсе.
    2. Выберите Новое правило.
    3. Выберите Правило пустых и пустых полей.
    4. Введите сведения:
      • Выберите Столбец AgeGroupVacc в раскрывающемся списке столбца.
      • Имя правила: Подтверждение существования возрастной группы вакцинации
    5. Нажмите Создать.
    6. Выберите Новое правило.
    7. Выберите Сопоставление типов данных.
    8. Введите сведения.
    9. Выберите ДатаАдминистрированный столбец.
    10. Нажмите Создать.
  6. Выберите Выполнить проверку качества данных.

Данные профиля

Создайте профиль для данных, чтобы просмотреть высокоуровневую статистику по каждому столбцу и обнаружить аномалии, для которых может потребоваться новое правило.

  1. В Единый каталог выберите Управление работоспособностью, а затем — Качество данных.
  2. Выберите Профилирование данных.
  3. Установите верхний флажок рядом с полем Имя столбца , чтобы профилировать все столбцы. Система рекомендует, какие столбцы следует профилировать, и вы можете выбрать столбцы, которые, как вы знаете, стоит профилировать, чтобы предотвратить заполнение профилей на высоко конфиденциальных данных или данных, которые, как вы знаете, заполнены разреженно.
  4. Выберите Выполнить профиль.

После завершения сканирования можно просмотреть оценку качества данных и профиль для нового продукта данных. Все пользователи каталога могут видеть оценку качества данных, чтобы все знали состояние данных.

Создайте расписание для проверок качества данных, чтобы обеспечить постоянный мониторинг проблем с качеством данных. Настройте оповещения, чтобы убедиться, что вы решаете проблемы с качеством данных, прежде чем затронут потребителей.

  1. В разделе Управление работоспособностью выберите Качество данных.
  2. Выберите домен "Личная работоспособности", в котором настроены правила качества данных.
  3. В раскрывающемся списке Управление выберите Запланированные проверки.
  4. На странице Запланированные проверки выберите Создать.
  5. Добавление сведений об обзоре
    1. Имя: Личная оценка работоспособности DQ Monthly Evaluation
    2. Описание: ежемесячное сканирование правил DQ для непрерывного улучшения.
  6. Нажмите кнопку Продолжить.
  7. Выбор область сканирования
  8. Установите флажок рядом с полем Вакцина и случаи covid-19 Тренды по возрасту продукта данных
  9. Нажмите кнопку Продолжить.
  10. Запланируйте проверку, чтобы убедиться, что она выполняется в последний день каждого месяца
    1. Выберите Повторяющиеся
    2. Повторение: каждые месяц
    3. Дни месяца: последний
    4. Расписание сканирования (UTC): 12:00:00
    5. Запуск повторения в (UTC): оставьте значение по умолчанию
  11. Нажмите кнопку Продолжить.
  12. Просмотрите сведения о проверке, чтобы узнать, есть ли какие-либо изменения, которые вы хотите внести перед сохранением.
  13. Выберите Сохранить. Так как вы активировали проверку вручную ранее, вам не нужно запускать другую проверку сейчас. Если вам нужна новая проверка, выберите Сохранить и запустить.

Настройка оповещений

После планирования проверок на качество данных можно настроить оповещения, чтобы уведомлять руководство о проблемах или о проблемах с качеством данных или сбоях сканирования. Настройте оповещение о качестве данных для неудачных проверок и при снижении оценки более чем на 5 %.

  1. Вернитесь к домену Личной работоспособности на странице Качество данных .
  2. В раскрывающемся списке Управление выберите Оповещения.
  3. Выберите Создать.
  4. Ввод сведений об оповещении
    1. Отображаемое имя: личная проверка работоспособности DQ Ежемесячное сканирование
    2. Описание. Чтобы гарантировать, что минимальные пороговые значения DQ соответствуют ожиданиям потребителей.
    3. Целевой объект: оценка снижается более чем
    4. Пороговое значение: 5
    5. Отключить уведомления: не устанавливайте флажок
    6. Включить уведомление о неудачных проверках качества: оставьте флажок
    7. Получатель: введите свое имя
  5. Нажмите Продолжить.

Совет

При реализации в Единый каталог отправляйте оповещения стюардам, которые могут уведомлять потребителей о проблеме и работать с техническим владельцем данных для внесения исправлений.

В конце этого раздела вы получите функциональный Единый каталог с качеством операционных данных для управления данными, которые вы предлагаете потребителям данных организации. Все настроено для получения наиболее ценных данных для потребителя и создания доверия к используемым данным. По мере роста ценности данных и появления новых стратегий обработки данных в следующем разделе показано, как можно управлять всем каталогом или углубиться в управление конкретными данными с помощью master данных.

Шаг 5. Управление основными данными

Управление основными данными (MDM) — это практика соответствия наиболее важных сущностей данных, которые должны быть точными, уникальными и последовательно применяться во всех областях бизнеса, так как ошибки и проблемы в этих данных могут повлиять на весь бизнес. С помощью одного из наших партнеров MDM вы можете интегрировать выбранные решения MDM с Microsoft Purview, чтобы обеспечить унификацию, стандартизацию и очистку данных, что позволяет создавать золотые записи и публикацию master данных в качестве продуктов данных.

Следуйте руководствам по выбору решения: Управление основными данными в Microsoft Purview

Шаг 6. Управление работоспособностью данных

В области управления здоровьем Единый каталог центральное управление данными и другие менеджеры по обработке данных могут оценивать состояние данных в соответствии со стандартами своей компании и эффективно управлять ходом реализации стратегии. Чтобы убедиться, что все в компании знают, что они могут сделать для повышения ценности своих данных, важно, чтобы стандарты были понятны и масштабируемы для всей организации без необходимости делать всех экспертами по управлению данными. Начиная с стандартного отраслевого набора элементов управления, которые доступны готовы, каждый офис данных может настроить элементы управления в соответствии со своими ожиданиями и обеспечить соответствие их целям данных. Решающее значение для эффективности этих средств управления имеет не только измерение этих стандартов, но и обеспечение того, чтобы лица, ответственные за данные, могли самостоятельно принимать меры и нести ответственность за внесение улучшений, влияющих на ценность данных. В data Estate Health можно настроить все эти критически важные возможности и управлять ими.

Предварительные условия

Оценка управления данными с помощью работоспособности хранилища данных

  1. Откройте портал Microsoft Purview.

  2. Выберите Единый каталог.

  3. В разделе Работоспособности хранилища данных в области навигации слева выберите Элементы управления работоспособностью.

  4. Выберите пряник > рядом с группой элементов управления Создание значений .

  5. Наведите указатель мыши на заголовок элемента управления, щелкните значок карандаша, чтобы изменить элемент управления. Изменяя элемент управления, вы изменяете пороговое значение элемента управления, чтобы задать ожидания для оценки и задать цветовую оценку, чтобы продемонстрировать этапы выполнения.

  6. Сведения позволяют предоставить описание элемента управления и его значение для вашей организации, а также задать владельца для определенного элемента управления.

  7. Перейдите на вкладку Правила элемента управления, чтобы изменить пороговое значение. Этот параметр имеет высокий целевой показатель, и если он не работоспособен, важно выполнить дальнейшие действия.

    1. Наследование от группы: переключатель, чтобы отключить (должен стать серым).
    2. Целевая оценка: 90
    3. Выберите Новое правило.
    4. Установите поле рядом с оценкой значение GreaterThanOrEqual
    5. Задайте для процентного значения значение 90.
    6. Состояние = работоспособности (зеленый)
    7. Else Box Status = Critical (Purple)
    8. Выберите Сохранить.

  8. В разделе Работоспособности хранилища данных выберите Качество метаданных.

Здесь можно изменить или добавить правила, которые создают оценки элемента управления. Здесь необходимо изменить серьезность действий для создания значений , чтобы все пользователи знали о важности этого действия.

  1. Выберите Настроить серьезность.
  2. Выберите группу элементов управления Создание значений .
  3. Выберите заголовок элемента управления выравниванием BUSINESS OKR .
  4. Измените уровень серьезности со среднего на высокий и нажмите кнопку Сохранить.
  5. Перейдите на вкладку Действия работоспособности
  6. Фильтр назначен: к вашему имени
  7. Выберите действие, в котором можно увидеть, что владелец действия должен сделать, чтобы обеспечить выполнение ожиданий системы управления, или он может назначить нового владельца, чтобы получить лучших экспертов для предоставления своих данных. Существует также состояние, которое позволяет другим пользователям узнать, какая работа выполняется и где другие действия могут потребовать определения приоритетов.

Шаг 7. Демократизация данных

Демократизация данных позволяет пользователям находить необходимые данные и получать доступ к ней соответствующим образом. Это гарантирует, что пользователи могут найти данные, необходимые для создания ценности для бизнеса. Единый каталог обеспечивает чистый и простой интерфейс для обнаружения данных. Он позволяет управляющим обновлять данные, доступные в каталоге, и управлять ими в большом масштабе. В этом разделе вы узнаете, как пользователи могут находить данные и запрашивать доступ к данным, а также следить за тем, чтобы соответствующие утверждающие могли отслеживать и предоставлять входные данные по этим запросам на доступ.

Предварительные условия

Обнаружение продуктов данных

  1. В Единый каталог выберите Обнаружение, а затем — Продукты данных.
  2. На странице Продукты данных используйте строку поиска для поиска показателей вакцинации по возрасту.
  3. Здесь вы увидите продукты данных, опубликованные в разделе 2. В этом представлении показано, как пользователи видят только данные, предназначенные для них, и не позволяет пользователям перемещаться по высокотехнических данных.
  4. Выберите продукт данных о вакцинации и случаев covid-19 По возрасту
    1. Здесь потребители могут просматривать предоставленные вами метаданные и любые другие свойства, настроенные во время установки. Оценка качества данных также доступна, чтобы потребители знали о качестве, прежде чем получить доступ к данным.
    2. Выберите ресурс, и потребитель сможет просмотреть все столбцы, доступные в ресурсе данных.
    3. Выберите термин глоссария вспышки, и потребитель сможет увидеть описание и другие сведения о термине, чтобы получить более глубокое представление о данных.
  5. Когда потребитель будет уверен, что он хочет использовать эти данные, он должен получить утвержденный доступ к данным.
    1. Выберите Запросить доступ.
    2. Заполните сведения о форме для отправки запроса.
    3. Пользователь: оставьте свое имя
    4. Утверждение руководителя: автоматически требуется и направляется в диспетчер идентификаторов Microsoft Entra.
    5. Цель: выберите цель
    6. Бизнес-обоснование: мониторинг OKR
    7. Установите флажок рядом с аттестацией, чтобы сказать, что вы понимаете ожидания использования этих данных.
    8. Нажмите кнопку Отправить.

Теперь запрос на доступ отправляется указанному менеджеру в Microsoft Entra идентификаторе. Отсюда менеджер может получить доступ к запросам, открыв электронное письмо и выбрав ссылку или перейдя в Microsoft Purview. Утверждение доступа и управление ими можно выполнять непосредственно в Microsoft Purview.

  1. В Единый каталог выберите Управление каталогом, а затем — Запросы.
  2. Выберите личный домен работоспособности .
  3. Выберите отправленный запрос.
  4. Теперь утверждающие могут утвердить или отклонить, выбрав Ответить на запрос.
  • Last updated on