Создание набора правил сканирования в схеме данных

В Схема данных Microsoft Purview можно создать наборы правил проверки для настройки проверок источников данных в организации.

Набор правил проверки — это контейнер, который группирует набор правил проверки вместе. Набор правил проверки можно легко связать с проверкой. Например, можно создать набор правил проверки по умолчанию для каждого из типов источников данных, а затем использовать эти наборы правил проверки по умолчанию для всех проверок в организации. Вы также можете потребовать, чтобы пользователи с соответствующими разрешениями создавали другие наборы правил проверки с различными конфигурациями в зависимости от бизнес-потребности.

Действия по созданию набора правил проверки

Чтобы создать набор правил проверки, выполните приведенные далее действия.

1. На портале Microsoft Purview выберите решение Карта данных .

2. В разделе Управление исходным кодом выберите Сканировать наборы правил, а затем нажмите кнопку Создать.

3. На странице Новый набор правил проверки выберите источники данных, поддерживаемые сканером каталога, в раскрывающемся списке Тип источника . Вы можете создать набор правил проверки для каждого типа источника данных, который вы планируете сканировать.

4. Введите имя для набора правил сканирования. Максимальная длина составляет 63 символа, при этом пробелы не допускаются. При необходимости введите описание. Максимальная длина составляет 256 символов.

5. Выберите домен.

   Важно!

   Правило проверки можно использовать только в том домене, в котором вы его создаете.

6. Нажмите Продолжить.

   Откроется страница Выбор типов файлов . Обратите внимание, что параметры типа файла на этой странице зависят от типа источника данных, выбранного на предыдущей странице. Все типы файлов включены по умолчанию.

   

   Выбор типов файлов документов на этой странице позволяет включить или исключить следующие типы файлов Microsoft Office: .doc; .docm; .docx; .dot; .odp; .ods; .odt; .pdf; .pot; .pps; .ppsx; .ppt; .pptm; .pptx; .xlc; .xls; .xlsb; .xlsm; .xlsx; xlt.

7. Включите или отключите тип файла для схемы и классификации, выбрав или очистив поле проверка. Если выбран источник данных типа Data Lake (например, Azure Data Lake Storage 2-го поколения или Azure BLOB-объект), включите типы файлов, для которых требуется извлечь и классифицировать схему.

   Важно!

   Отмена выбора типа файла не препятствует приему. Сведения о файле по-прежнему передаются, но его схема и классификации не извлекаются.

8. Для определенных типов источников данных можно также создать пользовательский тип файла.

9. Нажмите Продолжить.

   Откроется страница Выбор правил классификации . На этой странице отображаются выбранные Системные правила и Пользовательские правила, а также общее количество выбранных правил классификации. По умолчанию выбраны все проверка поля Системные правила.

10. Для правил, которые необходимо включить или исключить, установите или снимите флажки Правила классификации системных правил глобально по категориям.

    

11. Вы можете развернуть узел категории и выбрать или очистить отдельные поля проверка. Например, если правило для номера Argentina.DNI имеет высокий уровень ложноположительных результатов, можно очистить этот конкретный проверка поле.

    

12. Нажмите кнопку Создать , чтобы завершить создание набора правил сканирования.

Создание настраиваемого типа файла

Microsoft Purview поддерживает добавление пользовательского расширения и определение пользовательского разделителя столбцов в наборе правил проверки.

Чтобы создать пользовательский тип файла, выполните приведенные далее действия.

1. Выполните шаги 1–5 в разделе Шаги, чтобы создать набор правил проверки или изменить существующий набор правил проверки.

2. На странице Выбор типов файлов выберите Новый тип файла , чтобы создать новый пользовательский тип файлов.

   

3. Введите расширение файла и необязательное описание.

   

4. Чтобы указать тип содержимого файла в файле, выберите один из следующих вариантов:

   • Выберите Настраиваемый разделитель и введите собственный настраиваемый разделитель (только один символ).

   • Выберите Тип системного файла и выберите тип системного файла (например, XML) в раскрывающемся списке Тип системного файла .

5. Выберите Создать , чтобы сохранить пользовательский файл.

   Система возвращается на страницу Выбор типов файлов и вставляет новый пользовательский тип файла в виде новой плитки.

   

6. Выберите Изменить на плитке нового типа файла, если вы хотите изменить или удалить ее.

7. Нажмите кнопку Продолжить , чтобы завершить настройку набора правил сканирования.

Игнорировать шаблоны

Microsoft Purview поддерживает определение регулярных выражений (регулярных выражений) для исключения ресурсов во время сканирования. Во время сканирования Purview сравнивает URL-адрес ресурса с этими регулярными выражениями. Microsoft Purview игнорирует все ресурсы, которые соответствуют любому из регулярных выражений.

На панели Игнорировать шаблоны предварительно заполняется один регулярный экземпляр для файлов транзакций Spark. Вы можете удалить существующий шаблон, если он не требуется. Можно определить до 10 шаблонов игнорирования.

В предыдущем примере:

• Регулярные выражения 2 и 3 игнорируют все файлы, заканчивающиеся .txt и .csv во время сканирования.
• Regex 4 игнорирует /folderB/ и все его содержимое во время сканирования.

Вот еще несколько советов, которые можно использовать для игнорирования шаблонов:

• При обработке регулярного выражения Microsoft Purview по умолчанию добавляет $ к регулярному выражению.

• Чтобы понять, какой URL-адрес агент проверки сравнивает с регулярным выражением, просмотрите Единый каталог Microsoft Purview, найдите ресурс, который вы хотите игнорировать в будущем, и просмотрите его полное имя (FQN) на вкладке Обзор.

  

Наборы правил проверки системы

Наборы правил проверки системы — это наборы правил проверки, определенные Корпорацией Майкрософт, которые автоматически создаются для каждого каталога Microsoft Purview. Каждый набор правил проверки системы связан с определенным типом источника данных. При создании сканирования его можно связать с набором правил проверки системы. Каждый раз, когда корпорация Майкрософт обновляет эти системные наборы правил, вы можете обновить их в каталоге и применить обновление ко всем связанным сканированиям.

1. Чтобы просмотреть список наборов правил проверки системы, выберите Сканировать наборы правил в Центре управления и перейдите на вкладку Система .

   

2. Каждый набор правил проверки системы имеет имя, тип источника и версию. Если выбрать номер версии набора правил сканирования в столбце Версия , вы увидите правила, связанные с текущей и предыдущей версиями (если таковые есть).

   

3. Если доступно обновление для набора правил проверки системы, можно выбрать Обновить в столбце Версия . На странице правила проверки системы выберите версию из раскрывающегося списка Выберите новую версию для обновления . На странице представлен список правил классификации систем, связанных с новой и текущей версиями.

   

Связывание сканирования с набором правил проверки системы

При создании сканирования выберите, чтобы связать его с набором правил проверки системы следующим образом:

1. На странице Выбор набора правил проверки выберите набор правил проверки системы.

   

2. Нажмите кнопку Продолжить, а затем нажмите кнопку Сохранить и запустить.