Настраиваемые классификаторы

Important

Эта функция доступна в бета-версии. Администраторы рабочей области могут управлять доступом к этой функции на странице "Предварительные версии ". См. статью "Управление предварительными версиями Azure Databricks".

На этой странице описывается создание пользовательских классификаторов и управление ими для классификации данных Databricks в каталоге Unity. Пользовательские классификаторы расширяют встроенную систему классификации , чтобы обнаруживать конфиденциальные данные, относящиеся к вашей организации, например внутренние идентификаторы сотрудников, собственные коды продуктов, идентификаторы поставщиков или номера учетных записей партнера.

Чтобы создать пользовательский классификатор, сначала выберите управляемый тег. Затем опишите данные для обнаружения, укажите примеры столбцов, содержащих репрезентативные значения или оба. Azure Databricks создает предварительную версию того, что классификатор обнаруживает, чтобы просмотреть его перед сохранением. Затем классификация данных обнаруживает этот классификатор во время регулярных проверок.

Note

Пользовательские классификаторы обнаруживают чувствительные данные на уровне столбцов во время сканирования классификации. Чтобы назначить управляемые теги целым таблицам и томам, например, уровень чувствительности на уровне таблицы, автоматизируйте назначение тегов (бета).

С помощью пользовательских классификаторов можно:

  • Тег данных для конкретной организации: обнаружение и настройка автоматического добавления тегов для типов данных, уникальных для вашей организации, таких как идентификаторы сотрудников, коды партнеров или внутренние номера учетных записей.
  • Расширение элементов управления: применение маски уровня столбца ABAC к конфиденциальным данным.

Note

Настраиваемая конфигурация классификатора и метаданные обнаружения, которые Azure Databricks создает на основе образцов ваших столбцов, шифруются при хранении. Для управления ключом шифрования можно использовать управляемый клиентом ключ (CMK) в системном каталоге. Настройка CMK в системном каталоге шифрует все данные в системном каталоге, а не только пользовательские данные классификатора.

Настройте ключ, управляемый клиентом, в системном каталоге в обозревателе каталогов.

Requirements

  • Классификация данных должна быть включена по крайней мере в одном каталоге в хранилище метаданных. См. раздел "Использование классификации данных".
  • Рабочая область должна иметь бессерверные вычислительные ресурсы (включена по умолчанию в рабочих областях с каталогом Unity).
  • Чтобы создать, изменить или удалить пользовательский классификатор, необходимо быть администратором хранилища метаданных.
  • Чтобы создать или изменить пользовательский классификатор, необходимо иметь ASSIGN привилегии для управляемого тега, который использует классификатор. См. раздел "Управление разрешениями" для управляемых тегов.
  • Чтобы выбрать пример столбца для классификатора, необходимо иметь SELECT в таблице, содержащей ее. Azure Databricks выполняет выборку по столбцу для создания предварительного просмотра.

Создание пользовательского классификатора

  1. На странице результатов классификации данных щелкните "Управление пользовательскими классификаторами".

    Кнопка

  2. На боковой панели "Пользовательские классификаторы" нажмите кнопку "Добавить классификатор".

  3. Выберите тег. Выберите существующий управляемый тег или создайте новый тег, чтобы задать его прямо здесь. Если тег имеет допустимые значения, выберите определенное значение, которое необходимо обнаружить.

    Мастер добавления пользовательского классификатора с активным шагом «Выбор тега», с расположенным выше свернутых шагов «Определение классификатора» и «Создание классификатора» средством выбора управляемого тега.

  4. Определите классификатор. Укажите описание, образцы значений в столбцах или и то и другое, чтобы Azure Databricks определил, что следует искать:

    • В разделе "Описание классификации" опишите данные для обнаружения на простом языке, например Columns that store a person's contact details.
    • В разделе "Выбор примеров столбцов данных" просмотрите дерево каталога и выберите до 10 столбцов, содержащих репрезентативные значения для класса.

    Сведения о том, как написать эффективное описание и выбрать хорошие примеры столбцов, см. в разделе "Определение классификатора".

    Шаг «Определение классификатора» мастера добавления пользовательского классификатора, на котором показаны поле «Опишите, как классифицировать текст» над браузером каталога «Выберите столбцы примеров данных» и два выбранных столбца.

  5. Создайте классификатор. Azure Databricks создает предварительный просмотр того, что обнаруживает классификатор. Чтобы изменить результат, измените описание или столбцы с примерами, и предпросмотр обновится. См. предварительный просмотр классификатора.

    Шаг «Создание классификатора» мастера добавления пользовательского классификатора, показывающий предварительный просмотр созданного классификатора со сводкой простым языком и образцами карточек столбцов со списком названий столбцов и примеров значений.

  6. Нажмите кнопку Создать. Эта кнопка остается отключенной до создания предварительной версии.

Обнаружение из пользовательского классификатора обычно отображается на странице результатов в течение нескольких часов.

Определение классификатора

Вы определяете пользовательский классификатор с описанием, примерами столбцов или обоими.

Описание объясняет, какие данные представляются, и непосредственно влияет на то, как Azure Databricks создает классификатор. Вы можете использовать описание, чтобы научить Azure Databricks включать или исключать совпадения (например, "номера телефонов, принадлежащие отдельным клиентам, а не общедоступным линиям поддержки или продаж").

Столбцы выборки помогают Azure Databricks определить структуру данных для выборки. Чтобы использовать столбцы таблицы в качестве примеров, требуется привилегия SELECT для таблицы.

Настраиваемый классификатор применяется ко всем каталогам в хранилище метаданных с включенной классификацией данных. Область действия на уровне каталога или схемы не поддерживается.

Предварительная версия классификатора

Перед сохранением пользовательского классификатора Azure Databricks создает предварительную версию, чтобы проверить его правила обнаружения. В предварительной версии описывается, что классификатор обнаруживает на простом языке и показывает примеры совпадающих имен столбцов и значений.

Столбцы и значения в предварительной версии являются примерами, созданными ИИ, а не реальными данными таблицы. Если предварительный просмотр не соответствует тому, что вы хотите обнаружить, измените описание или столбцы с образцами, чтобы создать новый предварительный просмотр.

Управление пользовательскими классификаторами

На боковой панели настраиваемых классификаторов перечислены все пользовательские классификаторы, настроенные для хранилища метаданных. На этой панели можно выполнить поиск по имени тега, изменить существующий классификатор или удалить классификатор.

Список пользовательских классификаторов на боковой панели настраиваемых классификаторов.

Изменение пользовательского классификатора

Чтобы обновить существующий пользовательский классификатор:

  1. На боковой панели настраиваемых классификаторов выберите настраиваемый классификатор, который требуется изменить. В представлении редактирования отображаются сохраненные описания классификатора, примеры столбцов и предварительный просмотр.
  2. Измените описание или добавьте или удалите примеры столбцов. Azure Databricks автоматически повторно создает предварительный просмотр.
  3. Если предварительный просмотр правильный, нажмите кнопку "Обновить".

Существующие обнаружения из предыдущей конфигурации остаются на месте.

После создания пользовательского классификатора нельзя изменить управляемый тег и значение тега. Чтобы переключиться на другой тег, удалите пользовательский классификатор и создайте новый.

Удаление пользовательского классификатора

  1. На боковой панели "Пользовательские классификаторы" выберите пользовательский классификатор , который нужно удалить.
  2. Нажмите Удалить.
  3. Подтвердите удаление.

При удалении пользовательского классификатора:

  • Для этого классификатора новые обнаружения не создаются.
  • Существующие обнаружения удаляются на странице результатов классификации данных.
  • Теги, которые уже были автоматически применены к столбцам, не удаляются автоматически.

Просмотр обнаружений пользовательских классификаторов

Чтобы просмотреть обнаружения пользовательских классификаторов, выполните те же действия, что и для встроенных классификаций. Просмотреть результаты классификации см. в разделе "Просмотр результатов классификации".

Ограничения

  • Можно создать не более 50 пользовательских классификаторов на хранилище метаданных.
  • Каждый настраиваемый классификатор должен содержать описание, примеры столбцов или оба. Вы можете ссылаться на не более 10 примеров столбцов.
  • Именование управляемых тегов регулируется правилами политики тегов.
  • Пользовательские классификаторы применяются ко всем каталогам с поддержкой классификации данных в хранилище метаданных. Область действия на уровне каталога или схемы не поддерживается.
  • Управляемый тег, используемый пользовательским классификатором, не может быть изменен после создания. Чтобы использовать другой тег, удалите и повторно создайте пользовательский классификатор.
  • Новые и обновленные пользовательские классификаторы применяются только к последующим сканированиям классификации данных. Существующие результаты сканирования не переклассифицируются автоматически, поэтому обнаружения для ранее сканированных данных отображаются после завершения следующей проверки.
  • Все ограничения классификации данных применяются к пользовательским классификаторам, включая поддерживаемые типы таблиц. См. Ограничения.

Troubleshooting

В следующих разделах описаны распространенные проблемы с пользовательскими классификаторами.

Настраиваемый классификатор приостановлен

Если пользовательский классификатор больше не может создавать обнаружения, Azure Databricks приостанавливает его и отображает предупреждение на странице результатов классификации данных. Предупреждение указывает причину. Приостановленный настраиваемый классификатор не создает новых обнаружений.

Предупреждение о приостановке одного или нескольких пользовательских классификаторов.

Azure Databricks приостанавливает пользовательский классификатор по следующим причинам:

  • Управляемый тег больше не действителен. Управляемый тег или его значение были удалены, либо у тега отсутствует обязательное значение. Восстановите тег или значение или удалите пользовательский классификатор и создайте новый с допустимым тегом. Изменение столбцов с описанием или примерами не устраняет эту блокировку.
  • Azure Databricks не может создать правило обнаружения на основе предоставленного вами описания и образцов столбцов. Измените пользовательский классификатор, чтобы уточнить описание или заменить примеры столбцов, недоступных или не репрезентативных, а затем сохраните для повторного создания классификатора.

Разрешение запрещено при создании или перечислении пользовательских классификаторов

Вы должны быть администратором хранилища метаданных. Для создания или редактирования пользовательского классификатора также требуются ASSIGN привилегии в управляемом теге. См. раздел Требования.

Не удается выбрать пример столбца

Необходимо иметь SELECT в таблице, содержащей столбец. Если в таблице нет SELECT , попросите владельца таблицы предоставить ее или выберите другой столбец.

Дополнительные ресурсы

  • Last updated on