Поделиться через


Подключение к рабочим областям Azure Synapse Analytics и управление ими в Microsoft Purview

В этой статье описывается регистрация рабочих областей Azure Synapse Analytics. В ней также описывается проверка подлинности и взаимодействие с рабочими областями Azure Synapse Analytics в Microsoft Purview. Дополнительные сведения о Microsoft Purview.

Примечание.

В рабочей области Azure Synapse есть выделенные пулы SQL (ранее — ХРАНИЛИЩЕ данных SQL) и выделенные пулы SQL. Подробные различия между ними см. в статье Разница между выделенными пулами SQL (хранилище данных SQL) и выделенными пулами SQL в Azure Synapse рабочих областях. В настоящее время Microsoft Purview предоставляет отдельные источники данных для выделенных пулов SQL (ранее — хранилище данных SQL) и выделенных пулов SQL:

Поддерживаемые возможности

Возможности сканирования

Извлечение метаданных Полная проверка Добавочное сканирование Сканирование с заданной областью
Да Да Да Нет

базы данных озера Azure Synapse Analytics в настоящее время не поддерживаются. Вы можете заметить некоторые несоответствия в сканированных ресурсах для этих баз данных.

Для внешних таблиц Azure Synapse Analytics в настоящее время не фиксирует связь этих таблиц с их исходными файлами.

Другие возможности

Сведения о классификациях, метках конфиденциальности, политиках, происхождении данных и динамическом представлении см. в списке поддерживаемых возможностей.

Предварительные условия

Регистрация

В следующей процедуре описывается регистрация рабочих областей Azure Synapse Analytics в Microsoft Purview с помощью портала управления Microsoft Purview.

Чтобы зарегистрировать рабочую область Synapse Analytics, вам потребуется по крайней мере роль читателя данных в рабочей области Synapse Analytics и быть администратором источника данных в Microsoft Purview.

  1. Откройте портал управления Microsoft Purview и выберите учетную запись Microsoft Purview.

    Кроме того, перейдите в портал Azure, найдите и выберите учетную запись Microsoft Purview, а затем нажмите кнопку портал управления Microsoft Purview.

  2. В левой области выберите Источники.

  3. Нажмите Зарегистрировать.

  4. В разделе Регистрация источников выберите Azure Synapse Аналитика (несколько).

  5. Нажмите Продолжить.

    Снимок экрана: выбор источников в Microsoft Purview, включая Azure Synapse Analytics.

  6. На странице Регистрация источников (Azure Synapse Analytics) выполните следующие действия.

    1. В поле Имя введите имя источника данных, который будет указан в Единый каталог Microsoft Purview.

    2. При необходимости для Azure подписки выберите подписку для фильтрации.

    3. В поле Имя рабочей области выберите рабочую область, с которым вы работаете.

      Поля для конечных точек SQL заполняются автоматически в зависимости от выбранной рабочей области.

    4. Выберите коллекцию из списка.

    5. Выберите Зарегистрировать , чтобы завершить регистрацию источника данных.

    Снимок экрана: страница ввода сведений об источнике Azure Synapse.

Проверка

Выполните следующие действия, чтобы проверить рабочие области Azure Synapse Analytics для автоматической идентификации ресурсов и классификации данных. Дополнительные сведения о сканировании в целом см. в статье Сканирование и прием данных в Microsoft Purview.

  1. Настройте проверку подлинности для перечисления выделенных или бессерверных ресурсов. Настроив проверку подлинности, Microsoft Purview может перечислить ресурсы рабочей области и выполнить сканирование.
  2. Примените разрешения для сканирования содержимого рабочей области.
  3. Убедитесь, что сеть настроена так, чтобы разрешить доступ к Microsoft Purview.

Проверка подлинности перечисления

Используйте следующие процедуры для настройки проверки подлинности. Для добавления указанных ролей необходимо быть владельцем или администратором доступа пользователей.

Проверка подлинности для перечисления выделенных ресурсов базы данных SQL

  1. В портал Azure перейдите к ресурсу рабочей области Azure Synapse Analytics.
  2. В левой области выберите контроль доступа (IAM).
  3. Нажмите кнопку Добавить.
  4. Задайте роль читателя и введите имя учетной записи Microsoft Purview, представляющей управляемое удостоверение службы (MSI).
  5. Нажмите кнопку Сохранить , чтобы завершить назначение роли.

Если вы хотите проверить выделенный пул SQL (ранее — Хранилище данных SQL), в который включены функции рабочей области Azure Synapse Analytics, как описано в разделе Включение функций рабочей области Azure Synapse для выделенного пула SQL (ранее — Хранилище данных SQL), выполните следующие дополнительные действия по настройке выделенного пула SQL (ранее — хранилище данных SQL).

  1. В портал Azure перейдите к ресурсу SQL Server, связанному с выделенным пулом SQL (ранее — Хранилище данных SQL).
  2. В левой области выберите контроль доступа (IAM).
  3. Нажмите кнопку Добавить.
  4. Задайте роль читателя и введите имя учетной записи Microsoft Purview, представляющей управляемое удостоверение службы (MSI).
  5. Нажмите кнопку Сохранить , чтобы завершить назначение роли.

Примечание.

Если вы планируете зарегистрировать и проверить несколько рабочих областей Azure Synapse Analytics в учетной записи Microsoft Purview, вы также можете назначить роль более высокого уровня, например группу ресурсов или подписку.

Проверка подлинности для перечисления бессерверных ресурсов База данных SQL

Настройте проверку подлинности в трех местах, чтобы разрешить Microsoft Purview перечислять бессерверные База данных SQL ресурсы.

Чтобы настроить проверку подлинности для рабочей области Azure Synapse Analytics, выполните следующие действия.

  1. В портал Azure перейдите к ресурсу рабочей области Azure Synapse Analytics.
  2. В левой области выберите контроль доступа (IAM).
  3. Нажмите кнопку Добавить.
  4. Задайте роль читателя и введите имя учетной записи Microsoft Purview, которая представляет ее MSI.
  5. Нажмите кнопку Сохранить , чтобы завершить назначение роли.

Чтобы настроить проверку подлинности для учетной записи хранения, выполните следующие действия.

  1. В портал Azure перейдите к группе ресурсов или подписке, содержащей учетную запись хранения, связанную с рабочей областью Azure Synapse Analytics.
  2. В левой области выберите контроль доступа (IAM).
  3. Нажмите кнопку Добавить.
  4. Задайте роль читателя данных BLOB-объектов хранилища и введите имя учетной записи Microsoft Purview (которая представляет ее MSI) в поле Выбор .
  5. Нажмите кнопку Сохранить , чтобы завершить назначение роли.

Чтобы настроить проверку подлинности для бессерверной базы данных Azure Synapse Analytics, выполните следующие действия.

  1. Перейдите в рабочую область Azure Synapse Analytics и откройте Synapse Studio.

  2. В левой области выберите Данные.

  3. Щелкните многоточие (...) рядом с одной из баз данных, а затем запустите новый скрипт SQL.

  4. Выполните следующую команду в скрипте SQL, чтобы добавить MSI учетной записи Microsoft Purview (представленную именем учетной записи) в бессерверные базы данных SQL:

    CREATE LOGIN [PurviewAccountName] FROM EXTERNAL PROVIDER;
    

Применение разрешений для сканирования содержимого рабочей области

Необходимо настроить проверку подлинности на каждом База данных SQL, которые вы хотите зарегистрировать и проверить в рабочей области Azure Synapse Analytics. Инструкции по применению разрешений см. в следующих сценариях.

Важно!

Следующие действия для бессерверных баз данных не применяются к реплицированным базам данных. В Azure Synapse Analytics бессерверные базы данных, реплицированные из баз данных Spark, в настоящее время доступны только для чтения. Дополнительные сведения см. в разделе Операция не разрешена для реплицированной базы данных.

Использование управляемого удостоверения для выделенных баз данных SQL

Важно!

Если вы используете локальную среду выполнения интеграции для подключения к ресурсу в частной сети, управляемые удостоверения не работают. Необходимо использовать проверку подлинности субъекта-службы или проверку подлинности SQL.

Чтобы выполнить команды в следующей процедуре, необходимо быть администратором Azure Synapse рабочей области. Дополнительные сведения о разрешениях Azure Synapse Analytics см. в статье Настройка управления доступом для рабочей области Azure Synapse Analytics.

  1. Перейдите в рабочую область Azure Synapse Analytics.

  2. Перейдите к разделу Данные и найдите одну из выделенных баз данных SQL.

  3. Щелкните многоточие (...) рядом с именем базы данных, а затем запустите новый скрипт SQL.

  4. Выполните следующую команду в скрипте SQL, чтобы добавить MSI учетной записи Microsoft Purview (представленную именем учетной записи) в db_datareader выделенной базе данных SQL:

    CREATE USER [PurviewAccountName] FROM EXTERNAL PROVIDER
    GO
    
    EXEC sp_addrolemember 'db_datareader', [PurviewAccountName]
    GO
    
  5. Выполните следующую команду в скрипте SQL, чтобы проверить добавление роли:

    SELECT p.name AS UserName, r.name AS RoleName
    FROM sys.database_principals p
    LEFT JOIN sys.database_role_members rm ON p.principal_id = rm.member_principal_id
    LEFT JOIN sys.database_principals r ON rm.role_principal_id = r.principal_id
    WHERE p.authentication_type_desc = 'EXTERNAL'
    ORDER BY p.name;
    

Выполните те же действия для каждой базы данных, которую требуется проверить.

Использование управляемого удостоверения для бессерверных баз данных SQL

  1. Перейдите в рабочую область Azure Synapse Analytics.

  2. Перейдите в раздел Данные и выберите одну из баз данных SQL.

  3. Щелкните многоточие (...) рядом с именем базы данных, а затем запустите новый скрипт SQL.

  4. Выполните следующую команду в скрипте SQL, чтобы добавить MSI учетной записи Microsoft Purview (представленную именем учетной записи) как db_datareader в бессерверные базы данных SQL:

    CREATE USER [PurviewAccountName] FOR LOGIN [PurviewAccountName];
    ALTER ROLE db_datareader ADD MEMBER [PurviewAccountName]; 
    
  5. Выполните следующую команду в скрипте SQL, чтобы проверить добавление роли:

    SELECT p.name AS UserName, r.name AS RoleName
    FROM sys.database_principals p
    LEFT JOIN sys.database_role_members rm ON p.principal_id = rm.member_principal_id
    LEFT JOIN sys.database_principals r ON rm.role_principal_id = r.principal_id
    WHERE p.authentication_type_desc = 'EXTERNAL'
    ORDER BY p.name;
    

Выполните те же действия для каждой базы данных, которую требуется проверить.

Предоставление разрешения на использование учетных данных для внешних таблиц

Если в рабочей области Synapse Analytics есть какие-либо внешние таблицы, необходимо предоставить управляемому удостоверению Microsoft Purview разрешение На ссылки на учетные данные внешней таблицы. С помощью разрешения Ссылки Microsoft Purview может считывать данные из внешних таблиц.

  1. Выполните следующую команду в скрипте SQL, чтобы получить список учетных данных для базы данных:

    Select name, credential_identity
    from sys.database_scoped_credentials;
    
  2. Чтобы предоставить доступ к учетным данным базы данных, выполните следующую команду. Замените scoped_credential именем учетных данных для базы данных.

    GRANT REFERENCES ON DATABASE SCOPED CREDENTIAL::[scoped_credential] TO [PurviewAccountName];
    
  3. Чтобы проверить назначение разрешений, выполните следующую команду в скрипте SQL:

    SELECT dp.permission_name, dp.grantee_principal_id, p.name AS grantee_principal_name
    FROM sys.database_permissions AS dp
    JOIN sys.database_principals AS p ON dp.grantee_principal_id = p.principal_id
    JOIN sys.database_scoped_credentials AS c ON dp.major_id = c.credential_id;
    

Настройка доступа к брандмауэру для рабочей области Azure Synapse Analytics

  1. В портал Azure перейдите в рабочую область Azure Synapse Analytics.

  2. В левой области выберите Сеть.

  3. Для параметра Разрешить Azure службам и ресурсам для доступа к этой рабочей области выберите Включено.

  4. Выберите Сохранить.

Если вы хотите проверить выделенный пул SQL (ранее — Хранилище данных SQL), в который включены функции рабочей области Azure Synapse Analytics, как описано в разделе Включение функций рабочей области Azure Synapse для выделенного пула SQL (ранее — Хранилище данных SQL), выполните следующие дополнительные действия по настройке выделенного пула SQL (ранее — хранилище данных SQL).

  1. В портал Azure перейдите к ресурсу SQL Server, связанному с выделенным пулом SQL (ранее — Хранилище данных SQL).

  2. В левой области выберите Сеть.

  3. Для параметра Разрешить Azure службам и ресурсам для доступа к этому серверу выберите Включено.

  4. Выберите Сохранить.

Важно!

Если не удается включить разрешить Azure службам и ресурсам доступ к этой рабочей области в рабочих областях Azure Synapse Analytics, при настройке проверки на портале управления Microsoft Purview вы получите сбой перечисления бессерверных баз данных. В этом случае можно выбрать параметр Ввод вручную , чтобы указать имена баз данных, которые требуется проверить, а затем продолжить или настроить проверку с помощью API.

Создание и запуск сканирования

  1. На портале управления Microsoft Purview в области слева выберите Карта данных.

  2. Выберите зарегистрированный источник данных.

  3. Выберите Просмотреть сведения, а затем — Создать сканирование. Кроме того, на исходной плитке можно щелкнуть значок быстрого действия Проверить .

  4. В области Сведения о сканировании в поле Имя введите имя сканирования.

Примечание.

Для среды выполнения интеграции, если вы используете управляемую среду выполнения виртуальной сети, убедитесь, что вы создали необходимые управляемые частные конечные точки:

  • Чтобы проверить бессерверные пулы, создайте управляемую частную конечную точку типа подресурса sqlOnDemand для рабочей области Synapse.
  • Чтобы проверить выделенные пулы, создайте управляемую частную конечную точку типа подресурса SQL для рабочей области Synapse.
  • При сканировании бессерверных и выделенных пулов необходимо создать как управляемые частные конечные точки, так и в мастере выбрать одну.
  1. В раскрывающемся списке Учетные данные выберите учетные данные для подключения к ресурсам в источнике данных.

  2. Для параметра Метод выбора базы данных выберите Из рабочей области Synapse или Ввод вручную. По умолчанию Microsoft Purview пытается перечислить базы данных в рабочей области, и вы можете выбрать те, которые нужно проверить.

    Снимок экрана: область сведений для проверки источника Azure Synapse.

    Если появляется сообщение об ошибке Microsoft Purview не удалось загрузить бессерверные базы данных, можно выбрать ввод вручную , чтобы указать тип базы данных (выделенной или бессерверной) и соответствующее имя базы данных.

    Снимок экрана: выбор для ввода имен баз данных вручную при настройке проверки.

  3. Выберите Проверить подключение , чтобы проверить параметры. Если возникает какая-либо ошибка, на странице отчета наведите указатель мыши на состояние подключения, чтобы просмотреть подробные сведения.

  4. Нажмите Продолжить.

  5. Выберите Сканировать наборы правил типа Azure Synapse SQL. Можно также создавать встроенные наборы правил сканирования.

  6. Выберите триггер сканирования. Вы можете настроить расписание или запустить проверку один раз.

  7. Просмотрите проверку и нажмите кнопку Сохранить , чтобы завершить настройку.

Просмотр проверок и запусков сканирования

Чтобы просмотреть существующие проверки, выполните приведенные далее действия.

  1. Перейдите на портал Microsoft Purview. В левой области выберите Карта данных.
  2. Выберите источник данных. Список существующих проверок для этого источника данных можно просмотреть в разделе Последние проверки или просмотреть все проверки на вкладке Сканирование .
  3. Выберите сканирование с результатами, которые вы хотите просмотреть. На панели отображаются все предыдущие запуски сканирования, а также состояние и метрики для каждого запуска сканирования.
  4. Выберите идентификатор запуска, чтобы проверка сведения о выполнении проверки.

Управление проверками

Чтобы изменить, отменить или удалить сканирование:

  1. Перейдите на портал Microsoft Purview. В левой области выберите Карта данных.

  2. Выберите источник данных. Список существующих проверок для этого источника данных можно просмотреть в разделе Последние проверки или просмотреть все проверки на вкладке Сканирование .

  3. Выберите проверку, которой вы хотите управлять. Далее вы можете:

    • Измените сканирование, выбрав Изменить проверку.
    • Отмените выполняемую проверку, выбрав Отмена выполнения проверки.
    • Удалите сканирование, выбрав Удалить сканирование.

Примечание.

  • При удалении сканирования ресурсы каталога, созданные на основе предыдущих проверок, не удаляются.

Настройка проверки с помощью API

Ниже приведен пример создания проверки бессерверной базы данных с помощью REST API Microsoft Purview. Замените заполнители в фигурных скобках ({}) фактическими параметрами. Дополнительные сведения см. в разделе Сканирование — создание или обновление.

PUT https://{purview_account_name}.purview.azure.com/scan/datasources/<data_source_name>/scans/{scan_name}?api-version=2022-02-01-preview

В следующем коде collection_id не является понятным именем для коллекции. Это идентификатор из пяти символов. Для корневой коллекции collection_id — это имя коллекции. Для всех вложенных коллекций это идентификатор, который можно найти в одном из следующих мест:

  • URL-адрес на портале управления Microsoft Purview. Выберите коллекцию и проверка URL-адрес, чтобы найти, где указано collection=. Это ваш идентификатор. В следующем примере коллекция Investment имеет идентификатор 50h55c.

    Снимок экрана: идентификатор коллекции в URL-адресе.

  • Вы можете перечислить имена дочерних коллекций корневой коллекции, чтобы получить список коллекций, а затем использовать имя вместо понятного имени.

{
    "properties":{
        "resourceTypes":{
            "AzureSynapseServerlessSql":{
                "scanRulesetName":"AzureSynapseSQL",
                "scanRulesetType":"System",
                "resourceNameFilter":{
                    "resources":[ "{serverless_database_name_1}", "{serverless_database_name_2}", ...]
                }
            }
        },
        "credential":{
            "referenceName":"{credential_name}",
            "credentialType":"SqlAuth | ServicePrincipal | ManagedIdentity (if UAMI authentication)"
        },
        "collection":{
            "referenceName":"{collection_id}",
            "type":"CollectionReference"
        },
        "connectedVia":{
            "referenceName":"{integration_runtime_name}",
            "integrationRuntimeType":"SelfHosted (if self-hosted IR) | Managed (if VNet IR)"
        }
    },
    "kind":"AzureSynapseWorkspaceCredential | AzureSynapseWorkspaceMsi (if system-assigned managed identity authentication)"
}

Чтобы запланировать проверку, создайте для нее триггер после создания сканирования. Дополнительные сведения см. в разделе Триггеры — создание триггера.

Устранение неполадок

Если у вас возникли проблемы с сканированием:

Дальнейшие действия

После регистрации источника используйте следующие руководства, чтобы узнать больше о Microsoft Purview и ваших данных: