Этап 4. Миграция системы безопасности и управления

Эта статья — этап 4 из 4 в серии лучших практик по миграции из Azure Synapse Spark в Microsoft Fabric.

Используйте эту статью на заключительном этапе миграции для проверки рабочих нагрузок, выравнивания управления безопасностью и контроля политики, а также планирования перехода на промышленную среду. В этой статье приводятся рекомендации по сопоставлению безопасности и подходу на основе контрольного списка к проверке, оптимизации и готовности к сокращению.

В этой статье вы узнаете, как:

  • Сопоставление шаблонов RBAC Synapse и сетевых шаблонов с Fabric рабочей областью, OneLake и управляемыми сетевыми элементами управления.
  • Восстановить рабочие процессы управления, включая интеграцию и маркировку Microsoft Purview.
  • Используйте контрольный список поэтапной миграции для проверки, оптимизации и выполнения переключения.
  • Планирование вывода устаревших ресурсов Synapse Spark после успешного сокращения.

Управление доступом

  • Роли Synapse RBAC (администратор Synapse, администратор Synapse SQL, администратор Synapse Spark и другие) сопоставляются с ролями рабочей области Fabric (администратор, участник, контрибьютор, просмотрщик). Модель Fabric проще и включает четыре роли.

  • Связанные службы Synapse заменяются подключениями Fabric. Создание подключений с помощью параметров >"Управление подключениями и шлюзами". Для кода записной книжки замените ссылки на связанную службу на проверку подлинности на основе Key Vault или конфигурацию прямой конечной точки.

  • OneLake RBAC обеспечивает точное управление доступом к данным на уровне папки и таблицы в Lakehouse.

Сетевая безопасность

  • Управляемые виртуальные сети Synapse и частные конечные точки соответствуют управляемым виртуальным сетям Fabric и управляемым частным конечным точкам. Обратите внимание, что Fabric Spark требует поддержки пользовательских пулов (не начальных пулов) для поддержки управляемых частных конечных точек.

  • Локально размещенные среды выполнения интеграции (SHIR) в Synapse заменяются локальными шлюзами данных (OPDG) в Fabric. Виртуальные сети VNet IR заменяются шлюзами данных VNet.

Система управления

Если вы используете Azure Purview с Synapse, Fabric предоставляет встроенную интеграцию Microsoft Purview для каталога данных, происхождения, меток конфиденциальности и политик доступа. Повторно подключите учетную запись Purview для сканирования рабочих пространств Fabric.

Контрольный список действий по миграции

Используйте этот контрольный список для отслеживания хода выполнения миграции Spark. Каждый этап основывается на предыдущем. Завершите все элементы на этапе перед переходом к следующему.

Этап 1. Оценка и планирование

Рекомендации по планированию, шаблоны миграции и сравнение функций см. на этапе 1. Стратегия миграции и планирование.

  • 1.1 Полная инвентаризация активов Spark: пулы Spark, ноутбуки, определения заданий Spark, озерные базы данных, базы данных Metastore Hive (HMS) и связанные службы, используемые в ноутбуках.
  • 1.2 Просмотр различий функций Synapse и Fabric. Блокировщики флагов: рабочие нагрузки GPU, неподдерживаемые API каталога, зависимости связанной службы.
  • 1.3 Выполните предварительный аудит перед рефакторингом: выполните поиск всех ноутбуков по шаблонам Synapse (spark.synapse.linkedService, getSecretWithLS, TokenLibrary, synapsesql). Подсчет затронутых ноутбуков.
  • 1.4 Проверьте совместимость библиотек: запустите pip freeze в пулах Synapse, сравнивайте со встроенными библиотеками среды выполнения Fabric 1.3. Список библиотек, которые необходимо предварительно установить.
  • 1.5 Создайте рабочие области Fabric, обеспечьте мощности и создайте целевые элементы Lakehouse.
  • 1.6 Экспорт конфигураций пула Spark, пользовательских библиотек и свойств Spark из Synapse Studio.

Этап 2. Настройка подключений и учетных данных

Руководство по замене и проверке подлинности связанной службы см. в Фаза 2: Миграция рабочей нагрузки Spark и Фаза 4: Миграция системы безопасности и управления.

  • 2.1 Перечисление всех связанных служб Synapse, используемых ноутбуками, определениями заданий для Spark и доступом к данным в Lakehouse.
  • 2.2 Создание подключений Fabric для внешних источников данных (ADLS 2-го поколения, Cosmos DB, Azure SQL и других) с помощью Workspace Settings>Manage connections and gateways.
  • 2.3 Настройка Azure Key Vault с секретами для источников данных, требующих проверки подлинности на основе ключей (ключи Cosmos DB, ключи учетной записи хранения, маркеры Kusto). Настройте политики доступа для идентичности рабочей области Fabric.
  • 2.4 Настройка учетных данных служебного субъекта для доступа к ADLS Gen2 через OAuth: регистрация приложения в Entra ID, предоставление роли Участника данных хранилища Blob, обратите внимание на идентификатор клиента/секрет/арендатор.
  • 2.5 Проверьте подключение: протестируйте получение секретов из Key Vault и доступ к учетной записи хранилища из блокнота Fabric перед продолжением.

Этап 3. Перенос данных и хранилища метаданных Hive

Рекомендации по миграции метаданных и доступа к данным для озера см. в Фазе 3: Хранилище метаданных Hive и миграция данных и Миграция данных и конвейеров.

  • 3.1 Создание ярлыков OneLake для существующих путей ADLS Gen2 (нулевая копия, предпочтительный подход). Используйте подключения Fabric, настроенные в фазе 2 для доступа через шлюз данных.
  • 3.2 Для файлов, не являющихся Delta-файлами (CSV, JSON, Parquet), создайте ярлыки в разделе "Файлы". Если требуется копирование данных, используйте AzCopy или действие копирования в Data Factory.
  • 3.3 Миграция объектов хранилища метаданных Hive. Выберите один подход: вариант A: запуск записных книжек экспорта и импорта HMS для всех метаданных. Вариант B: Используйте Помощник по миграции для таблиц Delta Lake DB + экспорта/импорта HMS только для не-Delta.
  • 3.4 Проверка автоматической регистрации таблицы Delta в Lakehouse Explorer.
  • 3.5 Убедитесь, что все импортированные таблицы и ярлыки отображаются в Обозревателе Lakehouse и доступны из записных книжек.

Этап 4. Перенос рабочих нагрузок Spark

Рекомендации по миграции элементов, рефакторингу кода и настройке среды см. в разделе Этап 2: Миграция рабочих нагрузок Spark.

  • 4.1 Запустите Spark Помощник по миграции для записных книжек, определений заданий Spark, пулов Spark и озерных баз данных. Просмотрите отчет о миграции для ошибок и предупреждений.
  • 4.2 Создание сред Fabric с целевой средой выполнения Spark, конфигурацией пула и пользовательскими библиотеками. Предварительная установка отсутствующих библиотек, определенных на этапе 1.
  • 4.3 Переделка блокнота и кода SJD: замените mssparkutils на notebookutils, обновите пути файлов на OneLake abfss://, замените ссылки на связанные службы на Key Vault или Подключения Fabric, и замените неподдерживаемые методы spark.catalog эквивалентами Spark SQL.
  • 4.4 Преобразование соединителей: Kusto/ADX — замените связанную службу на accessToken, используя getToken(). Cosmos DB — замените getSecretWithLS на getSecret(akvName, secret).
  • 4.5 Замените поставщиков токенов Synapse (LinkedServiceBasedTokenProvider, TokenLibrary) стандартным OAuth ClientCredsTokenProvider через spark.conf.set().
  • 4.6 Проверьте рефакторинг блокнотов и SJD от начала до конца на основе данных (фаза 3) и подключения (фаза 2).

Этап 5. Безопасность, управление и сеть

Руководства по безопасности, управлению и сетевому картированию см. в Этапе 4: Миграция безопасности и управления.

  • 5.1 Сопоставьте роли RBAC Synapse с ролями рабочей области Fabric (администратор, член, участник, наблюдатель).
  • 5.2 Настройка OneLake RBAC для точного контроля доступа к данным на уровне папки и таблицы.
  • 5.3 . Настройка управляемых виртуальных сетей и управляемых частных конечных точек для рабочих нагрузок Spark, обращаюющихся к частным источникам данных (требуется настраиваемые пулы).
  • 5.4 Замените SHIR локальным шлюзом данных (OPDG) и замените VNet IR шлюзом данных VNet.
  • 5.5 Повторно подключите Microsoft Purview для меток управления, происхождения и чувствительности.
  • 5.6 . Проверьте и примените метки конфиденциальности к перенесенным элементам Lakehouse по мере необходимости.

Этап 6. Оптимизация и проверка

Для рекомендаций по проверке после миграции и готовности к эксплуатации, см. Этап 4: Миграция безопасности и управления.

  • 6.1 Включите Native Execution Engine (NEE) для повышения производительности Spark в рабочих нагрузках Parquet и Delta.
  • 6.2 Запуск OPTIMIZE VORDER для таблиц, используемых Power BI Direct Lake или конечной точкой аналитики SQL.
  • 6.3 выполнение параллельных рабочих нагрузок и сравнение результатов задания Spark и производительности между Synapse и Fabric.
  • 6.4 перенаправьте нижестоящих потребителей, включая отчёты Power BI, API и приложения, к конечным точкам Fabric.
  • 6.5 Мониторьте рабочие нагрузки Fabric с помощью Центра мониторинга и Средства диагностики в течение как минимум одной-двух недель.

Этап 7. Переход

Для окончательной проверки, последующих действий и руководства по переходу см. этап 4. Миграция системы безопасности и управления.

  • 7.1 Убедитесь, что все перенесенные записные книжки, SJD и задания Spark успешно выполняются в Fabric.
  • 7.2 Проверка целостности данных с помощью счетчиков строк, проверки схемы и сравнения результатов запроса.
  • 7.3 Сообщить о переходе заинтересованным сторонам и обновить документацию.
  • 7.4 Вывести из эксплуатации пуллы и записные книжки Synapse Spark, а также связанные ресурсы.

Note

После миграции рассмотрите возможность настройки интеграции Fabric Git для перенесенных записных книжек и определений заданий Spark. Fabric поддерживает интеграцию Azure DevOps Git для системы управления версиями, ветвления и конвейеров развертывания. В отличие от Synapse (который использует шаблоны ARM для CI/CD), Fabric использует модель на основе рабочей области, в которой вы подключаете рабочую область к ветви Git и синхронизируете элементы напрямую. Ноутбуки, среды и SJD поддерживают интеграцию с Git. Настройте конвейеры развертывания (Dev → Test → Prod) для управления продвижением через разные среды.

Связанный контент

  • Last updated on