Планирование миграции: Azure Synapse Analytics выделенные SQL-пулы для Fabric Data Warehouse

Применимо к:✅ Хранилище данных в Microsoft Fabric

В этой статье описаны стратегии, соображения и методы миграции с Azure Synapse Analytics выделенных SQL-пулов на Microsoft Fabric Data Warehouse.

Подсказка

Используйте Fabric Помощник по миграции for Data Warehouse для автоматизированной миграции из Azure Synapse Analytics выделенных SQL-пулов. В этой статье содержатся важные стратегические сведения и сведения о планировании.

Введение в миграцию

Microsoft Fabric — это универсальное SaaS-аналитическое решение для предприятий. Она предлагает комплексный набор услуг, включая Data Factory, Data Engineering, Data Warehouseing, Data Science, Real-Time Intelligence и Power BI.

В этой статье описываются варианты схемы (DDL), кода базы данных (DML) и миграции данных, а также помогает выбрать вариант для вашего сценария. Для иллюстрации и тестирования производительности он использует отраслевой эталонный тест TPC-DS. Результаты могут отличаться в зависимости от таких факторов, как типы данных, ширина таблицы и задержка источника.

Подготовка к миграции

Тщательно спланируйте проект по миграции до начала и убедитесь, что ваша схема, код и данные совместимы с Fabric Data Warehouse. Подумайте о ограничениях. Количественно оценить работу, необходимую для рефакторинга несовместимых товаров и других ресурсов, необходимых для реализации миграции.

Ещё одна ключевая цель планирования — скорректировать дизайн так, чтобы решение полностью использовало эффективность Fabric Data Warehouse запросов. Проектирование хранилищ данных с учетом масштабирования требует уникальных шаблонов проектирования, поэтому традиционные подходы не всегда хорошо для этого подходят. Ознакомьтесь с рекомендациями по производительности. Хотя после миграции можно внести некоторые изменения в дизайн, внесение изменений раньше экономит время и усилия. Переход от одной технологии или среды к другой всегда требует серьёзных задач.

Следующая диаграмма показывает жизненный цикл миграции и задачи, связанные с её пятью столповами: оценка и оценка, планирование и проектирование, миграция, мониторинг и управление, а также оптимизация и модернизация.

Схема жизненного цикла миграции, включая оценку и оценку, планирование и проектирование, миграцию, мониторинг и управление, а также оптимизацию и модернизацию.

Руководство по миграции

Рассмотрите следующие действия как руководство по планированию для миграции из выделенных SQL пулов Synapse в хранилище данных Fabric.

  1. Оценка и оценка
    1. Определите цели и мотивы. Определите четкие нужные результаты.
    2. Выявите, оцените и зафиксируйте базовое состояние существующей архитектуры.
    3. Определите ключевых заинтересованных лиц и спонсоров.
    4. Определите объём миграции.
      1. Начните с малого и простого и готовьтесь к нескольким небольшим миграциям.
      2. Начните отслеживать и документировать все этапы процесса.
      3. Составьте инвентарь данных и процессов для миграции.
      4. Определите изменения в модели данных, если они есть.
      5. Организуйте рабочее пространство Fabric.
    5. Оцените навыки и предпочтения вашей команды.
      1. Автоматизируйте все, что возможно.
      2. Используйте встроенные средства и функции Azure для уменьшения усилий по миграции.
    6. Сразу же проведите обучение персонала на новой платформе.
      1. Определите потребности в повышении квалификации и учебные ресурсы, включая Microsoft Learn.
  2. Планирование и проектирование
    1. Определите нужную архитектуру.
    2. Выберите методы и инструменты для миграции для выполнения следующих задач:
      1. Извлечение данных из источника.
      2. Преобразование схемы (DDL), включая метаданные для таблиц и представлений.
      3. Прием данных, включая исторические данные.
        1. При необходимости перепроектируйте модель данных, используя новую производительность и масштабируемость платформы.
      4. Миграция кода базы данных (DML).
        1. Произведите миграцию или рефакторинг хранимых процедур и бизнес-процессов.
    3. Инвентаризация и извлечение функций безопасности и разрешений объектов из источника.
    4. Спроектировать и запланировать замену или модификацию существующих процессов ETL/ELT для инкрементальной загрузки.
      1. Создайте параллельные процессы ETL/ELT в новой среде.
    5. Подготовьте подробный план миграции.
      1. Сопоставьте текущее состояние с желаемым состоянием.
  3. миграция
    1. Выполните миграцию схем, данных и кода.
      1. Извлечение данных из источника.
      2. Конвертация схемы (DDL).
      3. Прием данных
      4. Миграция кода базы данных (DML).
    2. При необходимости масштабируйте выделенные ресурсы пула SQL временно, чтобы ускорить миграцию.
    3. Примените безопасность и разрешения.
    4. Перенос существующих процессов ETL/ELT для добавочной нагрузки.
      1. Перенесите или рефакторируйте процессы инкрементной загрузки в рамках ETL/ELT.
      2. Тестируйте и сравнивайте процессы параллельных инкрементальных нагрузок.
    5. При необходимости адаптировать подробный план миграции.
  4. Мониторинг и управление
    1. Запускайте параллельно и сравнивайте с исходной средой.
      1. Тестирование приложений, платформ бизнес-аналитики и средств запросов.
      2. Протестируйте и оптимизируйте производительность запросов.
      3. Отслеживайте затраты, безопасность и производительность и управляйте ими.
    2. Проведите бенчмарк управления и оценку.
  5. Оптимизация и модернизация
    1. Когда бизнес будет готов, перенесите приложения и основные платформы отчетности в Fabric.
      1. Масштабируйте ресурсы вверх или вниз по мере перемещения нагрузки с Azure Synapse Analytics на Microsoft Fabric.
      2. Создайте повторяемый шаблон из опыта, полученного для будущих миграций. Итерировать.
      3. Определите возможности для оптимизации затрат, безопасности, масштабируемости и операционного совершенства.
      4. Определите возможности модернизации ресурсов данных с помощью новейших функций Fabric.

Поднимать и перемещать или модернизировать?

Как правило, существуют два типа сценариев миграции, независимо от цели и области запланированной миграции: перемещение без изменений или поэтапный подход, включающий изменения архитектуры и кода.

Метод переноса и перемещения

При миграции по схеме lift-and-shift вы переносите существующую модель данных с незначительными изменениями в новое хранилище данных Fabric. Этот подход сводит к минимуму риск и время миграции, сокращая новую работу, необходимую для реализации преимуществ миграции.

Миграция типа "lift-and-shift" (перенос без изменений) подходит для следующих сценариев:

  • У вас есть существующая среда с небольшим количеством хранилищ, которые необходимо мигрировать.
  • У вас есть существующая среда с данными, которые уже организованы в хорошо разработанную звездообразную или снежинку-схему.
  • Вы находитесь под давлением времени и затрат, чтобы перейти в хранилище данных Fabric.

В итоге, этот подход хорошо работает для рабочих нагрузок, оптимизированных для вашей текущей среды выделенного SQL-пула Azure Synapse и не требующих значительных изменений в Fabric.

Модернизация в поэтапном подходе с изменениями архитектуры

Если устаревший хранилище данных развивался на протяжении длительного времени, возможно, придётся его перепроектировать для поддержания необходимого уровня производительности.

Также стоит переработать архитектуру, чтобы использовать новые движки и функции, доступные в рабочем пространстве Fabric.

Различия в проектировании: выделенные пулы SQL Synapse и хранилище данных Fabric

Рассмотрим следующие различия в хранилище данных Azure Synapse и Microsoft Fabric, сравнивая выделенные пулы SQL с хранилищем данных Fabric.

Вопросы, касающиеся таблицы

При переносе таблиц между разными средами обычно только необработанные данные и метаданные физически переносятся. Обычно вы не переносите другие элементы базы данных из исходной системы, такие как индексы, потому что они могут быть ненужными или реализованы иначе в новой среде.

Оптимизации производительности в исходной среде, такие как индексы, указывают на то, где может понадобиться оптимизация в новой среде. Fabric автоматически управляет этими оптимизациями.

Рекомендации по T-SQL

Существует несколько различий в синтаксисе Data Manipulation Language (DML), которые следует учитывать. Проанализируйте поверхность T-SQL в Fabric Data Warehouse и проведите оценку кода при выборе метода миграции кода базы данных.

В зависимости от различий четности во время миграции может потребоваться переписать части кода DML T-SQL.

Различия в сопоставлении типов данных

Fabric Data Warehouse имеет несколько отличий типов данных по сравнению с Azure Synapse Analytics выделенными SQL-пулами. Дополнительные сведения см. в разделе "Типы данных" в Microsoft Fabric.

В следующей таблице показано соответствие типов данных, поддерживаемых в выделенных пулах SQL Azure Synapse, типам данных в Fabric Data Warehouse.

Выделенные SQL-пулы Synapse Хранилище данных Fabric
money decimal(19,4)
smallmoney decimal(10,4)
smalldatetime datetime2
datetime datetime2
nchar char
nvarchar varchar
tinyint smallint
binary varbinary
Datetimeoffset* datetime2

* Datetime2 не хранит дополнительную информацию о смещении часовых поясов, которую хранит Datetimeoffset . Поскольку Fabric Data Warehouse в настоящее время не поддерживает тип данных datetimeoffset, необходимо извлечь данные о смещении часового пояса в отдельный столбец.

Подсказка

Готовы к миграции?

Чтобы приступить к работе с автоматизированным процессом миграции, ознакомьтесь с Помощником по миграции Fabric для хранилища данных.

Дополнительные сведения о шагах и подробностях ручной миграции см. в статье Методы миграции выделенных пулов SQL Azure Synapse Analytics в Fabric Data Warehouse.

Связанные материалы

  • Последнее обновление: