Планирование миграции: выделенные SQL-пулы Azure Synapse Analytics в хранилище данных Fabric

Область применения:✅ хранилище в Microsoft Fabric

В этой статье подробно описана стратегия, рекомендации и методы миграции хранилища данных в выделенных пулах SQL Azure Synapse Analytics в хранилище данных Microsoft Fabric.

Совет

Автоматизированный процесс миграции из выделенных пулов SQL в Azure Synapse Analytics доступен с помощью помощника по миграции Fabric для хранилища данных. В этой статье содержатся важные стратегические сведения и сведения о планировании.

Введение в миграцию

Как корпорация Майкрософт представила Microsoft Fabric, решение для аналитики SaaS для предприятий, которое предлагает полный набор служб, включая фабрику данных, Инжиниринг данных, Хранилище данных, Обработка и анализ данных, аналитику в режиме реального времени и Power BI.

В этой статье рассматриваются параметры миграции схемы (DDL), миграции кода базы данных (DML) и миграции данных. Корпорация Майкрософт предлагает несколько вариантов, и здесь мы подробно обсудим каждый вариант и укажите рекомендации по каким из этих вариантов следует рассмотреть для вашего сценария. В этой статье используется эталонный показатель отрасли TPC-DS для иллюстрации и тестирования производительности. Фактический результат может отличаться в зависимости от многих факторов, включая тип данных, типы данных, ширину таблиц, задержку источника данных и т. д.

Подготовка к переносу

Тщательно спланируйте проект миграции перед началом работы и убедитесь, что схема, код и данные совместимы с хранилищем данных Fabric. Существуют некоторые ограничения , которые необходимо учитывать. Оцените работу по рефакторингу несовместимых элементов, а также любые другие ресурсы, необходимые перед осуществлением миграции.

Еще одна ключевая цель планирования заключается в настройке дизайна, чтобы гарантировать, что ваше решение полностью использует высокую производительность запросов, которую позволяет обеспечить хранилище данных Fabric. Проектирование хранилищ данных с учетом масштабирования требует уникальных шаблонов проектирования, поэтому традиционные подходы не всегда хорошо для этого подходят. Ознакомьтесь с рекомендациями по производительности, потому что хотя некоторые изменения в проектировании можно внести после миграции, внесение изменений на более раннем этапе процесса поможет сэкономить время и усилия. Миграция из одной технологии или среды в другую всегда является важной целью.

На следующей схеме показан жизненный цикл миграции с основными столпами, состоящими из оценки и анализа, планирования и проектирования, миграции, мониторинга и управления, оптимизации и модернизации, с соответствующими задачами в каждом столпе для планирования и подготовки к плавной миграции.

Схема жизненного цикла миграции.

Руководство по миграции

Рассмотрите следующие действия как руководство по планированию для миграции из выделенных SQL пулов Synapse в хранилище данных Fabric.

  1. Оценка и оценка
    1. Определите цели и мотивы. Определите четкие нужные результаты.
    2. Обнаружение, оценка и базовый план существующей архитектуры.
    3. Определите ключевых заинтересованных лиц и спонсоров.
    4. Определите область переноса.
      1. Начните с малого и простого, подготовьтесь к нескольким небольшим миграциям.
      2. Начните отслеживать и документировать все этапы процесса.
      3. Составьте список данных и процессов для миграции.
      4. Определите изменения модели данных (при их наличии).
      5. Настройте рабочую область "Fabric".
    5. Каковы ваши навыки/предпочтения?
      1. Автоматизируйте все, что возможно.
      2. Используйте встроенные средства и функции Azure для уменьшения усилий по миграции.
    6. Сразу же проведите обучение персонала на новой платформе.
      1. Определите потребности в повышении квалификации и учебные ресурсы, включая Microsoft Learn.
  2. Планирование и проектирование
    1. Определите нужную архитектуру.
    2. Выберите метод или инструменты для миграции, чтобы выполнить следующие задачи:
      1. Извлечение данных из источника.
      2. Преобразование схем (DDL), включая метаданные таблиц и представлений
      3. Прием данных, включая исторические данные.
        1. При необходимости переработать модель данных, используя производительность и масштабируемость новой платформы.
      4. Миграция кода базы данных (DML).
        1. Произведите миграцию или рефакторинг хранимых процедур и бизнес-процессов.
    3. Инвентаризация и извлечение функций безопасности и разрешений объектов из источника.
    4. Проектирование и планирование замены и изменения существующих процессов ETL/ELT для добавочной нагрузки.
      1. Создайте параллельные процессы ETL/ELT в новой среде.
    5. Подготовьте подробный план миграции.
      1. Сопоставляйте текущее состояние с новым требуемым состоянием.
  3. мигрировать
    1. Выполните миграцию схемы, данных и кода.
      1. Извлечение данных из источника.
      2. Конвертация схемы (DDL)
      3. Прием данных
      4. Миграция кода базы данных (DML).
    2. При необходимости масштабируйте выделенные ресурсы пула SQL временно, чтобы ускорить миграцию.
    3. Примените безопасность и разрешения.
    4. Перенос существующих процессов ETL/ELT для добавочной нагрузки.
      1. Произведите миграцию или рефакторинг процессов инкрементальной загрузки ETL/ELT.
      2. Тестирование и сравнение параллельных процессов инкрементной нагрузки.
    5. При необходимости адаптируйте подробный план миграции.
  4. Мониторинг и управление
    1. Параллельно выполните сравнение с исходной средой.
      1. Тестирование приложений, платформ бизнес-аналитики и средств запросов.
      2. Протестируйте и оптимизируйте производительность запросов.
      3. Отслеживайте затраты, безопасность и производительность и управляйте ими.
    2. Контрольный показатель управления и оценка.
  5. Оптимизация и модернизация
    1. Когда бизнес будет готов, перенесите приложения и основные платформы отчетности в Fabric.
      1. Масштабирование ресурсов вверх и вниз по мере перемещения рабочих нагрузок из Azure Synapse Analytics в Microsoft Fabric.
      2. Создайте повторяемый шаблон из опыта, полученного для будущих миграций. Итерировать.
      3. Определение возможностей оптимизации затрат, безопасности, масштабируемости и эффективности эксплуатации
      4. Определите возможности модернизации ресурсов данных с помощью новейших функций Fabric.

"Перенос и адаптация" или модернизация?

Как правило, существуют два типа сценариев миграции, независимо от цели и области запланированной миграции: перемещение без изменений или поэтапный подход, включающий изменения архитектуры и кода.

Методика переноса и изменения

При миграции по модели "lift-and-shift" существующая модель данных переносится в хранилище данных Fabric с незначительными изменениями. Этот подход сводит к минимуму риск и время миграции, сокращая новую работу, необходимую для реализации преимуществ миграции.

Миграция Lift-and-Shift подходит для следующих сценариев:

  • У вас есть существующая среда с небольшим количеством хранилищ, которые необходимо мигрировать.
  • У вас есть существующая среда с данными, которые уже организованы в хорошо разработанную звездообразную или снежинку-схему.
  • Вы находитесь под давлением времени и затрат, чтобы перейти в хранилище данных Fabric.

В итоге этот подход хорошо подходит для этих рабочих нагрузок, оптимизированных для текущей среды выделенных пулов SQL Azure Synapse, поэтому не требует значительных изменений в Fabric.

Модернизация в поэтапном подходе с изменениями архитектуры

Если устаревшее хранилище развивалось в течение длительного времени, возможно, его потребуется модернизировать для обеспечения необходимых уровней производительности.

Вы также можете изменить архитектуру, чтобы воспользоваться преимуществами новых подсистем и функций, доступных в рабочей области Fabric.

Различия в проектировании: выделенные пулы SQL Synapse и хранилище данных Fabric

Рассмотрим следующие различия в хранилище данных Azure Synapse и Microsoft Fabric, сравнивая выделенные пулы SQL с хранилищем данных Fabric.

Вопросы, касающиеся таблицы

При переносе таблиц между разными средами обычно только необработанные данные и метаданные физически переносятся. Другие элементы базы данных из исходной системы, такие как индексы, обычно не переносятся, так как они могут оказаться не нужны или реализованы по-другому в новой среде.

Оптимизация производительности в исходной среде, например индексы, указывает, где можно добавить оптимизацию производительности в новой среде, но теперь Fabric автоматически заботится об этом.

Рекомендации по T-SQL

Существует несколько различий синтаксиса языка обработки данных (DML). Пожалуйста, обратитесь к интерфейсу T-SQL в хранилище данных Fabric. Рассмотрите также оценку кода при выборе методов миграции для кода базы данных (DML).

В зависимости от различий четности во время миграции может потребоваться переписать части кода DML T-SQL.

Различия в сопоставлении типов данных

В хранилище данных Fabric существует несколько различий типов данных. Дополнительные сведения см. в разделе "Типы данных" в Microsoft Fabric.

В следующей таблице представлено сопоставление поддерживаемых типов данных из выделенных пулов SQL Synapse с хранилищем данных Fabric.

Выделенные SQL-пулы Synapse Хранилище данных Fabric
деньги decimal(19,4)
smallmoney decimal(10,4)
smalldatetime datetime2
datetime datetime2
nchar char
nvarchar varchar
tinyint smallint
binary varbinary
Datetimeoffset* datetime2

* Datetime2 не хранит дополнительные сведения смещения часового пояса, хранящиеся в datetimeoffset. Так как тип данных datetimeoffset в настоящее время не поддерживается в хранилище данных Fabric, данные смещения часового пояса должны быть извлечены в отдельный столбец.

Совет

Готовы к миграции?

Чтобы приступить к работе с автоматизированным процессом миграции, ознакомьтесь с Помощником по миграции Fabric для хранилища данных.

Дополнительные инструкции и подробные сведения о миграции см. в статье "Методы миграции" для выделенных пулов SQL Azure Synapse Analytics в хранилище данных Fabric.

Связанный контент

  • Last updated on