Планирование миграции: из SQL Server в Fabric Data Warehouse

Применимо к:✅ Хранилище данных в Microsoft Fabric

В этой статье подробно рассматриваются стратегии, аспекты и методы миграции хранилищ данных с SQL Server на Microsoft Fabric Data Warehouse.

Подсказка

Автоматизированный опыт миграции из SQL Server доступен с помощью Fabric Помощник по миграции for Data Warehouse. В этой статье содержатся важные стратегические сведения и сведения о планировании.

Введение в миграцию

Microsoft Fabric — это универсальное SaaS-аналитическое решение для предприятий, предлагающее комплексный набор сервисов, включая Data Factory, Data Engineering, Data Warehousehousing, Data Science, Real-Time Intelligence и Power BI.

В этой статье описываются варианты схемы (DDL), кода базы данных (DML) и миграции данных, а также помогает выбрать вариант для вашего сценария. Для иллюстрации и тестирования производительности он использует отраслевой эталонный тест TPC-DS. Результаты могут отличаться в зависимости от таких факторов, как типы данных, ширина таблицы и задержка источника.

Подготовка к миграции

Тщательно спланируйте проект по миграции до начала и убедитесь, что ваша схема, код и данные совместимы с Fabric Data Warehouse. Подумайте о ограничениях. Оцените работу по рефакторингу несовместимых элементов, а также любые другие ресурсы, необходимые перед осуществлением миграции.

Еще одна ключевая цель планирования заключается в настройке дизайна, чтобы гарантировать, что ваше решение полностью использует высокую производительность запросов, которую позволяет обеспечить хранилище данных Fabric. Проектирование хранилищ данных с учетом масштабирования требует уникальных шаблонов проектирования, поэтому традиционные подходы не всегда хорошо для этого подходят. Ознакомьтесь с рекомендациями по производительности. Хотя после миграции можно внести некоторые изменения в дизайн, внесение изменений на ранний этап сэкономит вам время и усилия. Переход от одной технологии или среды к другой всегда требует серьёзных задач.

Следующая диаграмма показывает жизненный цикл миграции. В нём перечислены основные столпы, включающие Оценку и Оценку, Планирование и Проектирование, Миграцию, Мониторинг и Управление, а также Оптимизацию и Модернизацию, а также связанные задачи каждого столпа для планирования и подготовки к плавной миграции.

Схема жизненного цикла миграции, включая оценку и оценку, планирование и проектирование, миграцию, мониторинг и управление, а также оптимизацию и модернизацию.

Руководство по миграции

Рассмотрите следующие действия как план планирования для вашей миграции с SQL Server в Fabric Data Warehouse.

  1. Оценка и оценка
    1. Определите цели и мотивы. Определите четкие нужные результаты.
    2. Выявите, оцените и зафиксируйте базовое состояние существующей архитектуры.
    3. Определите ключевых заинтересованных лиц и спонсоров.
    4. Определите объём миграции.
      1. Начните с малого и простого и готовьтесь к нескольким небольшим миграциям.
      2. Начните отслеживать и документировать все этапы процесса.
      3. Составьте инвентарь данных и процессов для миграции.
      4. Определите изменения в модели данных, если они есть.
      5. Организуйте рабочее пространство Fabric.
    5. Оцените навыки и предпочтения вашей команды.
      1. Автоматизируйте все, что возможно.
      2. Используйте встроенные инструменты и функции для снижения затрат на миграцию.
    6. Сразу же проведите обучение персонала на новой платформе.
      1. Определите потребности в повышении квалификации и учебные ресурсы, включая Microsoft Learn.
  2. Планирование и проектирование
    1. Определите нужную архитектуру.
    2. Выберите методы и инструменты для миграции для выполнения следующих задач:
      1. Извлекайте данные из источника.
      2. Преобразуйте схему (DDL), включая метаданные для таблиц и представлений.
      3. Загружайте данные, включая исторические.
        1. При необходимости перепроектируйте модель данных, используя производительность и масштабируемость новой платформы.
      4. Миграция кода базы данных (DML).
        1. Произведите миграцию или рефакторинг хранимых процедур и бизнес-процессов.
    3. Инвентаризация и извлечение функций безопасности и разрешений объектов из источника.
    4. Проектировать и планировать замену или модификацию существующих процессов ETL или ELT для дополнительной нагрузки.
      1. Создавайте параллельные процессы ETL или ELT в новой среде.
    5. Подготовьте подробный план миграции.
      1. Сопоставьте текущее состояние с новым желаемым состоянием.
  3. миграция
    1. Переместите схему, данные и код.
      1. Извлекайте данные из источника.
      2. Конвертируйте схему (DDL).
      3. Прием данных.
      4. Миграция кода базы данных (DML).
    2. При необходимости временно масштабируйте ресурсы SQL Server для увеличения скорости миграции.
    3. Примените безопасность и разрешения.
    4. Мигрировать существующие процессы ETL или ELT для дополнительной нагрузки.
      1. Перенести или реорганизовать процессы инкрементальной загрузки ETL или ELT.
      2. Тестируйте и сравнивайте процессы параллельных инкрементальных нагрузок.
    5. При необходимости адаптировать подробный план миграции.
  4. Мониторинг и управление
    1. Запускайте параллельно и сравнивайте с исходной средой.
      1. Тестирование приложений, платформ бизнес-аналитики и средств запросов.
      2. Протестируйте и оптимизируйте производительность запросов.
      3. Отслеживайте затраты, безопасность и производительность и управляйте ими.
    2. Проведите бенчмарк управления и оценку.
  5. Оптимизация и модернизация
    1. Когда бизнес будет готов, перенесите приложения и основные платформы отчетности в Fabric.
      1. Масштабируйте ресурсы по мере переноса нагрузки с SQL Server на Microsoft Fabric.
      2. Создайте повторяемый шаблон из опыта, полученного для будущих миграций. Итерировать.
      3. Определите возможности для оптимизации затрат, безопасности, масштабируемости и операционного совершенства.
      4. Определите возможности модернизации ресурсов данных с помощью новейших функций Fabric.

Поднимать и перемещать или модернизировать?

Как правило, существуют два типа сценариев миграции, независимо от цели и области запланированной миграции: перемещение без изменений или поэтапный подход, включающий изменения архитектуры и кода.

Метод переноса и перемещения

При миграции по схеме lift-and-shift вы переносите существующую модель данных с незначительными изменениями в новое хранилище данных Fabric. Этот подход сводит к минимуму риск и время миграции, сокращая новую работу, необходимую для реализации преимуществ миграции.

Миграция типа "lift-and-shift" (перенос без изменений) подходит для следующих сценариев:

  • У вас есть существующая среда с небольшим количеством витрин данных для переноса.
  • У вас есть существующая среда с данными, которые уже организованы в хорошо разработанную звездообразную или снежинку-схему.
  • Вы находитесь под давлением времени и затрат, чтобы перейти в хранилище данных Fabric.

В итоге, этот подход хорошо работает для рабочих нагрузок, оптимизированных для вашей текущей среды SQL Server и, следовательно, не требующих значительных изменений в Fabric.

Модернизация в поэтапном подходе с изменениями архитектуры

Если устаревший хранилище данных развивался на протяжении длительного времени, возможно, придётся его перепроектировать для поддержания необходимого уровня производительности.

Также стоит переработать архитектуру, чтобы использовать новые движки и функции, доступные в рабочем пространстве Fabric.

Различия в конструкции между SQL Server и Fabric Data Warehouse

Рассмотрим следующие различия между SQL Server и Fabric Data Warehouse.

Вопросы, касающиеся таблицы

При переносе таблиц между разными средами обычно только необработанные данные и метаданные физически переносятся. Обычно вы не переносите другие элементы базы данных из исходной системы, такие как индексы, потому что они могут быть ненужными или реализованы иначе в новой среде.

Оптимизации производительности в исходной среде, такие как индексы, указывают, куда вы можете добавить оптимизацию производительности в новой среде, но Fabric делает это автоматически за вас.

Рекомендации по T-SQL

Обратите внимание на несколько различий в синтаксисе Data Manipulation Language (DML). Пожалуйста, обратитесь к интерфейсу T-SQL в хранилище данных Fabric. Также рассмотрите оценку кода при выборе методов миграции для кода базы данных (DML).

В зависимости от различий четности во время миграции может потребоваться переписать части кода DML T-SQL.

Различия в сопоставлении типов данных

Fabric Data Warehouse отличается по типам данных по сравнению с другими платформами Microsoft SQL. Дополнительные сведения см. в разделе "Типы данных" в Microsoft Fabric.

В следующей таблице показано сопоставление поддерживаемых типов данных из SQL ядро СУБД в Fabric Data Warehouse.

SQL Server Хранилище данных Fabric
money decimal(19,4)
smallmoney decimal(10,4)
smalldatetime datetime2
datetime datetime2
nchar char
nvarchar varchar
tinyint smallint
binary varbinary
datetimeoffset* datetime2

* datetime2 не хранит информацию о смещении часового пояса, которую хранит datetimeoffset. Поскольку тип данных datetimeoffset в настоящее время не поддерживается в Fabric Data Warehouse, извлеките данные о смещении часового пояса в отдельный столбец.

Подсказка

Готовы к миграции?

Чтобы приступить к работе с автоматизированным процессом миграции, ознакомьтесь с Помощником по миграции Fabric для хранилища данных.

Для получения дополнительной информации о этапах и деталях ручной миграции смотрите в разделе Методы миграции для SQL Server в Fabric Data Warehouse.

Связанные материалы

  • Последнее обновление: