Planowanie migracji: SQL Server do Fabric Data Warehouse

Dotyczy:✅ Magazyn w systemie Microsoft Fabric

Ten artykuł szczegółowo opisuje strategię, zagadnienia i metody migracji hurtowni danych z SQL Server do Microsoft Fabric Data Warehouse.

Wskazówka

Automatyczne doświadczenie migracji z SQL Server jest dostępne dzięki użyciu Fabric Asystent migracji for Data Warehouse. Ten artykuł zawiera ważne informacje dotyczące strategii i planowania.

Wprowadzenie do migracji

Microsoft Fabric to kompleksowe rozwiązanie analityczne SaaS dla przedsiębiorstw, oferujące kompleksowy zestaw usług, w tym Data Factory, Data Engineering, Data Warehousing, Data Science, Real-Time Intelligence oraz Power BI.

Ten artykuł opisuje opcje dotyczące schematu (DDL), kodu bazy danych (DML) oraz migracji danych, a także pomaga wybrać opcję dla Twojego scenariusza. Wykorzystuje branżowy test porównawczy TPC-DS do celów ilustracyjnych i testów wydajności. Twoje wyniki mogą się różnić w zależności od takich czynników jak typy danych, szerokość tabeli i opóźnienia źródła.

Przygotowanie do migracji

Starannie zaplanuj swój projekt migracji przed rozpoczęciem i upewnij się, że Twój schemat, kod i dane są kompatybilne z Fabric Data Warehouse. Weź pod uwagę ograniczenia. Oszacuj zakres prac związanych z refaktoryzacją niezgodnych elementów oraz wszelkie inne zasoby potrzebne przed realizacją migracji.

Innym z kluczowych celów planowania jest dostosowanie projektu tak, aby Twoje rozwiązanie w pełni wykorzystywało wysoką wydajność zapytań, którą oferuje Fabric Data Warehouse. Projektowanie magazynów danych na potrzeby skalowania wprowadza unikatowe wzorce projektowe, więc tradycyjne podejścia nie zawsze są najlepsze. Przejrzyj wytyczne dotyczące wydajności. Chociaż po migracji można wprowadzić pewne dostosowania projektu, wprowadzenie zmian na wcześniejszym etapie procesu pozwoli zaoszczędzić czas i wysiłek. Migracja z jednej technologii lub środowiska do innego to zawsze ogromny wysiłek.

Poniższy diagram przedstawia cykl życia migracji. Wymienia główne filary: Ocena i ocena, Planowanie i Projektowanie, Migracja, Monitorowanie i Zarządzanie orazOptymalizacja i Modernizacja, wraz z powiązanymi zadaniami w każdym filarze w celu planowania i przygotowania do płynnej migracji.

Diagram cyklu życia migracji, w tym Ocena i Ocena, Planowanie i Projektowanie, Migracja, Monitorowanie i Zarządzanie oraz Optymalizacja i Modernizacja.

Runbook do migracji

Rozważ następujące działania jako podręcznik planowania migracji z SQL Server do Fabric Data Warehouse.

  1. Oszacować i ocenić
    1. Identyfikowanie celów i motywacji. Ustanów jasne oczekiwane wyniki.
    2. Odkryj, ocenij i określ istniejącą architekturę bazową.
    3. Identyfikowanie kluczowych uczestników projektu i sponsorów.
    4. Określ zakres migracji.
      1. Zacznij od małych i prostych kroków, przygotowując się na wielokrotne małe migracje.
      2. Rozpocznij monitorowanie i dokumentowanie wszystkich etapów procesu.
      3. Zbuduj inwentarz danych i procesów do migracji.
      4. Zdefiniuj zmiany w modelu danych, jeśli występują.
      5. Skonfiguruj obszar roboczy platformy Fabric.
    5. Oceń umiejętności i preferencje swojego zespołu.
      1. Automatyzuj wszędzie tam, gdzie to możliwe.
      2. Korzystaj z wbudowanych narzędzi i funkcji, aby ograniczyć wysiłek migracyjny.
    6. Przeszkól pracowników wcześnie w zakresie nowej platformy.
      1. Zidentyfikuj potrzeby podnoszenia kwalifikacji i zasoby szkoleniowe, w tym Microsoft Learn.
  2. Planowanie i projektowanie
    1. Zdefiniuj żądaną architekturę.
    2. Wybierz metody i narzędzia migracji , aby wykonać następujące zadania:
      1. Wyodrębniaj dane ze źródła.
      2. Przekonwertuj schemat (DDL), w tym metadane tabel i widoków.
      3. Pozyskuj dane, w tym dane historyczne.
        1. W razie potrzeby przeprojektuj model danych, wykorzystując wydajność i skalowalność nowej platformy.
      4. Migracja kodu bazy danych (DML).
        1. Migracja lub refaktoryzacja procedur przechowywanych i procesów biznesowych.
    3. Sporządź inwentarz i wyodrębnij funkcje zabezpieczeń oraz uprawnienia obiektowe ze źródła.
    4. Projektuj i planuj zastąpienie lub modyfikację istniejących procesów ETL lub ELT pod kątem obciążenia przyrostowego.
      1. Tworzenie równoległych procesów ETL lub ELT w nowym środowisku.
    5. Przygotuj szczegółowy plan migracji.
      1. Odwzoruj obecny stan na nowy pożądany stan.
  3. Migrować
    1. Migruj schemat, dane i kod.
      1. Wyodrębniaj dane ze źródła.
      2. Przekonwertuj schemat (DDL).
      3. Pozyskiwanie danych.
      4. Migracja kodu bazy danych (DML).
    2. W razie potrzeby tymczasowo skaluj zasoby SQL Server, aby zwiększyć szybkość migracji.
    3. Stosowanie zabezpieczeń i uprawnień.
    4. Migracja istniejących procesów ETL lub ELT dla obciążenia przyrostowego.
      1. Migruj lub refaktoryzuj procesy przyrostowego ładowania ETL lub ELT.
      2. Testuj i porównaj równoległe procesy obciążenia przyrostowego.
    5. Dostosuj szczegółowy plan migracji w razie potrzeby.
  4. Monitorowanie i zarządzanie
    1. Uruchom równolegle i porównaj z środowiskiem źródłowym.
      1. Testowanie aplikacji, platform analizy biznesowej i narzędzi do wykonywania zapytań.
      2. Testowanie porównawcze i optymalizowanie wydajności zapytań.
      3. Monitorowanie kosztów, zabezpieczeń i wydajności oraz zarządzanie nimi.
    2. Wykonaj benchmark i ocenę ładu korporacyjnego.
  5. Optymalizowanie i modernizowanie
    1. Gdy firma jest gotowa, zmigruj aplikacje i podstawowe platformy raportowania do Fabric.
      1. Skaluj zasoby, gdy obciążenie przesuwa się z SQL Server na Microsoft Fabric.
      2. Utwórz powtarzalny szablon na podstawie doświadczenia zdobytego na potrzeby przyszłych migracji. Iteruj.
      3. Zidentyfikuj możliwości optymalizacji kosztów, bezpieczeństwa, skalowalności i doskonałości operacyjnej.
      4. Zidentyfikuj możliwości modernizacji środowiska danych dzięki najnowszym funkcjom Fabric.

Podnieść i przesunąć czy zmodernizować?

Ogólnie rzecz biorąc, istnieją dwa typy scenariuszy migracji, niezależnie od celu i zakresu planowanej migracji: lift and shift as-is lub podejścia etapowego, które obejmuje zmiany architektury i kodu.

podnieś i przenieś

W migracji typu lift and shift migrujesz istniejący model danych z drobnymi zmianami do nowego Fabric Data Warehouse. Takie podejście minimalizuje ryzyko i czas migracji, zmniejszając nowe prace potrzebne do realizacji korzyści związanych z migracją.

Migracja w modelu "lift and shift" jest odpowiednia dla następujących scenariuszy:

  • Masz istniejące środowisko z niewielką liczbą hurtowni danych do migracji.
  • Masz istniejące środowisko z danymi, które są już w dobrze zaprojektowanym schemacie gwiazdy lub płatka śniegu.
  • Jesteś pod presją czasu i kosztów, aby przejść do Fabric Data Warehouse.

Podsumowując, to podejście sprawdza się dobrze w obciążeniach zoptymalizowanych pod obecne środowisko SQL Server, które nie wymagają większych zmian w Fabric.

Modernizuj w podejściu etapowym ze zmianami architektury

Jeśli starsza hurtownia danych rozwijała się przez długi czas, może być konieczne jej przebudowanie, aby utrzymać wymaganą wydajność.

Możesz też chcieć przeprojektować architekturę, aby wykorzystać nowe silniki i funkcje dostępne w przestrzeni roboczej Fabric.

Różnice konstrukcyjne między SQL Server a Fabric Data Warehouse

Rozważ następujące różnice między SQL Server a Fabric Data Warehouse.

Rozważania dotyczące tabeli

Podczas migrowania tabel między różnymi środowiskami zazwyczaj tylko nieprzetworzone dane i metadane są migrowane fizycznie. Zazwyczaj nie migruje się innych elementów bazy danych z systemu źródłowego, takich jak indeksy, ponieważ mogą być niepotrzebne lub inaczej zaimplementowane w nowym środowisku.

Optymalizacje wydajności w środowisku źródłowym, takie jak indeksy, wskazują, gdzie możesz dodać optymalizację wydajności w nowym środowisku, ale Fabric zajmuje się tym automatycznie za Ciebie.

Zagadnienia dotyczące języka T-SQL

Należy zauważyć kilka różnic w składni języka Data Manipulation Language (DML). Zapoznaj się z obszarem powierzchni języka T-SQL w usłudze Fabric Data Warehouse. Warto również rozważyć ocenę kodu przy wyborze metod migracji dla kodu bazy danych (DML).

W zależności od różnic parzystości w czasie migracji może być konieczne ponowne zapisywanie części kodu DML języka T-SQL.

Różnice mapowania typów danych

Fabric Data Warehouse różni się kilkoma typami danych w porównaniu z innymi Microsoft platformami SQL. Aby uzyskać więcej informacji, zobacz Typy danych w usłudze Microsoft Fabric.

Poniższa tabela przedstawia mapowanie obsługiwanych typów danych z Database Engine SQL do Fabric Data Warehouse.

SQL Server Hurtownia danych Fabric
money decimal(19,4)
smallmoney decimal(10,4)
smalldatetime datetime2
datetime datetime2
nchar char
nvarchar varchar
tinyint smallint
binary varbinary
datetimeoffset* datetime2

* datetime2 nie przechowuje informacji o przesunięciu strefy czasowej, które przechowuje datetimeoffset. Ponieważ datetimeoffset typ danych nie jest obecnie obsługiwany w Fabric Data Warehouse, wyodrębnij dane o przesunięciu stref czasowych do osobnej kolumny.

Wskazówka

Gotowe do migracji?

Aby zacząć korzystać z zautomatyzowanego narzędzia do migracji, skorzystaj z Fabric Asystent migracji for Data Warehouse.

Więcej kroków i szczegółów ręcznej migracji znajdziesz w sekcji Metody migracji SQL Server do Fabric Data Warehouse.

Treści powiązane

  • Ostatnia aktualizacja o