Planowanie migracji: z dedykowanych pul SQL usługi Azure Synapse Analytics do Fabric Data Warehouse

Dotyczy:✅ Magazyn w systemie Microsoft Fabric

Ten artykuł opisuje strategie, rozważania i metody migracji z Azure Synapse Analytics dedykowanych pul SQL do Microsoft Fabric Data Warehouse.

Wskazówka

Wykorzystaj Fabric Asystent migracji for Data Warehouse do automatycznej migracji z Azure Synapse Analytics dedykowanych pul SQL. Ten artykuł zawiera ważne informacje dotyczące strategii i planowania.

Wprowadzenie do migracji

Microsoft Fabric to kompleksowe rozwiązanie analityczne SaaS dla przedsiębiorstw. Oferuje kompleksowy zestaw usług, w tym Data Factory, Data Engineering, Data Warehousing, Data Science, Real-Time Intelligence oraz Power BI.

Ten artykuł opisuje opcje dotyczące schematu (DDL), kodu bazy danych (DML) oraz migracji danych, a także pomaga wybrać opcję dla Twojego scenariusza. Wykorzystuje branżowy test porównawczy TPC-DS do celów ilustracyjnych i testów wydajności. Twoje wyniki mogą się różnić w zależności od takich czynników jak typy danych, szerokość tabeli i opóźnienia źródła.

Przygotowanie do migracji

Starannie zaplanuj swój projekt migracji przed rozpoczęciem i upewnij się, że Twój schemat, kod i dane są kompatybilne z Fabric Data Warehouse. Weź pod uwagę ograniczenia. Określ ilość pracy potrzebnej do refaktoryzacji niekompatybilnych elementów oraz innych zasobów potrzebnych do przeprowadzenia migracji.

Kolejnym kluczowym celem planowania jest dostosowanie projektu tak, aby Twoje rozwiązanie w pełni wykorzystało Fabric Data Warehouse wydajność zapytań. Projektowanie magazynów danych na potrzeby skalowania wprowadza unikatowe wzorce projektowe, więc tradycyjne podejścia nie zawsze są najlepsze. Przejrzyj wytyczne dotyczące wydajności. Chociaż po migracji można wprowadzić pewne zmiany projektowe, wcześniejsze zmiany oszczędzają czas i wysiłek. Migracja z jednej technologii lub środowiska do innego to zawsze ogromny wysiłek.

Poniższy diagram przedstawia cykl życia migracji oraz zadania związane z jej pięcioma filarami: Ocena i Ocena, Planowanie i Projektowanie, Migracja, Monitorowanie i Zarządzanie orazOptymalizacja i Modernizacja.

Diagram cyklu życia migracji, w tym Ocena i Ocena, Planowanie i Projektowanie, Migracja, Monitorowanie i Zarządzanie oraz Optymalizacja i Modernizacja.

Runbook do migracji

Rozważ następujące działania jako runbook planowania migracji z dedykowanych pul SQL usługi Synapse do usługi Fabric Data Warehouse.

  1. Oszacować i ocenić
    1. Identyfikowanie celów i motywacji. Ustanów jasne oczekiwane wyniki.
    2. Odkryj, ocenij i określ istniejącą architekturę bazową.
    3. Identyfikowanie kluczowych uczestników projektu i sponsorów.
    4. Określ zakres migracji.
      1. Zacznij od małych i prostych kroków, przygotowując się na wielokrotne małe migracje.
      2. Rozpocznij monitorowanie i dokumentowanie wszystkich etapów procesu.
      3. Zbuduj inwentarz danych i procesów do migracji.
      4. Zdefiniuj zmiany w modelu danych, jeśli występują.
      5. Skonfiguruj obszar roboczy platformy Fabric.
    5. Oceń umiejętności i preferencje swojego zespołu.
      1. Automatyzuj wszędzie tam, gdzie to możliwe.
      2. Użyj wbudowanych narzędzi i funkcji platformy Azure, aby zmniejszyć nakład pracy nad migracją.
    6. Przeszkól pracowników wcześnie w zakresie nowej platformy.
      1. Zidentyfikuj potrzeby podnoszenia kwalifikacji i zasoby szkoleniowe, w tym Microsoft Learn.
  2. Planowanie i projektowanie
    1. Zdefiniuj żądaną architekturę.
    2. Wybierz metody i narzędzia migracji , aby wykonać następujące zadania:
      1. Wyodrębnianie danych ze źródła.
      2. Konwersja schematów (DDL), w tym metadane dla tabel i widoków.
      3. Pozyskiwanie danych, w tym dane historyczne.
        1. W razie potrzeby przeprojektuj model danych, wykorzystując nową wydajność i skalowalność platformy.
      4. Migracja kodu bazy danych (DML).
        1. Migracja lub refaktoryzacja procedur przechowywanych i procesów biznesowych.
    3. Sporządź inwentarz i wyodrębnij funkcje zabezpieczeń oraz uprawnienia obiektowe ze źródła.
    4. Projektować i planować zastąpienie lub modyfikację istniejących procesów ETL/ELT pod kątem obciążenia przyrostowego.
      1. Tworzenie równoległych procesów ETL/ELT w nowym środowisku.
    5. Przygotuj szczegółowy plan migracji.
      1. Przyporządkuj bieżący stan do stanu docelowego.
  3. Migrować
    1. Przeprowadz migrację schematów, danych i kodu.
      1. Wyodrębnianie danych ze źródła.
      2. Konwersja schematu (DDL).
      3. Pozyskiwanie danych
      4. Migracja kodu bazy danych (DML).
    2. W razie potrzeby przeprowadź tymczasowe skalowanie dedykowanych zasobów puli SQL w górę, aby przyspieszyć migrację.
    3. Stosowanie zabezpieczeń i uprawnień.
    4. Migrowanie istniejących procesów ETL/ELT na potrzeby obciążenia przyrostowego.
      1. Migrowanie lub refaktoryzowanie procesów przyrostowego ładowania danych ETL/ELT.
      2. Testuj i porównaj równoległe procesy obciążenia przyrostowego.
    5. Dostosuj szczegółowy plan migracji w razie potrzeby.
  4. Monitorowanie i zarządzanie
    1. Uruchom równolegle i porównaj z środowiskiem źródłowym.
      1. Testowanie aplikacji, platform analizy biznesowej i narzędzi do wykonywania zapytań.
      2. Testowanie porównawcze i optymalizowanie wydajności zapytań.
      3. Monitorowanie kosztów, zabezpieczeń i wydajności oraz zarządzanie nimi.
    2. Wykonaj benchmark i ocenę ładu korporacyjnego.
  5. Optymalizowanie i modernizowanie
    1. Gdy firma jest gotowa, zmigruj aplikacje i podstawowe platformy raportowania do Fabric.
      1. Skaluj zasoby w górę lub w dół, gdy obciążenie przechodzi z Azure Synapse Analytics na Microsoft Fabric.
      2. Utwórz powtarzalny szablon na podstawie doświadczenia zdobytego na potrzeby przyszłych migracji. Iteruj.
      3. Zidentyfikuj możliwości optymalizacji kosztów, bezpieczeństwa, skalowalności i doskonałości operacyjnej.
      4. Zidentyfikuj możliwości modernizacji środowiska danych dzięki najnowszym funkcjom Fabric.

Podnieść i przesunąć czy zmodernizować?

Ogólnie rzecz biorąc, istnieją dwa typy scenariuszy migracji, niezależnie od celu i zakresu planowanej migracji: lift and shift as-is lub podejścia etapowego, które obejmuje zmiany architektury i kodu.

podnieś i przenieś

W migracji typu lift and shift migrujesz istniejący model danych z drobnymi zmianami do nowego Fabric Data Warehouse. Takie podejście minimalizuje ryzyko i czas migracji, zmniejszając nowe prace potrzebne do realizacji korzyści związanych z migracją.

Migracja w modelu "lift and shift" jest odpowiednia dla następujących scenariuszy:

  • Masz istniejące środowisko z niewielką liczbą magazynów do przeniesienia.
  • Masz istniejące środowisko z danymi, które są już w dobrze zaprojektowanym schemacie gwiazdy lub płatka śniegu.
  • Jesteś pod presją czasu i kosztów, aby przejść do Fabric Data Warehouse.

Podsumowując, to podejście sprawdza się dobrze w obciążeniach zoptymalizowanych pod obecne dedykowane środowisko SQL Azure Synapse i nie wymagające poważnych zmian w Fabric.

Modernizuj w podejściu etapowym ze zmianami architektury

Jeśli starsza hurtownia danych rozwijała się przez długi czas, może być konieczne jej przebudowanie, aby utrzymać wymaganą wydajność.

Możesz też chcieć przeprojektować architekturę, aby wykorzystać nowe silniki i funkcje dostępne w przestrzeni roboczej Fabric.

Różnice projektowe: dedykowane pule SQL usługi Synapse i magazyn danych Fabric Data Warehouse

Rozważ następujące różnice w magazynowaniu danych usługi Azure Synapse i Microsoft Fabric, porównując dedykowane pule SQL z usługą Fabric Data Warehouse.

Rozważania dotyczące tabeli

Podczas migrowania tabel między różnymi środowiskami zazwyczaj tylko nieprzetworzone dane i metadane są migrowane fizycznie. Zazwyczaj nie migruje się innych elementów bazy danych z systemu źródłowego, takich jak indeksy, ponieważ mogą być niepotrzebne lub inaczej zaimplementowane w nowym środowisku.

Optymalizacje wydajności w środowisku źródłowym, takie jak indeksy, wskazują, gdzie możesz potrzebować optymalizacji w nowym środowisku. Fabric automatycznie zarządza tymi optymalizacjami.

Zagadnienia dotyczące języka T-SQL

Należy rozważyć kilka różnic składniowych w języku manipulacji danymi (DML). Przejrzyj powierzchnię T-SQL w Fabric Data Warehouse i przeprowadź ocenę kodu, gdy wybierasz metodę migracji kodu bazy danych.

W zależności od różnic parzystości w czasie migracji może być konieczne ponowne zapisywanie części kodu DML języka T-SQL.

Różnice mapowania typów danych

Fabric Data Warehouse różni się kilkoma typami danych w porównaniu z Azure Synapse Analytics dedykowanymi pulami SQL. Aby uzyskać więcej informacji, zobacz Typy danych w usłudze Microsoft Fabric.

Poniższa tabela przedstawia mapowanie obsługiwanych typów danych z dedykowanych pul SQL usługi Azure Synapse do Fabric Data Warehouse.

Synapse dedykowane pule SQL Hurtownia danych Fabric
money DECIMAL(19,4)
smallmoney DECIMAL(10,4)
smalldatetime datetime2
datetime datetime2
nchar char
nvarchar varchar
tinyint smallint
binary varbinary
Datetimeoffset* datetime2

* Datetime2 nie przechowuje dodatkowych informacji o strefie czasowej, którą przechowuje datetimeoffset . Ponieważ Fabric Data Warehouse obecnie nie obsługuje typu datetimeoffset, musisz wyodrębnić dane o strefie czasowej do osobnej kolumny.

Wskazówka

Gotowe do migracji?

Aby zacząć korzystać z zautomatyzowanego narzędzia do migracji, skorzystaj z Fabric Asystent migracji for Data Warehouse.

Więcej szczegółów dotyczących ręcznej migracji znajdziesz w sekcji Metody migracji Azure Synapse Analytics dedykowanych pul SQL do Fabric Data Warehouse.

Treści powiązane

  • Ostatnia aktualizacja o