Udostępnij za pośrednictwem

Narzędzia migracji magazynu danych Oracle do usługi Azure Synapse Analytics

  • Artykuł

Ten artykuł jest częścią sześciu z siedmiu części serii, która zawiera wskazówki dotyczące sposobu migracji z bazy danych Oracle do usługi Azure Synapse Analytics. Celem tego artykułu są najlepsze rozwiązania dotyczące narzędzi firmy Microsoft i innych firm.

Narzędzia migracji magazynu danych

Migracja istniejącego magazynu danych do usługi Azure Synapse zapewnia następujące korzyści:

  • Globalnie bezpieczna, skalowalna, tania, natywna dla chmury, płatność zgodnie z rzeczywistym użyciem analitycznej bazy danych.

  • Rozbudowany ekosystem analityczny firmy Microsoft, który istnieje na platformie Azure. Ten ekosystem składa się z technologii, które ułatwiają modernizację magazynu danych po migracji i rozszerzaniu możliwości analitycznych w celu zwiększenia nowej wartości.

Kilka narzędzi od partnerów firmy Microsoft i innych firm może ułatwić migrację istniejącego magazynu danych do usługi Azure Synapse. W tym artykule omówiono następujące typy narzędzi:

  • Narzędzia do migracji danych i baz danych firmy Microsoft.

  • Narzędzia automatyzacji magazynu danych innych firm do automatyzacji i dokumentowania migracji do usługi Azure Synapse.

  • Narzędzia migracji magazynu danych innych firm do migrowania schematu i danych do usługi Azure Synapse.

  • Narzędzia innych firm do łączenia różnic SQL między istniejącymi systemami DBMS magazynu danych i usługą Azure Synapse.

Narzędzia do migracji danych firmy Microsoft

Firma Microsoft oferuje kilka narzędzi, które ułatwiają migrowanie istniejącego magazynu danych do usługi Azure Synapse, takich jak:

W następnych sekcjach omówiono te narzędzia bardziej szczegółowo.

Asystent migracji do programu SQL Server (SSMA)

Asystent migracji do programu SQL Server (SSMA) dla oracle może zautomatyzować wiele części procesu migracji, w tym w niektórych przypadkach funkcje i kod proceduralny. Usługa SSMA obsługuje usługę Azure Synapse jako środowisko docelowe.

Zrzut ekranu przedstawiający sposób Asystent migracji do programu SQL Server dla programu Oracle może zautomatyzować wiele części procesu migracji.

Program SSMA for Oracle może pomóc w migracji magazynu danych Oracle lub składnicy danych do usługi Azure Synapse. Program SSMA został zaprojektowany w celu zautomatyzowania procesu migrowania tabel, widoków i danych z istniejącego środowiska Oracle.

Microsoft Azure Data Factory

Data Factory to w pełni zarządzana, płatna zgodnie z rzeczywistym użyciem usługa integracji danych hybrydowych na potrzeby wysoce skalowalnego przetwarzania ETL i ELT. Używa platformy Apache Spark do przetwarzania i analizowania danych równolegle i w pamięci w celu zmaksymalizowania przepływności.

Napiwek

Usługa Data Factory umożliwia tworzenie skalowalnych potoków integracji danych bez obsługi kodu.

Łączniki usługi Data Factory obsługują połączenia z zewnętrznymi źródłami danych i bazami danych oraz zawierają szablony typowych zadań integracji danych. Wizualny fronton oparty na przeglądarce interfejs użytkownika umożliwia programistom tworzenie i uruchamianie potoków pozyskiwania, przekształcania i ładowania danych. Bardziej doświadczeni programiści mogą uwzględniać kod niestandardowy, taki jak programy języka Python.

Napiwek

Usługa Data Factory umożliwia tworzenie współpracy między specjalistami biznesowymi i IT.

Usługa Data Factory jest również narzędziem orkiestracji i jest najlepszym narzędziem firmy Microsoft do automatyzacji kompleksowego procesu migracji. Automatyzacja zmniejsza ryzyko, nakład pracy i czas migracji oraz ułatwia powtarzanie procesu migracji. Na poniższym diagramie przedstawiono przepływ danych mapowania w usłudze Data Factory.

Zrzut ekranu przedstawiający przykład przepływu danych mapowania usługi Data Factory.

Następny zrzut ekranu przedstawia przepływ danych uzdatniania w usłudze Data Factory.

Zrzut ekranu przedstawiający przykład uzdatniania przepływów danych w usłudze Data Factory.

W usłudze Data Factory można opracowywać proste lub kompleksowe procesy ETL i ELT bez kodowania lub konserwacji za pomocą zaledwie kilku kliknięć. Procesy ETL/ELT przetwarzają pozyskiwanie, przenoszenie, przygotowywanie, przekształcanie i przetwarzanie danych. Możesz zaprojektować planowanie i wyzwalacze oraz zarządzać nimi w usłudze Data Factory, aby utworzyć zautomatyzowane środowisko integracji i ładowania danych. W usłudze Data Factory można definiować i planować procesy zbiorczego ładowania danych programu PolyBase oraz zarządzać nimi.

Napiwek

Usługa Data Factory zawiera narzędzia ułatwiające migrowanie zarówno danych, jak i całego magazynu danych na platformę Azure.

Za pomocą usługi Data Factory można zaimplementować środowisko hybrydowe i zarządzać nim za pomocą danych lokalnych, chmurowych, przesyłanych strumieniowo i SaaS w bezpieczny i spójny sposób. Dane SaaS mogą pochodzić z aplikacji, takich jak Salesforce.

Uzdatnianie przepływów danych to nowa funkcja w usłudze Data Factory. Ta funkcja otwiera usługę Data Factory użytkownikom biznesowym, którzy chcą wizualnie odnajdywać, eksplorować i przygotowywać dane na dużą skalę bez konieczności pisania kodu. Uzdatnianie przepływów danych oferuje samoobsługowe przygotowywanie danych, podobnie jak w przypadku przepływów danych programu Microsoft Excel, dodatku Power Query i usługi Microsoft Power BI. Użytkownicy biznesowi mogą przygotowywać i integrować dane za pomocą interfejsu użytkownika w stylu arkusza kalkulacyjnego z opcjami przekształcania listy rozwijanej.

Migracja danych na dużą skalę ułatwia migrację danych ze źródła do miejsca docelowego usługi Azure SQL przy użyciu usługi Data Factory.

Usługa Data Factory to zalecane podejście do implementowania integracji danych i procesów ETL/ELT w środowisku usługi Azure Synapse, zwłaszcza jeśli chcesz refaktoryzować istniejące starsze procesy.

usługi firmy Microsoft do transferu danych fizycznych

W poniższych sekcjach omówiono szereg produktów i usług oferowanych przez firmę Microsoft w celu ułatwienia klientom transferu danych. To przenoszenie danych w trybie offline umożliwi użytkownikom końcowym znaczne zmniejszenie przestoju migracji.

Azure ExpressRoute

Usługa Azure ExpressRoute tworzy prywatne połączenia między centrami danych platformy Azure i infrastrukturą lokalną lub w środowisku kolokacji. Połączenia usługi ExpressRoute nie przechodzą przez publiczny Internet i oferują większą niezawodność, szybkość i mniejsze opóźnienia niż typowe połączenia internetowe. W niektórych przypadkach uzyskujesz znaczne korzyści związane z kosztami dzięki połączeniom usługi ExpressRoute w celu przesyłania danych między systemami lokalnymi a platformą Azure.

AzCopy

AzCopy to narzędzie wiersza polecenia, które kopiuje pliki do usługi Azure Blob Storage za pośrednictwem standardowego połączenia internetowego. W projekcie migracji magazynu można użyć narzędzia AzCopy do przekazywania wyodrębnionych, skompresowanych, rozdzielonych plików tekstowych przed załadowaniem ich do usługi Azure Synapse przy użyciu programu PolyBase. Narzędzie AzCopy może przekazywać poszczególne pliki, wybory plików lub foldery plików. Jeśli wyeksportowane pliki są w formacie Parquet, użyj natywnego czytnika Parquet.

Azure Data Box

Azure Data Box to usługa firmy Microsoft, która zapewnia zastrzeżone fizyczne urządzenie magazynujące, na które można kopiować dane migracji. Następnie należy wysłać urządzenie do centrum danych platformy Azure w celu przekazania danych do magazynu w chmurze. Ta usługa może być opłacalna w przypadku dużych ilości danych, takich jak dziesiątki lub setki terabajtów, lub gdy przepustowość sieci nie jest łatwo dostępna. Usługa Azure Data Box jest zwykle używana do dużego jednorazowego ładowania danych historycznych do usługi Azure Synapse.

Azure Data Box Gateway

Azure Data Box Gateway to zwirtualizowane urządzenie bramy magazynu w chmurze, które znajduje się lokalnie i wysyła obrazy, nośniki i inne dane na platformę Azure. Usługa Data Box Gateway umożliwia jednorazowe zadania migracji lub ciągłe przyrostowe przekazywanie danych.

usługi firmy Microsoft pozyskiwania danych

W poniższych sekcjach omówiono produkty i usługi oferowane przez firmę Microsoft, aby pomóc klientom w pozyskiwaniu danych.

COPY INTO

Instrukcja COPY INTO zapewnia największą elastyczność pozyskiwania danych o wysokiej przepływności w usłudze Azure Synapse. Aby uzyskać więcej informacji na temat COPY INTO możliwości, zobacz COPY (Transact-SQL).

PolyBase

Technologia PolyBase to najszybsza, najbardziej skalowalna metoda zbiorczego ładowania danych do usługi Azure Synapse. Technologia PolyBase używa architektury masowego przetwarzania równoległego (MPP) usługi Azure Synapse do równoległego ładowania danych w celu uzyskania najszybszej przepływności. Technologia PolyBase może odczytywać dane z plików prostych w usłudze Azure Blob Storage lub bezpośrednio z zewnętrznych źródeł danych i innych relacyjnych baz danych za pośrednictwem łączników.

Napiwek

Technologia PolyBase może ładować dane równolegle z usługi Azure Blob Storage do usługi Azure Synapse.

Technologia PolyBase może również bezpośrednio odczytywać pliki skompresowane za pomocą narzędzia gzip, aby zmniejszyć ilość danych fizycznych podczas procesu ładowania. Technologia PolyBase obsługuje popularne formaty danych, takie jak tekst rozdzielany, ORC i Parquet.

Napiwek

Program PolyBase można wywołać z usługi Data Factory w ramach potoku migracji.

Technologia PolyBase jest ściśle zintegrowana z usługą Data Factory w celu zapewnienia szybkiego rozwoju procesów ETL/ELT ładowania danych. Procesy ładowania danych można zaplanować za pomocą wizualnego interfejsu użytkownika w celu zwiększenia produktywności i mniejszej liczby błędów niż ręcznie napisany kod. Firma Microsoft zaleca program PolyBase w celu pozyskiwania danych do usługi Azure Synapse, szczególnie w przypadku pozyskiwania dużych ilości danych.

Program PolyBase używa CREATE TABLE AS instrukcji lub INSERT...SELECT do ładowania danych. CREATE TABLE AS minimalizuje rejestrowanie w celu osiągnięcia najwyższej przepływności. Najbardziej wydajny format wejściowy ładowania danych to skompresowane pliki tekstowe rozdzielane. Aby uzyskać maksymalną przepływność, podziel duże pliki wejściowe na wiele mniejszych plików i załaduj je równolegle. Aby uzyskać najszybsze ładowanie do tabeli przejściowej, zdefiniuj tabelę docelową jako HEAP typ i użyj dystrybucji działania okrężnego.

Technologia PolyBase ma pewne ograniczenia, dlatego długość wiersza danych musi być mniejsza niż 1 megabajt i nie obsługuje formatów zagnieżdżonych o stałej szerokości, takich jak JSON i XML.

Narzędzia firmy Microsoft do migracji oracle

Asystent migracji do programu SQL Server (SSMA) for Oracle może pomóc w migracji starszej platformy lokalnego magazynu danych do usługi Azure Synapse.

Partnerzy firmy Microsoft na potrzeby migracji oracle

Partnerzy firmy Microsoft oferują narzędzia, usługi i wiedzę, aby ułatwić migrację starszej platformy magazynu danych lokalnych do usługi Azure Synapse.

Następne kroki

Aby dowiedzieć się więcej na temat implementowania nowoczesnych magazynów danych, zobacz następny artykuł z tej serii: Beyond Oracle migration , implementowanie nowoczesnego magazynu danych na platformie Microsoft Azure.