Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Genie Migrate konwertuje SQL z dialektów takich jak T-SQL, Snowflake, Redshift, Oracle, BigQuery i Teradata do zapytań SQL Databricks lub notatników Databricks. Konwertuje także obciążenia związane z wyodrębnianiem, przekształcaniem i ładowaniem (ETL) z Informatica PowerCenter (Beta) do notebooków Databricks. Konwertujesz pliki w projekcie migracyjnym i wybierasz format wyjściowy, zwany docelowym frameworkiem, gdy tworzysz projekt. Zobacz Obsługiwane dialekty źródłowe i platformy docelowe.
Wymagania można znaleźć w sekcji Wymagania dla Genie Migrate.
Jak Genie Migrate konwertuje kod
Podczas konwersji Genie Code wdraża subagenty, które konwertują pliki równocześnie. Każdy subagent analizuje dialekt źródłowy i generuje odpowiednik kodu dla docelowego frameworka projektu (Databricks SQL lub notatnik Databricks).
Każdy subagent następnie sprawdza przekonwertowany kod:
- Składnia: Sprawdza, czy przekonwertowany kod działa na Azure Databricks bez błędów.
-
Intencja semanticzna: Sprawdza, czy przekonwertowany kod zachowuje biznesową logikę źródła, na przykład te same joiny i
WHEREklauzule.
Gdy sprawdzenie się nie powiedzie, subagent poprawia kod i sprawdza go ponownie. Genie Code stosuje też twoje niestandardowe umiejętności podczas konwersji plików. Zobacz Poprawa konwersji dzięki niestandardowym umiejętnościom. Przekonwertowane pliki są zapisywane bezpośrednio w folderze obszaru roboczego określonym dla projektu.
Można również przekonwertować pojedynczy plik lub folder bez projektu przy użyciu /migrate polecenia w konwersacji Genie Code.
Obsługiwane dialekty źródłowe i ramy docelowe
Genie Migrate konwertuje następujące dialekty SQL:
- T-SQL
- Snowflake SQL
- Redshift SQL
- Oracle
- BigQuery
- Teradata
Tworząc projekt migracji dla dialektu SQL, wybierz jeden z następujących docelowych frameworków:
- DBSQL: Zapytania SQL Databricks zgodne z ANSI.
-
Notebooki (beta): Notatniki Databricks korzystające z interfejsu API DataFrame, z użyciem
spark.sqldo logiki, która jest czytelniejsza w SQL. - Deklaratywne potoki Spark (Beta): potoki Lakeflow, wyłącznie dla projektów T-SQL, obejmujące skrypty z SQL Server oraz dedykowanych pul SQL Azure Synapse. Gdy podgląd eksperymentalnych funkcji Projektów Migracji jest włączony, ten cel jest domyślnie zaznaczony dla projektów T-SQL.
Genie Migrate obsługuje także Informatica PowerCenter jako źródło ETL.
Important
Ta funkcja jest dostępna w wersji beta. Aby z niego korzystać, administrator przestrzeni roboczej musi włączyć Migration Projects Experimental Features na stronie Previews. Zobacz Zarządzanie wersjami zapoznawczami usługi Azure Databricks.
Informatica Intelligent Zarządzanie danymi Cloud (IDMC) oraz Informatica Intelligent Cloud Services (IICS) nie są obsługiwane. Genie Migrate konwertuje obiekty w eksporcie Informatica, takie jak workflowy i mapowania, na notebooki Databricks, dlatego projekty Informatica zawsze korzystają z ramy docelowej Notebooks.
Aby przygotować przepływy pracy Informatica do konwersji, wyeksportuj je z PowerCenter Repository Manager w formacie PowerMart XML. Eksportuj na poziomie workflow i uwzględniaj zależne obiekty, takie jak mapowania, sesje, mapplety i worklety. Nie uwzględniaj poświadczeń w eksporcie.
Konwertowanie plików w projekcie migracji
Przed konwersją stwórz projekt migracji i dodaj pliki źródłowe. Zobacz Utwórz i przeanalizuj projekt migracji.
Krok 1: Przeprowadź konwersję
W projektach Informatica wybierasz i konwertujesz workflowy, mapowania i inne obiekty tworzone przez analizę, a nie .xml przesłane eksporty.
Aby przekonwertować konkretne pliki, zaznacz je i kliknij Konwertuj zaznaczone. Aby przekonwertować wszystkie pliki w projekcie, wyczyść zaznaczenie i kliknij Przekonwertuj wszystkie. Aby przekonwertować jedną grupę naraz, najedź kursorem na wiersz grupy i kliknij Przekonwertuj tę grupę. Zobacz Planowanie migracji w grupach. Kod Genie otwiera konwersację, wywołuje umiejętności migracji i wdraża subagenty w celu jednoczesnego konwertowania plików. Każdy przekonwertowany plik jest wyświetlany jako połączony plik w projekcie. Każdy plik pokazuje jeden z następujących statusów:
- Szare: Plik jeszcze nie został przekonwertowany (Nie rozpoczęto, W kolejce lub Zatrzymano). Wyświetla się wskaźnik ładowania, gdy plik jest konwertowany.
- Niewypełniony zielony: plik przekonwertowany bez problemów (przekonwertowany).
- Zaznaczone na zielono: Przejrzałeś i zaakceptowałeś przekonwertowany plik (Przejrzane).
- Żółty: Plik został przekonwertowany, ale zawiera elementy wymagające przejrzenia.
- Red: Konwersja nie powiodła się (błąd).
W projektach skierowanych do potoków Lakeflow każda grupa staje się jednym potokiem, który jest Twoim właścicielem, a plik konwertuje się dopiero po umieszczeniu w grupie z katalogiem i schematem. Zanim przekonwertujesz grupę, kliknij Wybierz katalog i schemat w wierszu tej grupy, aby wybrać miejsce, w którym potok będzie publikować tabele i widoki. Miejsce docelowe ma zastosowanie w momencie pierwszego utworzenia potoku grupy. Jeśli pipeline grupy zostanie usunięty, następna konwersja grupy tworzy nowy pipeline, pod warunkiem, że grupa nadal posiada katalog i schemat. W przeciwnym razie konwersja nie udaje się i prosi o ich ustawienie. Każde uruchomienie konwertuje pliki z maksymalnie 10 grup.
Każdy przebieg konwertuje do 500 plików. Jeśli ustawisz w kolejce ponad 500 plików, pierwsze 500 nieprzekonwertowanych plików konwertuje się w bieżącym uruchomieniu. Po zakończeniu serii rozpocznij konwersję ponownie, aby przeliczyć kolejnych 500 plików.
Krok 2: Przejrzyj wyniki konwersji
W przypadku projektów SQL Databricks kliknij przekonwertowany plik, aby otworzyć inline diff w edytorze SQL, który pokazuje każdą sekcję kodu źródłowego powyżej proponowanego Databricks SQL, który go zastępuje. Zaakceptuj wszystkie sugerowane zmiany lub przejrzyj i zaakceptuj poszczególne zmiany. W przypadku projektów Notebooks kliknij przekonwertowany plik, aby otworzyć wygenerowany notatnik Databricks. W przypadku skryptów, które nie mogą dokonać konwersji, zmodyfikuj kod w edytorze lub poproś kod Genie o ponowne zweryfikowanie lub ponowienie próby określonych sekcji. Gdy będziesz zadowolony, uruchom przekonwertowany SQL lub notatnik, aby potwierdzić, że działa na Azure Databricks. Jeśli ten sam błąd pojawi się w kilku plikach, uwzględnij poprawkę w niestandardowej umiejętności i ponownie uruchom te pliki. Zobacz Poprawa konwersji dzięki niestandardowym umiejętnościom.
W przypadku projektów celujących w potoki Lakeflow kliknij Otwórz potok w przekonwertowanej grupie, przejrzyj komentarze -- TODO: manual review required w jej plikach SQL, a następnie uruchom potok. Genie Migrate weryfikuje każdą przekonwertowaną grupę podczas próbnego uruchomienia jej potoku, więc nic się nie uruchamia i dane nie są zapisywane, dopóki nie uruchomisz potoku.
Potok każdej grupy jest nazwany na podstawie projektu i grupy, na przykład Retail warehouse migration / Sales (Lakebridge 2761…/a0b2…). Jego przekonwertowane pliki znajdują się w folderze nazwanym od nazwy grupy wewnątrz docelowego folderu projektu, pod transformations/. Późniejsza zmiana nazwy grupy nie przenosi folderu.
W przypadku projektów Informatica porównaj każdy wygenerowany notatnik z odpowiadającym mu mapowaniem PowerCenter. Sprawdź tabele źródłowe i docelowe, połączenia, filtry i grupy Router, odwołania Lookup, logikę Update Strategy oraz parametry. Zanim użyjesz przekonwertowanego potoku w środowisku produkcyjnym, uruchom go na danych nieprodukcyjnych i porównaj wyniki, takie jak liczba wierszy i agregaty kluczy, z wynikiem workflow PowerCenter.
Popraw konwersje dzięki niestandardowym umiejętnościom
Niestandardowe umiejętności umożliwiają kodowanie reguł biznesowych, które Genie Code automatycznie stosuje podczas każdej konwersji. Służy do obsługi zastrzeżonych typów danych, wymuszania preferowanych wzorców docelowych lub przechwytywania poprawek, które są wykonywane wielokrotnie. Umiejętność migracji jest umiejętnością Genie Code, dzięki czemu możesz tworzyć i zarządzać nią w taki sam sposób, jak w przypadku każdej innej umiejętności. Zobacz Rozszerzanie kodu Genie przy użyciu umiejętności agenta.
Nie musisz definiować wszystkich swoich umiejętności przed pierwszą rozmową. Większość zasad, które umiejętność powinna uchwycić, staje się jasna dopiero po przejrzeniu pierwszych wyników. Typowy workflow to:
- Przekonwertuj reprezentatywny zestaw plików.
- Przejrzyj pliki z elementami akcji lub błędami i szukaj powtarzających się błędów w plikach, takich jak ten sam nieobsługiwany typ danych, funkcja czy wzorzec nazewnictwa.
- Stwórz umiejętność, która zawiera rozwiązanie dla każdego powtarzającego się błędu.
- Zaznacz tylko dotknięte pliki i kliknij Konwertuj zaznaczone. Genie Code stosuje nową umiejętność do tych plików.
Powtarzaj ten cykl, konwertując kolejne części kodu. Genie Code stosuje każdą umiejętność do późniejszych konwersji w workspace, więc jedna poprawka obejmuje inne pliki o tym samym wzorcu.
Możesz utworzyć umiejętności na podstawie ustawień kodu Genie lub konwersacji z kodem Genie. Użyj ścieżki ustawień, aby uzyskać złożone umiejętności, które zawierają szczegółowe instrukcje, przykłady lub pliki pomocnicze. Użyj trybu czatu w przypadku szybkich umiejętności opartych na jednej regule.
Ustawienia kodu Genie
Utwórz umiejętność w postaci pliku, aby móc opracowywać szczegółowe instrukcje i wersjonować ją w folderze Git:
W panelu Genie Code kliknij
Ustawienia, a następnie kliknij
Otwórz folder skills.
Utwórz folder dla swojej umiejętności w ścieżce umiejętności obszaru roboczego.
Workspace/.assistant/skills/Na przykładWorkspace/.assistant/skills/sql-migration/.W folderze umiejętności utwórz
SKILL.mdplik z wymaganym frontmatterem i regułami konwersji. Na przykład:--- name: sql-migration description: Conversion rules to apply when migrating legacy SQL to ANSI SQL. --- Always convert the custom type MYDATE to TIMESTAMP_NTZ.
Genie Code uwzględnia tę umiejętność przy następnym uruchomieniu konwersji.
Czat z kodem Genie
Opisz regułę konwersji, którą chcesz zakodować, a następnie poproś kod Genie o zapisanie go:
Wskazówka
Always convert our custom type MYDATE to TIMESTAMP_NTZ. Save this as a custom migration skill.
Aplikacja Genie Code tworzy i rejestruje umiejętności i stosuje je w przypadku przyszłych konwersji w obszarze roboczym.
Aby wyświetlić aktywne umiejętności:
Wskazówka
Show me my migration skills
Aby usunąć umiejętność:
Wskazówka
Delete the migration skill for [description]
Umiejętności obszaru roboczego są przechowywane na poziomie obszaru roboczego i udostępniane wszystkim użytkownikom w obszarze roboczym.
Testuj i waliduj przekonwertowany kod
Poniższe wskazówki pomagają Ci przejrzeć i zyskać pewność co do przekształconego efektu:
- Konwersja wsadowa: Przekonwertuj mały zestaw od dwóch do pięciu plików w jednej sesji, aby zweryfikować, czy konwersja wieloplikowa działa od początku do końca.
- Walidacja składni: po konwersji uruchom dane wyjściowe w edytorze SQL usługi Databricks lub notesie, aby potwierdzić, że działa bez błędów.
-
Przypadki brzegowe: Dołącz skrypt z konstrukcjami specyficznymi dla dialektu, takimi jak funkcje okna w T-SQL, Snowflake
QUALIFYlub RedshiftLISTAGG, aby zobaczyć, jak konwerter radzi sobie z nietrywialnymi wzorcami. - Poprawność semantyczna: uruchom oryginalne i przekonwertowane zapytania względem równoważnych danych testowych i porównaj wyniki. Upewnij się, że dane wyjściowe są semantycznie poprawne, a nie tylko prawidłowe składniowo.