Konversi SQL dengan Genie Migrate

Genie Migrate menggunakan Genie Code untuk mengonversi SQL yang sudah ada dari dialek seperti T-SQL, Snowflake, Redshift, Oracle, BigQuery, dan Teradata menjadi kode yang berjalan di Azure Databricks. Anda mengatur pekerjaan Anda dalam proyek migrasi dan memilih kerangka kerja target untuk output: DBSQL untuk menghasilkan kueri SQL Databricks, atau Notebooks (Beta) untuk menghasilkan notebook Databricks yang menggunakan API DataFrame. Genie Migrate menganalisis setiap skrip sumber, memvalidasi output yang dikonversi, dan memperbaiki kesalahan secara iteratif sebelum menulis hasilnya ke folder workspace.

Genie Migrate adalah bagian dari alat Databricks untuk memigrasikan beban kerja dari gudang data dan alat ETL yang sudah ada ke Azure Databricks. Ini mengonversi SQL sumber Anda saat Anda mengatur dan melacak pekerjaan dalam proyek migrasi.

Cara kerjanya

Anda memulai konversi dengan membuat proyek migrasi di ruang kerja Anda. Proyek melacak status setiap file dan memberi Anda satu tempat untuk mengelola migrasi.

Diagram alur kerja konversi: dialek sumber masuk ke Genie Migrate, yang mengonversi setiap file, memeriksa sintaks dan maksud semantiknya, lalu merevisinya sampai pemeriksaan lolos. Skill kustom menjadi masukan, dan file yang dikonversi masuk ke proyek migrasi.

Saat Anda menjalankan konversi, Genie Code akan menyebarkan subagen yang mengonversi file secara bersamaan. Setiap subagen menganalisis dialek sumber dan menghasilkan kode yang setara untuk kerangka kerja target proyek (Databricks SQL atau Databricks notebook). Kemudian ia memeriksa kode yang telah dikonversi:

  • Sintaks: Memeriksa bahwa kode yang dikonversi berjalan di Azure Databricks tanpa kesalahan.
  • Maksud semantik: Memeriksa bahwa kode yang dikonversi mempertahankan logika bisnis sumber, seperti gabungan dan WHERE klausa yang sama.

Ketika pemeriksaan gagal, subagen merevisi kode dan memeriksanya lagi. Genie Code juga menerapkan keterampilan kustom Anda saat mengonversi file. Lihat Membuat skill kustom (opsional). File yang dikonversi ditulis langsung ke folder ruang kerja yang Anda tentukan untuk proyek.

Anda juga dapat mengonversi satu file atau folder tanpa proyek dengan menggunakan /migrate perintah dalam percakapan Kode Genie.

Requirements

  • File SQL Anda yang ada harus dapat diakses di ruang kerja Anda, baik diunggah sebagai file ruang kerja atau dibuka di editor.
  • Ruang kerja Anda harus memenuhi persyaratan Kode Genie. Lihat Kode Genie.
  • Untuk menggunakan framework target Notebooks atau analisis proyek dan lineage, yang masih dalam tahap Beta, admin workspace harus mengaktifkan Fitur Eksperimental Proyek Migrasi dari halaman Pratinjau. Lihat Kelola Pratinjau Azure Databricks.

Sumber yang didukung

Pengonversi mendukung dialek sumber berikut:

  • T-SQL
  • Snowflake SQL
  • Redshift SQL
  • Oracle
  • BigQuery
  • Teradata

Saat Anda membuat proyek migrasi, pilih salah satu kerangka kerja target berikut:

  • DBSQL: Kueri SQL Databricks yang sesuai ANSI.
  • Notebook (Beta): Notebook Databricks yang menggunakan API DataFrame, dengan spark.sql untuk logika yang lebih jelas di SQL.

Mengonversi kode SQL yang ada

Langkah-langkah berikut menjelaskan cara mengonversi SQL yang ada dalam proyek migrasi.

Langkah 1: Unggah file sumber

Unggah file SQL Anda yang ada (.sql) menggunakan browser file ruang kerja, atau gunakan Databricks CLI untuk mengunggah direktori skrip secara massal.

Langkah 2: Membuat proyek migrasi

Buat proyek migrasi dari ruang kerja Anda:

  1. Klik Ikon Baru>proyek migrasi.
  2. Masukkan Nama untuk proyek.
  3. Gunakan pemilih drop-down untuk memilih dialek Sumber dan kerangka kerja Target. Untuk kerangka kerja Target, pilih DBSQL untuk menghasilkan kueri SQL Databricks, atau Notebooks (Beta) untuk menghasilkan notebook Databricks.
  4. Masukkan jalur file ke folder Tujuan target. Klik Telusuri untuk memilih tujuan dari daftar folder ruang kerja yang tersedia.
  5. Klik Buat.

Dialog proyek migrasi baru memperlihatkan nama proyek, dialek sumber, kerangka kerja target, dan bidang folder tujuan.

Langkah 3: Menambahkan file ke proyek Anda

Dalam proyek baru:

  1. Klik Tambahkan file>+ Tambahkan file.
  2. Pilih folder sumber atau file dari ruang kerja Anda.

Proyek ini mencantumkan setiap file dengan jenis file, jumlah baris, dan status konversinya.

Kanvas proyek migrasi memperlihatkan file sumber yang ditambahkan dengan jenis file, jumlah baris, dan status konversinya.

Langkah 4: Meninjau kompleksitas kode dan silsilah data (opsional)

Important

Fitur ini ada di Beta. Untuk menggunakannya, admin workspace harus mengaktifkan Fitur Eksperimental Proyek Migrasi dari halaman Pratinjau . Lihat Kelola Pratinjau Azure Databricks.

Analisislah proyek untuk meninjau kompleksitas kode dan ketergantungan antar file sebelum Anda mengonversi.

  1. Di proyek, klik Analyze all. Jika proyek tidak memiliki garis keturunan, Analyze all adalah tindakan default. Jika tidak, pilih Analyze all dari menu drop-down tombol. Analisis mencakup setiap file dalam proyek, bahkan jika Anda memilih file.
  2. Tunggu sampai analisis selesai. Untuk membatalkan analisis yang sedang berjalan, klik Stop. Setelah analisis selesai, tombol berubah menjadi Konversi semua.
  3. Klik file sumber untuk membuka penilaian kompleksitasnya, dan klik Lineage untuk membuka grafik ketergantungan yang menampilkan file dan tabel yang saling bergantung yang harus Anda migrasikan bersama-sama.

Langkah 5: Jalankan konversi

Untuk mengonversi file tertentu, pilih file tersebut dan klik Konversi yang dipilih. Untuk mengonversi semua file dalam proyek, hapus pilihan dan klik Konversi semua. Genie Code membuka percakapan, memanggil keterampilan migrasi, dan menyebarkan subagen untuk mengonversi file secara bersamaan. Setiap file yang dikonversi muncul sebagai file tertaut dalam proyek. Setiap file menampilkan salah satu status berikut:

  • Abu-abu: Berkas belum dikonversi (Belum dimulai, Dalam antrean, atau Dihentikan). Spinner akan muncul saat file dikonversi.
  • Hijau tidak terisi: File dikonversi tanpa masalah (Sudah dikonversi).
  • Berwarna hijau: Anda telah meninjau dan menerima file yang telah dikonversi (Ditinjau).
  • Kuning: File sudah dikonversi, tetapi ada item tindakan yang perlu Anda tinjau.
  • Merah: Konversi gagal (Kesalahan).

Setiap run mengonversi hingga 500 file. Jika Anda mengantrikan lebih dari 500 file, 500 file pertama yang belum dikonversi akan diproses dalam batch saat ini. Setelah batch selesai, mulai konversi lagi untuk mengonversi 500 berikutnya.

Langkah 6: Meninjau hasil konversi

Untuk proyek DBSQL , klik file yang telah dikonversi untuk membuka diff side-by-side di editor SQL, dengan kode sumber di samping SQL Databricks yang diusulkan. Terima semua perubahan yang disarankan, atau tinjau dan terima pengeditan individual. Untuk proyek Notebooks , klik file yang telah dikonversi untuk membuka notebook Databricks yang dihasilkan. Untuk skrip yang gagal dikonversi, edit kode di editor atau minta Genie Code untuk memvalidasi ulang atau mencoba kembali bagian tertentu. Setelah Anda puas, jalankan SQL atau notebook yang telah dikonversi untuk memastikan bahwa berjalan di Azure Databricks. Jika kesalahan yang sama muncul di beberapa file, simpan perbaikannya dalam skill khusus dan jalankan ulang file tersebut. Lihat Membuat skill kustom (opsional).

Membuat keterampilan kustom (opsional)

Keterampilan kustom memungkinkan Anda mengodekan aturan bisnis yang diterapkan Genie Code secara otomatis selama setiap konversi. Gunakan ini untuk menangani tipe data proprietari, menerapkan pola target yang diinginkan, atau merekam koreksi yang berulang kali Anda lakukan. Keterampilan migrasi adalah keterampilan Kode Genie, sehingga Anda dapat membuat dan mengelolanya dengan cara yang sama seperti keterampilan lainnya. Untuk detail selengkapnya, lihat Memperluas Kode Genie dengan keterampilan agen.

Anda tidak perlu mendefinisikan semua keterampilan Anda sebelum tindakan pertama. Sebagian besar aturan yang perlu ditangkap oleh keterampilan hanya menjadi jelas setelah Anda meninjau hasil pertama. Alur kerja yang umum adalah:

  1. Konversi satu set file representatif.
  2. Tinjau file dengan item tindakan atau kesalahan, dan cari kesalahan yang berulang di seluruh file, seperti tipe data yang tidak didukung, fungsi, atau pola penamaan yang sama.
  3. Buat keterampilan yang mencatat solusi untuk setiap kesalahan yang berulang.
  4. Pilih hanya file yang terdampak dan klik Konversi yang dipilih. Genie Code menerapkan skill baru ini ke file-file tersebut.

Ulangi siklus ini saat Anda mengonversi lebih banyak kode Anda. Genie Code menerapkan setiap keterampilan ke konversi berikutnya di workspace, jadi satu perbaikan mencakup file lain dengan pola yang sama.

Anda dapat membuat keterampilan dari pengaturan Kode Genie atau dari percakapan Kode Genie. Gunakan jalur pengaturan untuk keterampilan kompleks yang mencakup instruksi terperinci, contoh, atau file pendukung. Gunakan alur chat untuk skill cepat dengan satu aturan.

Pengaturan Kode Genie

Buat keterampilan sebagai file sehingga Anda dapat menulis instruksi terperinci dan membuat versinya di folder Git:

  1. Di panel Genie Code, klik ikon roda gigi.Pengaturan, lalu klik ikon panah masuk.Buka folder skill.

  2. Buat folder untuk keterampilan Anda di bawah jalur keterampilan ruang kerja, Workspace/.assistant/skills/. Contohnya, Workspace/.assistant/skills/sql-migration/.

  3. Dalam folder skill, buat berkas SKILL.md dengan frontmatter yang diperlukan dan aturan konversi Anda. Contohnya:

    ---
name: sql-migration
description: Conversion rules to apply when migrating legacy SQL to ANSI SQL.
---

Always convert the custom type MYDATE to TIMESTAMP_NTZ.

Genie Code mendeteksi keterampilan tersebut saat Anda berikutnya menjalankan konversi.

Obrolan Kode Genie

Jelaskan aturan konversi yang ingin Anda kodekan, lalu minta Kode Genie untuk menyimpannya:

Tip

Always convert our custom type MYDATE to TIMESTAMP_NTZ. Save this as a custom migration skill.

Genie Code membuat dan mendaftarkan skill tersebut serta menerapkannya pada konversi berikutnya di workspace.

Untuk melihat keterampilan aktif:

Tip

Show me my migration skills

Untuk menghapus keterampilan:

Tip

Delete the migration skill for [description]

Skill ruang kerja disimpan pada tingkat ruang kerja dan dibagikan kepada semua pengguna di ruang kerja.

Tips untuk pengujian

Sebagai bagian dari perulangan ageniknya, konverter menganalisis setiap skrip sumber, memvalidasi bahwa output yang dikonversi secara sintetis valid dan secara semantik setara dengan sumber, dan secara berulang memperbaiki bagian yang gagal sebelum menulis hasilnya. Tips berikut membantu Anda meninjau dan mendapatkan keyakinan pada output:

  • Konversi batch: Konversi sejumlah kecil, dua hingga lima berkas, dalam satu sesi untuk memverifikasi bahwa konversi beberapa berkas berfungsi dari awal hingga akhir.
  • Validasi sintaks: Setelah konversi, jalankan output di editor atau notebook Databricks SQL untuk mengonfirmasi bahwa ia berjalan tanpa kesalahan.
  • Kasus Edge: Sertakan skrip dengan konstruksi khusus dialek, seperti fungsi jendela T-SQL, Snowflake QUALIFY, atau Redshift LISTAGG, untuk melihat bagaimana pengonversi menangani pola non-sepele.
  • Kebenaran semantik: Jalankan kueri asli dan yang dikonversi terhadap data pengujian yang setara dan bandingkan hasilnya. Konfirmasikan bahwa output secara semantik benar, tidak hanya valid secara sintetis.

Sumber daya tambahan

  • Terakhir diperbarui pada