Menggunakan Kode Genie untuk pengembangan alur

Genie Code dalam mode agen adalah mitra AI untuk rekayasa data bagi pengembang di Lakeflow Pipelines Editor. Ini mengeksplorasi data, menghasilkan dan menjalankan kode alur, dan memperbaiki kesalahan dari satu permintaan.

Nota

Halaman ini menjelaskan penggunaan Kode Genie untuk mengembangkan dan memigrasikan alur Spark Declarative Pipelines on Lakeflow (SDP). Untuk mengonversi SQL warisan dari dialek lain, seperti T-SQL, Snowflake, atau Oracle, ke ANSI SQL, gunakan konverter kode agenik sebagai gantinya. Lihat Mengonversi SQL dengan konverter kode agenik.

Apa itu Kode Genie untuk pengembangan alur?

Genie Code dalam mode agen adalah mitra otonom yang dapat mengotomatisasi seluruh alur kerja rekayasa data multilangkah di Editor Lakeflow Pipelines.

Dibandingkan dengan mode obrolan Kode Genie, mode Agen memiliki kemampuan yang diperluas: merencanakan solusi, mengambil aset yang relevan, menjalankan kode, menggunakan output alur untuk meningkatkan hasil, memperbaiki kesalahan secara otomatis, dan banyak lagi.

Kode Genie dalam mode Agen dapat merencanakan dan menghasilkan seluruh pipeline secara end-to-end dari awal sepenuhnya, atau mempercepat proses kerja pada pipeline yang ada. Agen bekerja sama dengan Anda untuk menyetujui rencananya dan mengonfirmasi langkah-langkah berikutnya sebelum melanjutkan. Dengan persetujuan Anda, Genie Code dapat menggunakan alat untuk melakukan tugas seperti mencari tabel, mengedit file sumber SQL atau Python, menjalankan pembaruan alur, dan membaca himpunan data alur.

Akses dan tindakan Genie Code diatur oleh izin pengguna. Ini hanya dapat mengakses data yang dapat Anda akses dan melakukan operasi yang izinnya Anda miliki.

Nota

Saat Anda mengaktifkan mode Agen dalam Kode Genie, Genie Code menyesuaikan kemampuannya berdasarkan fitur yang saat ini Anda gunakan di Databricks. Misalnya, di Editor Alur Lakeflow, Kode Genie berfokus pada pengeditan alur dan tugas rekayasa data. Di notebook dan Editor SQL, Genie Code mendukung eksplorasi dan analisis data. Lihat Menggunakan Kode Genie untuk ilmu data untuk informasi selengkapnya.

Persyaratan

Untuk menggunakan Kode Genie untuk rekayasa data, ruang kerja Anda memerlukan hal berikut:

• Fitur AI yang didukung mitra diaktifkan untuk akun dan ruang kerja. Lihat Fitur AI yang didukung mitra.
• Ruang kerja Anda harus berada di wilayah yang didukung. Kode Genie adalah Layanan yang Ditunjuk yang menggunakan Geos untuk mengelola residensi data. Lihat Ketersediaan geografis fitur Kode Genie.

Menggunakan Kode Genie untuk pengembangan alur

Untuk menggunakan kemampuan agenik Genie Code untuk pengembangan alur:

1. Dari Editor Alur Lakeflow, buka panel samping Kode Genie dengan mengklik Kode Genie di sudut kanan atas ruang kerja Anda.

2. Di sudut kanan bawah, pilih Agen. Ini mengaktifkan mode Agen Genie Code, sehingga Anda dapat menggunakan kemampuan rekayasa data berbasis agen dari Genie Code.

3. Masukkan petunjuk untuk Kode Genie. Misalnya, Anda dapat mengajukan pertanyaan tentang alur Anda, seperti "jelaskan alur ini". Anda juga dapat memintanya untuk menambahkan himpunan data baru, misalnya, "buat silver_sales_data dalam file baru yang membaca dari bronze_sales_data, membersihkan data, dan menambahkan ekspektasi kualitas yang berguna."

   Nota

   Genie Code menghormati izin Unity Catalog pengguna, sehingga hanya dapat mengakses data dan sumber pipeline yang dapat Anda akses.

4. Saat Genie Code menghasilkan responsnya, sering kali jeda terjadi untuk mendapatkan input Anda.

   • Untuk tugas yang lebih kompleks, Genie Code dapat membuat rencana langkah demi langkah dan mengajukan pertanyaan klarifikasi. Jawab pertanyaan klarifikasinya untuk membantunya mengasah rencananya.

   • Ketika Genie Code perlu menjalankan kode atau memperbarui alur, Genie Code meminta persetujuan Anda sebelum melanjutkan. Izinkan atau Tolak permintaannya. Anda juga dapat memilih Izinkan di utas ini (mengacu pada utas percakapan Kode Genie) atau Selalu izinkan.

     Penting

     Kode Genie dalam mode Agen dapat menghasilkan dan menjalankan kode di alur Anda. Meskipun memiliki pagar pembatas untuk mencegah tindakan berbahaya, masih ada risiko. Anda hanya boleh menggunakannya dengan data yang Anda percayai, dan Anda harus meninjau kode sebelum menjalankannya.

   • Saat Kode Genie melanjutkan pekerjaannya, Anda mungkin diminta untuk memilih Lanjutkan atau Tolak. Tinjau pekerjaannya yang sudah ada, lalu pilih Lanjutkan untuk mengizinkannya melanjutkan ke langkah berikutnya atau Tolak untuk memberi tahunya untuk mencoba sesuatu yang lain.

   • Untuk menghentikan Kode Genie saat sedang berfungsi, klik .

Kode Genie dapat membuat file baru, menghasilkan teks, kueri, dan kode, menjalankan file atau alur, dan mengakses himpunan data output untuk menginterpretasikan hasilnya.

Nota

Agar Genie Code melanjutkan pekerjaannya dan mengambil langkah berikutnya, Anda harus tetap berada di tab saat ini yang sedang dikerjakannya.

Petunjuk / Saran

Anda dapat menambahkan instruksi agar Kode Genie dapat digunakan di sebagian besar respons. Misalnya, jika Anda memiliki konvensi kode yang ingin Anda gunakan, atau pustaka pilihan untuk digunakan, Anda dapat menambahkan panduan ini ke instruksi untuk Kode Genie. Anda juga dapat membuat keterampilan untuk memperluas Kode Genie dengan kemampuan khusus untuk tugas khusus domain Anda. Untuk detail selengkapnya dan tips lainnya, lihat Tips untuk meningkatkan respons Kode Genie.

Kemampuan mode agen

Dalam mode Agen, Genie Code dapat membantu sebagian besar tugas pengembangan alur. Kemampuan utama meliputi:

• Penemuan data: Kode Genie dapat mencari tabel di ruang kerja untuk membantu Anda menemukan data yang diperlukan untuk tugas.
• Pengeditan kode alur: Kode Genie dapat membuat dan mengedit beberapa file sekaligus. Ini memberi Anda informasi tentang file mana yang diubahnya dan menunjukkan kepada Anda perbedaan kode di setiap file, sehingga Anda dapat meninjau perubahan satu per satu atau semua bersama-sama di akhir.
• Eksekusi Pipeline: Kode Genie dapat menjalankan file individual, melakukan dry-run/menjalankan pipeline, atau melakukan refresh penuh. Ketika Genie Code ingin melanjutkan, genie Code akan meminta konfirmasi Anda sebelum melakukannya.
• Memahami dan meningkatkan perilaku alur: Genie Code dapat memeriksa himpunan data dan output alur untuk membantu Anda memahami apa yang dilakukan alur secara end-to-end dan mengapa. Misalnya, ini dapat meringkas transformasi, melacak bagaimana data mengalir ke tabel hilir, dan menyoroti perubahan tak terduga dalam jumlah baris atau skema. Ketika muncul potensi masalah kualitas data, Genie Code dapat membantu Anda menjelaskan penyebabnya dan menyarankan di mana dan cara mengatasinya dalam alur.

Kemampuan ini mendukung kasus penggunaan umum seperti:

• Penulisan alur baru: Genie Code dapat membantu dengan semua langkah membuat alur arsitektur medali baru, dari menyerap data, hingga menstandarkan dan membersihkan data, hingga mengubah dan menganalisis data.
• Menjelaskan alur: Genie Code dapat menganalisis dan menjelaskan alur yang ada untuk membantu Anda meningkatkan dengan cepat.
• Memperbaiki masalah: Saat Anda mengalami kesalahan, Kode Genie dapat membantu mendiagnosis dan memperbaiki masalah, melakukan iterasi melalui beberapa file hingga masalah diselesaikan.
• Perbaiki penyegaran inkremental: Ketika tampilan materialisasi dalam pipeline Anda diperbarui menggunakan strategi recompute penuh, Genie Code dapat mendiagnosis penyebab dari wawasan incrementalization pipeline, menyarankan dan menerapkan peningkatan query yang membuatnya lebih cocok untuk penyegaran inkremental, serta menandai hard blocker.

Bermigrasi dari kerangka kerja ETL lainnya ke alur Lakeflow

Penting

Fitur ini ada di Beta.

Kode Genie dapat memigrasikan proyek transformasi data yang ada ke dalam alur Lakeflow. Anda mengarahkannya ke proyek yang telah Anda unggah, lalu alat tersebut merencanakan dan menjalankan migrasi dari awal hingga akhir. Kemampuan migrasi ini adalah bagian dari Lakebridge dan juga tersedia melalui transpiler Lakebridge Switch .

Nota

Migrasi saat ini hanya mendukung proyek dbt dan Informatica. Dukungan untuk sumber tambahan akan disediakan.

Memigrasikan proyek

1. Unggah proyek ke Databricks. Gunakan salah satu langkah berikut:

   • Katalog: buka Volume, lalu Unggah ke Volume ini.
   • Ruang kerja: buka direktori, lalu klik >Impor.

2. Buat pipeline Lakeflow yang kosong. Buka Jobs & Pipelines dan buat pipeline ETL.

3. Minta Genie Code untuk memigrasikannya. Buka Genie Code dan beri prompt dengan path ke proyek yang Anda unggah, misalnya:

   Petunjuk / Saran

   Memigrasikan proyek di /Volumes/my_catalog/my_schema/my_volume/my_project

Cara kerja migrasi

Setelah Anda memulai migrasi, Genie Code menghasilkan rencana lalu menjalankannya:

1. Baca sumbernya. Ini membaca proyek sumber untuk memahami model, transformasi, dan dependensinya.
2. Kumpulkan masukan. Proses ini berhenti sejenak untuk meminta masukan yang diperlukan, misalnya apakah akan menghasilkan kode sumber pipeline SQL atau Python.
3. Teliti dan buat representasi perantara (IR). Ini menganalisis proyek dan membangun representasi perantara yang menangkap logika alur yang independen dari alat sumber.
4. Konversi, validasi, dan perbaiki. Ini mengonversi IR menjadi kode sumber pipeline, memvalidasi hasilnya, dan mengulanginya dalam siklus perbaikan hingga pipeline tersebut sudah benar.

Nota

Tinjau sumber alur yang dimigrasikan dan jalankan alur untuk mengonfirmasi hasilnya cocok dengan proyek asli sebelum mengandalkannya dalam produksi.

Examples

Coba perintah berikut untuk memulai:

• "Bangun dan jalankan alur arsitektur medali untuk deteksi penipuan menggunakan transaksi tabel dan pelanggan di my_catalog.my_schema."
• "Jelaskan setiap langkah alur ini."
• Perbaiki kegagalan dalam pipeline ini.

Sumber daya tambahan

• Pelajari selengkapnya tentang fitur bantuan Databricks AI
• Dapatkan tips untuk Tips untuk meningkatkan respons Kode Genie
• Gunakan Kode Genie untuk ilmu data, untuk penemuan dan eksplorasi data
• Menggunakan Kode Genie untuk penulisan dasbor
• Jelajahi Editor Alur Lakeflow