SQL scriptlerini ve ETL pipeline'larını Genie Migrate ile dönüştürün

Genie Migrate, T-SQL, Snowflake, Redshift, Oracle, BigQuery ve Teradata gibi lehçelerden SQL'i Databricks SQL sorgularına veya Databricks defterlerine dönüştürür. Ayrıca Informatica PowerCenter (Beta) kaynaklı çıkarma, dönüştürme ve yükleme (ETL) iş yüklerini Databricks not defterlerine dönüştürür. Bir göç projesinde dosyaları dönüştürürsünüz ve projeyi oluştururken hedef çerçeve olarak adlandırılan çıktı formatını seçiyorsunuz. Desteklenen kaynak lehçeler ve hedef çerçeveler için bakınız.

Gereksinimler için Genie Migrate Gereksinimleri'ne bakınız.

Genie Migrate kodu nasıl dönüştürür?

Bir dönüşüm çalıştırdığınızda, Genie Code dosyaları eşzamanlı dönüştüren alt ajanları dağıtır. Her alt ajan kaynak lehçesini analiz eder ve projenin hedef çerçevesi (Databricks SQL veya Databricks notebook) için eşdeğer kodu oluşturur.

Her alt ajan dönüştürülmüş kodu kontrol eder:

• Sözdizimi: Dönüştürülmüş kodun Azure Databricks'te hatasız çalıştığını kontrol eder.
• Anlamsal amaç: Dönüştürülmüş kodun kaynağın iş mantığını, örneğin aynı JOIN ifadeleri ve WHERE yan tümcelerini koruduğunu kontrol eder.

Bir kontrol başarısız olduğunda, alt ajan kodu revize eder ve tekrar kontrol eder. Genie Code ayrıca dosyaları dönüştürürken özel becerilerinizi de kullanıyor. Bkz. Özel becerilerle dönüşümleri iyileştirin. Dönüştürülen dosyalar doğrudan proje için belirttiğiniz çalışma alanı klasörüne yazılır.

Genie Code konuşmasında komutunu kullanarak /migrate proje olmadan tek bir dosya veya klasörü de dönüştürebilirsiniz.

Desteklenen kaynak lehçeleri ve hedef çerçeveler

Genie Migrate, aşağıdaki SQL lehçelerini dönüştürür:

• T-SQL
• Snowflake SQL
• Redshift SQL
• Oracle
• BigQuery
• Teradata

Bir SQL diyalekti için bir göç projesi oluşturduğunuzda, aşağıdaki hedef çerçevelerden birini seçin:

• DBSQL: ANSI uyumlu Databricks SQL sorguları.
• Notebooklar (Beta): DataFrame API'sini kullanan, SQL'de daha açık olan mantık için spark.sql içeren Databricks defterleri.

Genie Migrate ayrıca Informatica PowerCenter'ı ETL kaynağı olarak destekler.

Important

Bu özellik Beta sürümündedir. Bunu kullanmak için bir çalışma alanı yöneticisinin Önizlemeler sayfasından Migration Projects Experimental Features seçeneğini açması gerekir. Bkz. Azure Databricks önizlemelerini yönetme.

Informatica Intelligent Veri Yönetimi Cloud (IDMC) ve Informatica Intelligent Cloud Services (IICS) desteklenmemektedir. Genie Migrate, bir Informatica dışa aktarmasındaki nesneleri, örneğin iş akışları ve eşlemeler, Databricks defterlerine dönüştürür, böylece Informatica projeleri her zaman Notebooks hedef çerçevesini kullanır.

Informatica iş akışlarını dönüştürmeye hazırlamak için, bunları PowerCenter Repository Manager'dan PowerMart XML formatında dışa aktarın. İş akışı seviyesinde dışa aktarın ve eşlemeler, oturumlar, mappletler ve workletler gibi bağımlı nesneleri ekleyin. Kimlik bilgilerini dışa aktarmaya dahil etme.

Bir göç projesinde dosyaları dönüştürün

Dönüştürmeden önce bir göç projesi oluşturun ve kaynak dosyalarınızı ekleyin. Bir geçiş projesi oluşturma ve analiz etme bölümüne bakınız.

Adım 1: Dönüşümü çalıştırın

Informatica projelerinde, analizin oluşturduğu iş akışlarını, eşlemeleri ve diğer nesneleri seçip dönüştürürsünüz, yüklenen .xml dışa aktarmaları değil.

Belirli dosyaları dönüştürmek için onları seçin ve Seçilenleri dönüştür seçeneğine tıklayın. Projedeki tüm dosyaları dönüştürmek için seçimi temizleyin ve Hepsini Dönüştür'e tıklayın. Bir grupu aynı anda dönüştürmek için, grubun satırının üzerine gelin ve bu grubu dönüştür seçeneğine tıklayın. Bkz. Göçü gruplar halinde planlayın. Genie Code bir konuşma açar, geçiş becerisini çağırır ve dosyaları eşzamanlı olarak dönüştürmek için alt aracılar dağıtır. Dönüştürülen her dosya projede bağlantılı dosya olarak görünür. Her dosya aşağıdaki durumlardan birini gösterir:

• Gray: Dosya henüz dönüştürülmedi (Başlatılmadı, Kuyrukta veya Durduruldu). Dosya dönüştürülürken bir yükleme göstergesi görünür.
• Doldurulmamış yeşil: Dosya sorunsuz dönüştürüldü (Dönüştürüldü).
• Yeşil dolu: Dönüştürülmüş dosyayı incelediniz ve kabul ettiniz (İncelendi).
• Sarı: Dosya dönüştürüldü, ancak incelemeniz gereken eylem öğeleri var.
• Kırmızı: Dönüşüm başarısız oldu (Hata).

Her çalışma 500'e kadar dosya dönüştürür. 500'den fazla dosyayı kuyruğa atarsanız, dönüştürülmemiş ilk 500 dosya mevcut çalışmada dönüştürülür. Çalışma bittikten sonra, dönüşümü tekrar başlatarak sonraki 500'ü dönüştürebilirsiniz.

Adım 2: Dönüşüm sonuçlarını gözden geçirin

Databricks SQL projeleri için, dönüştürülmüş bir dosyaya tıklayarak SQL düzenleyicide bir satır içi fark açın; bu bölüm, önerilen Databricks SQL'in üzerindeki her kaynak kod bölümünü gösterir. Önerilen tüm değişiklikleri kabul edin veya tek tek düzenlemeleri gözden geçirin ve kabul edin. Notebooks projeleri için, oluşturulan Databricks notebook'unu açmak üzere dönüştürülmüş bir dosyaya tıklayın. Dönüştürülemeyen betikler için düzenleyicideki kodu düzenleyin veya Genie Code'dan belirli bölümleri yeniden doğrulamasını veya yeniden denemesini isteyin. Memnun kaldıktan sonra, dönüştürülmüş SQL veya notebook'u çalıştırarak Azure Databricks'te çalıştığını doğrulayın. Aynı hata birkaç dosyada belirse, düzeltmeyi özel bir beceride tanımlayın ve bu dosyaları tekrar çalıştırın. Bkz. Özel becerilerle dönüşümleri iyileştirme

Informatica projeleri için, oluşturulan her notebook'u ilgili PowerCenter eşlemesiyle karşılaştırın. Kaynak ve hedef tabloları, birleşmeleri, filtreleri ve yönlendirici gruplarını, lookup'ları, Güncelleme Stratejisi mantığını ve parametreleri kontrol edin. Üretimde dönüştürülmüş bir işlem hattı kullanmadan önce, onu üretim dışı verilerde çalıştırın ve satır sayıları ve anahtar agregaları gibi sonuçları PowerCenter iş akışının çıktısıyla karşılaştırın.

Dönüşümleri özel becerilerle geliştirin

Özel beceriler, Genie Code'un her dönüştürme sırasında otomatik olarak uyguladığı iş kurallarını kodlamanıza olanak sağlar. Bunları özel veri türlerini işlemek, tercih edilen hedef desenleri zorunlu kılmak veya tekrar tekrar yaptığınız düzeltmeleri yakalamak için kullanın. Geçiş becerisi bir Genie Code becerisidir, bu nedenle bunu diğer becerilerle aynı şekilde oluşturabilir ve yönetebilirsiniz. Bkz Genie Code'ı ajan becerileriyle genişletme.

İlk oluşturmanızdan önce tüm yeteneklerinizi tanımlamanıza gerek yok. Bir becerinin kapsaması gereken kuralların çoğu ancak ilk sonuçları inceledikten sonra netleşiyor. Tipik bir iş akışı şudur:

1. Örnek bir dosya kümesini dönüştürün.
2. Eylem öğeleri veya hataları olan dosyaları inceleyin ve aynı desteklenmeyen veri türü, fonksiyon veya adlandırma deseni gibi dosyalar arasında tekrarlayan hatalar arayın.
3. Her tekrarlayan hata için düzeltmeyi yakalayan bir skill oluşturun.
4. Sadece etkilenen dosyaları seçin ve Seçileni dönüştür'e tıklayın. Genie Code, yeni skill'i bu dosyalara uygular.

Kodunuzu daha fazla dönüştürdükçe bu döngüyü tekrarlayın. Genie Code her yeteneği çalışma alanında sonraki dönüşümlere uygular, böylece bir düzeltme aynı desene sahip diğer dosyaları da kapsar.

Genie Code ayarlarından veya Genie Code konuşmasından beceri oluşturabilirsiniz. Ayrıntılı yönergeler, örnekler veya destekleyici dosyalar içeren karmaşık beceriler için ayarlar yolunu kullanın. Hızlı, tek kurallı beceriler için sohbet yolunu kullanın.

Genie Code ayarları

Ayrıntılı yönergeler yazabilmeniz ve bir Git klasöründe sürüm oluşturabilmeniz için beceriyi dosya olarak oluşturun:

1. Genie Code panelinde Ayarlar'ı ve ardından Beceri klasörünü açın.

2. Çalışma alanı becerileri yolunda Workspace/.assistant/skills/beceriniz için bir klasör oluşturun. Örneğin, Workspace/.assistant/skills/sql-migration/.

3. Beceri klasöründe, gerekli ön madde ve dönüştürme kurallarınızı içeren bir SKILL.md dosya oluşturun. Örneğin:

   ---
   name: sql-migration
   description: Conversion rules to apply when migrating legacy SQL to ANSI SQL.
   ---
   
   Always convert the custom type MYDATE to TIMESTAMP_NTZ.
   

Genie Code, bir sonraki dönüştürme çalıştırmanızda bu beceriyi edinir.

Genie Code sohbeti

Kodlamak istediğiniz dönüştürme kuralını açıklayın ve Genie Code'dan bunu kaydetmesini isteyin:

Tip

Always convert our custom type MYDATE to TIMESTAMP_NTZ. Save this as a custom migration skill.

Genie Code beceriyi oluşturup kaydeder ve çalışma alanında gelecekteki dönüşümlere uygular.

Etkin becerileri görüntülemek için:

Tip

Show me my migration skills

Bir beceriyi kaldırmak için:

Tip

Delete the migration skill for [description]

Çalışma alanı becerileri çalışma alanı düzeyinde depolanır ve çalışma alanında tüm kullanıcılar arasında paylaşılır.

Dönüştürülmüş kodu test et ve doğrula

Aşağıdaki ipuçları, dönüştürülmüş çıktıyı gözden geçirmenize ve güven kazanmanıza yardımcı olur:

• Toplu dönüşüm: Çoklu dosya dönüşümünün uçtan uca çalıştığını doğrulamak için tek oturumda iki ila beş dosyadan oluşan küçük bir seti dönüştürün.
• Söz dizimi doğrulaması: Dönüştürme işleminden sonra, çıkışı databricks SQL düzenleyicisinde veya not defterinde çalıştırarak hatasız çalıştığını onaylayın.
• Uç durumlar: Dönüştürücünün alışılmadık örüntüleri nasıl işlediğini görmek için, T-SQL pencere işlevleri, Snowflake QUALIFY veya Redshift LISTAGG gibi lehçeye özgü yapılar içeren bir betik ekleyin.
• Anlamsal doğruluk: Özgün ve dönüştürülen sorguları eşdeğer test verileriyle çalıştırın ve sonuçları karşılaştırın. Çıktının yalnızca söz dizimsel olarak geçerli değil, aynı zamanda anlamsal olarak da doğru olduğunu doğrulayın.

Ek kaynaklar

• Genie Code