İşlem hattı geliştirme için Genie Code kullanma

Genie Code, Lakeflow Pipelines Editör'deki geliştiriciler için yapay zeka veri mühendisliği ortağıdır. Verileri inceler, işlem hattı kodu oluşturur ve çalıştırır ve tek bir istemdeki hataları düzeltir.

Uyarı

Pipeline'ları geliştirmek ve geçirmek için Genie Code kullanın. T-SQL, Snowflake veya Oracle gibi diğer lehçelerden eski SQL'i ANSI SQL'e dönüştürmek için Genie Migrate kullanın. Genie Migrate ile SQL betiklerini ve ETL işlem hatlarını dönüştürme bölümüne bakınız.

İşlem hattı geliştirme için Genie Code nedir?

Genie Code, Lakeflow Pipelines Editörü'nde çok adımlı veri mühendisliği iş akışlarını otomatikleştirebilen özerk bir ortaktır.

Veri Mühendisliği Ajanını kullanın.

Genie Code, sıfırdan uçtan uca tüm boru hatlarını planlayabilir ve üretebilir veya mevcut bir boru hattı üzerinde çalışmayı hızlandırabilir. Aracı, devam etmeden önce planlarını onaylamak ve sonraki adımlarını doğrulamak için sizinle birlikte çalışır. Sizin onayınızla Genie Code tablo arama, SQL veya Python kaynak dosyasını düzenleme, işlem hattı güncelleştirmelerini çalıştırma ve işlem hattı veri kümelerini okuma gibi görevleri gerçekleştirmek için araçları kullanabilir.

Genie Code'un erişimi ve eylemleri kullanıcının izinleri tarafından yönetilir. Yalnızca erişiminiz olan verilere erişebilir ve izinleriniz olan işlemleri gerçekleştirebilir.

Uyarı

Genie Code, yeteneklerini Azure Databricks'te kullandığınız özelliğe göre uyarlar. Örneğin, Lakeflow Pipelines Düzenleyicisi'nde Genie Code işlem hattı düzenleme ve veri mühendisliği görevlerine odaklanır. Genie Code, not defterlerinde ve SQL Düzenleyicisi'nde veri keşfini ve analizini destekler. Daha fazla bilgi için bkz . Veri bilimi için Genie Code kullanma .

Gereksinimler

Veri mühendisliği için Genie Code kullanmak için çalışma alanınızın aşağıdakilere ihtiyacı vardır:

İşlem hattı geliştirme için Genie Code kullanma

İşlem hattı geliştirmek için Genie Code’un aracı özelliklerini kullanın.

  1. Lakeflow Pipelines Düzenleyicisi'nde Sparkle genie code simgesine tıklayarak Genie Code yan panelini açın.Çalışma alanınızın sağ üst köşesindeki Genie Code.

  2. Genie Code için bir istem girin. Örneğin, işlem hattınızla ilgili "bu işlem hattını açıklayın" gibi sorular sorabilirsiniz. Yeni veri kümeleri eklemesini de isteyebilirsiniz; örneğin, "bronze_sales_data'dan okuyan ve verileri temizleyen ve yararlı kalite beklentileri ekleyen yeni bir dosyada silver_sales_data oluşturun."

    Uyarı

    Genie Code, kullanıcının Unity Kataloğu izinlerine uygun olduğundan yalnızca erişiminiz olan verilere ve işlem hattı kaynağına erişebilir.

  3. Genie Code yanıtını oluştururken, geri bildiriminizi almak için genellikle kısa bir ara verir.

    • Daha karmaşık görevler için Genie Code adım adım bir plan oluşturabilir ve açıklayıcı sorular sorabilir. Planını parlatmasına yardımcı olmak için netleştirici sorularını yanıtlayın.

    • Genie Code'un bir işlem hattını çalıştırması veya güncelleştirmesi gerektiğinde devam etmeden önce onayınızı ister. Kabul et ya da Reddet. Ayrıca bu yazışmada İzin Ver 'i (Genie Code konuşma yazışmasına başvurarak) veya Her zaman izin ver'i seçebilirsiniz.

      Önemli

      Genie Code, pipeline'ınızda kod üretebilir ve çalıştırabilir. Tehlikeli eylemleri önlemek için korkulukları olsa da, hala risk vardır. Bunu yalnızca güvendiğiniz verilerle kullanmanız ve kodu çalıştırmadan önce gözden geçirmeniz gerekir.

    • Genie Code çalışmaya devam ettikçe Devam et veya Reddet'i seçmeniz istenebilir. Var olan çalışmasını gözden geçirin ve sonraki adımlara devam etmesi için Devam'ı veya başka bir şey denemesini söylemek için Reddet'i seçin.

    • Genie Code çalışırken durdurmak için kırmızı Durdur simgesine tıklayın..

Genie Code yeni dosyalar oluşturabilir, metin, sorgu ve kod oluşturabilir, dosyaları veya işlem hatlarını çalıştırabilir ve sonuçları yorumlamak için çıkış veri kümelerine erişebilir.

Uyarı

Genie Code'un çalışmaya devam etmesi ve sonraki adımları atması için, çalıştığı geçerli sekmede kalmanız gerekir.

Tavsiye

Çoğu yanıtta kullanmak üzere Genie Code yönergeleri ekleyebilirsiniz. Örneğin, kullanmak istediğiniz kod kurallarınız veya kullanmak istediğiniz kitaplıklarınız varsa, Genie Code yönergelerine bu yönergeleri ekleyebilirsiniz. Genie Code'u etki alanına özgü görevleriniz için özel özelliklerle genişletmek için beceriler de oluşturabilirsiniz. Diğer ayrıntılar ve diğer ipuçları için bkz . Genie Code yanıtlarını iyileştirmeye yönelik ipuçları.

Capabilities

Genie Kodu, çoğu pipeline geliştirme görevinde yardımcı olabilir. Önemli özellikler şunları içerir:

  • Veri keşfi: Genie Code, bir görev için gerekli verileri bulmanıza yardımcı olmak üzere çalışma alanında tabloları arayabilir.
  • Boru hattı kod düzenlemeleri: Genie Code aynı anda birden fazla dosya oluşturup düzenleyebilir. Hangi dosyaların değiştirildiği hakkında sizi bilgilendirerek her dosyadaki kod farkını gösterir, böylece değişiklikleri ayrı ayrı veya sonunda birlikte gözden geçirebilirsiniz.
  • Pipeline yürütme: Genie Code bireysel dosyaları çalıştırabilir, pipeline'ı kuru çalıştırabilir/çalıştırabilir veya tam yenileme yapabilir. Genie Code devam etmek istediğinde, bunu yapmadan önce onayınızı ister.
  • Boru hattı davranışını anlamak ve iyileştirmek: Genie Code, veri setlerini ve boru hattı çıktılarını inceleyerek bir boru hattının uçtan uca ne yaptığını ve nedenini anlamanıza yardımcı olabilir. Örneğin, dönüştürmeleri özetleyebilir, verilerin aşağı akış tablolarına nasıl aktığını izleyebilir ve satır sayılarında veya şemalarda beklenmeyen değişiklikleri vurgulayabilir. Olası veri kalitesi sorunlarını ortaya çıkardığında Genie Code, bunların nedenini anlamanıza ve işlem hattında bunların nerede ve nasıl ele alınabileceğini önermenize yardımcı olabilir.

Bu özellikler aşağıdakiler gibi yaygın kullanım örneklerini destekler:

  • Yeni bir boru hattı oluşturmak: Genie Code, yeni bir madalyon mimarisi boru hattı oluşturmanın tüm adımlarında yardımcı olabilir; veri alınmadan, veriyi standartlaştırıp temizlemeye, veriyi dönüştürmeye ve analiz etmeye kadar.
  • Bir işlem hattını açıklama: Genie Code, mevcut bir işlem hattını analiz edip açıklayabilir ve hızlıca ilerlemenize yardımcı olabilir.
  • Sorunları düzeltin: Hata yaşadığınızda, Genie Code sorunları teşhis etmeye ve düzeltmeye yardımcı olabilir, sorun çözülene kadar birden fazla dosyayı tekrar eder.
  • Artan yenilemeyi düzeltin: Pipeline'daki materyalize edilmiş görünümler tam yeniden hesaplama stratejisiyle yenilendiğinde, Genie Code pipeline'ın artımlandırma içgörülerinden nedeni teşhis edebilir, sorgu iyileştirmelerini önerebilir ve uygulayabilir, böylece onları kademeli yenileme için daha uygun hale getirir ve sert engelleyicileri işaretleyebilir.

Diğer ETL çerçevelerinden Lakeflow işlem hatlarına geçiş

Önemli

Bu özellik Beta sürümündedir.

Genie Code, mevcut bir veri dönüştürme projesini Lakeflow işlem hattına geçirebilir. Onu yüklediğiniz projenize yönlendirirsiniz; o da geçişi uçtan uca planlayıp gerçekleştirir. Bu geçiş özelliği Lakebridge'in bir parçasıdır ve Lakebridge Anahtar çeviricisi aracılığıyla da kullanılabilir.

Uyarı

Geçiş şu anda yalnızca dbt ve Informatica projelerini desteklemektedir. Ek kaynaklar için destek planlanır.

Projeyi Taşıma

  1. Projeyi Databricks'e yükleyin. Aşağıdakilerden birini kullanın:

    • Katalog: bir Birim açın, sonra bu Birime yükleyin.
    • Çalışma Alanı: bir dizin açın, sonra Kebab menüsü simgesine tıklayın.>İçe aktar.

  2. Boş bir Lakeflow işlem hattı oluşturun. Jobs & Pipelines'a gidin ve bir ETL işlem hattı oluşturun.

  3. Genie Code'un bunu taşımasını isteyin. Genie Code’u açın ve yüklediğiniz projenin yolunu girerek komut verin, örneğin:

    Tavsiye

    Projeyi /Volumes/my_catalog/my_schema/my_volume/my_project konumunda geçirme

Geçiş nasıl çalışır?

Geçişi başlattıktan sonra Genie Code bir plan oluşturur ve ardından yürütür:

  1. Kaynağı okuyun. Modellerini, dönüşümlerini ve bağımlılıklarını anlamak için kaynak projeyi okur.
  2. Girdileri toplayın. SQL veya Python işlem hattı kaynağı oluşturma gibi gerekli girişleri istemek için duraklatılır.
  3. Ara temsili (IR) araştırıp oluşturun. Projeyi analiz eder ve kaynak araçdan bağımsız olarak işlem hattının mantığını yakalayan bir ara gösterim oluşturur.
  4. Dönüştürün, doğrulayın ve onarın. IR'yi işlem hattı kaynağına dönüştürür, sonucu doğrular ve işlem hattı doğru olana kadar bir onarım döngüsünde yinelenir.

Uyarı

Geçirilen işlem hattı kaynağını gözden geçirin ve üretimde buna güvenmeden önce sonuçların özgün projeyle eşleşip eşleşmediğinden emin olmak için işlem hattını çalıştırın.

Örnekler

Başlamak için aşağıdaki istemleri deneyin:

  • "my_catalog.my_schema içindeki tablo işlemlerini ve müşterileri kullanarak sahtekarlık algılaması için bir madalyon mimari işlem hattı oluşturun ve çalıştırın."
  • "Bu işlem hattının her adımını açıklayın."
  • "Bu işlem hattındaki hatayı düzeltin."

Ek kaynaklar

  • Son güncelleştirme: