İşlem hattı geliştirme için Genie Code kullanma

Aracı modunda Genie Code, Lakeflow Pipelines Düzenleyicisi'ndeki geliştiriciler için yapay zeka veri mühendisliği iş ortağıdır. Verileri inceler, işlem hattı kodu oluşturur ve çalıştırır ve tek bir istemdeki hataları düzeltir.

Uyarı

Bu sayfada, Lakeflow (SDP) işlem hatlarında Spark Bildirimsel İşlem Hatlarını geliştirmek ve taşımak için Genie Code kullanımını açıklanmaktadır. T-SQL, Snowflake veya Oracle gibi diğer diyalektlerden eski SQL'i ANSI SQL'e dönüştürmek için bunun yerine aracı kod dönüştürücüsü kullanın. Bkz . Aracı kod dönüştürücüsü ile SQL'i dönüştürme.

İşlem hattı geliştirme için Genie Code nedir?

Aracı modunda Genie Code, Lakeflow Pipelines Düzenleyicisi'nde çok adımlı veri mühendisliği iş akışlarının tamamını otomatikleştirebilen otonom bir iş ortağıdır.

Genie Code sohbet moduyla karşılaştırıldığında Aracı modu özellikleri genişletmiştir: çözüm planlama, ilgili varlıkları alma, kod çalıştırma, sonuçları iyileştirmek için işlem hattı çıkışlarını kullanma, hataları otomatik olarak düzeltme ve daha fazlası.

Aracı modunda Genie Code, tüm işlem hatlarını sıfırdan uçtan uca planlayabilir ve oluşturabilir veya mevcut işlem hattı üzerinde çalışmayı hızlandırabilir. Aracı, devam etmeden önce planlarını onaylamak ve sonraki adımlarını doğrulamak için sizinle birlikte çalışır. Sizin onayınızla Genie Code tablo arama, SQL veya Python kaynak dosyasını düzenleme, işlem hattı güncelleştirmelerini çalıştırma ve işlem hattı veri kümelerini okuma gibi görevleri gerçekleştirmek için araçları kullanabilir.

Genie Code'un erişimi ve eylemleri kullanıcının izinleri tarafından yönetilir. Yalnızca erişiminiz olan verilere erişebilir ve izinleriniz olan işlemleri gerçekleştirebilir.

Uyarı

Genie Code'da Aracı modunu açtığınızda Genie Code, özelliklerini Şu anda Databricks'te kullandığınız özelliklere göre uyarlar. Örneğin, Lakeflow Pipelines Düzenleyicisi'nde Genie Code işlem hattı düzenleme ve veri mühendisliği görevlerine odaklanır. Genie Code, not defterlerinde ve SQL Düzenleyicisi'nde veri keşfini ve analizini destekler. Daha fazla bilgi için bkz . Veri bilimi için Genie Code kullanma .

Gereksinimler

Veri mühendisliği için Genie Code kullanmak için çalışma alanınızın aşağıdakilere ihtiyacı vardır:

• Ortakların sağladığı yapay zeka özellikleri hem hesap hem de çalışma alanı için etkinleştirildi. Bkz. İş ortağı destekli yapay zeka özellikleri.
• Çalışma alanınız desteklenen bir bölgede olmalıdır. Genie Code, veri yerleşimini yönetmek için Geos kullanan bir Atanmış Hizmettir . Bkz . Genie Code özelliklerinin coğrafi kullanılabilirliği.

İşlem hattı geliştirme için Genie Code kullanma

İşlem hattı geliştirmek için Genie Code’un aracı özelliklerini kullanın.

1. Lakeflow Pipelines Düzenleyicisi'nde yan panelini açın.Çalışma alanınızın sağ üst köşesindeki Genie Code.

2. Sağ alt köşede Aracı'yı seçin. Bu, Genie Code'un Aracı modunda geçiş yaparak Genie Code'un aracı veri mühendisliği özelliklerini kullanmanıza olanak sağlar.

3. Genie Code için bir istem girin. Örneğin, işlem hattınızla ilgili "bu işlem hattını açıklayın" gibi sorular sorabilirsiniz. Yeni veri kümeleri eklemesini de isteyebilirsiniz; örneğin, "bronze_sales_data'dan okuyan ve verileri temizleyen ve yararlı kalite beklentileri ekleyen yeni bir dosyada silver_sales_data oluşturun."

   Uyarı

   Genie Code, kullanıcının Unity Kataloğu izinlerine uygun olduğundan yalnızca erişiminiz olan verilere ve işlem hattı kaynağına erişebilir.

4. Genie Code yanıtını oluştururken, geri bildiriminizi almak için genellikle kısa bir ara verir.

   • Daha karmaşık görevler için Genie Code adım adım bir plan oluşturabilir ve açıklayıcı sorular sorabilir. Planını parlatmasına yardımcı olmak için netleştirici sorularını yanıtlayın.

   • Genie Code'un bir işlem hattını çalıştırması veya güncelleştirmesi gerektiğinde devam etmeden önce onayınızı ister. İsteğine izin verin veya reddedin. Ayrıca bu yazışmada İzin Ver 'i (Genie Code konuşma yazışmasına başvurarak) veya Her zaman izin ver'i seçebilirsiniz.

     Önemli

     Aracı modunda Genie Code işlem hattınızda kod oluşturabilir ve yürütebilir. Tehlikeli eylemleri önlemek için korkulukları olsa da, hala risk vardır. Bunu yalnızca güvendiğiniz verilerle kullanmanız ve kodu çalıştırmadan önce gözden geçirmeniz gerekir.

   • Genie Code çalışmaya devam ettikçe Devam et veya Reddet'i seçmeniz istenebilir. Var olan çalışmasını gözden geçirin ve sonraki adımlara devam etmesi için Devam'ı veya başka bir şey denemesini söylemek için Reddet'i seçin.

   • Genie Code çalışırken durdurmak için kırmızı .

Genie Code yeni dosyalar oluşturabilir, metin, sorgu ve kod oluşturabilir, dosyaları veya işlem hatlarını çalıştırabilir ve sonuçları yorumlamak için çıkış veri kümelerine erişebilir.

Uyarı

Genie Code'un çalışmaya devam etmesi ve sonraki adımları atması için, çalıştığı geçerli sekmede kalmanız gerekir.

Tavsiye

Çoğu yanıtta kullanmak üzere Genie Code yönergeleri ekleyebilirsiniz. Örneğin, kullanmak istediğiniz kod kurallarınız veya kullanmak istediğiniz kitaplıklarınız varsa, Genie Code yönergelerine bu yönergeleri ekleyebilirsiniz. Genie Code'u etki alanına özgü görevleriniz için özel özelliklerle genişletmek için beceriler de oluşturabilirsiniz. Diğer ayrıntılar ve diğer ipuçları için bkz . Genie Code yanıtlarını iyileştirmeye yönelik ipuçları.

Aracı modu özellikleri

Aracı modunda Genie Code, işlem hattı geliştirme görevlerinin çoğunda yardımcı olabilir. Önemli özellikler şunları içerir:

• Veri bulma: Genie Code, bir görevin gerekli verilerini bulmanıza yardımcı olmak için çalışma alanında tablolarda arama yapabilir.
• İşlem hattı kodu düzenlemeleri: Genie Code aynı anda birden çok dosya oluşturabilir ve düzenleyebilir. Hangi dosyaların değiştirildiği hakkında sizi bilgilendirerek her dosyadaki kod farkını gösterir, böylece değişiklikleri ayrı ayrı veya sonunda birlikte gözden geçirebilirsiniz.
• İşlem hattı yürütme: Genie Code tek tek dosyaları çalıştırabilir, işlem hattını kuru çalıştırabilir/çalıştırabilir veya tam yenileme yapabilir. Genie Code devam etmek istediğinde, bunu yapmadan önce onayınızı ister.
• İşlem hattı davranışını anlama ve geliştirme: Genie Code, bir işlem hattının uçtan uca ne yaptığını ve nedenini anlamanıza yardımcı olmak için veri kümelerini ve işlem hattı çıkışlarını inceleyebilir. Örneğin, dönüştürmeleri özetleyebilir, verilerin aşağı akış tablolarına nasıl aktığını izleyebilir ve satır sayılarında veya şemalarda beklenmeyen değişiklikleri vurgulayabilir. Olası veri kalitesi sorunlarını ortaya çıkardığında Genie Code, bunların nedenini anlamanıza ve işlem hattında bunların nerede ve nasıl ele alınabileceğini önermenize yardımcı olabilir.

Bu özellikler aşağıdakiler gibi yaygın kullanım örneklerini destekler:

• Yeni işlem hattı yazma: Genie Code, veri alımından verileri standartlaştırmaya ve temizlemeye, verileri dönüştürmeye ve analiz etmeye kadar yeni bir madalyon mimari işlem hattı oluşturmanın tüm adımlarına yardımcı olabilir.
• İşlem hattını açıklama: Genie Code, hızla yükselmenize yardımcı olmak için mevcut işlem hattını analiz edebilir ve açıklayabilir.
• Sorunları düzeltme: Hatalarınız olduğunda Genie Code, sorun çözülene kadar birden çok dosyada yineleme yaparak sorunları tanılamaya ve düzeltmeye yardımcı olabilir.
• Artan yenilemeyi düzeltin: Pipeline'daki materyalize edilmiş görünümler tam yeniden hesaplama stratejisiyle yenilendiğinde, Genie Code pipeline'ın artımlandırma içgörülerinden nedeni teşhis edebilir, sorgu iyileştirmelerini önerebilir ve uygulayabilir, böylece onları kademeli yenileme için daha uygun hale getirir ve sert engelleyicileri işaretleyebilir.

Diğer ETL çerçevelerinden Lakeflow işlem hatlarına geçiş

Önemli

Bu özellik Beta sürümündedir.

Genie Code, mevcut bir veri dönüştürme projesini Lakeflow işlem hattına geçirebilir. Onu yüklediğiniz projenize yönlendirirsiniz; o da geçişi uçtan uca planlayıp gerçekleştirir. Bu geçiş özelliği Lakebridge'in bir parçasıdır ve Lakebridge Anahtar çeviricisi aracılığıyla da kullanılabilir.

Uyarı

Geçiş şu anda yalnızca dbt ve Informatica projelerini desteklemektedir. Ek kaynaklar için destek planlanır.

Projeyi Taşıma

1. Projeyi Databricks'e yükleyin. Aşağıdakilerden birini kullanın:

   • Katalog: Bir Birim açın ve ardından Bu Birime Yükle'yi seçin.
   • Çalışma alanı: Bir dizin açın, ardından >İçeri aktar.

2. Boş bir Lakeflow işlem hattı oluşturun. Jobs & Pipelines'a gidin ve bir ETL işlem hattı oluşturun.

3. Genie Code'un bunu taşımasını isteyin. Genie Code’u açın ve yüklediğiniz projenin yolunu girerek komut verin, örneğin:

   Tavsiye

   Projeyi /Volumes/my_catalog/my_schema/my_volume/my_project konumunda geçirme

Geçiş nasıl çalışır?

Geçişi başlattıktan sonra Genie Code bir plan oluşturur ve ardından yürütür:

1. Kaynağı okuyun. Modellerini, dönüşümlerini ve bağımlılıklarını anlamak için kaynak projeyi okur.
2. Girdileri toplayın. SQL veya Python işlem hattı kaynağı oluşturma gibi gerekli girişleri istemek için duraklatılır.
3. Ara temsili (IR) araştırıp oluşturun. Projeyi analiz eder ve kaynak araçdan bağımsız olarak işlem hattının mantığını yakalayan bir ara gösterim oluşturur.
4. Dönüştürün, doğrulayın ve onarın. IR'yi işlem hattı kaynağına dönüştürür, sonucu doğrular ve işlem hattı doğru olana kadar bir onarım döngüsünde yinelenir.

Uyarı

Geçirilen işlem hattı kaynağını gözden geçirin ve üretimde buna güvenmeden önce sonuçların özgün projeyle eşleşip eşleşmediğinden emin olmak için işlem hattını çalıştırın.

Örnekler

Başlamak için aşağıdaki istemleri deneyin:

• "my_catalog.my_schema içindeki tablo işlemlerini ve müşterileri kullanarak sahtekarlık algılaması için bir madalyon mimari işlem hattı oluşturun ve çalıştırın."
• "Bu işlem hattının her adımını açıklayın."
• "Bu işlem hattındaki hatayı düzeltin."

Ek kaynaklar

• Databricks AI yardımcı özellikleri hakkında daha fazla bilgi edinin
• Genie Code yanıtlarını geliştirmek için ipuçları alın
• Veri bilimi, veri bulma ve araştırma için Genie Code kullanma
• Pano yazma için Genie Code kullanma
• Lakeflow Pipelines Düzenleyicisi'ni keşfedin