Lakeflow Designer'daki yerleşik işleçler

Lakeflow Designer, yaygın veri hazırlama ve dönüştürme görevleri için yerleşik işleçler içerir. İşleçlere kategoriye göre göz atmak için sol taraftaki yan bölmede işleç menüsünü açın veya bölmenin üst kısmındaki İşleç ara... seçeneğini kullanın. İşleç araması, amacınıza göre işleçler önerir. Örneğin, yazma average by monthişlemi Toplama işlecini döndürür. Bir işleci tuvale ekledikten sonra yapılandırmak için, çift tıklayın veya üzerine gelin ve (İşleç düzenle) seçeneğine tıklayarak yapılandırma bölmesini açın.

Her işleç, yapay zeka tarafından oluşturulan ve ne yaptığıyla ilgili bir açıklama görüntüler. Açıklama, işleç için düzenleyici işlevi de görür: açıklamayı düzenlemek, işleci açıklamanızla eşleşecek şekilde yeniden yapılandırıyor.

Kendi kullanıcı tanımlı işleçlerinizi oluşturmayı öğrenmek için bkz. Lakeflow Designer'da kullanıcı tanımlı işleçler.

Kaynak ve çıkış

Source

Unity Kataloğu tablosundan veya desteklenen başka bir kaynaktan Tasarımcı'ya veri aktarır. Kaynak seçmek için ada göre bir tablo veya dosya arayın ya da kataloğa ve şemaya göre göz atın. Bu bölmeden yeni bir tablo da oluşturabilirsiniz.

Bir tablo seçtikten sonra bölmede tablonun adı, sahibi ve son güncelleştirme zamanı gösterilir. Kaynağı değiştirmek için Yeni bir veri kaynağı seçin'e tıklayın. Kaynağın değiştirilmesi, tüm aşağı akış işleçleri için çıkış önbelleğini geçersizleştirir.

Kaynak olarak Unity Kataloğu ölçüm görünümünü de kullanabilirsiniz. Bir ölçüm görünümü seçtiğinizde, eklenecek boyutları ve ölçüleri seçtiğinizde Tasarımcı toplanmış sorguyu sizin için oluşturur.

Unity Kataloğu biriminin veya klasörünün tamamını hedefleme dahil olmak üzere tüm veri alımı seçenekleri için bkz. Lakeflow Designer'a veri alma.

Veri Girin

Elektronik tablo stilinde bir düzenleyiciye değerler yazarak tablo oluşturur. Ayrı bir kaynak tablo oluşturmadan arama değerleri veya test verileri gibi az miktarda başvuru verisi eklemek için bu işleci kullanın.

Alan	Description
Tablo Verileri	Verilerinizi tablo olarak girin. İlk satır sütun üst bilgilerini tanımlar ve kalan satırlar ise verilerdir. Tasarımcı, her sütunun veri türünü kendi değerlerinden çıkarmaktadır.

Çıkış

Verileri Tasarımcı dışında dışarı aktarır. Çıkış işleci sonuçları Unity Kataloğu tablosuna yazabilir, gerçekleştirilmiş görünüm olarak yayımlayabilir veya Unity Kataloğu birimindeki bir dosyaya yazabilir. Çıkış türüne sahip hedefi seçin.

Çıkış türü	Description
Tablo	Sonuçları yönetilen unity kataloğu tablosuna yazar. Bir Tablo adı ve Çıkış konumu (katalog ve şema) ayarlayın, ardından bir Yazma modu seçin.
Gerçekleştirilmiş görünüm	Sonuçları Unity Kataloğu'nda görsel veri hazırlığı çalıştırıldığında yenilenen gerçekleştirilmiş bir görünüm olarak yayımlar.
File	Sonuçları Unity Kataloğu birimindeki bir dosyaya yazar. Csv, Excel veya JSON dosya türünü seçin, ardından hedef birimi ve dosya adını ayarlayın.

Tablo veya Dosya çıkışı için, her çalıştırmanın Yazma moduyla hedefe nasıl yazacaklarını seçin:

Yazma modu	Description
Üstüne yazmak	Mevcut içeriği geçerli çalıştırmanın sonuçlarıyla değiştirir. Bu varsayılan seçenektir.
Ekle	Geçerli çalıştırmanın sonuçlarını var olan satırlara ekler.
Merge	Belirttiğiniz birleştirme anahtarlarıyla eşleşerek satırları hedef tabloya ekler. Tablo çıkışları için kullanılabilir.

Görsel veri hazırlığı çalıştırmak ve sonuçları yazmak için Çalıştır'a tıklayın. Tablo çıktısı için tablo yoksa işleç bunu oluşturur. Zamanlanmış çalıştırmalar aynı yazma modunu kullanarak hedefe yazma çalıştırır.

AI İşlevi

Verileriniz üzerinde yerleşik bir yapay zeka işlemi çalıştırır. Yapılandırma bölmesinde İşlev seçin'i açın ve aşağıdaki tabloda yer alan işlevlerden birini seçin. Her işlev girişler (sütunlar, istemler, etiketler veya diller gibi) ve çıkışlar için bölmedeki seçenekleri kullanıma sunar.

Function	Description
ai_analyze_sentiment	Giriş metni üzerinde yaklaşım analizi gerçekleştirir.
ai_classify	Sağladığınız etiketleri kullanarak metinleri veya ayrıştırılmış belgeleri sınıflandırır.
ai_extract	Tanımladığınız alanları kullanarak metinden veya ayrıştırılmış belgelerden yapılandırılmış verileri ayıklar.
ai_fix_grammar	Metindeki dil bilgisi hatalarını düzeltin.
ai_forecast	Zaman serisi verilerini belirttiğiniz ufka kadar tahmin eder. ai_forecast , giriş tablosunun tamamını işleyen tablo değerli bir işlevdir.
ai_gen	Girişe karşı kullanıcı tarafından sağlanan bir istem yanıtlar.
ai_mask	Belirtilen varlıkları metinde maskeler (örneğin, kimliksizleştirme için).
ai_parse_document	Yapılandırılmamış belgelerden metin, tablo ve düzen ayıklar.
ai_prep_search	Ayrıştırılmış belge çıkışını vektör arama ve alma artırılmış oluşturma (RAG) işlem hatları için aramaya hazır öbeklere dönüştürür.
ai_query	Genel amaçlı görev ve model esnekliği için desteklenen herhangi bir temel modeli kullanarak bir istem yanıtlar.
ai_similarity	İki dizeyi karşılaştırır ve anlamsal benzerlik puanı döndürür.
ai_summarize	Metnin özetini oluşturur.
ai_translate	Metni belirttiğiniz hedef dile çevirir.

Her işlev hakkında ayrıntılı bilgi için bkz . Yapay zeka işlevlerini kullanarak verileri zenginleştirme.

Transformations

Aşağıdaki işleçler verileriniz üzerinde dönüştürmeler gerçekleştirir.

Aggregate

Verileri gruplandırarak ve toplam değerleri hesaplayarak satırları özetler.

Alan	Description
Gruplandırma ölçütü	Bir sütun seçin, bir toplama işlevi seçin ve çıkış sütunu için bir ad sağlayın. Daha fazla eklemek için + Toplama ekle'ye tıklayın. Desteklenen işlevler: AVG, COUNT, MAX, MEAN, , MEDIAN, MIN, PERCENTILE, SUMSTDDEV, VARIANCE.
Grupla göre	Gruplandırmak için sütunları seçin. Daha fazla eklemek için + Gruplandırma ekle'ye tıklayın. Gruplandırma ölçütü'nde kullanılan sütunlar çıktıya otomatik olarak eklenir.

Birleştirmek

Eşleşen şemalara sahip birden çok tablo verilerini tek bir çıkışta birleştirir.

Alan	Description
İşlemi ayarla	Birleşim, Kesiş veya Hariç'yi seçin.
Birleştirme stratejisi	Yinelenen satırları çıktının dışında tutmak için Ayrı'yı veya yinelenenler de dahil olmak üzere tüm satırları tutmak için Tümü'ni seçin.

Filtre

Satırları, grafik koşul oluşturucu kullanarak bir veya daha fazla koşulu karşılayıp karşılamadıklarına göre böler.

Alan	Description
Koşul	Her koşul için bir sütun, koşul türü ve koşullu olarak eşleşecek bir değer seçin. Desteklenen koşul türleri: Eşittir / Eşit değil / Bunlardan biri değil İçerir / İçermez ile başlar / ile başlamaz ile biter / ile bitmiyor Büyüktür / Küçüktür Is null / Is not null Tarih sütunlarının koşulları için, tarih seçici yıllar ve aylar arasında gezinmeyi destekler.

Filter işlecinin iki çıkışı vardır, böylece verileri koşullara uygun olup olmadığına göre dallayabilirsiniz:

Çıkış	Description
Included	Filtre koşullarını karşılayan satırlar.
Hariç tutulan	Koşulun null olarak değerlendirildiği satırlar da dahil olmak üzere filtre koşullarını karşılamayen satırlar.

Join

Eşleşen sütun değerlerine göre iki giriş veri kümesini birleştirerek iki tabloyu bir anahtara bağlar.

Alan	Description
Giriş tabloları	Birleştirilebilecek iki giriş tablosunu seçin.
Birleştirme koşulu	İki tablodan eşleşen sütunları seçerek en az bir birleştirme koşulu belirtin. Daha fazla koşul eklemek için + Birleştirme ifadesi ekle'ye tıklayın. İsteğe bağlı: Özel birleştirme koşulu eklemek için sol ve sağ tablolar arasındaki oka tıklayın, ardından yapay zeka tarafından oluşturulan açıklamayı düzenleyin veya SQL yazın.
Büyük/küçük harf eşleştirme	Kapalıyken (varsayılan), dize birleştirme tuşları büyük/küçük harfe duyarsız olarak eşleşer (ve baştaki ve sondaki boşluğu yoksayar). Dize anahtarlarını tam olarak eşleştirmek için Büyük/küçük harf eşleştir'i açın. Bu seçenek, özel birleştirme koşulları için değil birleştirme anahtarları için geçerlidir.
Katılım türü	Birleştirme türünü seçin. Varsayılan olarak, Join işleci sonuçlarını üç çıkışa böler (aşağıdaki bölüme bakın). Bunun yerine tek bir katılmış çıkış oluşturmak için Tam birleştirme, İç birleşim, Sol birleştirme veya Sağ birleştirme'yi seçin.
Çıkış sütunları	İsteğe bağlı: Eklenecek sütunları seçin. Varsayılan olarak, her iki tablodaki tüm sütunlar eklenir. Yinelenen sütun adları bir tablo adı ön eki alır.
Özel ifade sütunları	İsteğe bağlı: Birleştirilen sonuda göre özel ifade sütunları ekleyin.

Varsayılan olarak Join işlecinin üç çıkışı vardır, böylece birleştirme sonuçlarına göre bir iş akışını dallayabilirsiniz:

Çıkış	Description
Eşleşmeyen sol	Sağ girişte eşleşmesi olmayan sol girişteki satırlar.
Eşleşti	Her iki girişle de eşleşen satırlar.
Sağ eşleşmeyen	Sağ girişten gelen ve sol girişte eşleşmesi olmayan satırlar.

Belirli bir Birleştirme türünü (tam, iç, sol veya sağ) seçtiğinizde, işleç üç bölünmüş çıkış yerine tek bir birleşik çıkış oluşturur.

Sınır

Yalnızca belirttiğiniz en fazla satır sayısını geçirerek satır sayısını kısıtlar.

Alan	Description
Maksimum satır sayısı	Geçirilmesi gereken en fazla satır sayısını belirtin.

Pivot

Tablosal verileri iki yönde yeniden şekillendirin. Modu seçmek için yapılandırma bölmesinin üst kısmındaki sekmeleri kullanın.

Satırlar → Sütunlar (özet)

Bir sütundaki ayrı değerleri, başka bir sütundan toplanan değerlerle doldurulmuş yeni sütun başlıklarına dönüştürür.

Alan	Description
Özet sütun	Ayrı değerleri yeni üst bilgiler haline gelen sütunu seçin.
Değer toplama	Değerleri özetlenmiş hücreleri dolduran sütunu seçin ve bir toplama işlevi (örneğin, SUM, AVG, COUNT, MINveya MAX) seçin. Bölmede varsa eksik değerlerin nasıl işleneceğini (örneğin, null veya sıfır) yapılandırın.

Satırlar → Sütunlar (özetsiz)

Bir veya daha fazla sütunu satırlara katlar.

Alan	Description
Sütunları satırlara dönüştürme	Özetini açmak için sütunları seçin.
Anahtar ve değer sütunları	Çıkış anahtarı ve değer sütunları için adları ayarlayın.

Sütunları dahil et

Her iki modda da, özetlenmiş veya özetlenmemiş değerlerin yanında çıkışta hangi sütunların kalacağını seçin ve dönüştürme işleminden önce ihtiyacınız olmayan sütunları bırakın. Tasarımcı pivot, value veya unpivot rollerine atamadığınız sütunlardan sabit (gruplandırma) sütunları çıkartır.

Sort

Satırları bir veya daha fazla sütunda sıralar.

Alan	Description
Sıralama düzeni	Her sütun için ASC (artan) veya DESC (azalan) seçeneğini belirleyin. Ek sütunlara göre sıralamak için + Sıralama ifadesi ekle'ye tıklayın. Sıralama, standart sözcük düzenine uyar.

SQL

Diğer işleçler tarafından kapsanmayan tüm dönüştürmeler için özel SQL kodu yazar.

Alan	Description
SQL düzenleyicisi	Bir SQL SELECT deyimi yazın. Giriş işlecinin çıkışına başvurmak için sorgunuzda tablo adı olarak bu işlecin adını kullanın. Örneğin: SELECT COUNT(*) FROM aggregate_2 WHERE 1 = 1 Tam SQL kodu bölmesini açmak ve deyiminizin tam iş akışına nasıl uyduğunu görmek için
Parameters	Görsel veri hazırlama parametresine başvurmak için, gibi :environmentadlandırılmış parametre işaretçisi söz dizimlerini kullanın. Tasarımcı, düzenleme için işleci açtığınızda düzenleyicinin üzerinde bir örnek gösterir. Bkz. Parametreler.

Select

Giriş verilerinden sütunları seçer, yeniden adlandırır ve yeniden sıralar.

Alan	Description
Sütunları dahil et veya hariç tut	Tüm sütunlarla başla'yı veya Sütun olmadan başlat'ı seçin, ardından tek tek sütunları dahil etmek veya hariç tutmak için onay kutularını kullanın. Sütunları yeniden sıralamak için sürükleyin.
Bir sütunu yeniden adlandır	Herhangi bir sütunun yanındaki Yeniden Adlandır alanına yeni bir ad yazın.

Prepare

Giriş verilerinde bir veya daha fazla eylemi zincirleyerek sütunları temizler ve türetir. + Eylem ekle'ye tıklayın ve bir eylem seçin. İhtiyacınız olan sayıda eylem ekleyin. Sırayla uygulanırlar.

Eylem	Description
Formül	Doğal dil veya SQL ifadesi kullanarak yeni bir sütun oluşturun veya mevcut sütunun üzerine yazın.
Değişiklik türü	Sütunu başka bir veri türüne dönüştürün.
Değeri değiştir	Bir sütundaki değerleri bulma ve değiştirme.
Boş değerleri doldurma	Null değerleri bir sabitle değiştirin.
Metin büyük/küçük harf	Büyük/küçük harf harflerini küçük, üst veya başlık olarak değiştirin.
Döşeme	Bir veya her iki uçtan boşluk kaldırın.
Regex replace	Bir regex deseni ile eşleşen metni değiştirin.
Ayıklama	Bir regex grubuyla eşleşen bir alt dizeyi ayıklayın.
Ayrıştırma tarihi	Dizeyi tarih veya zaman damgasına ayrıştırma.

Bir eylemi kaldırmak için, satırın üzerine gelin ve .

Özel sütunlar

Formül eylemi, yeni bir sütun oluşturabileceğiniz veya doğal dil veya SQL kodu kullanarak var olan bir sütunun üzerine yazabileceğiniz ifade düzenleyicisini açar. Düzenleyicinin iki giriş kutusu vardır ve çift yönlüdür:

• Açıklama: Sütunun yapmasını istediğiniz şeyin doğal dil açıklamasını yazın. Tasarımcı, aşağıdaki ilgili kod ifadesini oluşturmak için Genie kullanır.
• İfade: Doğrudan kod yazmayı veya düzenlemeyi tercih ediyorsanız, ifadeyi düzenle düğmesine tıklayın. İfadenin düzenlenmesi otomatik olarak doğal bir dil açıklaması oluşturur.

Python

Giriş verilerinde özel Python (PySpark) çalıştırır.

Alan	Description
result	öğesine tek bir DataFrame resultatayın. Bu, işlecin çıktısı olur.
inputs["data"]	Giriş DataFrame'lerinin yukarı akış sırasına göre listesi. İşleç ayrıntıları bölmesi, her girişin adını sırayla gösterir. Örneğin, Available inputs: inputs["data"][0] (customers), inputs["data"][1] (sales).
Parameters	dbutils.widgets.get()Görsel veri hazırlama parametresine başvurmak için gibi dbutils.widgets.get("environment")çağrısı yapın. Tasarımcı, düzenleme için işleci açtığınızda düzenleyicinin üzerinde bir örnek gösterir. Bkz. Parametreler.

En düşük desen, mevcut olduğunda ilk girişi veya aksi halde boş bir DataFrame kullanmaktır:

# inputs["data"] is a list of input DataFrames

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

Buradan, atama bitmeden önce DataFrame işlemlerini (örneğin, , , veya birleşimleri) zincirleyebilir select veya yerine 'den filteroluşturulmuş yeni bir DataFrame kullanabilirsinizwithColumn. resultresultinputs["data"]

Organizasyon

Note

İş akışının kendisini belgeleyebilmeniz için tuvale bir not ekler: görsel veri hazırlığını daha sonra açan herkes için amacı, varsayımları, uyarılar veya iletim bağlamı.

Alan	Description
İçerik	Zengin metin düzenleyicisiyle tuvaldeki not içeriğini satır içi olarak düzenleyin. Düz metnin yeterli olmadığı başlıklar, metin stili, bağlantılar, resimler ve tablolar ekleyebilirsiniz. Notlar, verilerin işleçler üzerinden nasıl aktığını etkilemez.

Group

Görsel veri hazırlığı genişlediğinde veya mantıksal aşamaları yansıtmak istediğinizde yararlı olan veri akışını değiştirmeden tuvaldeki işleçleri görsel olarak gruplandırın.

Alan	Description
Gruba ekle	Gruba eklemek için bir veya daha fazla işleç sürükleyin.
Seçimden oluştur	Bir veya birden çok işleç seçin, kısayol menüsünü açın (sağ tıklayın) ve Seçimi yeni bir gruba sarmak için Yeni grup oluştur'u seçin.
Name	Gruba açıklayıcı bir ad verin.
Simge durumuna küçült/genişlet	Grubun içeriğini tuvalde göstermek veya gizlemek için simge durumuna küçült veya genişlet'e tıklayın.

Görselleştirme

Giriş verilerinden bir görselleştirme oluşturur ve doğrudan tuval üzerinde işler. Görsel Öğe işlecini, Tasarımcı'dan çıkmadan sonuçların grafiğini oluşturmak için tablo verileri üreten herhangi bir işleçle bağlayın.

Görselleştirmeyi yapılandırmak için işleci açın ve bir Görselleştirme türü seçin, ardından sütunlarınızı grafiğe eşleyin.

Alan	Description
Görselleştirme	İşlenmek üzere Çubuk, Alan veya Sayaç gibi grafik türü.

Ek kaynaklar

• Lakeflow Designer'da görsel veri hazırlığı oluşturma
• Lakeflow Designer'a veri alma