Olay akışına göl evi hedefi ekleme
Bu makalede, Microsoft Fabric olay akışlarında bir olay akışına hedef olarak bir göl evi ekleme işlemi gösterilmektedir.
Not
Önizleme aşamasında olan gelişmiş özellikleri kullanmak istiyorsanız üst kısımdaki Gelişmiş Özellikler'i seçin. Aksi takdirde Standart Özellikler'i seçin. Önizleme aşamasındaki gelişmiş özellikler hakkında bilgi için bkz . Doku olay akışlarına giriş.
Önemli
Lakehouse hedef tablosuna veri yazmak için şema zorlaması vardır. Tabloya yapılan tüm yeni yazma işlemleri, hedef tablonun yazma zamanındaki şemasıyla uyumlu olmalı ve veri kalitesini sağlamalıdır.
Çıkış yeni bir delta tablosuna yazıldığında, tablo şeması ilk kayıt temel alınarak oluşturulur. Çıktı verilerinin tüm kayıtları mevcut tablonun şemasına yansıtılır.
Gelen verilerin mevcut tablo şemasında olmayan sütunları varsa, ek sütunlar tabloya yazılan verilere dahil değildir. Benzer şekilde, gelen verilerde varolan tablo şemasında bulunan sütunlar eksikse, eksik sütunlar değerler null olarak ayarlanmış şekilde tabloya yazılır.
Önkoşullar
- Olay akışınızın Bulunduğu Doku premium çalışma alanına Katkıda Bulunan veya daha yüksek izinlerle erişin.
- Lakehouse'unuzun bulunduğu premium çalışma alanına Katkıda Bulunan veya daha yüksek izinlerle erişin.
Not
Bir olay akışı için kaynak ve hedef sayısı üst sınırı 11'dir.
Hedef olarak göl evi ekleme
Bir lakehouse hedefini varsayılan veya türetilmiş olay akışına eklemek için şu adımları izleyin.
Olay akışınız için Düzenleme modunda şeritte Hedef ekle'yi seçin ve açılan listeden Lakehouse'ı seçin.
Göl evi düğümünü akış düğümünüze veya operatörünüze Bağlan.
Lakehouse yapılandırma ekranında aşağıdaki bilgileri tamamlayın:
- Bir Hedef adı girin.
- Göl evinizi içeren Çalışma Alanını seçin.
- Belirttiğiniz çalışma alanından mevcut bir Lakehouse'ı seçin.
- Var olan bir Delta tablosunu seçin veya veri almak için yeni bir tablo oluşturun.
- Lakehouse'unuza gönderilen Giriş veri biçimini seçin. Desteklenen veri biçimleri JSON, Avro ve CSV'dir (üst bilgi ile).
Gelişmiş'i seçin.
Bir göl evi hedefi için iki alım modu mevcuttur. Senaryonuza bağlı olarak bu modları, Fabric olay akışlarının lakehouse'a yazma biçimini iyileştirmek için yapılandırın.
En düşük satırlar , lakehouse'un tek bir dosyaya en az satır alma sayısıdır. En az 1 satır, dosya başına en fazla 2 milyon satırdır. Minimum satır sayısı ne kadar az olursa, lakehouse alım sırasında o kadar fazla dosya oluşturur.
Maksimum süre , göl binasının tek bir dosyayı almak için aldığı maksimum süredir. En az 1 dakika ve en fazla 2 saattir. Süre ne kadar uzun olursa, dosyaya o kadar çok satır eklenir.
Kaydet'i seçin.
Yeni eklenen lakehouse hedefini uygulamak için Yayımla'yı seçin.
Bu adımları tamamladıktan sonra, göl evi hedefi Canlı görünümde görselleştirme için kullanılabilir. Ayrıntılar bölmesinde Not defterindeki tabloyu en iyi duruma getir kısayolunu seçerek bir Not Defteri içinde Apache Spark işi başlatabilirsiniz ve bu da hedef lakehouse tablosundaki küçük akış dosyalarını birleştirir.
İlgili içerik
Olay akışına başka hedefler eklemeyi öğrenmek için aşağıdaki makalelere bakın:
Önkoşullar
Başlamadan önce aşağıdaki önkoşulları tamamlamanız gerekir:
- Olay akışınızın bulunduğu Katkıda Bulunan veya daha yüksek izinlere sahip premium çalışma alanına erişim elde edin.
- Lakehouse'unuzun bulunduğu katkıda bulunan veya daha yüksek izinlere sahip premium çalışma alanına erişim elde edin.
Not
Bir olay akışı için kaynak ve hedef sayısı üst sınırı 11'dir.
Hedef olarak göl evi ekleme
Çalışma alanınızda oluşturulmuş bir göl evi varsa, lakehouse'u olay akışınıza hedef olarak eklemek için şu adımları izleyin:
Şeritte Yeni hedef'i veya ana düzenleyici tuvalinde "+" öğesini ve ardından Lakehouse'ı seçin. Lakehouse hedef yapılandırma ekranı görüntülenir.
Olay akışı hedefi için bir ad girin ve lakehouse'unuz hakkındaki bilgileri tamamlayın.
Lakehouse: Belirttiğiniz çalışma alanından mevcut bir göl evi seçin.
Delta tablosu: Var olan bir delta tablosunu seçin veya veri almak için yeni bir tablo oluşturun.
Not
Lakehouse tablosuna veri yazarken Şema zorlaması vardır. Bu, bir tabloya yapılan tüm yeni yazmaların yazma zamanında hedef tablonun şemasıyla uyumlu olması gerektiği ve veri kalitesinin sağlanması gerektiği anlamına gelir.
Çıktı verilerinin tüm kayıtları mevcut tablonun şemasına yansıtılır. Çıkışı yeni bir delta tablosuna yazarken, tablo şeması ilk kayıt temel alınarak oluşturulur. Gelen verilerin mevcut tablo şemasıyla karşılaştırıldığında ek bir sütunu varsa, ek sütunu eklemeden tabloya yazar. Buna karşılık, gelen verilerde mevcut tablo şemasıyla karşılaştırıldığında bir sütun eksikse, sütunun değeri null olarak ayarlanmış tabloya yazar.
Giriş veri biçimi: Lakehouse'unuza gönderilen verilerin (giriş verileri) biçimini seçin.
Not
Desteklenen giriş olayı veri biçimleri JSON, Avro ve CSV'dir (üst bilgi ile).
Olay işleme: Verilerin lakehouse'unuza gönderilmeden önce nasıl işleneceğini belirtmek için olay işleme düzenleyicisini kullanabilirsiniz. Olay işleme düzenleyicisini açmak için Olay işlemcisini aç'ı seçin. Olay işlemcisini kullanarak gerçek zamanlı işleme hakkında daha fazla bilgi edinmek için bkz . Olay işlemcisi düzenleyicisiyle olay verilerini işleme. Düzenleyiciyle işiniz bittiğinde Bitti'yi seçerek Lakehouse hedef yapılandırma ekranına dönün.
Bir göl evi hedefi için iki alım modu mevcuttur. Doku olay akışları özelliğinin senaryonuza göre lakehouse'a yazma şeklini iyileştirmek için bu modlardan birini seçin.
Dosya başına satır sayısı : Lakehouse'un tek bir dosyaya en az satır alma sayısı. Minimum satır sayısı ne kadar az olursa, Lakehouse alım sırasında o kadar çok dosya oluşturur. En az 1 satırdır. Dosya başına en fazla 2M satırdır.
Süre : Lakehouse'un tek bir dosyayı almak için gereken en uzun süre. Süre ne kadar uzun olursa, dosyaya daha fazla satır eklenir. En az 1 dakika ve en fazla 2 saattir.
Lakehouse hedefini eklemek için Ekle'yi seçin.
Göl evi hedefi içinde kullanılabilir tablo iyileştirme kısayolu. Bu çözüm, bu küçük akış dosyalarını hedef Lakehouse tablosunda bir araya getiren bir Not Defteri içinde Spark işi başlatarak sizi kolaylaştırır.
Tuvalde dönen durum göstergesiyle birlikte bir göl evi hedefi görünür. Sistemin durumu Etkin olarak değiştirmesi birkaç dakika sürer.
Hedefi yönetme
Düzenle/kaldır: Gezinti bölmesi veya tuval aracılığıyla bir olay akışı hedefini düzenleyebilir veya kaldırabilirsiniz.
Düzenle'yi seçtiğinizde düzenleme bölmesi ana düzenleyicinin sağ tarafında açılır. Olay işlemci düzenleyicisi aracılığıyla olay dönüştürme mantığı da dahil olmak üzere yapılandırmayı istediğiniz gibi değiştirebilirsiniz.
İlgili içerik
Olay akışına başka hedefler eklemeyi öğrenmek için aşağıdaki makalelere bakın:
Geri Bildirim
Çok yakında: 2024 boyunca, içerik için geri bildirim mekanizması olarak GitHub Sorunları’nı kullanımdan kaldıracak ve yeni bir geri bildirim sistemiyle değiştireceğiz. Daha fazla bilgi için bkz. https://aka.ms/ContentUserFeedback.
Gönderin ve geri bildirimi görüntüleyin