Eşleme veri akışı Hata Ayıklama Modu

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Genel bakış

Azure Data Factory ve Synapse Analytics eşleme veri akışının hata ayıklama modu, veri akışlarınızı oluştururken ve hatalarını ayıklarken veri şeklinin dönüşümünü etkileşimli olarak izlemenize olanak tanır. Hata ayıklama oturumu hem Veri Akışı tasarım oturumlarında hem de veri akışlarının işlem hattı hata ayıklama yürütmesi sırasında kullanılabilir. Hata ayıklama modunu açmak için, veri akışı etkinlikleriniz olduğunda veri akışı tuvalinin veya işlem hattı tuvalinin üst çubuğundaki Veri Akışı Hata Ayıklama düğmesini kullanın.

Kaydırıcıyı açtıktan sonra, kullanmak istediğiniz tümleştirme çalışma zamanı yapılandırmasını seçmeniz istenir. AutoResolveIntegrationRuntime seçilirse, varsayılan 60 dakikalık yaşam süresine sahip sekiz genel işlem çekirdeğine sahip bir küme açılır. Oturumunuz zaman aşımına uğramadan önce daha fazla boşta kalan takıma izin vermek isterseniz daha yüksek bir TTL ayarı seçebilirsiniz. Veri akışı tümleştirme çalışma zamanları hakkında daha fazla bilgi için bkz . Integration Runtime performansı.

Hata ayıklama modu açıkken, etkin bir Spark kümesiyle veri akışınızı etkileşimli olarak oluşturacaksınız. Hata ayıklamayı kapattığınızda oturum kapatılır. Hata ayıklama oturumunun açık olduğu süre boyunca Data Factory tarafından tahakkuk eden saatlik ücretlerin farkında olmanız gerekir.

Çoğu durumda, çalışmanızı yayımlamadan önce iş mantığınızı doğrulayıp veri dönüşümlerinizi görüntüleyebilmeniz için hata ayıklama modunda Veri Akışı oluşturmak iyi bir uygulamadır. Veri akışınızı bir işlem hattında test etmek için işlem hattı panelindeki "Hata Ayıkla" düğmesini kullanın.

Azure Data Factory

Synapse Analytics

Not

Kullanıcının tarayıcı kullanıcı arabiriminden başlattığı her hata ayıklama oturumu, kendi Spark kümesine sahip yeni bir oturumdur. Hata ayıklama oturumlarını görüntülemek ve yönetmek için önceki görüntülerde gösterilen hata ayıklama oturumları için izleme görünümünü kullanabilirsiniz. TTL süresi dahil olmak üzere her hata ayıklama oturumunun yürütülmekte olduğu her saat için ücretlendirilirsiniz.

Bu video klibinde veri akışı hata ayıklama moduyla ilgili ipuçları, püf noktaları ve iyi uygulamalar hakkında bilgi sağlanır.

Küme durumu

Küme hata ayıklamaya hazır olduğunda tasarım yüzeyinin üst kısmındaki küme durum göstergesi yeşile döner. Kümeniz zaten sıcaksa yeşil gösterge neredeyse anında görünür. Hata ayıklama moduna girdiğinizde kümeniz zaten çalışmıyorsa Spark kümesi soğuk önyükleme gerçekleştirir. Ortam etkileşimli hata ayıklamaya hazır olana kadar gösterge döner.

Hata ayıklamayı bitirdiğinizde, Spark kümenizin sonlandırılabilmesi ve hata ayıklama etkinliği için faturalandırılmaması için Hata Ayıklama anahtarını kapatın.

Hata ayıklama ayarları

Hata ayıklama modunu açtığınızda, veri akışının verileri önizleme biçimini düzenleyebilirsiniz. Veri Akışı tuval araç çubuğundaki "Hata ayıklama Ayarlar" seçeneğine tıklayarak hata ayıklama ayarları düzenlenebilir. Kaynak dönüşümlerinizin her biri için kullanılacak satır sınırını veya dosya kaynağını buradan seçebilirsiniz. Bu ayardaki satır sınırları yalnızca geçerli hata ayıklama oturumu için geçerlidir. Azure Synapse Analytics kaynağı için kullanılacak hazırlama bağlı hizmetini de seçebilirsiniz.

Veri Akışı veya başvuruda bulunan veri kümelerinden herhangi birinde parametreleriniz varsa, Parametreler sekmesini seçerek hata ayıklama sırasında hangi değerlerin kullanılacağını belirtebilirsiniz.

Kaynak veri kümelerinizi değiştirmeniz gerekmeyecek şekilde örnek dosyalara veya örnek veri tablolarına işaret etmek için buradaki örnekleme ayarlarını kullanın. Burada örnek bir dosya veya tablo kullanarak veri akışınızda aynı mantık ve özellik ayarlarını korurken bir veri alt kümesine göre test edebilirsiniz.

Veri akışlarında hata ayıklama modu için kullanılan varsayılan IR, 4 çekirdekli tek sürücü düğümüne sahip küçük bir 4 çekirdekli tek çalışan düğümüdür. Bu, veri akışı mantığınızı test ederken daha küçük veri örnekleriyle düzgün çalışır. Veri önizlemesi sırasında hata ayıklama ayarlarınızdaki satır sınırlarını genişletir veya işlem hattı hata ayıklaması sırasında kaynağınızda daha fazla sayıda örneklenmiş satır ayarlarsanız, yeni bir Azure Integration Runtime'da daha büyük bir işlem ortamı ayarlamayı düşünebilirsiniz. Daha sonra daha büyük işlem ortamını kullanarak hata ayıklama oturumunuzu yeniden başlatabilirsiniz.

Veri önizleme

Hata ayıklama açıkken, Veri Önizleme sekmesi alt panelde yanar. Hata ayıklama modu açık olmadığında Veri Akışı, İnceleme sekmesinde dönüşümlerinizin her birinin içinde ve dışında yalnızca geçerli meta verileri gösterir. Veri önizlemesi yalnızca hata ayıklama ayarlarınızda sınırınız olarak ayarladığınız satır sayısını sorgular. Veri önizlemesini geçerli dönüşümlerinize göre güncelleştirmek için Yenile'yi seçin. Kaynak verileriniz değiştiyse Kaynaktan Yenile'yi > seçin.

Veri önizlemesinde sütunları sıralayabilir ve sürükleyip bırakarak sütunları yeniden düzenleyebilirsiniz. Ayrıca, veri önizleme panelinin üst kısmında, çevrimdışı veri keşfi için önizleme verilerini csv dosyasına aktarmak için kullanabileceğiniz bir dışarı aktarma düğmesi vardır. En fazla 1.000 satırlık önizleme verilerini dışarı aktarmak için bu özelliği kullanabilirsiniz.

Not

Dosya kaynakları yalnızca gördüğünüz satırları sınırlar, okunan satırları sınırlamaz. Çok büyük veri kümeleri için, bu dosyanın küçük bir bölümünü almanız ve testiniz için kullanmanız önerilir. Dosya veri kümesi türü olan her kaynak için Hata Ayıklama Ayarlar geçici bir dosya seçebilirsiniz.

Veri Akışı'de Hata Ayıklama Modu'nda çalışırken verileriniz Havuz dönüşümüne yazılamaz. Hata ayıklama oturumu, dönüşümleriniz için bir test koşumu görevi görecek şekilde tasarlanmıştır. Havuzlar hata ayıklama sırasında gerekli değildir ve veri akışınızda yoksayılır. Havuzunuza veri yazmayı test etmek istiyorsanız, Veri Akışı bir işlem hattından yürütür ve bir işlem hattından hata ayıklama yürütmesini kullanırsınız.

Data Preview, Spark belleğindeki veri çerçevelerinden satır sınırları ve veri örneklemesi kullanan dönüştürülmüş verilerinizin anlık görüntüsüdür. Bu nedenle, havuz sürücüleri bu senaryoda kullanılmaz veya test edilir.

Not

Veri Önizleme, tarayıcının yerel ayarına göre zamanı görüntüler.

Birleştirme koşullarını test etme

Birim testi Birleşimleri, Mevcut veya Arama dönüştürmeleri sırasında, testiniz için bilinen küçük bir veri kümesi kullandığınızdan emin olun. Testinizde kullanmak üzere geçici bir dosya ayarlamak için daha önce açıklanan Hata Ayıklama Ayarlar seçeneğini kullanabilirsiniz. Büyük bir veri kümesindeki satırları sınırlandırırken veya örnekleme yaparken test için akışta hangi satırların ve hangi anahtarların okunacağını tahmin edemediğinizden bu gereklidir. Sonuç belirsiz değildir, yani birleştirme koşullarınız başarısız olabilir.

Hızlı Eylemler

Veri önizlemesini gördüğünüzde, bir sütuna yazmak, kaldırmak veya sütunda değişiklik yapmak için hızlı bir dönüştürme oluşturabilirsiniz. Sütun üst bilgisini seçin ve ardından veri önizleme araç çubuğundaki seçeneklerden birini belirleyin.

Bir değişiklik seçtiğinizde, veri önizlemesi hemen yenilenir. Yeni bir dönüşüm oluşturmak için sağ üst köşedeki Onayla'yı seçin.

Typecast ve Modify , Türetilmiş Sütun dönüşümü oluşturur ve Kaldır bir Select dönüştürmesi oluşturur.

Not

Veri Akışı düzenlerseniz, hızlı dönüştürme eklemeden önce veri önizlemesini yeniden getirmeniz gerekir.

Veri profili oluşturma

Veri önizleme sekmenizde bir sütun seçip veri önizleme araç çubuğunda İstatistikler'e tıklanması, veri kılavuzunuzun sağ ucunda her alanla ilgili ayrıntılı istatistikler içeren bir grafik açılır. Hizmet, hangi grafik türünün görüntüleneceğine ilişkin veri örneklemesini temel alan bir belirleme temeli oluşturur. Yüksek kardinalite alanları varsayılan olarak NULL/DEĞİl NULL grafikler olurken, düşük kardinaliteye sahip kategorik ve sayısal veriler, veri değeri sıklığını gösteren çubuk grafikler görüntüler. Ayrıca dize alanlarının maksimum/uzunluk uzunluğunu, sayısal alanlardaki min/max değerlerini, standart geliştirmeyi, yüzdebirlik değerleri, sayıları ve ortalamayı da görürsünüz.

İlgili içerik

• Veri akışınızı oluşturmayı ve hata ayıklamayı tamamladıktan sonra bir işlem hattından yürütebilirsiniz.
• İşlem hattınızı bir veri akışıyla test ederken işlem hattı hata ayıklama çalıştırma yürütme seçeneğini kullanın.