Azure Data Factory ve Synapse Analytics işlem hatlarıyla yinelemeli geliştirme ve hata ayıklama

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

• Fabric ücretsiz deneme başlatın.
• Azure Data Factory'den Microsoft Fabric içindeki Data Factory'ye yükseltin

Azure Data Factory ve Synapse Analytics, işlem hatlarının yinelemeli geliştirilmesini ve hata ayıklamasını destekler. Bu özellikler, çekme isteği oluşturmadan veya bunları hizmette yayımlamadan önce değişikliklerinizi test etmenizi sağlar.

Bu özelliğin sekiz dakikalık tanıtımı ve demonstrasyonu için aşağıdaki videoyu izleyin.

İşlem hattı hatalarını ayıklama

İşlem hattı tuvalini kullanarak yazarken, Hata Ayıklama özelliğini kullanarak etkinliklerinizi test edebilirsiniz. Test çalıştırmaları yaptığınızda, Hata Ayıkla'yı seçmeden önce değişikliklerinizi serviste yayımlamanız gerekmez. Bu özellik, iş akışını güncelleştirmeden önce değişikliklerin beklendiği gibi çalıştığından emin olmak istediğiniz senaryolarda yararlıdır.

İşlem hattı çalışırken, işlem hattı tuvalinin Çıkış sekmesinde her etkinliğin sonuçlarını görebilirsiniz.

İşlem hattı tuvalinin Çıkış penceresinde test çalıştırmalarınızın sonuçlarını görüntüleyin.

Bir test çalıştırması başarılı olduktan sonra işlem hattınıza daha fazla etkinlik ekleyin ve hata ayıklamaya yinelemeli bir şekilde devam edin. Test çalıştırması devam ederken iptal edebilirsiniz.

Önemli

Hata ayıklama işleminin seçilmesi işlem hattını gerçekleştirir. Örneğin, boru hattı kopyalama faaliyeti içeriyorsa, test yürütmesi verileri kaynaktan hedefe kopyalar. Sonuç olarak, hata ayıklarken kopyalama etkinliklerinizde ve diğer etkinliklerinizde test klasörlerini kullanmanızı öneririz. İşlem hattında hata ayıkladıktan sonra, normal işlemlerde kullanmak istediğiniz gerçek klasörlere geçin.

Kesme noktalarını ayarlama

Hizmet, işlem hattı ekranında belirli bir etkinliğe ulaşana kadar işlem hattında hata ayıklamanıza olanak tanır. Test etmek istediğiniz etkinliğe bir kesme noktası koyun ve Hata Ayıkla'yı seçin. Hizmet, testin yalnızca işlem hattı arayüzü üzerindeki kesme noktası aktivitesine kadar çalışmasını sağlar. Bu Hata Ayıklamaya Kadar özelliği, işlem hattının tamamını değil, yalnızca içindeki etkinliklerin bir alt kümesini test etmek istediğinizde yararlıdır.

Kesme noktası ayarlamak için işlem hattı tuvalinde bir öğe seçin. Öğenin sağ üst köşesinde Debug Until seçeneği, boş bir kırmızı daire olarak görüntülenir.

Seçenek olarak Belirli bir noktaya kadar hata ayıklama seçildikten sonra, kesme noktasının etkin olduğunu belirtmek için bu, doldurulmuş kırmızı bir daireye dönüşür.

Hata ayıklama çalıştırmalarını izleme

İşlem hattı hata ayıklama çalıştırmasını çalıştırdığınızda, sonuçlar işlem hattı tuvalinin Çıkış penceresinde görüntülenir. Çıkış sekmesi yalnızca geçerli tarayıcı oturumu sırasında gerçekleşen en son çalıştırmayı içerir.

Hata ayıklama çalıştırmalarının geçmiş görünümünü görüntülemek veya tüm etkin hata ayıklama çalıştırmalarının listesini görmek için İzleme deneyimine gidebilirsiniz.

Azure Data Factory

Synapse Analizi

Not

Hizmet yalnızca 15 gün boyunca hata ayıklama çalıştırma geçmişini kalıcı hale alır.

Haritalama veri akışlarında hata ayıklama

Eşleme veri akışları, büyük ölçekte çalışan kodsuz veri dönüştürme mantığı oluşturmanıza olanak tanır. Mantığınızı oluştururken, canlı bir Spark kümesi kullanarak verilerinizle etkileşimli olarak çalışmak için hata ayıklama oturumunu açabilirsiniz. Daha fazla bilgi edinmek için eşleme veri akışı hata ayıklama modu hakkında bilgi edinin.

İzleme deneyiminde etkin veri akışı hata ayıklama oturumlarını izleyebilirsiniz.

Veri akışı tasarımcısında veri önizlemesi ve veri akışlarında işlem hattı hata ayıklama, küçük veri örnekleriyle en iyi şekilde çalışacak şekilde tasarlanmıştır. Ancak, mantığınızı büyük miktarda veriye karşı bir işlem hattında veya veri akışında test etmeniz gerekiyorsa, hata ayıklama oturumunda kullanılan Azure Integration Runtime boyutunu daha fazla çekirdek ve en az genel amaçlı işlemle artırın.

Veri akışı etkinliği ile veri hattında hata ayıklama

Veri akışıyla bir hata ayıklama işlem hattını çalıştırırken, kullanabileceğiniz iki işlem seçeneğiniz vardır. Mevcut bir hata ayıklama kümesini kullanabilir veya veri akışlarınız için yeni bir tam zamanında küme oluşturabilirsiniz.

Mevcut bir hata ayıklama oturumunun kullanılması, küme zaten çalıştığından veri akışı başlatma süresini büyük ölçüde azaltır, ancak birden çok iş aynı anda çalıştırıldığında başarısız olabileceğinden karmaşık veya paralel iş yükleri için önerilmez.

Etkinlik çalışma zamanının kullanılması, her veri akışı etkinliğinin tümleştirme çalışma zamanında belirtilen ayarları kullanarak yeni bir küme oluşturur. Bu, her işin yalıtılmasını sağlar ve karmaşık iş yükleri veya performans testi için kullanılmalıdır. Ayrıca Azure IR'de TTL'yi de denetleyebilirsiniz, böylece hata ayıklama için kullanılan küme kaynakları ek iş isteklerine hizmet vermek için bu süre boyunca kullanılabilir durumda olur.

Not

Paralel olarak yürütülen veri akışlarına veya büyük veri kümeleriyle test edilmesi gereken veri akışlarına sahip bir işlem hattınız varsa, hizmetin veri akışı etkinliğinizde seçtiğiniz Integration Runtime kullanabilmesi için "Etkinlik Çalışma Zamanını Kullan"ı seçin. Bu, veri akışlarının birden çok kümede yürütülmesine olanak tanır ve paralel veri akışı yürütmelerinizi barındırabilir.

İlgili içerik

Değişikliklerinizi test ettikten sonra, sürekli tümleştirme ve dağıtım kullanarak bunları daha yüksek ortamlara yükseltin.