Azure Data Factory’yi görsel olarak izleme

Makale
01/05/2024

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Azure Data Factory'de bir işlem hattı oluşturup yayımladıktan sonra bunu bir tetikleyiciyle ilişkilendirebilir veya geçici çalıştırmayı el ile başlatabilirsiniz. Azure Data Factory kullanıcı deneyiminde tüm işlem hattı çalıştırmalarınızı yerel olarak izleyebilirsiniz. İzleme deneyimini açmak için Azure portalının veri fabrikası dikey penceresindeki İzleyici ve Yönet kutucuğunu seçin. Zaten ADF UX'deyseniz sol kenar çubuğundaki İzleyici simgesine tıklayın.

Varsayılan olarak tüm veri fabrikası çalıştırmaları tarayıcının yerel saat diliminde görüntülenir. Saat dilimini değiştirirseniz, tüm tarih/saat alanları seçtiğiniz saat dilimine ayarlanır.

İşlem hattı çalıştırmalarını izleme

Varsayılan izleme görünümü, seçilen zaman aralığında tetiklenen işlem hattı çalıştırmalarının listesidir. Zaman aralığını değiştirebilir ve duruma, işlem hattı adına veya ek açıklamaya göre filtreleyebilirsiniz. Yeniden çalıştırma ve tüketim raporu gibi çalıştırmaya özgü eylemleri almak için belirli işlem hattı çalıştırmasının üzerine gelin.

İşlem hattı çalıştırmalarını izlemek için liste görünümünün ekran görüntüsü.

İşlem hattı çalıştırma kılavuzu aşağıdaki sütunları içerir:

Sütun adı	Açıklama
İşlem Hattı Adı	İşlem hattının adı
Çalıştırma Başlangıcı	İşlem hattı çalıştırmasının başlangıç tarihi ve saati (AA/GG/YYYY, SS:DD:SS/PM)
Çalıştırma Ucu	İşlem hattı çalıştırmasının bitiş tarihi ve saati (AA/GG/YYYY, SS:DD:SS/PM)
Süre	Çalıştırma süresi (SS:DD:SS)
Tetikleyen	İşlem hattını başlatan tetikleyicinin adı
Durum	Başarısız, Başarılı, Devam Ediyor, İptal Edildi veya Kuyruğa Alındı
Ek Açıklamalar	İşlem hattıyla ilişkili filtrelenebilir etiketler
Parametreler	İşlem hattı çalıştırması parametreleri (ad/değer çiftleri)
Hata	İşlem hattı başarısız olursa çalıştırma hatası
Çalıştır	Özgün, Yeniden Çalıştır veya Yeniden Çalıştır (En Son)
Çalıştırma kimliği	İşlem hattı çalıştırmasının kimliği

İşlem hattı ve etkinlik çalıştırmaları listesini yenilemek için Yenile düğmesini el ile seçmeniz gerekir. Autorefresh şu anda desteklenmiyor.

Yenile düğmesinin ekran görüntüsü.

Hata ayıklama çalıştırmasının sonuçlarını görüntülemek için Hata Ayıkla sekmesini seçin.

Etkin hata ayıklama çalıştırmalarını görüntüle simgesinin ekran görüntüsü.

Etkinlik çalıştırmalarını izleme

Belirli bir işlem hattı çalıştırmasının tek tek etkinlik çalıştırmalarının ayrıntılı bir görünümünü almak için işlem hattı adına tıklayın.

Etkinlik çalıştırmalarını görüntüleme ekran görüntüsü.

Liste görünümü, her işlem hattı çalıştırmasına karşılık gelen etkinlik çalıştırmalarını gösterir. JSON girişi, JSON çıkışı ve etkinliğe özgü ayrıntılı izleme deneyimleri gibi çalıştırmaya özgü bilgileri almak için belirli etkinlik çalıştırmasının üzerine gelin.

SalesAnalyticsMLPipeline hakkındaki bilgilerin ve ardından etkinlik çalıştırmalarının listesinin ekran görüntüsü.

Sütun adı	Açıklama
Etkinlik Adı	İşlem hattı içindeki etkinliğin adı
Etkinlik Türü	Kopyalama, ExecuteDataFlow veya AzureMLExecutePipeline gibi etkinliğin türü
Eylemler	JSON giriş bilgilerini, JSON çıkış bilgilerini veya etkinliğe özgü ayrıntılı izleme deneyimlerini görmenizi sağlayan simgeler
Çalıştırma Başlangıcı	Etkinlik çalıştırması için başlangıç tarihi ve saati (AA/GG/YYYY, SS:AA:SS/PM)
Süre	Çalıştırma süresi (SS:DD:SS)
Durum	Başarısız, Başarılı, Devam Ediyor veya İptal Edildi
Tümleştirme Çalışma Zamanı	Etkinliğin çalıştırıldığı Integration Runtime
Kullanıcı Özellikleri	Etkinliğin kullanıcı tanımlı özellikleri
Hata	Etkinlik başarısız olursa çalıştırma hatası
Çalıştırma kimliği	Etkinlik çalıştırmasının kimliği

Bir etkinlik başarısız olduysa, hata sütunundaki simgeye tıklayarak ayrıntılı hata iletisini görebilirsiniz.

Hata kodu, hata türü ve hata ayrıntıları gibi hata ayrıntılarını içeren bir bildirimin ekran görüntüsü.

İzlemek için kullanıcı özelliklerini yükseltme

Herhangi bir işlem hattı etkinliği özelliğini bir kullanıcı özelliği olarak yükseltip izlediğiniz bir varlığa dönüşmesini sağlayın. Örneğin işlem hattınızdaki kopyalama etkinliğinin Kaynak ve Hedef özelliklerini kullanıcı özellikleri olarak yükseltebilirsiniz.

Not

Kullanıcı özellikleri olarak en fazla beş işlem hattı etkinliği özelliği yükseltebilirsiniz.

Kullanıcı özellikleri oluşturma ekran görüntüsü.

Kullanıcı özelliklerini oluşturduktan sonra, bunları izleme listesi görünümlerinde izleyebilirsiniz.

Etkinlik çalıştırmaları listesine kullanıcı özellikleri için sütun ekleme işleminin ekran görüntüsü.

Kopyalama etkinliğinin kaynağı bir tablo adıysa, etkinlik çalıştırmaları için kaynak tablo adını liste görünümünde sütun olarak izleyebilirsiniz.

Kullanıcı özelliklerine yönelik sütunların yer aldığı etkinlik çalıştırmaları listesinin ekran görüntüsü.

İşlem hatları ve etkinlikleri yeniden çalıştırma

Kapsayıcı etkinliklerinin yeniden çalıştırma davranışı aşağıdaki gibidir:

Wait- Etkinlik önceki gibi davranır.
Set Variable - Etkinlik önceki gibi davranır.
Filter - Etkinlik önceki gibi davranır.
Until Etkinlik ifadeyi değerlendirir ve koşul karşılanana kadar döngü yapar. Yine de iç etkinlikler yeniden çalıştırma kurallarına göre atlanabilir.
Foreach Etkinlik her zaman aldığı öğelerde döngü yapar. Yine de iç etkinlikler yeniden çalıştırma kurallarına göre atlanabilir.
If and switch - Koşullar her zaman değerlendirilir. Tüm iç etkinlikler değerlendirilir. İç etkinlikler yine de yeniden çalıştırma kurallarına göre atlanabilir, ancak İşlem Hattını Yürüt gibi acities yeniden çalıştırılır.
Execute pipeline activity - Alt işlem hattı tetiklenir, ancak alt işlem hattındaki tüm etkinlikler yine de yeniden çalıştırma kurallarına göre atlanabilir.

Daha önce baştan çalıştırılmış bir işlem hattını yeniden çalıştırmak için, belirli işlem hattı çalıştırmasının üzerine gelin ve Yeniden Çalıştır'ı seçin. Birden çok işlem hattı seçerseniz, tümünü çalıştırmak için Yeniden Çalıştır düğmesini kullanabilirsiniz.

İşlem hattını yeniden çalıştırmanın ekran görüntüsü.

Belirli bir noktadan başlayarak yeniden çalıştırmak isterseniz, bunu etkinlik çalıştırmaları görünümünden yapabilirsiniz. Başlamak istediğiniz etkinliği seçin ve Etkinlikten yeniden çalıştır'ı seçin.

Etkinlik çalıştırmayı yeniden çalıştırma işleminin ekran görüntüsü.

Ayrıca işlem hattını yeniden çalıştırabilir ve parametreleri değiştirebilirsiniz. Parametreleri değiştirmek için Yeni parametreler düğmesini seçin.

Etkinlik çalıştırmasının yeni parametrelerle yeniden çalıştırılmasının ekran görüntüsü.

Not

Yeni parametrelerle bir işlem hattının yeniden çalıştırılması yeni bir işlem hattı çalıştırması olarak kabul edilir, bu nedenle işlem hattı çalıştırması için yeniden çalıştırma gruplandırmalarında gösterilmez.

Başarısız etkinlikten yeniden çalıştırma

Etkinlik başarısız olursa, zaman aşımına uğrarsa veya iptal edilirse, başarısız etkinlikte Yeniden Çalıştır'ı seçerek işlem hattını bu başarısız etkinlikten başlayarak yeniden çalıştırabilirsiniz.

Başarısız etkinliği yeniden çalıştırmanın ekran görüntüsü.

Yeniden çalıştırma geçmişini görüntüleme

Liste görünümünde tüm işlem hattı çalıştırmalarının yeniden çalıştırma geçmişini görüntüleyebilirsiniz.

Görünüm geçmişinin ekran görüntüsü.

Ayrıca, belirli bir işlem hattı çalıştırması için yeniden çalıştırma geçmişini de görüntüleyebilirsiniz.

İşlem hattı çalıştırması için görünüm geçmişinin ekran görüntüsü.

Tüketimi izleme

Bir işlem hattı çalıştırması tarafından kullanılan kaynakları, çalıştırmanın yanındaki tüketim simgesine tıklayarak görebilirsiniz.

İşlem hattı tarafından kullanılan kaynakları nerede görebileceğinizi gösteren ekran görüntüsü.

Simgeye tıklanması, işlem hattı çalıştırması tarafından kullanılan kaynakların tüketim raporunu açar.

İzleyici tüketiminin ekran görüntüsü.

İşlem hattı çalıştırmasının maliyetini tahmin etmek için bu değerleri Azure fiyatlandırma hesaplayıcısına takabilirsiniz. Azure Data Factory fiyatlandırması hakkında daha fazla bilgi için bkz . Fiyatlandırmayı anlama.

Not

Fiyatlandırma hesaplayıcısı tarafından döndürülen bu değerler bir tahmindir. Azure Data Factory tarafından faturalandırılacak tutarı tam olarak yansıtmaz

Gantt görünümleri

Gantt grafiği, bir zaman aralığındaki çalıştırma geçmişini görmenizi sağlayan bir görünümdür. Gantt görünümüne geçerek, çalıştırmanın süresini yansıtan çubuklar halinde görüntülenen, ada göre gruplandırılmış tüm işlem hattı çalıştırmalarını görürsünüz. İşlem hattınızda oluşturduğunuz ek açıklamalara/etiketlere göre de gruplandırabilirsiniz. Gantt görünümü etkinlik çalıştırması düzeyinde de kullanılabilir.

Gantt grafiği örneğinin ekran görüntüsü.

Çubuğun uzunluğu işlem hattının süresini bildirir. Daha fazla ayrıntı görmek için çubuğu da seçebilirsiniz.

Gantt grafiği süresinin ekran görüntüsü.

Uyarılar

Data Factory'de desteklenen ölçümler üzerinde uyarılar oluşturabilirsiniz. Başlamak için Data Factory izleme sayfasında Uyarıları ve ölçümleri İzle'yi>seçin.

Data factory İzleyici sayfasının ekran görüntüsü.

Bu özelliğin yedi dakikalık tanıtımı ve tanıtımı için aşağıdaki videoyu izleyin:

Uyarı oluşturma

Yeni uyarı oluşturmak için Yeni uyarı kuralı'nı seçin.
Kural adını belirtin ve uyarı önem derecesini seçin.
Uyarı ölçütlerini seçin.

ADF varlık sayısı/boyutu, etkinlik/işlem hattı/tetikleyici çalıştırmaları, Integration Runtime (IR) CPU kullanımı/bellek/düğüm sayısı/kuyruğu ile SSIS paket yürütmeleri ve SSIS IR başlatma/durdurma işlemleri gibi çeşitli ölçümlerde uyarılar oluşturabilirsiniz.
Uyarı mantığını yapılandırın. Tüm işlem hatları ve ilgili etkinlikler için seçili ölçüm için bir uyarı oluşturabilirsiniz. Ayrıca belirli bir etkinlik türünü, etkinlik adını, işlem hattı adını veya hata türünü de seçebilirsiniz.
Uyarı için e-posta, SMS, anında iletme ve sesli bildirimleri yapılandırın. Uyarı bildirimleri için bir eylem grubu oluşturun veya mevcut bir eylem grubunu seçin.
Uyarı kuralını oluşturun.