Azure Veri Gezgini yönetim komutlarını çalıştırmak için Azure Data Factory komut etkinliğini kullanma

Azure Data Factory (ADF), verilerde etkinliklerin bir birleşimini gerçekleştirmenizi sağlayan bulut tabanlı bir veri tümleştirme hizmetidir. Veri taşımayı ve veri dönüştürmeyi düzenlemeye ve otomatikleştirmeye yönelik veri odaklı iş akışları oluşturmak için ADF'yi kullanın. Azure Data Factory'deki Azure Veri Gezgini Komutu etkinliği, ADF iş akışında Azure Veri Gezgini yönetim komutlarını çalıştırmanızı sağlar. Bu makalede, arama etkinliği ve Azure Veri Gezgini komut etkinliği içeren ForEach etkinliği ile işlem hattı oluşturmayı öğreneceksiniz.

Önkoşullar

• Azure aboneliği. Ücretsiz bir Azure hesabı oluşturun.
• Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
• Veri kaynağı.
• Bir veri fabrikası. Veri fabrikası oluşturma.

Yeni işlem hattı oluşturma

1. Yazar kalem aracını seçin.

2. Öğesini seçip + açılan listeden İşlem Hattı'nı seçerek yeni bir işlem hattı oluşturun.

   

Arama etkinliği oluşturma

Arama etkinliği, Azure Data Factory desteklenen herhangi bir veri kaynağından veri kümesi alabilir. Lookup etkinliğinin çıkışı forEach veya başka bir etkinlikte kullanılabilir.

1. Etkinlikler bölmesindeki Genel'in altında Arama etkinliğini seçin. Sağdaki ana tuvale sürükleyip bırakın.

   

2. Tuvalde artık oluşturduğunuz Arama etkinliği yer alır. İlgili parametreleri değiştirmek için tuvalin altındaki sekmeleri kullanın. Genel'de etkinliği yeniden adlandırın.

   

   İpucu

   İşlem hattı özelliklerini görüntülemek için boş tuval alanına tıklayın. İşlem hattını yeniden adlandırmak için Genel sekmesini kullanın. İşlem hattımızın adı pipeline-4-docs.

Arama etkinliğinde Azure Veri Gezgini veri kümesi oluşturma

1. Ayarlar'da önceden oluşturulmuş Azure Veri Gezgini Kaynak veri kümenizi seçin veya + Yeni'yi seçerek yeni bir veri kümesi oluşturun.

   

2. Yeni Veri Kümesi penceresinden Azure Veri Gezgini (Kusto) veri kümesini seçin. Yeni veri kümesini eklemek için Devam'ı seçin.

   

3. Yeni Azure Veri Gezgini veri kümesi parametreleri Ayarlar'da görünür. Parametreleri güncelleştirmek için Düzenle'yi seçin.

   

4. Ana tuvalde AzureDataExplorerTable yeni sekmesi açılır.

   • Genel'i seçin ve veri kümesi adını düzenleyin.
   • Veri kümesi özelliklerini düzenlemek için Bağlantı'ya tıklayın.
   • Açılan listeden Bağlı hizmeti seçin veya + Yeni'yi seçerek yeni bir bağlı hizmet oluşturun.

   

5. Yeni bir bağlı hizmet oluştururken Yeni Bağlı Hizmet (Azure Veri Gezgini) sayfası açılır:

   

   • Azure Veri Gezgini bağlı hizmeti için Ad'ı seçin. Gerekirse Açıklama ekleyin.
   • Tümleştirme çalışma zamanı aracılığıyla bağlan bölümünde, gerekirse geçerli ayarları değiştirin.
   • Hesap seçim yöntemi bölümünde iki yöntemden birini kullanarak kümenizi seçin:
     • Azure aboneliğinden radyo düğmesini seçin ve Azure abonelik hesabınızı seçin. Ardından Kümenizi seçin. Açılan listede yalnızca kullanıcıya ait kümelerin listelendiğini unutmayın.
     • Bunun yerine El ile gir radyo düğmesini seçin ve Uç Noktanızı (küme URL'si) girin.
   • Kiracıyı belirtin.
   • Hizmet sorumlusu kimliğini girin. Bu değer, Azure portalUygulama Kayıtlarına>Genel Bakış>Uygulama (istemci) Kimliği altında bulunabilir. Sorumlu, kullanılan komutun gerektirdiği izin düzeyine göre yeterli izinlere sahip olmalıdır.
   • Hizmet sorumlusu anahtarı düğmesini seçin ve Hizmet Sorumlusu Anahtarı girin.
   • Açılan menüden Veritabanınızı seçin. Alternatif olarak , Düzenle onay kutusunu seçin ve veritabanı adınızı girin.
   • Oluşturduğunuz bağlı hizmet bağlantısını test etmek için Bağlantıyı Test Et'i seçin. Kurulumunuza bağlanabiliyorsanız Bağlantı başarılı onay işareti görüntülenir.
   • Bağlı hizmet oluşturmayı tamamlamak için Son'u seçin.

6. Bağlı bir hizmet ayarladıktan sonra AzureDataExplorerTable>Bağlantısı'ndaTablo adı'nı ekleyin. Verilerin düzgün sunulduğundan emin olmak için Verileri önizle'yi seçin.

   Veri kümeniz artık hazır ve işlem hattınızı düzenlemeye devam edebilirsiniz.

Arama etkinliğinize sorgu ekleme

1. pipeline-4-docs>Ayarları'ndaSorgu metin kutusuna bir sorgu ekleyin, örneğin:

   ClusterQueries
   | where Database !in ("KustoMonitoringPersistentDatabase", "$systemdb")
   | summarize count() by Database
   

2. Sorgu zaman aşımını veya Kesme yok ve Yalnızca ilk satır özelliklerini gerektiği gibi değiştirin. Bu akışta, varsayılan Sorgu zaman aşımını saklar ve onay kutularının işaretini kaldırırız.

   

For-Each etkinliği oluşturma

For-Each etkinliği, bir koleksiyon üzerinde yineleme yapmak ve bir döngüde belirtilen etkinlikleri yürütmek için kullanılır.

1. Şimdi işlem hattına bir For-Each etkinliği ekleyebilirsiniz. Bu etkinlik, Arama etkinliğinden döndürülen verileri işler.

   • Etkinlikler bölmesindeki Yineleme & Koşullular'ın altında ForEach etkinliğini seçin ve tuvale sürükleyip bırakın.

   • Arama etkinliğinin çıkışıyla bunları bağlamak için tuvaldeki ForEach etkinliğinin girişi arasına bir çizgi çizin.

     

2. Tuvalde ForEach etkinliğini seçin. Aşağıdaki Ayarlar sekmesinde:

   • Arama sonuçlarının sıralı işlenmesi için Sıralı onay kutusunu işaretleyin veya paralel işleme oluşturmak için işaretsiz bırakın.

   • Toplu iş sayısını ayarlayın.

   • Öğeler'de çıkış değerine şu başvuruyu sağlayın: @activity('Lookup1').output.value

     

ForEach etkinliği içinde Azure Veri Gezgini Komutu etkinliği oluşturma

1. ForEach içindeki etkinlikleri belirtmek üzere yeni bir tuvalde açmak için tuvaldeki ForEach etkinliğine çift tıklayın.

2. Etkinlikler bölmesindeki Azure Veri Gezgini'nin altında Azure Veri Gezgini Komutu etkinliğini seçin ve tuvale sürükleyip bırakın.

   

3. Bağlantı sekmesinde, daha önce oluşturulan Bağlı Hizmet'i seçin.

   

4. Komut sekmesinde aşağıdaki komutu sağlayın:

   .export
   async compressed
   into csv h"http://<storageName>.blob.core.windows.net/data/ClusterQueries;<storageKey>" with (
   sizeLimit=100000,
   namePrefix=export
   )
   <| ClusterQueries | where Database == "@{item().Database}"
   

   Komut, Azure Veri Gezgini'a belirli bir sorgunun sonuçlarını sıkıştırılmış biçimde bir blob depolama alanına aktarma talimatı verir. Zaman uyumsuz olarak çalışır (zaman uyumsuz değiştiriciyi kullanarak). Sorgu, Arama etkinliği sonucundaki her satırın veritabanı sütununu ele alır. Komut zaman aşımı değiştirilmeden bırakılabilir.

   

   Not

   Komut etkinliğinin sınırları şunlardır:

   • Boyut sınırı: 1 MB yanıt boyutu
   • Süre sınırı: 20 dakika (varsayılan), 1 saat (maksimum).
   • Gerekirse, sonuç boyutunu/süresini azaltmak için AdminThenQuery kullanarak sonuba bir sorgu ekleyebilirsiniz.

5. İşlem hattı artık hazır. İşlem hattı adına tıklayarak ana işlem hattı görünümüne geri dönebilirsiniz.

   

6. İşlem hattını yayımlamadan önce Hata Ayıkla'ya tıklayın. İşlem hattı ilerleme durumu Çıkış sekmesinden izlenebilir.

   

7. İşlem hattını çalıştırmak için Tümünü Yayımla'yı ve ardından Tetikleyici ekle'yi kullanabilirsiniz.

Yönetim komutu çıkışları

Komut etkinliği çıkışının yapısı aşağıda ayrıntılı olarak yer almaktadır. Bu çıkış, işlem hattındaki bir sonraki etkinlik tarafından kullanılabilir.

Zaman uyumsuz bir yönetim komutunun döndürülen değeri

Zaman uyumsuz bir yönetim komutunda, döndürülen değerin yapısı Arama etkinliği sonucunun yapısına benzer. alanı, count döndürülen kayıtların sayısını gösterir. Sabit dizi alanı value bir kayıt listesi içerir.

{ 
    "count": "2", 
    "value": [ 
        { 
            "ExtentId": "1b9977fe-e6cf-4cda-84f3-4a7c61f28ecd", 
            "ExtentSize": 1214.0, 
            "CompressedSize": 520.0 
        }, 
        { 
            "ExtentId": "b897f5a3-62b0-441d-95ca-bf7a88952974", 
            "ExtentSize": 1114.0, 
            "CompressedSize": 504.0 
        } 
    ] 
} 

Zaman uyumsuz yönetim komutunun döndürülen değeri

Zaman uyumsuz yönetim komutunda etkinlik, zaman uyumsuz işlem tamamlanana veya zaman aşımına uğradıysa arka planda işlemler tablosunu yoklar. Bu nedenle, döndürülen değer verilen OperationId özelliğinin .show operations OperationId sonucunu içerir. İşlemin başarıyla tamamlanıp tamamlanmadığını doğrulamak için Durum ve Durum özelliklerinin değerlerini denetleyin.

{ 
    "count": "1", 
    "value": [ 
        { 
            "OperationId": "910deeae-dd79-44a4-a3a2-087a90d4bb42", 
            "Operation": "TableSetOrAppend", 
            "NodeId": "", 
            "StartedOn": "2019-06-23T10:12:44.0371419Z", 
            "LastUpdatedOn": "2019-06-23T10:12:46.7871468Z", 
            "Duration": "00:00:02.7500049", 
            "State": "Completed", 
            "Status": "", 
            "RootActivityId": "f7c5aaaf-197b-4593-8ba0-e864c94c3c6f", 
            "ShouldRetry": false, 
            "Database": "MyDatabase", 
            "Principal": "<some principal id>", 
            "User": "<some User id>" 
        } 
    ] 
}

İlgili içerik

• Azure Data Factory kullanarak Azure Veri Gezgini'a veri kopyalama.
• Veritabanından Azure Veri Gezgini'a toplu kopyalama için Azure Data Factory şablonu.