Použití aktivity příkazů služby Azure Data Factory ke spuštění příkazů pro správu Azure Data Exploreru

Azure Data Factory (ADF) je cloudová služba pro integraci dat, kterou můžete použít k provádění kombinace aktivit s daty. Pomocí ADF můžete vytvářet pracovní postupy řízené daty pro orchestraci a automatizaci přesunu a transformace dat. Aktivita příkazu Azure Data Exploreru ve službě Azure Data Factory umožňuje spouštět příkazy pro správu Azure Data Exploreru v rámci pracovního postupu ADF. V tomto článku se dozvíte, jak vytvořit kanál s vyhledávací aktivitou a aktivitou ForEach obsahující aktivitu příkazů Azure Data Exploreru.

Požadavky

• Předplatné Azure. Vytvořte bezplatný účet Azure.
• Cluster a databáze Azure Data Exploreru. Vytvořte cluster a databázi.
• Zdroj dat.
• Datová továrna. Vytvořte datovou továrnu.

Vytvoření nového kanálu

1. Vyberte nástroj Tužka Autor.

2. Vytvořte nový pipeline výběrem + a poté v rozevíracím seznamu vyberte Pipeline.

   

Vytvoření aktivity Vyhledávání

Vyhledávací aktivita může načíst datovou sadu z libovolného zdroje dat podporovaného službou Azure Data Factory. Výstup aktivity Vyhledávání můžete použít v forEachu nebo jiné aktivitě.

1. V podokně Aktivity v části Obecné vyberte aktivitu Vyhledávání, Přetáhněte ho na hlavní plátno vpravo.

   

2. Plátno teď obsahuje aktivitu vyhledávání, kterou jste vytvořili. Pomocí karet pod plátnem můžete změnit všechny relevantní parametry. Obecně přejmenujte aktivitu.

   

   Návod

   Vyberte prázdnou oblast plátna pro zobrazení vlastností řetězce. K přejmenování kanálu použijte kartu Obecné. Potrubí se jmenuje pipeline-4-docs.

Vytvoření datové sady Azure Data Exploreru ve vyhledávací aktivitě

1. V Nastavení vyberte předem vytvořenou zdrojovou datovou sadu Azure Data Exploreru nebo vyberte + Nový a vytvořte novou datovou sadu.

   

2. V okně Nová datová sada vyberte datovou sadu Azure Data Exploreru (Kusto). Vyberte Pokračovat a přidejte novou datovou sadu.

   

3. Nové parametry datové sady Azure Data Exploreru jsou viditelné v Nastavení. Pokud chcete parametry aktualizovat, vyberte Upravit.

   

4. Nová karta AzureDataExplorerTable se otevře na hlavním plátně.

   • Vyberte Obecné a upravte název datové sady.
   • Vyberte Připojení a upravte vlastnosti datové sady.
   • V rozevíracím seznamu vyberte propojenou službu nebo vyberte + Nový a vytvořte novou propojenou službu.

   

5. Při vytváření nové propojené služby se otevře stránka Nová propojená služba (Azure Data Explorer ):

   

   • Vyberte Název pro propojenou službu Azure Data Exploreru. V případě potřeby přidejte popis .
   • V modulu Connect přes prostředí Integration Runtime změňte aktuální nastavení, pokud je to potřeba.
   • V Metodě výběru účtu vyberte cluster pomocí jedné ze dvou metod:
     • Vyberte přepínač Z předplatného Azure a zvolte své předplatné Azure. Pak vyberte svůj cluster. Rozevírací seznam obsahuje jenom clustery, které patří vám.
     • Místo toho zvolte přepínač Zadat ručně a zadejte svůj Endpoint (adresa URL clusteru).
   • Zadejte tenanta.
   • Zadejte ID služby. Tuto hodnotu najdete na portálu Azure v části Registrace aplikací>Přehled>ID aplikace (klienta). Hlavní uživatel musí mít odpovídající oprávnění podle úrovně oprávnění požadované použitým příkazem.
   • Vyberte tlačítko Klíč hlavního objektu služby a zadejte Klíč hlavního objektu služby.
   • Vyberte svou databázi z rozevírací nabídky. Případně zaškrtněte políčko Upravit a zadejte název databáze.
   • Vyberte Test připojení k otestování propojené služby, kterou jste vytvořili. Pokud se můžete připojit k nastavení, zobrazí se zelené zaškrtnutí připojení úspěšné .
   • Výběrem možnosti Dokončit dokončíte vytváření propojené služby.

6. Po nastavení propojené služby přidejte v AzureDataExplorerTable>Connection název tabulky . Vyberte Náhled dat, abyste měli jistotu, že se data správně zobrazují.

   Datová sada je připravena a můžete pokračovat v úpravách svého pipeline.

Přidání dotazu do aktivity vyhledávání

1. Vnastavení> přidejte dotaz do textového pole Dotaz, například:

   ClusterQueries
   | where Database !in ("KustoMonitoringPersistentDatabase", "$systemdb")
   | summarize count() by Database
   

2. Podle potřeby změňte časový limit dotazu, žádné zkracování nebo pouze první řádek. V tomto toku ponechte výchozí časový limit dotazu a zrušte zaškrtnutí políček.

   

Vytvoření aktivity For-Each

Pomocí aktivity For-Each iterujte kolekci a spusťte zadané aktivity ve smyčce.

1. Přidejte do potrubí aktivitu For-Each. Tato aktivita zpracovává data vrácená z aktivity Vyhledávání.

   • V podokně Aktivity v části Iterace a podmíněné položky vyberte aktivitu ForEach . Přetáhněte ho na plátno.

   • Nakreslete čáru mezi výstupem aktivity Vyhledávání a vstupem aktivity ForEach na plátně, abyste je připojili.

     

2. Na plátně vyberte aktivitu ForEach. Na kartě Nastavení :

   • Zaškrtněte políčko Sekvenční pro postupné zpracování výsledků vyhledávání nebo ponechte nezaškrtnuté políčko pro vytvoření paralelního zpracování.

   • Nastavte počet dávek.

   • V položkách zadejte následující odkaz na výstupní hodnotu: @activity('Lookup1').output.value

     

Vytvoření aktivity příkazu Azure Data Exploreru v rámci aktivity ForEach

1. Poklikáním na aktivitu ForEach na plátně ji otevřete na novém plátně. Zadejte aktivity v rámci forEach.

2. V podokně Aktivity v části Azure Data Explorer vyberte aktivitu příkazů Azure Data Exploreru a přetáhněte ji na plátno.

   

3. Na kartě Připojení vyberte stejnou propojenou službu, kterou jste předtím vytvořili.

   

4. Na kartě Příkaz zadejte následující příkaz:

   .export
   async compressed
   into csv h"http://<storageName>.blob.core.windows.net/data/ClusterQueries;<storageKey>" with (
   sizeLimit=100000,
   namePrefix=export
   )
   <| ClusterQueries | where Database == "@{item().Database}"
   

   Příkaz dává Azure Data Exploreru pokyn k exportu výsledků daného dotazu do úložiště objektů blob v komprimovaném formátu. Spouští se asynchronně (pomocí modifikátoru async). Dotaz se zabývá databázovým sloupcem každého řádku ve výsledku aktivity Vyhledávání. Časový limit příkazu můžete ponechat beze změny.

   

   Poznámka:

   Aktivita příkazu má následující omezení:

   • Limit velikosti: Velikost odpovědi 1 MB
   • Časový limit: 20 minut (výchozí), 1 hodina (maximum).
   • V případě potřeby můžete k výsledku připojit dotaz pomocí AdminThenQuery a zmenšit tak výslednou velikost nebo čas.

5. Teď je kanál připravený. Výběrem názvu kanálu se můžete vrátit do hlavního zobrazení kanálu.

   

6. Před publikováním pipeline vyberte Ladit. Průběh kanálu můžete monitorovat na kartě Výstup .

   

7. Vyberte Publikovat vše a pak přidat „trigger“ ke spuštění kanálu.

Výstupy příkazů pro správu

Následující část popisuje strukturu výstupu aktivity příkazu. Tento výstup může použít další aktivita v potrubí.

Vrácená hodnota příkazu pro správu, který není asynchronní

V nesynchronní správě příkazu je struktura vrácené hodnoty podobná struktuře výsledku aktivity Vyhledávání. Pole count zobrazuje počet vrácených záznamů. Pevné pole value obsahuje seznam záznamů.

{ 
    "count": "2", 
    "value": [ 
        { 
            "ExtentId": "1b9977fe-e6cf-4cda-84f3-4a7c61f28ecd", 
            "ExtentSize": 1214.0, 
            "CompressedSize": 520.0 
        }, 
        { 
            "ExtentId": "b897f5a3-62b0-441d-95ca-bf7a88952974", 
            "ExtentSize": 1114.0, 
            "CompressedSize": 504.0 
        } 
    ] 
} 

Vrácená hodnota příkazu pro asynchronní správu

V asynchronním příkazu správy se aktivita dotazuje na tabulku operací na pozadí, dokud se asynchronní operace nedokončí nebo vyprší časový limit. Vrácená hodnota proto obsahuje výsledek .show operations OperationId pro danou vlastnost OperationId . Zkontrolujte hodnoty vlastností Stav a Stav a ověřte úspěšné dokončení operace.

{ 
    "count": "1", 
    "value": [ 
        { 
            "OperationId": "910deeae-dd79-44a4-a3a2-087a90d4bb42", 
            "Operation": "TableSetOrAppend", 
            "NodeId": "", 
            "StartedOn": "2019-06-23T10:12:44.0371419Z", 
            "LastUpdatedOn": "2019-06-23T10:12:46.7871468Z", 
            "Duration": "00:00:02.7500049", 
            "State": "Completed", 
            "Status": "", 
            "RootActivityId": "f7c5aaaf-197b-4593-8ba0-e864c94c3c6f", 
            "ShouldRetry": false, 
            "Database": "MyDatabase", 
            "Principal": "<some principal id>", 
            "User": "<some User id>" 
        } 
    ] 
}

Související obsah

• Kopírování dat do Azure Data Exploreru pomocí Služby Azure Data Factory
• Šablona Azure Data Factory pro hromadné kopírování z databáze do Azure Data Exploreru