Azure DevOps-uppgift för Azure Data Explorer

Artikel
10/13/2023

Azure DevOps Services tillhandahåller samarbetsverktyg för utveckling, till exempel högpresterande pipelines, kostnadsfria privata Git-lagringsplatser, konfigurerbara Kanban-tavlor och omfattande automatiserade och kontinuerliga testningsfunktioner. Azure Pipelines är en Azure DevOps-funktion som gör att du kan hantera CI/CD för att distribuera din kod med högpresterande pipelines som fungerar med valfritt språk, plattform och moln. Azure Data Explorer – Pipeline Tools är uppgiften Azure Pipelines som gör att du kan skapa versionspipelines och distribuera dina databasändringar till dina Azure Data Explorer-databaser. Den är tillgänglig kostnadsfritt på Visual Studio Marketplace. Det här tillägget innehåller tre grundläggande uppgifter:

Azure Data Explorer-kommando – Kör Admin-kommandon mot ett Azure Data Explorer-kluster
Azure Data Explorer Query – Kör frågor mot ett Azure Data Explorer-kluster och parsa resultatet
Azure Data Explorer Query Server Gate – Agentlös uppgift till Gate-versioner beroende på frågeresultatet

Det här dokumentet beskriver ett enkelt exempel på användningen av uppgiften Azure Data Explorer – Pipeline Tools för att distribuera schemaändringarna till databasen. Fullständiga CI/CD-pipelines finns i Azure DevOps-dokumentationen.

Förutsättningar

En Azure-prenumeration. Skapa ett kostnadsfritt Azure-konto.
Ett Azure Data Explorer-kluster och en databas. Skapa ett kluster och en databas.
Konfiguration av Azure Data Explorer-kluster:
- Skapa Microsoft Entra app genom att etablera ett Microsoft Entra program.
- Bevilja åtkomst till din Microsoft Entra-app i din Azure Data Explorer-databas genom att hantera Behörigheter för Azure Data Explorer-databas.
Azure DevOps-konfiguration:
Tilläggsinstallation:
- Om du äger Azure DevOps-instansen installerar du tillägget från Marketplace.
- Om du INTE är Azure DevOps-instansägare kontaktar du ägaren och ber dem att installera den.

Förbereda ditt innehåll för lansering

Det finns tre sätt att köra administratörskommandon mot kluster i en uppgift.

Alternativ för kommandokällkontroll.

Använd ett sökmönster för att hämta flera kommandofiler från en lokal agentmapp (Skapa källor eller Versionsartefakter)
Skriv kommandon infogade
Ange en filsökväg för att hämta kommandofiler direkt från git-källkontrollen (rekommenderas)

Skapa följande exempelmappar (Functions, Policies, Tables) på din Git-lagringsplats. Kopiera filerna härifrån till respektive mappar enligt nedan och checka in ändringarna. Exempelfilerna tillhandahålls för att köra följande arbetsflöde.

Tips

När du skapar ett eget arbetsflöde rekommenderar vi att du gör din kod idempotent. Använd till exempel .create-merge table i stället för .create tableoch använd .create-or-alter funktionen i stället för .create funktionen.

Skapa en versionspipeline

Logga in på din Azure DevOps-organisation.
Välj PipelinesReleases (Pipelines-versioner>) på menyn till vänster och välj Ny pipeline.
Fönstret Ny versionspipeline öppnas. På fliken Pipelines går du till fönstret Välj en mall och väljer Tomt jobb.
Välj knappen Steg . I fönstret Fas lägger du till fasnamnet. Välj Spara för att spara din pipeline.
Välj knappen Lägg till en artefakt . I fönstret Lägg till en artefakt väljer du den lagringsplats där koden finns, fyller i relevant information och klickar på Lägg till. Välj Spara för att spara din pipeline.
På fliken Variabler väljer du + Lägg till för att skapa en variabel för Slutpunkts-URL som ska användas i aktiviteten. Skriv namn och värde för slutpunkten. Välj Spara för att spara din pipeline.

För att hitta din Endpoint_URL innehåller översiktssidan för ditt Azure Data Explorer-kluster i Azure Portal URI:n för Azure Data Explorer-klustret. Konstruera URI:n i följande format https://<Azure Data Explorer cluster URI>?DatabaseName=<DBName>. Till exempel https://kustodocs.westus.kusto.windows.net?DatabaseName=SampleDB

Skapa uppgifter för att distribuera mapparna

På fliken Pipeline klickar du på 1 jobb, 0 aktivitet för att lägga till aktiviteter.

Upprepa följande steg för att skapa kommandoaktiviteter för att distribuera filer från mapparna Tabeller, Funktioner och Principer :

Lägg till administratörskommandon.

På fliken Uppgifter väljer du + efter Agentjobb och söker efter Azure Data Explorer.
Under Kör Azure Data Explorer-kommando väljer du Lägg till.

Välj Kusto-kommandot och uppdatera uppgiften med följande information:

Visningsnamn: Namnet på aktiviteten. Där är till exempel Deploy <FOLDER><FOLDER> namnet på mappen för den distributionsuppgift som du skapar.
Filsökväg: För varje mapp anger du sökvägen som */<FOLDER>/*.csl var <FOLDER> är den relevanta mappen för uppgiften.
Slutpunkts-URL: Ange variabeln EndPoint URL som skapades i föregående steg.
Använd tjänstslutpunkt: Välj det här alternativet.

Tjänstslutpunkt: Välj en befintlig tjänstslutpunkt eller skapa en ny (+ Ny) med följande information i fönstret Lägg till Azure Data Explorer-tjänstanslutning:

Inställning	Föreslaget värde
Anslutningsnamn	Ange ett namn för att identifiera den här tjänstslutpunkten
Kluster-URL	Du hittar värdet i översiktsavsnittet för ditt Azure Data Explorer-kluster i Azure Portal
ID för tjänstens huvudnamn	Ange Microsoft Entra app-ID (skapas som krav)
Appnyckel för tjänstens huvudnamn	Ange Microsoft Entra-appnyckeln (skapad som en förutsättning)
Microsoft Entra klientorganisations-ID	Ange din Microsoft Entra klientorganisation (till exempel microsoft.com eller contoso.com)

Markera kryssrutan Tillåt alla pipelines att använda den här anslutningen och välj sedan OK.

Lägg till tjänstanslutning.

Välj Spara och kontrollera sedan att det finns tre uppgifter på fliken Uppgifter : Distribuera tabeller, Distribuera funktioner och Distribuera principer.

Skapa en frågeaktivitet

Om det behövs skapar du en uppgift för att köra en fråga mot klustret. Köra frågor i en bygg- eller versionspipeline kan användas för att verifiera en datauppsättning och ha ett steg som lyckas eller misslyckas baserat på frågeresultaten. Uppgifternas framgångsvillkor kan baseras på ett tröskelvärde för antal rader eller ett enda värde beroende på vad frågan returnerar.

På fliken Uppgifter väljer du + efter agentjobb och söker efter Azure Data Explorer.
Under Kör Azure Data Explorer Query väljer du Lägg till.
Välj Kusto Query och uppdatera uppgiften med följande information:
- Visningsnamn: Namnet på aktiviteten. Till exempel Frågekluster.
- Typ: Välj Infogad.
- Fråga: Ange den fråga som du vill köra.
- Slutpunkts-URL: Ange variabeln som EndPoint URL skapades tidigare.
- Använd tjänstslutpunkt: Välj det här alternativet.
- Tjänstslutpunkt: Välj en tjänstslutpunkt.
Under Aktivitetsresultat väljer du uppgiftens framgångsvillkor baserat på resultatet av din fråga enligt följande:
- Om frågan returnerar rader väljer du Antal rader och anger de villkor som du behöver.
- Om frågan returnerar ett värde väljer du Enskilt värde och anger det förväntade resultatet.

Skapa en Query Server Gate-uppgift

Om det behövs skapar du en uppgift för att köra en fråga mot ett kluster och gate den versionsstatus som väntar på antal frågeresultat. Aktiviteten Server Query Gate är ett agentlöst jobb, vilket innebär att frågan körs direkt på Azure DevOps Server.

På fliken Uppgifter väljer du + efter Agentlöst jobb och söker efter Azure Data Explorer.
Under Kör Azure Data Explorer Query Server Gate väljer du Lägg till.
Välj Kusto Query Server Gate och välj sedan Server Gate Test.
Konfigurera uppgiften med följande information:
- Visningsnamn: Namn på grinden.
- Tjänstslutpunkt: Välj en tjänstslutpunkt.
- Databasnamn: Ange databasnamnet.
- Typ: Välj infogad fråga.
- Fråga: Ange den fråga som du vill köra.
- Maximalt tröskelvärde: Ange det maximala radantalet för frågans framgångsvillkor.

Anteckning

Du bör se resultat som följande när du kör versionen.

Frågegrindsaktivitet.

Kör versionen

Välj + Släpp>Skapa version för att skapa en version.
På fliken Loggar kontrollerar du att distributionsstatusen har lyckats.

Nu har du skapat en versionspipeline för distribution till förproduktion.

Yaml Pipeline-konfiguration

Uppgifterna kan konfigureras både via Azure DevOps Web UI (som visas ovan) och via Yaml-kod i pipelineschemat

Admin kommandoexempelanvändning

steps:
- task: Azure-Kusto.PublishToADX.PublishToADX.PublishToADX@1
  displayName: '<Task Name>'
  inputs:
    script: '<inline Script>'
    waitForOperation: true
    kustoUrls: '$(CONNECTIONSTRING):443?DatabaseName=""'
    customAuth: true
    connectedServiceName: '<Service Endpoint Name>'
    serialDelay: 1000
  continueOnError: true
  condition: ne(variables['ProductVersion'], '') ## Custom condition Sample

Frågeexempelanvändning

steps:
- task: Azure-Kusto.PublishToADX.ADXQuery.ADXQuery@1
  displayName: '<Task Display Name>'
  inputs:
    script: |  
     let badVer=
     RunnersLogs | where Timestamp > ago(30m)
         | where EventText startswith "$$runnerresult" and Source has "ShowDiagnostics"
         | extend State = extract(@"Status='(.*)', Duration.*",1, EventText)
         | where State == "Unhealthy"
         | extend Reason = extract(@'"NotHealthyReason":"(.*)","IsAttentionRequired.*',1, EventText)
         | extend Cluster = extract(@'Kusto.(Engine|DM|CM|ArmResourceProvider).(.*).ShowDiagnostics',2, Source)
         | where Reason != "Merge success rate past 60min is < 90%"
         | where Reason != "Ingestion success rate past 5min is < 90%"
         | where Reason != "Ingestion success rate past 5min is < 90%, Merge success rate past 60min is < 90%"
         | where isnotempty(Cluster)
         | summarize max(Timestamp) by Cluster,Reason 
         | order by  max_Timestamp desc      
         | where Reason startswith "Differe"
         | summarize by Cluster
     ;   
      DimClusters | where Cluster in (badVer)
     | summarize by Cluster , CmConnectionString , ServiceConnectionString ,DeploymentRing
     | extend ServiceConnectionString = strcat("#connect ", ServiceConnectionString)
     | where DeploymentRing == "$(DeploymentRing)"
    kustoUrls: 'https://<ClusterName>.kusto.windows.net?DatabaseName=<DataBaneName>'
    customAuth: true
    connectedServiceName: '<Service Endpoint Name>'
  continueOnError: true

Dela via