Läs på engelska

Dela via


Visualisera data från Azure Data Explorer i Kibana med K2Bridge-anslutningsprogrammet med öppen källkod

Med K2Bridge (Kibana-Kusto Bridge) kan du använda Azure Data Explorer som datakälla och visualisera dessa data i Kibana. K2Bridge är ett containerbaserat program med öppen källkod. Den fungerar som en proxy mellan en Kibana-instans och ett Azure Data Explorer-kluster. I den här artikeln beskrivs hur du använder K2Bridge för att skapa anslutningen.

K2Bridge översätter Kibana-frågor till Kusto-frågespråk (KQL) och skickar Azure Data Explorer-resultaten tillbaka till Kibana.

Kibana-anslutning med Azure Data Explorer via K2Bridge.

K2Bridge stöder flikarna Identifiera, Visualisera och Instrumentpanel i Kibana.

På fliken Identifiera kan du:

  • Sök efter och utforska data.
  • Filtrera resultat.
  • Lägg till eller ta bort fält i resultatrutnätet.
  • Visa postinnehåll.
  • Spara och dela sökningar.

Med fliken Visualisera kan du:

  • Skapa visualiseringar som: stapeldiagram, cirkeldiagram, datatabeller, termiska kartor med mera.
  • Spara en visualisering

På fliken Instrumentpanel kan du:

  • Skapa paneler med hjälp av nya eller sparade visualiseringar.
  • Spara en instrumentpanel.

Följande bild visar en Kibana-instans som är bunden till Azure Data Explorer av K2Bridge. Användarupplevelsen i Kibana är oförändrad.

Kibana-sidan är bunden till Azure Data Explorer.

Förutsättningar

Innan du kan visualisera data från Azure Data Explorer i Kibana måste du ha följande redo:

Om du väljer att använda ett Microsoft Entra tjänstens huvudnamn måste du skapa ett Microsoft Entra tjänstens huvudnamn. För installationen behöver du ClientID och en hemlighet. Vi rekommenderar ett huvudnamn för tjänsten med visningsbehörighet och avråder dig från att använda behörigheter på högre nivå. Information om hur du tilldelar behörigheter finns i Hantera databasbehörigheter i Azure Portal eller använda hanteringskommandon för att hantera databassäkerhetsroller.

Om du väljer att använda en systemtilldelad identitet måste du hämta agentpoolens hanterade identitet ClientID (finns i den genererade resursgruppen "[MC_xxxx]"

Kör K2Bridge på Azure Kubernetes Service (AKS)

Som standard refererar Helm-diagrammet i K2Bridge till en offentligt tillgänglig avbildning som finns i Microsoft Container Registry (MCR). MCR kräver inga autentiseringsuppgifter.

  1. Ladda ned nödvändiga Helm-diagram.

  2. Lägg till Elasticsearch-beroendet till Helm. Beroendet krävs eftersom K2Bridge använder en liten intern Elasticsearch-instans. Instanstjänsternas metadatarelaterade begäranden, till exempel indexmönsterfrågor och sparade frågor. Den här interna instansen sparar inga affärsdata. Du kan betrakta instansen som en implementeringsinformation.

    1. Kör följande kommandon för att lägga till Elasticsearch-beroendet till Helm:

      helm repo add elastic https://helm.elastic.co
      helm repo update
      
    2. Så här hämtar du K2Bridge-diagrammet från diagramkatalogen på GitHub-lagringsplatsen:

      1. Klona lagringsplatsen från GitHub.

      2. Gå till katalogen för K2Bridges-rotlagringsplatsen.

      3. Kör följande kommando:

        helm dependency update charts/k2bridge
        
  3. Distribuera K2Bridge.

    1. Ange variablerna till rätt värden för din miljö.

      ADX_URL=[YOUR_ADX_CLUSTER_URL] #For example, https://mycluster.westeurope.kusto.windows.net
      ADX_DATABASE=[YOUR_ADX_DATABASE_NAME]
      ADX_CLIENT_ID=[SERVICE_PRINCIPAL_CLIENT_ID]
      ADX_CLIENT_SECRET=[SERVICE_PRINCIPAL_CLIENT_SECRET]
      ADX_TENANT_ID=[SERVICE_PRINCIPAL_TENANT_ID]
      

      Anteckning

      När du använder en hanterad identitet är det ADX_CLIENT_ID värdet klient-ID för den hanterade identiteten, som finns i resursgruppen "[MC_xxxx]". Mer information finns i MC_ resursgrupp. ADX_SECRET_ID krävs bara om du använder ett Microsoft Entra tjänstens huvudnamn.

    2. Du kan också aktivera Application Insights-telemetri. Om du använder Application Insights för första gången skapar du en Application Insights-resurs. Kopiera instrumentationsnyckeln till en variabel.

      APPLICATION_INSIGHTS_KEY=[INSTRUMENTATION_KEY]
      COLLECT_TELEMETRY=true
      
    3. Installera K2Bridge-diagrammet. Visualiseringar och instrumentpaneler stöds endast med Kibana 7.10-versionen. De senaste avbildningstaggarna är: 6.8_latest och 7.16_latest, som stöder Kibana 6.8 respektive Kibana 7.10. Bilden av "7.16_latest" stöder Kibana OSS 7.10.2 och dess interna Elasticsearch-instans är 7.16.2.

      Om ett huvudnamn för Microsoft Entra-tjänsten användes:

      helm install k2bridge charts/k2bridge -n k2bridge --set settings.adxClusterUrl="$ADX_URL" --set settings.adxDefaultDatabaseName="$ADX_DATABASE" --set settings.aadClientId="$ADX_CLIENT_ID" --set settings.aadClientSecret="$ADX_CLIENT_SECRET" --set settings.aadTenantId="$ADX_TENANT_ID" [--set image.tag=6.8_latest/7.16_latest] 
      [--set image.repository=$REPOSITORY_NAME/$CONTAINER_NAME] 
      [--set privateRegistry="$IMAGE_PULL_SECRET_NAME"] [--set settings.collectTelemetry=$COLLECT_TELEMETRY]
      

      Eller om hanterad identitet användes:

      helm install k2bridge charts/k2bridge -n k2bridge --set settings.adxClusterUrl="$ADX_URL" --set settings.adxDefaultDatabaseName="$ADX_DATABASE" --set       settings.aadClientId="$ADX_CLIENT_ID" --set settings.useManagedIdentity=true --set settings.aadTenantId="$ADX_TENANT_ID" [--set image.tag=7.16_latest] [--set  settings.collectTelemetry=$COLLECT_TELEMETRY]
      

      I Konfiguration hittar du den fullständiga uppsättningen konfigurationsalternativ.

    4. Föregående kommandos utdata föreslår nästa Helm-kommando för att distribuera Kibana. Du kan också köra det här kommandot:

      helm install kibana elastic/kibana -n k2bridge --set image=docker.elastic.co/kibana/kibana-oss --set imageTag=7.10.2 --set elasticsearchHosts=http://k2bridge:8080
      
    5. Använd portvidarebefordring för att få åtkomst till Kibana på localhost.

      kubectl port-forward service/kibana-kibana 5601 --namespace k2bridge
      
    6. Anslut till Kibana genom att gå till http://127.0.0.1:5601.

    7. Exponera Kibana för användare. Det finns flera metoder för att göra det. Vilken metod du använder beror till stor del på ditt användningsfall.

      Du kan till exempel exponera tjänsten som en Load Balancer tjänst. Det gör du genom att lägga till parametern --set service.type=LoadBalancer i det tidigare Kibana Helm-installationskommandot.

      Kör sedan det här kommandot:

      kubectl get service -w -n k2bridge
      

      Resultatet bör se ut så här:

      NAME            TYPE           CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE
      kibana-kibana   LoadBalancer   xx.xx.xx.xx    <pending>     5601:30128/TCP   4m24s
      

      Du kan sedan använda det genererade EXTERNAL-IP-värdet som visas. Använd den för att komma åt Kibana genom att öppna en webbläsare och gå till <EXTERNAL-IP>:5601.

  4. Konfigurera indexmönster för att komma åt dina data.

    I en ny Kibana-instans:

    1. Öppna Kibana.
    2. Bläddra till Hantering.
    3. Välj Indexmönster.
    4. Skapa ett indexmönster. Indexets namn måste exakt matcha tabellnamnet eller funktionsnamnet utan en asterisk (*). Du kan kopiera relevant rad från listan.

Anteckning

Om du vill köra K2Bridge på andra Kubernetes-leverantörer ändrar du värdet Elasticsearch storageClassName i values.yaml så att det matchar det som föreslås av providern.

Identifiera data

När Azure Data Explorer har konfigurerats som en datakälla för Kibana kan du använda Kibana för att utforska data.

Skärmbild av fliken Identifiera i Kibana.

  1. I Kibana väljer du fliken Identifiera .

  2. I listan med indexmönster väljer du ett indexmönster som definierar den datakälla som ska utforskas. Här är indexmönstret en Azure Data Explorer-tabell.

    Skärmbild av datakällans mönsterlista.

  3. Om dina data har ett tidsfilterfält kan du ange tidsintervallet. Välj ett tidsfilter längst upp till höger på sidan Identifiera . Som standard visar sidan data för de senaste 15 minuterna.

    Skärmbild av att välja ett tidsfilter.

  4. Resultattabellen visar de första 500 posterna. Du kan expandera ett dokument för att undersöka fältdata i antingen JSON- eller tabellformat.

    Skärmbild av en expanderad post på fliken Identifiera.

  5. Du kan lägga till specifika kolumner i resultattabellen genom att välja lägg till bredvid fältnamnet. Som standard innehåller resultattabellen kolumnen _source och en tidskolumn om tidsfältet finns.

    Skärmbild av att lägga till kolumner.

  6. I frågefältet kan du söka efter data genom att:

    • Ange en sökterm.
    • Använda Lucene-frågesyntaxen. Exempel:
      • Sök efter "fel" för att hitta alla poster som innehåller det här värdet.
      • Sök efter "status: 200" för att hämta alla poster med statusvärdet 200.
    • Använda de logiska operatorerna AND, OR och NOT.
    • Använd jokertecken för asterisk (*) och frågetecken (?). Frågan "destination_city: L*" matchar till exempel poster där värdet för målort börjar med "L" eller "l". (K2Bridge är inte skiftlägeskänsligt.)

    Skärmbild av frågor som körs.

Anteckning

Endast kibanas Lucene-frågesyntax stöds. Använd inte KQL-alternativet, som står för Kibana Query Language.

Tips

I Söka hittar du fler sökregler och logik.

  1. Om du vill filtrera sökresultaten använder du fältlistan Tillgänglig . Fältlistan är den plats där du kan se:

    • De fem översta värdena för fältet.
    • Antalet poster som innehåller fältet.
    • Procentandelen poster som innehåller varje värde.

    Tips

    Använd förstoringsglaset för att hitta alla poster som har ett visst värde.

    Skärmbild av en fältlista med förstoringsglaset markerat.

    Du kan också använda förstoringsglaset för att filtrera resultat och se resultatets tabellformatvy för varje post i resultattabellen.

    Skärmbild av en tabelllista med förstoringsglaset markerat.

  2. Välj Spara ellerDela för att behålla sökningen.

    Skärmbild av hur du sparar en sökning i Kibana.

Visualisera data

Använd Kibana-visualiseringar för att få en överblick över Azure Data Explorer data.

Skapa en visualisering från fliken Identifiera

  1. Om du vill skapa en lodrät stapelvisualisering går du till fliken Identifiera och letar upp sidofältet Tillgängliga fält .

    Skärmbild av att välja ett fält i de tillgängliga fälten på fliken Identifiera.

  2. Välj ett fältnamn och klicka sedan på Visualisera.

    Skärmbild av hur du skapar en visualisering och väljer fältet.

  3. Fliken Visualisera öppnas och visualiseringen visas. Information om hur du redigerar data och mått för visualiseringen finns i Skapa en visualisering från fliken Visualisera.

    Skärmbild av redigering av visualiseringen på fliken Visualisera.

Skapa en visualisering från fliken Visualisera

  1. Välj fliken Visualisera och klicka på Skapa visualisering.

    Skärmbild av att välja fliken Visualisera.

  2. I fönstret Ny visualisering väljer du en visualiseringstyp.

    Skärmbild av att välja en visualiseringstyp.

  3. När visualiseringen har genererats kan du redigera måtten och lägga till upp till en bucket.

    Skärmbild av att redigera måtten.

Anteckning

K2Bridge stöder en bucketaggregering. Vissa sammansättningar stöder sökalternativ. Använd Lucene-syntaxen, inte KQL-alternativet, som står för Kibana Query Language-syntaxen.

Viktigt

  • Följande visualiseringar stöds: Vertical bar, Area chart, Line chart, Horizontal bar, Pie chart, Gauge, Data table, , Heat map, Goal chartoch Metric chart.
  • Följande mått stöds: Average, Count, Max, Median, Min, Percentiles, Standard deviation, , Sumoch Top hitsUnique count.
  • Måttet Percentiles ranks stöds inte.
  • Det är valfritt att använda bucketaggregeringar. Du kan visualisera data utan bucketaggregering.
  • Följande bucketar stöds: No bucket aggregation, Date histogram, Filters, Range, Date range, Histogram, och Terms.
  • Bucketarna IPv4 range och Significant terms stöds inte.

Skapa instrumentpaneler

Du kan skapa instrumentpaneler med Kibana-visualiseringar för att sammanfatta, jämföra och kontrastera en överblick över Azure Data Explorer data.

  1. Om du vill skapa en instrumentpanel väljer du fliken Instrumentpanel och klickar sedan på Skapa ny instrumentpanel.

    Skärmbild av att välja fliken Instrumentpanel.

    Den nya instrumentpanelen öppnas i redigeringsläge.

  2. Om du vill lägga till en ny visualiseringspanel klickar du på Skapa ny.

    Skärmbild av att lägga till en befintlig visualisering på en instrumentpanel.

  3. Om du vill lägga till en visualisering som du redan har skapat klickar du på Lägg till en befintlig och väljer en visualisering.

  4. Ordna paneler genom att ordna paneler efter prioritet, ändra storlek på panelerna med mera, klicka på Redigera och sedan använda följande alternativ:

    • Om du vill flytta en panel klickar du och håller ned panelrubriken och drar sedan till den nya platsen.
    • Om du vill ändra storlek på en panel klickar du på storlekskontrollen och drar sedan till de nya dimensionerna.

    Skärmbild av instrumentpaneler med visualiseringar av Azure Data Explorer data.