Adatok megjelenítése az Azure Data Explorer Kibanában a K2Bridge nyílt forráskódú összekötőjével

A K2Bridge (Kibana-Kusto Bridge) lehetővé teszi az Azure Data Explorer adatforrásként való használatát és az adatok megjelenítését a Kibanában. A K2Bridge egy nyílt forráskódú, tárolóalapú alkalmazás. Proxyként működik egy Kibana-példány és egy Azure Data Explorer-fürt között. Ez a cikk azt ismerteti, hogyan hozhat létre ilyen kapcsolatot a K2Bridge használatával.

A K2Bridge lefordítja a Kibana-lekérdezéseket Kusto lekérdezésnyelv (KQL), és visszaküldi az Azure Data Explorer eredményeit a Kibanának.

A K2Bridge támogatja a Kibana Felderítés, Vizualizáció és Irányítópult lapjait.

A Felfedezés lapon a következőt teheti:

• Keressen és fedezze fel az adatokat.
• Eredmények szűrése.
• Mezők hozzáadása vagy eltávolítása az eredményrácson.
• Rekordtartalom megtekintése.
• Keresések mentése és megosztása.

A Vizualizáció lapon a következőt teheti:

• Vizualizációkat hozhat létre, például sávdiagramokat, tortadiagramokat, adattáblákat, hőtérképeket és egyebeket.
• Vizualizáció mentése

Az Irányítópult lapon a következőt teheti:

• Új vagy mentett vizualizációk használatával hozhat létre paneleket.
• Irányítópult mentése.

Az alábbi képen egy Kibana-példány látható, amely a K2Bridge által az Azure Data Explorer van kötve. A Kibana felhasználói felülete változatlan.

Előfeltételek

Mielőtt megjelenítené az Azure Data Explorer adatait a Kibanában, készítse elő a következőket:

• Azure-előfizetés. Hozzon létre egy ingyenes Azure-fiókot.
• Egy Azure-Data Explorer-fürt és -adatbázis. Szüksége lesz a fürt URL-címére és az adatbázis nevére.
• Helm v3, a Kubernetes csomagkezelője.
• Azure Kubernetes Service (AKS-) fürt vagy bármely más Kubernetes-fürt. Használja az 1.21.2-es vagy újabb verziót, legalább három Azure Kubernetes Service csomóponttal. Az 1.21.2-es verzió tesztelése és ellenőrzése megtörtént. Ha AKS-fürtre van szüksége, tekintse meg, hogyan helyezhet üzembe AKS-fürtöt az Azure CLI-vel vagy a Azure Portal használatával.
• Az Azure Data Explorer adatainak megtekintésére jogosult Microsoft Entra szolgáltatásnév, beleértve az ügyfél-azonosítót és az ügyfél titkos kódját. Másik lehetőségként használhat rendszer által hozzárendelt felügyelt identitást is.

Ha egy Microsoft Entra szolgáltatásnevet használ, létre kell hoznia egy Microsoft Entra szolgáltatásnevet. A telepítéshez szüksége lesz az Ügyfélazonosítóra és a Titkos kódra. Javasoljuk, hogy egy megtekintő engedéllyel rendelkező szolgáltatásnevet használjon, és ne használjon magasabb szintű engedélyeket. Engedélyek hozzárendeléséhez lásd: Adatbázis-engedélyek kezelése a Azure Portal vagy felügyeleti parancsok használata az adatbázisbiztonsági szerepkörök kezeléséhez.

Ha rendszer által hozzárendelt identitást használ, le kell szereznie az ügynökkészlet felügyelt identitásának ClientID azonosítóját (amely a létrehozott "[MC_xxxx]" erőforráscsoportban található)

A K2Bridge futtatása Azure Kubernetes Service (AKS) rendszeren

Alapértelmezés szerint a K2Bridge Helm-diagramja a Microsoft Container Registryben (MCR) található nyilvánosan elérhető rendszerképre hivatkozik. Az MCR nem igényel hitelesítő adatokat.

1. Töltse le a szükséges Helm-diagramokat.

2. Adja hozzá az Elasticsearch függőséget a Helmhez. A függőségre azért van szükség, mert a K2Bridge egy kis belső Elasticsearch-példányt használ. A példány metaadatokkal kapcsolatos kéréseket, például indexmintás lekérdezéseket és mentett lekérdezéseket nyújt. Ez a belső példány nem ment üzleti adatokat. A példányt implementálási részletnek tekintheti.

   1. Ha hozzá szeretné adni az Elasticsearch függőséget a Helmhez, futtassa az alábbi parancsokat:

      helm repo add elastic https://helm.elastic.co
      helm repo update
      

   2. A K2Bridge-diagram lekérése a GitHub-adattár diagramkönyvtárából:

      1. Klónozza az adattárat a GitHubról.

      2. Nyissa meg a K2Bridges gyökéradattár könyvtárát.

      3. Futtassa ezt a parancsot:

         helm dependency update charts/k2bridge
         

3. A K2Bridge üzembe helyezése.

   1. Állítsa a változókat a környezetének megfelelő értékekre.

      ADX_URL=[YOUR_ADX_CLUSTER_URL] #For example, https://mycluster.westeurope.kusto.windows.net
      ADX_DATABASE=[YOUR_ADX_DATABASE_NAME]
      ADX_CLIENT_ID=[SERVICE_PRINCIPAL_CLIENT_ID]
      ADX_CLIENT_SECRET=[SERVICE_PRINCIPAL_CLIENT_SECRET]
      ADX_TENANT_ID=[SERVICE_PRINCIPAL_TENANT_ID]
      

      Megjegyzés

      Felügyelt identitás használatakor a ADX_CLIENT_ID érték a létrehozott "[MC_xxxx]" erőforráscsoportban található felügyelt identitás ügyfél-azonosítója. További információ: MC_ erőforráscsoport. A ADX_SECRET_ID csak akkor szükséges, ha Microsoft Entra szolgáltatásnevet használ.

   2. Ha szeretné, engedélyezze az Application Insights telemetriát. Ha első alkalommal használja az Application Insightst, hozzon létre egy Application Insights-erőforrást. Másolja az eszközkulcsot egy változóba.

      APPLICATION_INSIGHTS_KEY=[INSTRUMENTATION_KEY]
      COLLECT_TELEMETRY=true
      

   3. Telepítse a K2Bridge diagramot. A vizualizációk és irányítópultok csak a Kibana 7.10-es verziójával támogatottak. A legújabb képcímkék a következők: 6.8_latest és 7.16_latest, amelyek támogatják a Kibana 6.8- és a Kibana 7.10-es verzióját. A "7.16_latest" képe támogatja a Kibana OSS 7.10.2-t, belső Elasticsearch-példánya pedig 7.16.2.

      Microsoft Entra szolgáltatásnév használata esetén:

      helm install k2bridge charts/k2bridge -n k2bridge --set settings.adxClusterUrl="$ADX_URL" --set settings.adxDefaultDatabaseName="$ADX_DATABASE" --set settings.aadClientId="$ADX_CLIENT_ID" --set settings.aadClientSecret="$ADX_CLIENT_SECRET" --set settings.aadTenantId="$ADX_TENANT_ID" [--set image.tag=6.8_latest/7.16_latest] 
      [--set image.repository=$REPOSITORY_NAME/$CONTAINER_NAME] 
      [--set privateRegistry="$IMAGE_PULL_SECRET_NAME"] [--set settings.collectTelemetry=$COLLECT_TELEMETRY]
      

      Vagy ha felügyelt identitást használtak:

      helm install k2bridge charts/k2bridge -n k2bridge --set settings.adxClusterUrl="$ADX_URL" --set settings.adxDefaultDatabaseName="$ADX_DATABASE" --set       settings.aadClientId="$ADX_CLIENT_ID" --set settings.useManagedIdentity=true --set settings.aadTenantId="$ADX_TENANT_ID" [--set image.tag=7.16_latest] [--set  settings.collectTelemetry=$COLLECT_TELEMETRY]
      

      A Konfiguráció területen megtalálhatja a konfigurációs beállítások teljes készletét.

   4. Az előző parancs kimenete a következő Helm-parancsot javasolja a Kibana üzembe helyezéséhez. Ha szeretné, futtassa a következő parancsot:

      helm install kibana elastic/kibana -n k2bridge --set image=docker.elastic.co/kibana/kibana-oss --set imageTag=7.10.2 --set elasticsearchHosts=http://k2bridge:8080
      

   5. Porttovábbítással érheti el a Kibanát a localhoston.

      kubectl port-forward service/kibana-kibana 5601 --namespace k2bridge
      

   6. Csatlakozzon a Kibanához a következő lépéssel http://127.0.0.1:5601: .

   7. Tegye elérhetővé a Kibana-t a felhasználók számára. Erre több módszer is létezik. A használt módszer nagyban függ a használati esettől.

      Közzéteheti például a szolgáltatást Load Balancer szolgáltatásként. Ehhez adja hozzá a --set service.type=LoadBalancer paramétert a korábbi Kibana Helm telepítési parancshoz.

      Ezután futtassa a következő parancsot:

      kubectl get service -w -n k2bridge
      

      A kimenetnek az alábbihoz hasonlónak kell lennie:

      NAME            TYPE           CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE
      kibana-kibana   LoadBalancer   xx.xx.xx.xx    <pending>     5601:30128/TCP   4m24s
      

      Ezután használhatja a létrehozott KÜLSŐ-IP-értéket, amely megjelenik. A kibana eléréséhez nyissa meg a böngészőt, és lépjen az <EXTERNAL-IP>:5601 címre.

4. Konfigurálja az indexmintákat az adatok eléréséhez.

   Egy új Kibana-példányban:

   1. Nyissa meg a Kibanát.
   2. Tallózással keresse meg a Felügyelet elemet.
   3. Válassza az Indexminták lehetőséget.
   4. Hozzon létre egy indexmintát. Az index nevének pontosan meg kell egyeznie a csillag (*) nélküli táblanévvel vagy függvénynévvel. A megfelelő sort átmásolhatja a listából.

Megjegyzés

A K2Bridge más Kubernetes-szolgáltatókon való futtatásához módosítsa az Elasticsearch storageClassName értékét a values.yaml fájlban, hogy megfeleljen a szolgáltató által javasolt értéknek.

Adatok felderítése

Ha az Azure Data Explorer a Kibana adatforrásaként van konfigurálva, a Kibana használatával feltárhatja az adatokat.

1. A Kibanában válassza a Felfedezés lapot.

2. Az indexminta listában válasszon ki egy indexmintát, amely meghatározza a vizsgálandó adatforrást. Itt az indexminta egy Azure Data Explorer tábla.

   

3. Ha az adatokhoz időszűrő mező tartozik, megadhatja az időtartományt. A Felfedezés lap jobb felső sarkában válasszon egy időszűrőt. Alapértelmezés szerint a lap az elmúlt 15 percre vonatkozó adatokat jeleníti meg.

   

4. Az eredménytáblában az első 500 rekord látható. Kibonthat egy dokumentumot a mezőadatok JSON- vagy táblaformátumban történő vizsgálatához.

   

5. A mező neve melletti Hozzáadás gombra kattintva adott oszlopokat adhat hozzá az eredménytáblához. Alapértelmezés szerint az eredménytábla tartalmazza a _source oszlopot és az Idő oszlopot, ha az időmező létezik.

   

6. A lekérdezési sávon az alábbi módon kereshet adatokat:

   • Keresési kifejezés megadása.
   • A Lucene lekérdezési szintaxis használata. Például:
     • Keressen rá a "error" kifejezésre az összes olyan rekord megkereséséhez, amely ezt az értéket tartalmazza.
     • Keressen rá az "állapot: 200" kifejezésre a 200-ás állapotértékkel rendelkező összes rekord lekéréséhez.
   • A logikai operátorok ÉS, VAGY és NEM használata.
   • Csillag (*) és kérdőjel (?) helyettesítő karakter használata. A "destination_city: L*" lekérdezés például megegyezik azokkal a rekordokkal, ahol a célváros értéke "L" vagy "l" karakterrel kezdődik. (A K2Bridge nem érzékeny a kis- és nagybetűkre.)

   

Megjegyzés

Csak a Kibana Lucene lekérdezési szintaxisa támogatott. Ne használja a KQL beállítást, amely a Kibana Lekérdezési nyelv kifejezést jelenti.

Tipp

A Keresés területen további keresési szabályokat és logikát találhat.

1. A keresési eredmények szűréséhez használja az Elérhető mezőlistát . A mezőlista a következő:

   • A mező első öt értéke.
   • A mezőt tartalmazó rekordok száma.
   • Az egyes értékeket tartalmazó rekordok százalékos aránya.

   Tipp

   A nagyítóval megkereshet minden olyan rekordot, amely adott értékkel rendelkezik.

   

   A nagyítóval szűrheti az eredményeket, és megtekintheti az eredménytáblában lévő összes rekord eredménytáblázat-formátum nézetét.

   

2. A keresés megőrzéséhez válassza a Mentés vagy a Megosztás lehetőséget.

   

Adatok vizualizációja

A Kibana-vizualizációk segítségével áttekintheti az Azure Data Explorer adatait.

Vizualizáció létrehozása a Felfedezés lapon

1. Függőleges sávvizualizáció létrehozásához a Felfedezés lapon keresse meg az Elérhető mezők oldalsávot.

   

2. Jelöljön ki egy mezőnevet, majd kattintson a Vizualizáció elemre.

   

3. Megnyílik a Vizualizáció lap, és megjeleníti a vizualizációt. A vizualizáció adatainak és metrikáinak szerkesztéséhez lásd még: Vizualizáció létrehozása a Vizualizáció lapon.

   

Vizualizáció létrehozása a Vizualizáció lapon

1. Válassza a Vizualizáció lapot, és kattintson a Vizualizáció létrehozása elemre.

   

2. Az Új vizualizáció ablakban válasszon egy vizualizációtípust.

   

3. A vizualizáció létrehozása után szerkesztheti a metrikákat, és összeadhat egy gyűjtőt.

   

Megjegyzés

A K2Bridge egy gyűjtőösszesítést támogat. Egyes összesítések támogatják a keresési beállításokat. Használja a Lucene szintaxist, nem a KQL lehetőséget, amely a Kibana lekérdezési nyelv szintaxisát jelenti.

Fontos

• A következő vizualizációk támogatottak: Vertical bar, Area chart, , Line chart, Horizontal bar, Pie chart, Gauge, Data table, Heat map, , Goal chartés Metric chart.
• A következő metrikák támogatottak: Average, Count, , Max, Median, PercentilesMin, , Standard deviation, Sumés Unique countTop hits .
• A metrika Percentiles ranks nem támogatott.
• A gyűjtőösszesítések használata nem kötelező, az adatokat gyűjtőösszesítés nélkül is megjelenítheti.
• A következő gyűjtők támogatottak: No bucket aggregation, , , FiltersRange, Date range, Histogram, és TermsDate histogram.
• A gyűjtők IPv4 range nem Significant terms támogatottak.

Irányítópultok létrehozása

Irányítópultokat hozhat létre Kibana-vizualizációkkal az Azure Data Explorer-adatok egy pillantással történő összegzéséhez, összehasonlításához és kontrasztos megjelenítéséhez.

1. Irányítópult létrehozásához válassza az Irányítópult lapot, majd kattintson az Új irányítópult létrehozása elemre.

   

   Az új irányítópult szerkesztési módban nyílik meg.

2. Új vizualizációs panel hozzáadásához kattintson az Új létrehozása gombra.

   

3. Ha már létrehozott vizualizációt szeretne hozzáadni, kattintson a Meglévő hozzáadása elemre, és válasszon egy vizualizációt.

4. A panelek elrendezéséhez, a panelek prioritás szerinti rendezéséhez, a panelek átméretezéséhez és egyebekhez kattintson a Szerkesztés gombra, majd használja az alábbi lehetőségeket:

   • Panel áthelyezéséhez kattintson és tartsa lenyomva a panel fejlécét, majd húzza az alakzatot az új helyre.
   • Panel átméretezéséhez kattintson az átméretezés vezérlőre, majd húzza az új dimenziókra.