Megosztás a következőn keresztül:


Adatok megjelenítése az Azure Data Explorer Kibanában a K2Bridge nyílt forráskódú összekötőjével

A K2Bridge (Kibana-Kusto Bridge) lehetővé teszi az Azure Data Explorer adatforrásként való használatát és az adatok megjelenítését a Kibanában. A K2Bridge egy nyílt forráskódú, tárolóalapú alkalmazás. Proxyként működik egy Kibana-példány és egy Azure Data Explorer-fürt között. Ez a cikk azt ismerteti, hogyan hozhat létre ilyen kapcsolatot a K2Bridge használatával.

A K2Bridge lefordítja a Kibana-lekérdezéseket Kusto lekérdezésnyelv (KQL), és visszaküldi az Azure Data Explorer eredményeit a Kibanának.

Kibana-kapcsolat az Azure Data Explorer a K2Bridge-en keresztül.

A K2Bridge támogatja a Kibana Felderítés, Vizualizáció és Irányítópult lapjait.

A Felfedezés lapon a következőt teheti:

  • Keressen és fedezze fel az adatokat.
  • Eredmények szűrése.
  • Mezők hozzáadása vagy eltávolítása az eredményrácson.
  • Rekordtartalom megtekintése.
  • Keresések mentése és megosztása.

A Vizualizáció lapon a következőt teheti:

  • Vizualizációkat hozhat létre, például sávdiagramokat, tortadiagramokat, adattáblákat, hőtérképeket és egyebeket.
  • Vizualizáció mentése

Az Irányítópult lapon a következőt teheti:

  • Új vagy mentett vizualizációk használatával hozhat létre paneleket.
  • Irányítópult mentése.

Az alábbi képen egy Kibana-példány látható, amely a K2Bridge által az Azure Data Explorer van kötve. A Kibana felhasználói felülete változatlan.

Az Azure Data Explorer-hez kötött Kibana-oldal.

Előfeltételek

Mielőtt megjelenítené az Azure Data Explorer adatait a Kibanában, készítse elő a következőket:

Ha egy Microsoft Entra szolgáltatásnevet használ, létre kell hoznia egy Microsoft Entra szolgáltatásnevet. A telepítéshez szüksége lesz az Ügyfélazonosítóra és a Titkos kódra. Javasoljuk, hogy egy megtekintő engedéllyel rendelkező szolgáltatásnevet használjon, és ne használjon magasabb szintű engedélyeket. Engedélyek hozzárendeléséhez lásd: Adatbázis-engedélyek kezelése a Azure Portal vagy felügyeleti parancsok használata az adatbázisbiztonsági szerepkörök kezeléséhez.

Ha rendszer által hozzárendelt identitást használ, le kell szereznie az ügynökkészlet felügyelt identitásának ClientID azonosítóját (amely a létrehozott "[MC_xxxx]" erőforráscsoportban található)

A K2Bridge futtatása Azure Kubernetes Service (AKS) rendszeren

Alapértelmezés szerint a K2Bridge Helm-diagramja a Microsoft Container Registryben (MCR) található nyilvánosan elérhető rendszerképre hivatkozik. Az MCR nem igényel hitelesítő adatokat.

  1. Töltse le a szükséges Helm-diagramokat.

  2. Adja hozzá az Elasticsearch függőséget a Helmhez. A függőségre azért van szükség, mert a K2Bridge egy kis belső Elasticsearch-példányt használ. A példány metaadatokkal kapcsolatos kéréseket, például indexmintás lekérdezéseket és mentett lekérdezéseket nyújt. Ez a belső példány nem ment üzleti adatokat. A példányt implementálási részletnek tekintheti.

    1. Ha hozzá szeretné adni az Elasticsearch függőséget a Helmhez, futtassa az alábbi parancsokat:

      helm repo add elastic https://helm.elastic.co
      helm repo update
      
    2. A K2Bridge-diagram lekérése a GitHub-adattár diagramkönyvtárából:

      1. Klónozza az adattárat a GitHubról.

      2. Nyissa meg a K2Bridges gyökéradattár könyvtárát.

      3. Futtassa ezt a parancsot:

        helm dependency update charts/k2bridge
        
  3. A K2Bridge üzembe helyezése.

    1. Állítsa a változókat a környezetének megfelelő értékekre.

      ADX_URL=[YOUR_ADX_CLUSTER_URL] #For example, https://mycluster.westeurope.kusto.windows.net
      ADX_DATABASE=[YOUR_ADX_DATABASE_NAME]
      ADX_CLIENT_ID=[SERVICE_PRINCIPAL_CLIENT_ID]
      ADX_CLIENT_SECRET=[SERVICE_PRINCIPAL_CLIENT_SECRET]
      ADX_TENANT_ID=[SERVICE_PRINCIPAL_TENANT_ID]
      

      Megjegyzés

      Felügyelt identitás használatakor a ADX_CLIENT_ID érték a létrehozott "[MC_xxxx]" erőforráscsoportban található felügyelt identitás ügyfél-azonosítója. További információ: MC_ erőforráscsoport. A ADX_SECRET_ID csak akkor szükséges, ha Microsoft Entra szolgáltatásnevet használ.

    2. Ha szeretné, engedélyezze az Application Insights telemetriát. Ha első alkalommal használja az Application Insightst, hozzon létre egy Application Insights-erőforrást. Másolja az eszközkulcsot egy változóba.

      APPLICATION_INSIGHTS_KEY=[INSTRUMENTATION_KEY]
      COLLECT_TELEMETRY=true
      
    3. Telepítse a K2Bridge diagramot. A vizualizációk és irányítópultok csak a Kibana 7.10-es verziójával támogatottak. A legújabb képcímkék a következők: 6.8_latest és 7.16_latest, amelyek támogatják a Kibana 6.8- és a Kibana 7.10-es verzióját. A "7.16_latest" képe támogatja a Kibana OSS 7.10.2-t, belső Elasticsearch-példánya pedig 7.16.2.

      Microsoft Entra szolgáltatásnév használata esetén:

      helm install k2bridge charts/k2bridge -n k2bridge --set settings.adxClusterUrl="$ADX_URL" --set settings.adxDefaultDatabaseName="$ADX_DATABASE" --set settings.aadClientId="$ADX_CLIENT_ID" --set settings.aadClientSecret="$ADX_CLIENT_SECRET" --set settings.aadTenantId="$ADX_TENANT_ID" [--set image.tag=6.8_latest/7.16_latest] 
      [--set image.repository=$REPOSITORY_NAME/$CONTAINER_NAME] 
      [--set privateRegistry="$IMAGE_PULL_SECRET_NAME"] [--set settings.collectTelemetry=$COLLECT_TELEMETRY]
      

      Vagy ha felügyelt identitást használtak:

      helm install k2bridge charts/k2bridge -n k2bridge --set settings.adxClusterUrl="$ADX_URL" --set settings.adxDefaultDatabaseName="$ADX_DATABASE" --set       settings.aadClientId="$ADX_CLIENT_ID" --set settings.useManagedIdentity=true --set settings.aadTenantId="$ADX_TENANT_ID" [--set image.tag=7.16_latest] [--set  settings.collectTelemetry=$COLLECT_TELEMETRY]
      

      A Konfiguráció területen megtalálhatja a konfigurációs beállítások teljes készletét.

    4. Az előző parancs kimenete a következő Helm-parancsot javasolja a Kibana üzembe helyezéséhez. Ha szeretné, futtassa a következő parancsot:

      helm install kibana elastic/kibana -n k2bridge --set image=docker.elastic.co/kibana/kibana-oss --set imageTag=7.10.2 --set elasticsearchHosts=http://k2bridge:8080
      
    5. Porttovábbítással érheti el a Kibanát a localhoston.

      kubectl port-forward service/kibana-kibana 5601 --namespace k2bridge
      
    6. Csatlakozzon a Kibanához a következő lépéssel http://127.0.0.1:5601: .

    7. Tegye elérhetővé a Kibana-t a felhasználók számára. Erre több módszer is létezik. A használt módszer nagyban függ a használati esettől.

      Közzéteheti például a szolgáltatást Load Balancer szolgáltatásként. Ehhez adja hozzá a --set service.type=LoadBalancer paramétert a korábbi Kibana Helm telepítési parancshoz.

      Ezután futtassa a következő parancsot:

      kubectl get service -w -n k2bridge
      

      A kimenetnek az alábbihoz hasonlónak kell lennie:

      NAME            TYPE           CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE
      kibana-kibana   LoadBalancer   xx.xx.xx.xx    <pending>     5601:30128/TCP   4m24s
      

      Ezután használhatja a létrehozott KÜLSŐ-IP-értéket, amely megjelenik. A kibana eléréséhez nyissa meg a böngészőt, és lépjen az <EXTERNAL-IP>:5601 címre.

  4. Konfigurálja az indexmintákat az adatok eléréséhez.

    Egy új Kibana-példányban:

    1. Nyissa meg a Kibanát.
    2. Tallózással keresse meg a Felügyelet elemet.
    3. Válassza az Indexminták lehetőséget.
    4. Hozzon létre egy indexmintát. Az index nevének pontosan meg kell egyeznie a csillag (*) nélküli táblanévvel vagy függvénynévvel. A megfelelő sort átmásolhatja a listából.

Megjegyzés

A K2Bridge más Kubernetes-szolgáltatókon való futtatásához módosítsa az Elasticsearch storageClassName értékét a values.yaml fájlban, hogy megfeleljen a szolgáltató által javasolt értéknek.

Adatok felderítése

Ha az Azure Data Explorer a Kibana adatforrásaként van konfigurálva, a Kibana használatával feltárhatja az adatokat.

Képernyőkép a Kibana Felfedezés lapról.

  1. A Kibanában válassza a Felfedezés lapot.

  2. Az indexminta listában válasszon ki egy indexmintát, amely meghatározza a vizsgálandó adatforrást. Itt az indexminta egy Azure Data Explorer tábla.

    Képernyőkép az adatforrás-mintalistáról.

  3. Ha az adatokhoz időszűrő mező tartozik, megadhatja az időtartományt. A Felfedezés lap jobb felső sarkában válasszon egy időszűrőt. Alapértelmezés szerint a lap az elmúlt 15 percre vonatkozó adatokat jeleníti meg.

    Képernyőkép egy időszűrő kiválasztásáról.

  4. Az eredménytáblában az első 500 rekord látható. Kibonthat egy dokumentumot a mezőadatok JSON- vagy táblaformátumban történő vizsgálatához.

    Képernyőkép egy kibontott rekordról a Felfedezés lapon.

  5. A mező neve melletti Hozzáadás gombra kattintva adott oszlopokat adhat hozzá az eredménytáblához. Alapértelmezés szerint az eredménytábla tartalmazza a _source oszlopot és az Idő oszlopot, ha az időmező létezik.

    Képernyőkép az oszlopok hozzáadásáról.

  6. A lekérdezési sávon az alábbi módon kereshet adatokat:

    • Keresési kifejezés megadása.
    • A Lucene lekérdezési szintaxis használata. Például:
      • Keressen rá a "error" kifejezésre az összes olyan rekord megkereséséhez, amely ezt az értéket tartalmazza.
      • Keressen rá az "állapot: 200" kifejezésre a 200-ás állapotértékkel rendelkező összes rekord lekéréséhez.
    • A logikai operátorok ÉS, VAGY és NEM használata.
    • Csillag (*) és kérdőjel (?) helyettesítő karakter használata. A "destination_city: L*" lekérdezés például megegyezik azokkal a rekordokkal, ahol a célváros értéke "L" vagy "l" karakterrel kezdődik. (A K2Bridge nem érzékeny a kis- és nagybetűkre.)

    Képernyőkép a lekérdezések futtatásáról.

Megjegyzés

Csak a Kibana Lucene lekérdezési szintaxisa támogatott. Ne használja a KQL beállítást, amely a Kibana Lekérdezési nyelv kifejezést jelenti.

Tipp

A Keresés területen további keresési szabályokat és logikát találhat.

  1. A keresési eredmények szűréséhez használja az Elérhető mezőlistát . A mezőlista a következő:

    • A mező első öt értéke.
    • A mezőt tartalmazó rekordok száma.
    • Az egyes értékeket tartalmazó rekordok százalékos aránya.

    Tipp

    A nagyítóval megkereshet minden olyan rekordot, amely adott értékkel rendelkezik.

    Képernyőkép egy mezőlistáról, amelyen a nagyító van kiemelve.

    A nagyítóval szűrheti az eredményeket, és megtekintheti az eredménytáblában lévő összes rekord eredménytáblázat-formátum nézetét.

    Képernyőkép egy táblázatlistáról, amelyen a nagyító van kiemelve.

  2. A keresés megőrzéséhez válassza a Mentés vagy a Megosztás lehetőséget.

    Képernyőkép a keresés kibanai mentéséről.

Adatok vizualizációja

A Kibana-vizualizációk segítségével áttekintheti az Azure Data Explorer adatait.

Vizualizáció létrehozása a Felfedezés lapon

  1. Függőleges sávvizualizáció létrehozásához a Felfedezés lapon keresse meg az Elérhető mezők oldalsávot.

    Képernyőkép egy mező kiválasztásáról a Felderítés lap elérhető mezőiben.

  2. Jelöljön ki egy mezőnevet, majd kattintson a Vizualizáció elemre.

    Képernyőkép egy vizualizáció létrehozásáról és a mező kiválasztásáról.

  3. Megnyílik a Vizualizáció lap, és megjeleníti a vizualizációt. A vizualizáció adatainak és metrikáinak szerkesztéséhez lásd még: Vizualizáció létrehozása a Vizualizáció lapon.

    Képernyőkép a vizualizáció szerkesztéséről a Vizualizáció lapon.

Vizualizáció létrehozása a Vizualizáció lapon

  1. Válassza a Vizualizáció lapot, és kattintson a Vizualizáció létrehozása elemre.

    Képernyőkép a Vizualizáció lap kiválasztásáról.

  2. Az Új vizualizáció ablakban válasszon egy vizualizációtípust.

    Képernyőkép egy vizualizációtípus kiválasztásáról.

  3. A vizualizáció létrehozása után szerkesztheti a metrikákat, és összeadhat egy gyűjtőt.

    Képernyőkép a metrikák szerkesztéséről.

Megjegyzés

A K2Bridge egy gyűjtőösszesítést támogat. Egyes összesítések támogatják a keresési beállításokat. Használja a Lucene szintaxist, nem a KQL lehetőséget, amely a Kibana lekérdezési nyelv szintaxisát jelenti.

Fontos

  • A következő vizualizációk támogatottak: Vertical bar, Area chart, , Line chart, Horizontal bar, Pie chart, Gauge, Data table, Heat map, , Goal chartés Metric chart.
  • A következő metrikák támogatottak: Average, Count, , Max, Median, PercentilesMin, , Standard deviation, Sumés Unique countTop hits .
  • A metrika Percentiles ranks nem támogatott.
  • A gyűjtőösszesítések használata nem kötelező, az adatokat gyűjtőösszesítés nélkül is megjelenítheti.
  • A következő gyűjtők támogatottak: No bucket aggregation, , , FiltersRange, Date range, Histogram, és TermsDate histogram.
  • A gyűjtők IPv4 range nem Significant terms támogatottak.

Irányítópultok létrehozása

Irányítópultokat hozhat létre Kibana-vizualizációkkal az Azure Data Explorer-adatok egy pillantással történő összegzéséhez, összehasonlításához és kontrasztos megjelenítéséhez.

  1. Irányítópult létrehozásához válassza az Irányítópult lapot, majd kattintson az Új irányítópult létrehozása elemre.

    Képernyőkép az Irányítópult lap kiválasztásáról.

    Az új irányítópult szerkesztési módban nyílik meg.

  2. Új vizualizációs panel hozzáadásához kattintson az Új létrehozása gombra.

    Képernyőkép egy meglévő vizualizáció irányítópulthoz való hozzáadásáról.

  3. Ha már létrehozott vizualizációt szeretne hozzáadni, kattintson a Meglévő hozzáadása elemre, és válasszon egy vizualizációt.

  4. A panelek elrendezéséhez, a panelek prioritás szerinti rendezéséhez, a panelek átméretezéséhez és egyebekhez kattintson a Szerkesztés gombra, majd használja az alábbi lehetőségeket:

    • Panel áthelyezéséhez kattintson és tartsa lenyomva a panel fejlécét, majd húzza az alakzatot az új helyre.
    • Panel átméretezéséhez kattintson az átméretezés vezérlőre, majd húzza az új dimenziókra.

    Irányítópultok képernyőképe az Azure Data Explorer-adatok vizualizációival.