Adatok megjelenítése az Azure Data Explorerből Kibanában a K2Bridge nyílt forráskódú összekötővel

A K2Bridge (Kibana-Kusto Bridge) lehetővé teszi, hogy adatforrásként használja az Azure Data Explorert, és vizualizálja ezeket az adatokat a Kibanában. A K2Bridge egy nyílt forráskódú, tárolóalapú alkalmazás. Proxyként működik egy Kibana-példány és egy Azure Data Explorer-csoport között. Ez a cikk bemutatja, hogyan hozható létre a kapcsolat a K2Bridge használatával.

A K2Bridge lefordítja a Kibana-lekérdezéseket a Kusto Query Language (KQL) nyelvre, és visszaküldi az Azure Data Explorer eredményeit a Kibana-nak.

Kibana-kapcsolat az Azure Data Explorerrel a K2Bridge-en keresztül.

A K2Bridge támogatja a Kibana Felfedezés, Vizualizáció és Irányítópult lapjait.

A Felfedezés lapon a következőt teheti:

  • Keresse meg és vizsgálja meg az adatokat.
  • Eredmények szűrése.
  • Mezők hozzáadása vagy eltávolítása az eredményrácson.
  • Rekordtartalom megtekintése.
  • Keresések mentése és megosztása.

A Vizualizáció lapon a következőt teheti:

  • Vizualizációkat hozhat létre, például sávdiagramokat, kördiagramokat, adattáblákat, hőtérképeket stb.
  • Vizualizáció mentése

Az Irányítópult lapon a következőt végezheti el:

  • Új vagy mentett vizualizációk használatával hozhat létre paneleket.
  • Irányítópult mentése.

Az alábbi képen egy Kibana-példány látható, amelyet a K2Bridge kötött az Azure Data Explorerhez. A Kibana felhasználói felülete nem változik.

Az Azure Data Explorerhez kötött Kibana-oldal.

Előfeltételek

Mielőtt adatokat jeleníthet meg az Azure Data Explorerből a Kibana-ban, készítse elő a következőket:

Ha úgy dönt, hogy Microsoft Entra egyszerű szolgáltatásnevet használ, létre kell hoznia egy Microsoft Entra egyszerű szolgáltatásnevet. A telepítéshez szükség van a ClientID azonosítóra és egy titkos kódra. Azt javasoljuk, hogy egy megtekintő engedéllyel rendelkező szolgáltatásnevet használjon, és ne használja a magasabb szintű engedélyeket. Engedélyek hozzárendeléséhez lásd : Adatbázis-engedélyek kezelése az Azure Portalon , vagy felügyeleti parancsok használata az adatbázisbiztonsági szerepkörök kezeléséhez.

Ha rendszer által hozzárendelt identitást választ, le kell kérnie az ügynökkészlet felügyelt identitásának ügyfélazonosítóját (a létrehozott "[MC_xxxx]" erőforráscsoportban található)

A K2Bridge futtatása az Azure Kubernetes Service-ben (AKS)

A K2Bridge Helm-diagramja alapértelmezés szerint a Microsoft Container Registryben (MCR) található nyilvánosan elérhető rendszerképre hivatkozik. Az MCR nem igényel hitelesítő adatokat.

  1. Töltse le a szükséges Helm-diagramokat.

  2. Adja hozzá az Elasticsearch függőséget a Helmhez. A függőségre azért van szükség, mert a K2Bridge egy kis belső Elasticsearch-példányt használ. A példány metaadatokkal kapcsolatos kéréseket, például indexmintás lekérdezéseket és mentett lekérdezéseket nyújt. Ez a belső példány nem tárol üzleti adatokat. A példányt implementálási részletnek tekintheti.

    1. Ha hozzá szeretné adni az Elasticsearch-függőséget a Helmhez, futtassa az alábbi parancsokat:

      helm repo add elastic https://helm.elastic.co
helm repo update

    2. A K2Bridge-diagram lekérése a GitHub-adattár diagramkönyvtárából:

      1. Klónozza az adattárat a GitHubról.

      2. Nyissa meg a K2Bridges gyökéradattár könyvtárát.

      3. Futtassa ezt a parancsot:

        helm dependency update charts/k2bridge

  3. A K2Bridge üzembe helyezése.

    1. Állítsa be a változókat a környezetének megfelelő értékekre.

      ADX_URL=[YOUR_ADX_CLUSTER_URL] #For example, https://mycluster.westeurope.kusto.windows.net
ADX_DATABASE=[YOUR_ADX_DATABASE_NAME]
ADX_CLIENT_ID=[SERVICE_PRINCIPAL_CLIENT_ID]
ADX_CLIENT_SECRET=[SERVICE_PRINCIPAL_CLIENT_SECRET]
ADX_TENANT_ID=[SERVICE_PRINCIPAL_TENANT_ID]

      Megjegyzés:

      Ha felügyelt identitást használ, a(z) ADX_CLIENT_ID érték a létrehozott [_MC_xxxx_] erőforráscsoportban található felügyelt identitás ügyfél-azonosítója. További információ: MC_ erőforráscsoport. Ez ADX_CLIENT_SECRET csak akkor szükséges, ha Microsoft Entra szolgáltatásnevet használ.

    2. Ha szeretné, engedélyezze az Application Insights telemetriát. Ha első alkalommal használja az Application Insightst, hozzon létre egy Application Insights-erőforrást. Másolja a rendszerállapotkulcsot egy változóba.

      APPLICATION_INSIGHTS_KEY=[INSTRUMENTATION_KEY]
COLLECT_TELEMETRY=true

    3. Telepítse a K2Bridge diagramot. A vizualizációk és irányítópultok csak a Kibana 7.10-es verziójával támogatottak. A legújabb képcímkék a következők: 6.8_latest és 7.16_latest, amelyek támogatják a Kibana 6.8-at és a Kibana 7.10-et. A "7.16_latest" képe támogatja a Kibana OSS 7.10.2-t, belső Elasticsearch-példánya pedig 7.16.2.

      Microsoft Entra szolgáltatásnév használata esetén:

      helm install k2bridge charts/k2bridge -n k2bridge --set settings.adxClusterUrl="$ADX_URL" --set settings.adxDefaultDatabaseName="$ADX_DATABASE" --set settings.aadClientId="$ADX_CLIENT_ID" --set settings.aadClientSecret="$ADX_CLIENT_SECRET" --set settings.aadTenantId="$ADX_TENANT_ID" [--set image.tag=6.8_latest/7.16_latest] 
[--set image.repository=$REPOSITORY_NAME/$CONTAINER_NAME] 
[--set privateRegistry="$IMAGE_PULL_SECRET_NAME"] [--set settings.collectTelemetry=$COLLECT_TELEMETRY]

      Vagy ha a felügyelt identitást használták:

      helm install k2bridge charts/k2bridge -n k2bridge --set settings.adxClusterUrl="$ADX_URL" --set settings.adxDefaultDatabaseName="$ADX_DATABASE" --set       settings.aadClientId="$ADX_CLIENT_ID" --set settings.useManagedIdentity=true --set settings.aadTenantId="$ADX_TENANT_ID" [--set image.tag=7.16_latest] [--set  settings.collectTelemetry=$COLLECT_TELEMETRY]

      A Konfiguráció területen megtalálhatja a konfigurációs beállítások teljes készletét.

    4. Az előző parancs kimenete a Következő Helm-parancsot javasolja a Kibana üzembe helyezéséhez. Igény szerint futtassa a következő parancsot:

      helm install kibana elastic/kibana --version 7.17.3 -n k2bridge --set image=docker.elastic.co/kibana/kibana-oss --set imageTag=7.10.2 --set elasticsearchHosts=http://k2bridge:8080

    5. Porttovábbítással érheti el a Kibana-t a localhoston.

      kubectl port-forward service/kibana-kibana 5601 --namespace k2bridge

    6. Csatlakozzon Kibanához a következő lépéssel http://127.0.0.1:5601: .

    7. Tegye elérhetővé a Kibana-t a felhasználók számára. Erre több módszer is létezik. A használt módszer nagyban függ a használati esettől.

      Közzéteheti például a szolgáltatást Terheléselosztó szolgáltatásként. Ehhez adja hozzá a --set service.type=LoadBalancer paramétert a korábbi Kibana Helm telepítési parancshoz.

      Ezután futtassa a következő parancsot:

      kubectl get service -w -n k2bridge

      A kimenetnek az alábbihoz hasonlónak kell lennie:

      NAME            TYPE           CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE
kibana-kibana   LoadBalancer   xx.xx.xx.xx    <pending>     5601:30128/TCP   4m24s

      Ezután használhatja a létrehozott EXTERNAL-IP értéket, amely megjelenik. A kibana eléréséhez nyissa meg a böngészőt, és lépjen az <EXTERNAL-IP>:5601 címre.

  4. Indexmintákat konfigurálhat az adatok eléréséhez.

    Egy új Kibana-példányban:

    1. Nyissa meg a Kibana-t.
    2. Tallózzon a Felügyelet menühöz.
    3. Válassza az Indexminták lehetőséget.
    4. Hozzon létre egy indexmintát. Az index nevének pontosan meg kell egyeznie a tábla nevével vagy a függvény nevével csillag (*) nélkül. A megfelelő sort átmásolhatja a listából.

Megjegyzés:

A K2Bridge más Kubernetes-szolgáltatókon való futtatásához módosítsa az Elasticsearch storageClassName értékét a values.yaml fájlban úgy, hogy az megfeleljen a szolgáltató által javasolt értéknek.

Adatok felderítése

Ha az Azure Data Explorer adatforrásként van konfigurálva a Kibana számára, a Kibana használatával feltárhatja az adatokat.

Képernyőkép a Kibana Felfedezés lapról.

  1. A Kibana-ban válassza a Felfedezés lapot.

  2. Az indexminta listájában válasszon ki egy indexmintát, amely meghatározza a vizsgálandó adatforrást. Itt az indexminta egy Azure Data Explorer-tábla.

    Képernyőkép az adatforrás mintalistájáról.

  3. Ha az adatokhoz időszűrő mező tartozik, megadhatja az időtartományt. A Felfedezés lap jobb felső sarkában válasszon egy időszűrőt. Alapértelmezés szerint az oldal az elmúlt 15 perc adatait jeleníti meg.

    Képernyőkép egy időszűrő kiválasztásáról.

  4. Az eredménytáblában az első 500 rekord látható. A dokumentumot kibontva JSON- vagy táblaformátumban vizsgálhatja meg a mezőadatokat.

    Képernyőkép egy kibontott rekordról a Felfedezés lapon.

  5. A mező neve melletti Hozzáadás gombra kattintva adott oszlopokat adhat hozzá az eredménytáblához. Alapértelmezés szerint az eredménytábla tartalmazza a _source oszlopot és egy Idő oszlopot, ha az időmező létezik.

    Oszlopok hozzáadásának képernyőképe.

  6. A lekérdezési sávban a következő módon kereshet adatokat:

    • Keresési kifejezés megadása.
    • A Lucene-lekérdezés szintaxisának használata. Például:
      • Keressen rá a "hiba" kifejezésre az összes olyan rekord megkereséséhez, amely ezt az értéket tartalmazza.
      • Keressen rá az "állapot: 200" kifejezésre a 200-ás állapotértékkel rendelkező összes rekord lekéréséhez.
    • A logikai operátorok ÉS, VAGY és NEM.
    • Csillag (*) és kérdőjel (?) helyettesítő karakterek használata. A "destination_city: L*" lekérdezés például megegyezik azokkal a rekordokkal, ahol a cél-város érték "L" vagy "l" értékkel kezdődik. (A K2Bridge nem tesz különbséget kis- és nagybetűk között.)

    Képernyőkép a lekérdezések futtatásáról.

Megjegyzés:

Csak a Kibana Lucene lekérdezési szintaxisa támogatott. Ne használja a KQL beállítást, amely a Kibana Query Language-re utal.

Jótanács

A Keresés területen további keresési szabályokat és logikát találhat.

  1. A keresési eredmények szűréséhez használja az Elérhető mezőlistát . A mezőlista az, ahol megtekintheti:

    • A mező legjobb öt értéke.
    • A mezőt tartalmazó rekordok száma.
    • Az egyes értékeket tartalmazó rekordok százalékos aránya.

    Jótanács

    A nagyítóval megkereshet minden olyan rekordot, amely egy adott értékkel rendelkezik.

    Képernyőkép egy mezőlistáról, amelyen a nagyító van kiemelve.

    A nagyítóval szűrheti az eredményeket, és megtekintheti az eredménytáblában szereplő egyes rekordok eredménytáblázat-formátum nézetét.

    Képernyőkép egy táblázatlistáról, amelyen a nagyító ki van emelve.

  2. A keresés megőrzéséhez válassza a Mentés vagy a Megosztás lehetőséget.

    Képernyőkép a kibanai keresések mentéséről.

Adatok vizualizációja

A Kibana-vizualizációk használatával áttekintheti az Azure Data Explorer adatait.

Vizualizáció létrehozása a Felfedezés lapról

  1. Függőleges sávvizualizáció létrehozásához a Felfedezés lapon keresse meg az Elérhető mezők oldalsávot.

    Képernyőkép egy mező kiválasztásáról a Felfedezés lap elérhető mezőiben.

  2. Jelöljön ki egy mezőnevet, majd kattintson a Vizualizáció gombra.

    Képernyőkép egy vizualizáció létrehozásáról és a mező kiválasztásáról.

  3. Megnyílik a Vizualizáció lap, és megjeleníti a vizualizációt. A vizualizáció adatainak és metrikáinak szerkesztéséhez lásd még : Vizualizáció létrehozása a Vizualizáció lapon.

    Képernyőkép a vizualizáció szerkesztéséről a Vizualizáció lapon.

Vizualizáció létrehozása a Vizualizáció lapról

  1. Válassza a Vizualizáció fület, és kattintson a Vizualizáció létrehozása gombra.

    Képernyőkép a Vizualizáció lap kiválasztásáról.

  2. Az Új vizualizáció ablakban válasszon egy vizualizációtípust.

    Képernyőkép egy vizualizációtípus kiválasztásáról.

  3. A vizualizáció létrehozása után szerkesztheti a mutatókat, és hozzáadhat egy csoportosítást.

    Képernyőkép a metrikák szerkesztéséről.

Megjegyzés:

A K2Bridge egy gyűjtőösszesítést támogat. Egyes összesítések támogatják a keresési beállításokat. Használja a Lucene szintaxist, nem a KQL lehetőséget, amely a Kibana lekérdezési nyelv szintaxisát jelenti.

Fontos

  • A következő vizualizációk támogatottak: Vertical bar, Area chart, , Line chart, Horizontal barPie chart, Gauge, Data table, Heat map, Goal chartés Metric chart.
  • A következő metrikák támogatottak: Average, Count, , Max, MedianMin, Percentiles, Standard deviation, Sumés Top hitsUnique count.
  • A metrika Percentiles ranks nem támogatott.
  • A gyűjtőösszesítések használata nem kötelező, az adatokat gyűjtőösszesítés nélkül is megjelenítheti.
  • A következő gyűjtők támogatottak: No bucket aggregation, Date histogram, Filters, Range, Date range, Histogram, és Terms.
  • A IPv4 range és Significant terms vödrök nem támogatottak.

Irányítópultok létrehozása

Irányítópultokat hozhat létre Kibana-vizualizációkkal az Azure Data Explorer-adatok áttekintési nézeteinek összegzéséhez, összehasonlításához és kontrasztjának megjelenítéséhez.

  1. Irányítópult létrehozásához válassza az Irányítópult lapot, majd kattintson az Új irányítópult létrehozása gombra.

    Képernyőkép az Irányítópult lap kiválasztásáról.

    Az új irányítópult szerkesztési módban nyílik meg.

  2. Új vizualizációs panel hozzáadásához kattintson az Új létrehozása gombra.

    Képernyőkép egy meglévő vizualizáció irányítópulthoz való hozzáadásáról.

  3. Ha már létrehozott vizualizációt szeretne hozzáadni, kattintson a Meglévő hozzáadása elemre, és válasszon egy vizualizációt.

  4. A panelek elrendezéséhez rendezze a paneleket prioritás szerint, méretezze át a paneleket, és így tovább, kattintson a Szerkesztés gombra, majd használja az alábbi beállításokat:

    • A panel áthelyezéséhez kattintson és tartsa lenyomva a panel fejlécét, majd húzza a panelt az új helyre.
    • Panel átméretezéséhez kattintson az átméretezés vezérlőre, majd húzza az új dimenziókra.

    Képernyőkép az Azure Data Explorer-adatok vizualizációival rendelkező irányítópultokról.

  • Last updated on