Adatok betöltése a Splunk univerzális továbbítóból az Azure Data Explorer
Fontos
Ez az összekötő használható a Microsoft Fabric valós idejű elemzéseiben . Használja a cikkben található utasításokat a következő kivételekkel:
- Ha szükséges, hozzon létre adatbázisokat a KQL-adatbázis létrehozása című cikk utasításait követve.
- Ha szükséges, hozzon létre táblákat az Üres tábla létrehozása című témakör utasításait követve.
- Lekérdezési vagy betöltési URI-k lekérése az URI másolása című témakör utasításait követve.
- Lekérdezések futtatása KQL-lekérdezéskészletben.
A Splunk Universal Forwarder a Splunk Enterprise szoftver egyszerűsített verziója, amellyel egyszerre több forrásból is betölthet adatokat. Naplóadatokat és gépi adatokat gyűjthet és továbbíthat különböző forrásokból egy központi Splunk Enterprise-kiszolgálóra vagy egy Splunk Cloud üzemelő példányra. A Splunk Universal Forwarder ügynökként szolgál, amely leegyszerűsíti az adatgyűjtési és -továbbítási folyamatot, így a Splunk-környezet alapvető összetevője. Az Azure Adatkezelő egy gyors és hatékonyan skálázható adatáttekintési szolgáltatás napló- és telemetriaadatokhoz.
Ebből a cikkből megtudhatja, hogyan küldhet adatokat a fürt egyik táblájának a Kusto Splunk Univerzális továbbító összekötőjével. Először létrehoz egy táblát és egy adatleképezést, majd arra utasítja a Splunkot, hogy adatokat küldjön a táblába, majd ellenőrizze az eredményeket.
Előfeltételek
- Splunk Universal Forwarder letöltve ugyanarra a gépre, ahonnan a naplók származnak.
- Egy Azure-Data Explorer-fürt és -adatbázis. Hozzon létre egy fürtöt és egy adatbázist.
- A Kusto Splunk Universal Forwarder-összekötőt futtató rendszerre telepített Docker.
- Egy Microsoft Entra szolgáltatásnév. Hozzon létre egy Microsoft Entra szolgáltatásnevet.
Azure Data Explorer-tábla létrehozása
Hozzon létre egy táblát, amely fogadja az adatokat a Splunk Universal Forwardertől, majd adjon hozzáférést a szolgáltatásnévnek ehhez a táblához.
A következő lépésekben egy nevű táblát SplunkUFLogs
hoz létre egyetlen oszloppal (RawText
). Ennek az az oka, hogy a Splunk Universal Forwarder alapértelmezés szerint nyers szöveges formátumban küld adatokat. Az alábbi parancsok a webes felhasználói felület lekérdezésszerkesztőjében futtathatók.
Hozzon létre egy táblát:
.create table SplunkUFLogs (RawText: string)
Ellenőrizze, hogy a tábla
SplunkUFLogs
létrejött-e, és üres-e:SplunkUFLogs | count
Az Előfeltételek szolgáltatásnévvel engedélyt adhat a táblát tartalmazó adatbázis használatához.
.add database YOUR_DATABASE_NAME admins ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra service principal: Splunk UF'
A Splunk univerzális továbbító konfigurálása
A Splunk Universal Forwarder letöltésekor megnyílik egy varázsló a továbbító konfigurálásához.
A varázslóban állítsa a Fogadó indexelőt úgy, hogy a Kusto Splunk Universal Forwarder-összekötőt üzemeltető rendszerre mutasson. Adja meg
127.0.0.1
a gazdagép nevét vagy IP-címét , valamint9997
a portot. Hagyja üresen a Célindexelőt .További információ: Fogadó engedélyezése a Splunk Enterprise-hoz.
Lépjen arra a mappára, ahová a Splunk Universal Forwarder telepítve van, majd lépjen az /etc/system/local mappába. Hozza létre vagy módosítsa az inputs.conf fájlt, hogy a továbbító beolvashassa a naplókat:
[default] index = default disabled = false [monitor://C:\Program Files\Splunk\var\log\splunk\modinput_eventgen.log*] sourcetype = modinput_eventgen
További információ: Fájlok és könyvtárak figyelése az inputs.conf fájlokkal.
Lépjen arra a mappára, ahová a Splunk Universal Forwarder telepítve van, majd lépjen az /etc/system/local mappába. Hozza létre vagy módosítsa a outputs.conf fájlt a naplók célhelyének meghatározásához, amely a Kusto Splunk Universal Forwarder-összekötőt üzemeltető rendszer állomásneve és portja:
[tcpout] defaultGroup = default-autolb-group sendCookedData = false [tcpout:default-autolb-group] server = 127.0.0.1:9997 [tcpout-server://127.0.0.1:9997]
További információ: Továbbítás konfigurálása outputs.conf használatával.
Indítsa újra a Splunk Univerzális továbbítót.
A Kusto Splunk univerzális összekötő konfigurálása
A Kusto Splunk Univerzális összekötő konfigurálása naplók Azure-Data Explorer táblába való küldéséhez:
Töltse le vagy klónozza az összekötőt a GitHub-adattárból.
Nyissa meg az összekötő alapkönyvtárát:
cd .\SplunkADXForwarder\
Szerkessze a config.yml fájlt, hogy tartalmazza a következő tulajdonságokat:
ingest_url: <ingest_url> client_id: <ms_entra_app_client_id> client_secret: <ms_entra_app_client_secret> authority: <ms_entra_authority> database_name: <database_name> table_name: <table_name> table_mapping_name: <table_mapping_name> data_format: csv
Mező Leírás ingest_url
Az Azure Data Explorer-fürt betöltési URL-címe. A Azure Portal a fürt Áttekintés lapján, az Adatbetöltési URI alatt található. A következő formátumban kell lennie: https://ingest-<clusterName>.<region>.kusto.windows.net
.client_id
Az Előfeltételek szakaszban létrehozott Microsoft Entra alkalmazásregisztráció ügyfél-azonosítója. client_secret
Az Előfeltételek szakaszban létrehozott Microsoft Entra alkalmazásregisztráció ügyfélkódja. authority
Az Előfeltételek szakaszban létrehozott Microsoft Entra alkalmazásregisztrációt tartalmazó bérlő azonosítója. database_name
Az Azure Data Explorer-adatbázis neve. table_name
Az Azure Data Explorer céltábla neve. table_mapping_name
A táblához tartozó betöltési adatok leképezésének neve. Ha nem rendelkezik leképezéssel, kihagyhatja ezt a tulajdonságot a konfigurációs fájlból. Később bármikor elemezheti az adatokat különböző oszlopokba. data_format
A bejövő adatok várt adatformátuma. A bejövő adatok nyers szöveges formátumban jelennek meg, ezért a javasolt formátum a csv
, amely alapértelmezés szerint a nulla indexre képezi le a nyers szöveget.Hozza létre a Docker-rendszerképet:
docker build -t splunk-forwarder-listener
Futtassa a docker-tárolót:
docker run -p 9997:9997 splunk-forwarder-listener
Ellenőrizze, hogy az adatok be lesznek-e betöltve az Azure Data Explorer
A docker futtatása után a rendszer adatokat küld az Azure Data Explorer táblába. Az adatok betöltésének ellenőrzéséhez futtasson egy lekérdezést a webes felhasználói felület lekérdezésszerkesztőjében.
Futtassa a következő lekérdezést annak ellenőrzéséhez, hogy az adatok be lesznek-e osztva a táblába:
SplunkUFLogs | count
Az adatok megtekintéséhez futtassa a következő lekérdezést:
SplunkUFLogs | take 100