A Kubernetes-fürtök adatgyűjtésének szűrése és testreszabása

Az Azure Monitor által eredetileg a Kubernetes-fürtökből gyűjtött adatok attól függnek, hogy milyen beállításokat választott, amikor engedélyezte a naplók és metrikák gyűjtését. A kezdeti előkészítés után tovább testre szabhatja az adatgyűjtést a Kubernetes-környezet megfelelő figyeléséhez szükséges adatok hozzáadásához, vagy a monitorozási költségek csökkentéséhez nem szükséges adatok kiszűréséhez. A költségek tovább optimalizálhatók speciális szűréssel és különböző típusú adatok különböző tárolóba való küldésével.

Ez a cikk a Kubernetes-fürtöketekből történő adatgyűjtés különböző testreszabási típusait, valamint az ezek megvalósításához szükséges módszereket ismerteti. Az egyes metódusokra vonatkozó részletes utasítások hivatkozásokat tartalmaznak.

Konfigurációs módszerek

Ha engedélyezi egy Kubernetes-fürt figyelését az Azure Monitorban, az Azure Monitor-ügynök (AMA) telepítve lesz a fürtben. Ez az ügynök felelős a logfájlok és a metrikák gyűjtéséért a fürtből, és azoknak az Azure Monitorba történő elküldéséért.

Az ügynök által az adatok gyűjtéséhez használni kívánt konfigurációt két módszer határozza meg. Minden módszer az adatgyűjtés különböző aspektusait vezérli, ezért a követelmények teljesítéséhez mindkét módszert együtt kell használnia. Bár a naplók és a metrikák is ugyanazokat a konfigurációs beállításokat használják, az egyes adattípusok konfigurációja külön történik.

Metódus	Description
Konfigurációs térkép	A Kubernetes konfigurációtérképei a fürtben futó alkalmazások konfigurációs adatait tárolják. A Microsoft több konfigurációtérképet is biztosít az Azure Monitor-ügynök által beolvasott naplókhoz és metrikákhoz az ügynök által a fürtről gyűjtött adatok különböző aspektusainak módosításához. Módosítsa ezeket a konfigurációtérképeket, és alkalmazza őket a fürtre az egyes adattípusok adatgyűjtésének testreszabásához.
Adatgyűjtési szabály (DCR)	Az Azure Monitor adatgyűjtési szabályai határozzák meg, hogy milyen adatokat gyűjtenek egy figyelt erőforrásból, és hol küldik el az adatokat. Ha engedélyezi a Kubernetes-fürt monitorozását, a rendszer automatikusan külön adatgyűjtési szabályokat (DCR-eket) hoz létre a naplók és a metrikák számára. Az ügynök beolvassa a DCR bizonyos beállításait a fürt által gyűjtött adatok meghatározásához. Az Azure Monitor más beállításokat is használ annak meghatározására, hogyan dolgozza fel az adatokat, miután azokat elküldték a fürtből. Ide tartoznak az átalakítások, amelyek fejlett szűrést és az adatok manipulációját biztosítják, mielőtt feldolgozásra kerülnek a Log Analytics munkaterületre.

Az alábbi kép bemutatja, hogyan használják az egyes konfigurációs módszereket a Kubernetes-fürtökből származó adatok gyűjtésében. A naplók gyűjtéséhez csak egy DCR használható. Az látható a képen kétszer, hogy a DCR bizonyos információit az ügynök a fürt szintjén használja fel, míg az adatok kézbesítését követően a DCR többi információit az Azure Monitor használja.

Az alábbi táblázat a két konfigurációs módszer összehasonlítását tartalmazza. A legtöbb beállítás csak az egyik metódusban érhető el, így nem választhatja ki a használni kívánt metódust. Vannak olyan gyakori beállítások , amelyek bármelyik módszerrel konfigurálhatók, de fontos különbségek vannak a működésben. Ezekben az esetekben kiválaszthatja a követelményeknek leginkább megfelelő módszert.

Feladatok	Konfigurációs térkép	Adatgyűjtési szabály (DCR)
Naplók gyűjteménye	- Tárolónaplók engedélyezése/letiltása külön – Tárolónaplók névtér-szűrése - Annotációszűrés – Környezeti változók gyűjtése	– Az összes tárolónapló engedélyezése/letiltása – Névtérszűrés más naplókhoz – Összegyűjtött táblák megadása - Log Analytics-munkaterület(ek) – Egyéni szűrés átalakításokkal
Metrikák gyűjteménye	- Célok engedélyezése/letiltása – Adott metrikák engedélyezése/letiltása - Jegyzetalapú adatgyűjtés	- Azure Monitor-munkaterület(ek)
Telepítés	– A ConfigMap alkalmazása az egyes fürtökre. – A módosítások ismételt üzembe helyezését igényli.	– Egyetlen DCR konfigurálása több fürthöz. – A DCR módosítása újraindítás nélkül.

Gyakori beállítások

Egyes beállítások konfigurálhatók a ConfigMap és a DCR használatával is, de az alábbi táblázatban ismertetett fontos különbségek vannak.

Setting	Recommendation
Konténernaplók	A tárolónaplók a fürtből származó stdout/stderr naplók. A tárolónaplók gyűjtéséhez engedélyezni kell őket a ConfigMap és a DCR (ContainerLogV2 stream) szolgáltatásban is. A ConfigMap lehetővé teszi az stdout- és stderr-naplók külön engedélyezését. Ha letiltja a ConfigMap egyik naplóját, azok nem lesznek összegyűjtve.
Névtérszűrés	A névtérszűrés a ConfigMap-ban és a DCR-ben is konfigurálva van, de különböző naplókhoz. A ConfigMap névtérszűrése csak a tárolónaplókra vonatkozik, és külön konfigurálható az stdout- és stderr-naplókhoz. A névtérszűrés a DCR-ben az összes többi naplóra vonatkozik. Ha teljes mértékben ki szeretne zárni egy névteret a naplógyűjteményből, mindkét helyen ki kell zárnia.

ConfigMap-konfiguráció

A naplókhoz és metrikákhoz külön konfigurációtérképeket biztosítunk az alábbiak szerint. A naplók és a metrikák alapértelmezett konfigurációval rendelkeznek, amikor engedélyezi a fürt figyelését. Ezekkel a konfigurációtérképekkel módosíthatja az alapértelmezett konfigurációt a követelményeknek megfelelően.

Adat	Description
Naplók	A naplógyűjtéshez használt ConfigMap a container-azm-ms-agentconfig.yaml. Tekintse meg a Tárolónapló-gyűjtemény szűrése a ConfigMap használatával című témakört az elérhető beállítások ismertetéséért, valamint a ConfigMap fürtre való módosításának és alkalmazásának lépéseiért. A cikk ConfigMap-beállítások szakasza a ConfigMap alkalmazása előtt használt összes beállítás alapértelmezett értékeit tartalmazza.
Mértékek	Tekintse meg az Alapértelmezett Prometheus-metrikák konfigurációját az Azure Monitorban, hogy mely metrikák kerülnek alapértelmezés szerint gyűjtésre a fürtből. A konfiguráció módosításához használt ConfigMap ama-metrics-settings-configmap. Tekintse meg a Prometheus-metrikák Gyűjtemény testreszabása a Kubernetes-fürtből a ConfigMap használatával című témakört az egyes elérhető beállítások leírásához, valamint a ConfigMap fürtre történő módosításához és alkalmazásához. Más konfigurációtérképek is elérhetők egyéni kaparófeladatok létrehozásához. A konfigurációtérképek használatáról további információt a Kubernetes-fürtből származó egyéni Prometheus-kaparásfeladat létrehozása a ConfigMap használatával című témakörben talál.

DCR-konfiguráció

Amikor engedélyezi a fürt naplógyűjtését, a rendszer automatikusan külön adatgyűjtési szabályokat hoz létre a bevezetési folyamat során megadott beállításokat tartalmazó naplók és metrikák számára. Alább találja az integráció során létrehozott DCR-ek és kapcsolódó objektumok részleteit: DCR-ek és kapcsolódó erőforrások.

Adat	Description
Mértékek	A metrikák DCR-jének neve MSProm-<region>-<cluster name>. Tartalmazza az Azure Monitor-munkaterületet, de minimálisan használható az összegyűjtött metrikák részleteinek meghatározására. Az ConfigMap használatával konfigurálhatja ezeket a részleteket. A DCR módosításának elsődleges esete az, hogy metrikákat küldjön több Azure Monitor munkaterületre, amint azt a Prometheus metrikák küldése több Azure Monitor munkaterületre rész részletezi.
Naplók	A naplók DCR-jének neve MSCI-<region>-<cluster name>. Tartalmazza a Log Analytics-munkaterületet és az előkészítési folyamat során megadott egyéb konfigurációkat, például az összegyűjtött adatstreameket és a névtérszűrést. Ugyanezekkel a módszerekkel módosíthatja ezeket a beállításokat a bevezetés után. Válasszon például egy másik naplókészletet az Azure Portalon az összegyűjtött streamek módosításához, vagy futtasson egy CLI-parancsot egy új naplókonfigurációs fájllal a névtérszűrés hozzáadásához. Ezekben az esetekben nem kell interaktív módon együttműködnie a DCR-vel. Másik lehetőségként közvetlenül is módosíthatja a DCR-t a beállítások módosításához. Közvetlenül is módosíthatja a DCR-t az alább ismertetett speciális forgatókönyvek eléréséhez.

Speciális szűrés

A DCR-ek átalakításával KQL-lekérdezést alkalmazhat az Azure Monitornak küldött adatok szűrésére és kezelésére, mielőtt betöltené őket a Log Analytics-munkaterületre. Ez lehetőséget ad arra, hogy az adatokat gazdagítsuk vagy megtisztítsuk a megfelelőség és a költségoptimalizálás érdekében, mielőtt azok bevitelre kerülnének. Ilyenek például a bejövő adatok sorainak és oszlopainak szűrése, a bizalmas mezők maszkolása és az új számított mezők létrehozása. Részletekért olvassa el a Speciális szűrések és átalakítások az Azure Monitorban Kubernetes naplókhoz című témakört, amely útmutatást nyújt a Kubernetes-fürtökből gyűjtött naplók átalakításainak implementálásához.

Megjegyzés:

Az átalakítások csak a Log Analytics-munkaterületre küldött adatokra vonatkoznak, így nem használhatók az Azure Monitor-munkaterületre küldött metrikák adatainak szűrésére.

Küldés több munkaterületre és táblázatokba

A DCR határozza meg azt a munkaterületet és táblát, ahol az adatok el lesznek küldve. A Kubernetes-hez készült DCR csak egyetlen Log Analytics-munkaterületet adhat meg a naplóadatokhoz, és egyetlen Azure Monitor-munkaterületet a metrikák adataihoz. Létrehozhat további DCR-eket, és társíthatja őket a fürthöz. Előfordulhat például, hogy különböző csapatok felelősek az ugyanazon a fürtön futó különböző alkalmazásokért, és mindegyik csapatnak saját adatkészletre van szüksége. A ConfigMap és a DCR protokollt egyaránt használó részletes példáért tekintse meg a Prometheus-metrikák küldését több Azure Monitor-munkaterületre .

A Log Analytics-munkaterületek különböző adatszintekkel rendelkeznek, amelyek különböző képességeket és költségeket biztosítanak. Csökkentheti a figyelési költségeket, ha bizonyos adatokat alacsonyabb költséggel konfigurált táblákba küld. Ahelyett, hogy egy teljes táblát konfigurál egy másik szintre, például a ContainerLogV2 alapszintű naplókhoz való konfigurálását, a DCR-ben végzett átalakításokkal kiválaszthatja az adatokat a különböző szintekre konfigurált különböző táblákba való küldéshez. Részletes példa: Adatok küldése különböző táblákba .

DCR megosztása több fürttel

Ha több fürtje van, amelyek ugyanazt a konfigurációt használják, megoszthatnak egyetlen DCR-t. Ez a stratégia csökkenti a felügyeleti többletterhelést, és biztosítja a fürtök konzisztenciáját, különösen összetett konfigurációk, például átalakítások speciális szűréshez való használata esetén. Egyetlen klaszter több DCR-hez is társítható, amelyek mindegyike különböző gyűjtendő adatokat határoz meg.

Ha több fürthöz szeretne közös DCR-t használni, távolítsa el a társításokat az egyes fürtök aktuális DCR-jeiből, és hozzon létre egy új társításokat a megosztott DCR-hez. Ha az adott fürt társítva van a közös DCR-hez, akkor eltávolíthatja a régi DCR-t. A DCR-társítások kezelésének különböző módszereiről az Azure Monitor adatgyűjtési szabálytársításainak kezelése című témakörben olvashat.

DCR-ek és kapcsolódó erőforrások

A Prometheus-metrikák és a Kubernetes-fürtök konténer naplózásának az Azure Monitorban való engedélyezésekor létrehozott erőforrásokat az alábbi táblázatok ismertetik.

Naplógyűjtés

Erőforrás neve	Erőforrás típusa	Erőforráscsoport	Régió/hely	Description
MSCI-<aksclusterregion>-<clustername>	Adatgyűjtési szabály	Ugyanaz, mint a klaszter	Ugyanaz, mint a Log Analytics-munkaterület	Az AKS-fürterőforráshoz társítva az Azure Monitor-ügynök határozza meg a naplógyűjtés konfigurációját. Ez a DCR az átalakítás hozzáadásához.

Menedzselt Prometheus

Erőforrás neve	Erőforrás típusa	Erőforráscsoport	Régió/hely	Description
MSPROM-<aksclusterregion>-<clustername>	Adatgyűjtési szabály	Ugyanaz, mint a klaszter	Ugyanaz, mint az Azure Monitor-munkaterület	Az AKS klaszter erőforráshoz társítva meghatározza a prometheus metrikák gyűjtésének konfigurációját a metrikák bővítmény által.
MSPROM-<aksclusterregion>-<clustername>	Adatgyűjtési végpont	Ugyanaz, mint a klaszter	Ugyanaz, mint az Azure Monitor-munkaterület	A DCR használja a Prometheus-metrikáknak a metrikák bővítményből való betöltéséhez.

Új Azure Monitor-munkaterület létrehozásakor a következő további erőforrások jönnek létre.

Erőforrás neve	Erőforrás típusa	Erőforráscsoport	Régió/hely	Description
<azuremonitor-workspace-name>	Adatgyűjtési szabály	<MA_azuremonitor-workspace-name>_<azuremonitor-workspace-region>_managed	Ugyanaz, mint az Azure Monitor-munkaterület	Prometheus-kiszolgálón történő Remote Write használata esetén használjon DCR-t.
<azuremonitor-workspace-name>	Adatgyűjtési végpont	<MA_azuremonitor-workspace-name>_<azuremonitor-workspace-region>_managed	Ugyanaz, mint az Azure Monitor-munkaterület	A DCE-t akkor kell használni, ha a Remote Write szolgáltatást használja a Prometheus szerverről.

Következő lépések

• Az adatátalakításokat a Container Insightsban tekintheti meg, ha olyan átalakításokat szeretne hozzáadni a DCR-hez, amelyek részletesebb feltételek alapján tovább szűrik az adatokat.