Transformace shromažďování dat ve službě Azure Monitor
Pomocí transformací ve službě Azure Monitor můžete filtrovat nebo upravovat příchozí data před jejich odesláním do pracovního prostoru služby Log Analytics. Tento článek obsahuje základní popis transformací a způsob jejich implementace. Obsahuje odkazy na další obsah pro vytvoření transformace.
Transformace se ve službě Azure Monitor provádějí v kanálu příjmu dat poté, co zdroj dat doručí data a před odesláním do cíle. Zdroj dat může před odesláním dat provádět vlastní filtrování, ale před odesláním do cíle se spoléhá na transformaci pro další manipulaci.
Transformace jsou definovány v pravidle shromažďování dat (DCR) a používají příkaz dotazovací jazyk Kusto (KQL), který se použije jednotlivě pro každou položku příchozích dat. Musí pochopit formát příchozích dat a vytvořit výstup ve struktuře očekávané v cíli.
Následující diagram znázorňuje proces transformace příchozích dat a ukazuje ukázkový dotaz, který se dá použít. Podrobnosti o vytváření transformačních dotazů najdete v tématu Struktura transformace ve službě Azure Monitor .
Proč používat transformace
Následující tabulka popisuje různé cíle, které můžete dosáhnout pomocí transformací.
| Kategorie | Podrobnosti |
|---|---|
| Odebrání citlivých dat | Je možné, že máte zdroj dat, který odesílá informace, které nechcete ukládat z důvodů ochrany osobních údajů nebo kompliancy. Filtrování citlivých informací Vyfiltrujte celé řádky nebo konkrétní sloupce, které obsahují citlivé informace. Obfuscate citlivé informace. Nahraďte informace, jako jsou číslice v IP adrese nebo telefonním čísle, běžným znakem. Odeslat do alternativní tabulky. Odesílání citlivých záznamů do alternativní tabulky s jinou konfigurací řízení přístupu na základě role |
| Obohacení dat o více nebo počítaných informací | Transformace slouží k přidání informací do dat, která poskytují obchodní kontext nebo usnadňují pozdější dotazování na data. Přidejte sloupec s dalšími informacemi. Můžete například přidat sloupec, který identifikuje, jestli je IP adresa v jiném sloupci interní nebo externí. Přidání informací specifických pro firmy Můžete například přidat sloupec označující oddělení společnosti na základě informací o poloze v jiných sloupcích. |
| Snížení nákladů na data | Protože se vám účtují poplatky za příjem dat za všechna data odesílaná do pracovního prostoru služby Log Analytics, chcete vyfiltrovat všechna data, která nepotřebujete ke snížení nákladů. Odeberte celé řádky. Můžete mít například nastavení diagnostiky pro shromažďování protokolů prostředků z konkrétního prostředku, ale nemusíte vyžadovat všechny položky protokolu, které generuje. Vytvořte transformaci, která filtruje záznamy, které odpovídají určitým kritériím. Odeberte sloupec z každého řádku. Data můžou například obsahovat sloupce s daty, která jsou redundantní nebo mají minimální hodnotu. Vytvořte transformaci, která filtruje sloupce, které nejsou povinné. Parsování důležitých dat ze sloupce Můžete mít tabulku s cennými daty uloženými v určitém sloupci. Pomocí transformace parsujte cenná data do nového sloupce a odeberte původní. Odešle určité řádky do základních protokolů. Odesílání řádků v datech, které vyžadují základní možnosti dotazů do základních tabulek protokolů za účelem snížení nákladů na příjem dat. |
| Formátování dat pro cíl | Můžete mít zdroj dat, který odesílá data ve formátu, který neodpovídá struktuře cílové tabulky. Transformace slouží k přeformátování dat na požadované schéma. |
Podporované tabulky
Seznam tabulek, které se dají použít s transformacemi, najdete v tabulkách, které podporují transformace v protokolech služby Azure Monitor. Můžete také použít odkaz na data služby Azure Monitor, který uvádí atributy pro každou tabulku, včetně toho, jestli podporuje transformace. Kromě těchto tabulek se podporují také všechny vlastní tabulky (přípona _CL).
- Všechny tabulky Azure uvedené v tabulkách, které podporují transformace v protokolech služby Azure Monitor. Můžete také použít odkaz na data služby Azure Monitor, který uvádí atributy pro každou tabulku, včetně toho, jestli podporuje transformace.
- Jakákoli vlastní tabulka vytvořená pro agenta služby Azure Monitor (Vlastní tabulka MMA nemůže používat transformace)
Vytvoření transformace
Existuje několik metod pro vytváření transformací v závislosti na metodě shromažďování dat. Následující tabulka obsahuje pokyny pro různé metody vytváření transformací.
| Shromažďování dat | Reference |
|---|---|
| Rozhraní API pro příjem protokolů | Odesílání dat do protokolů služby Azure Monitor pomocí rozhraní REST API (Azure Portal) Odesílání dat do protokolů služby Azure Monitor pomocí rozhraní REST API (šablony Azure Resource Manageru) |
| Virtuální počítač s agentem Azure Monitoru | Přidání transformace do protokolu služby Azure Monitor |
| Cluster Kubernetes se službou Container Insights | Transformace dat v Přehledech kontejnerů |
| Azure Event Hubs | Kurz: Ingestování událostí ze služby Azure Event Hubs do protokolů služby Azure Monitor (Public Preview) |
Náklady na transformace
I když samotné transformace neúčtují přímé náklady, následující scénáře můžou mít za následek další poplatky:
- Pokud transformace zvětšuje velikost příchozích dat, například přidáním počítaného sloupce, bude se vám účtovat standardní míra příjmu dat navíc.
- Pokud transformace sníží ingestovaná data o více než 50 %, bude se vám účtovat množství filtrovaných dat nad 50 %.
K výpočtu poplatku za zpracování dat vyplývajících z transformací použijte následující vzorec:
[GB vyfiltrované podle transformací] – ([GB ingestovaná daty podle kanálu] / 2). Následující tabulka uvádí příklady.
| Ingestování dat podle kanálu | Data vyřazená transformací | Data ingestována pracovním prostorem Služby Log Analytics | Poplatek za zpracování dat | Poplatek za příjem dat |
|---|---|---|---|---|
| 20 GB | 12 GB | 8 GB | 2 GB 1 | 8 GB |
| 20 GB | 8 GB | 12 GB | 0 GB | 12 GB |
1 Tento poplatek vylučuje poplatky za data ingestována pracovním prostorem služby Log Analytics.
Abyste se tomuto poplatku vyhnuli, měli byste před použitím transformací filtrovat ingestované data pomocí alternativních metod. Tímto způsobem můžete snížit množství dat zpracovávaných transformacemi, a tím minimalizovat případné další náklady.
Informace o aktuálních poplatcích za příjem a uchovávání dat protokolů ve službě Azure Monitor najdete v cenách služby Azure Monitor.
Důležité
Pokud je pro pracovní prostor služby Log Analytics povolená služba Azure Sentinel, neúčtují se žádné poplatky za příjem dat bez ohledu na to, kolik dat filtry transformace.