Diagnostika OneLake

Diagnostika OneLake poskytuje komplexný prehľad o tom, ako sa k dátam pristupuje a používa sa vo vašom Fabric prostredí. Umožňuje organizáciám odpovedať na kľúčové otázky ako "kto k čomu, kedy a ako pristupoval", čím podporuje správu dát, prevádzkové poznatky a reportovanie súladu.

Keď povolíte OneLake diagnostiku na úrovni pracovného priestoru, streamuje sa udalosti prístupu k dátam, keď sa JSON prihlási do jazerného domu podľa vášho výberu v rovnakej kapacite. Tieto logy môžete transformovať na tabuľky Delta pripravené na analytiku, takže vaše tímy môžu vytvárať dashboardy a reporty sledujúce vzorce používania, najviac navštevované položky a trendy v čase.

Keďže všetky dáta vo Fabric sú v OneLake zjednotené, diagnostika na úrovni pracovného priestoru poskytuje konzistentný a dôveryhodný záznam o aktivite dát bez ohľadu na to, ako alebo kde sa dáta spotrebúvajú. Tento záznam zahŕňa:

• Akcie používateľa vo webovom prostredí služby Fabric
• Programový prístup prostredníctvom rozhraní API, kanálov a analytických nástrojov
• Skratky medzi pracovnými priestormi s udalosťami zachytenými zo zdrojového pracovného priestoru

Tento jednotný prístup k zapisovaniu do denníka zaisťuje, že aj keď sa k údajom pristupuje prostredníctvom skratiek alebo medzi pracovnými priestormi, viditeľnosť sa zachová.

Diagnostické udalosti sa zaznamenávajú pre zdroje Fabric aj iné zdroje. Pre prístup prostredníctvom používateľského rozhrania služby Fabric a rozhraní API objektov BLOB alebo Azure Data Lake Storage (ADLS) sa každá operácia zaznamenáva. V prípade prístupu k vyťaženiam služby Fabric zaznamenáva, že bol udelený dočasný prístup, takže sa môžete pozrieť ďalej v denníkoch špecifických pre nástroj. Tento prístup zabezpečuje efektívne zaznamenávanie a zároveň udržiava prehľad o tom, ako sa dáta spotrebovávajú vo vašej organizácii.

Príklady scenárov podporovaných diagnostikou OneLake

• Bezpečnostné vyšetrovanie: Sledovať, ktorí používatelia pristupovali k citlivým sémantickým modelom, kedy a odkiaľ identifikovať neoprávnené pokusy o prístup alebo nezvyčajné vzory.
• Riešenie problémov s výkonom: Diagnostikujte problémy s oneskorením alebo zlyhaním koreláciou diagnostických udalostí s akciami používateľa alebo systémovými interakciami.
• Analytika používania a optimalizácia: Pochopte, ktoré sémantické modely sú najčastejšie využívané, kým a ako často podporiť správu dát a optimalizáciu zdrojov.
• Monitorovanie integrácie: Monitorujte externé systémy interagujúce s OneLake (prostredníctvom rozhraní API alebo konektorov), zabezpečte, aby integrácie fungovali podľa očakávania, a diagnostikujte problémy, keď sa vyskytnú.

Konfigurovať diagnostiku OneLake

Požiadavky

• Vytvorte jazerný dom na ukladanie diagnostických udalostí OneLake.
• Chata pri jazere musí byť v rovnakej funkcii ako pracovné priestory, pre ktoré chcete diagnostiku umožniť.
• Ak pracovný priestor používa súkromné linky na ochranu prichádzajúcej siete, musí byť v tej istej virtuálnej sieti ako lakehouse.
• Musíte byť administrátorom pracovného priestoru pre pracovný priestor, kde zapínate diagnostiku OneLake, a prispievateľom do cieľového jazerného domu.

Povoliť diagnostiku OneLake

Na povolenie diagnostiky OneLake použite nasledujúce kroky:

1. Otvorte nastavenia pracovného priestoru.
2. Prejdite na kartu Nastavenia OneLake.
3. Prepínač Pridať diagnostické udalosti do jazerného domu do Zapnuté.
4. Vyberte chatu pri jazere, kde chcete uložiť diagnostické udalosti.

Poznámka

Trvá až hodinu, kým sa diagnostické udalosti začnú šíriť do jazerného domu.

Povoliť nemenné diagnostické záznamy

Môžete spraviť diagnostické udalosti OneLake nemennými, čo znamená, že nikto nemôže manipulovať alebo mazať JSON súbory obsahujúce diagnostické udalosti počas obdobia uchovávania nemennosti. Nemennosť diagnostiky OneLake je postavená na nemennom úložisku pre Azure Blob Storage. Pre viac informácií pozri Ukladať obchodné kritické blob dáta s nemenným úložiskom v stave zápisu raz, čítanie mnohých (WORM).

Nemennosť neprináša ďalšie náboje, ale ovplyvňuje, ako dlho zostávajú diagnostické údaje v úložisku. Keďže súbory nie je možné vymazať počas obdobia nemennosti, náklady na úložisko rastú, keď sa píšu nové diagnostické udalosti. Na kontrolu rastu úložiska naplánujte proces čistenia, ktorý odstráni súbory po uplynutí obdobia nemennosti. Pre viac informácií pozri Spravovať uchovávanie diagnostických záznamov.

Nastavujete obdobie nemennosti na pracovnom priestore, ktorý obsahuje diagnostický lakehouse. Obdobie nemennosti platí pre všetky udalosti uložené v tomto pracovnom priestore.

1. Vstupuje požadovaná doba nemennosti.
2. Vyberte Použiť.

Poznámka

Po použití politiky nemennosti nemôžete súbory upravovať ani mazať, kým neprejde obdobie uchovávania nemennosti. Buďte opatrní pri uplatňovaní politiky, pretože ju nemožno meniť, keď je raz nastavená.

Poznámka

Keď uplynie doba uchovávania nemennosti pre daný súbor, súbor sa stáva opäť upraviteľným a vymazateľným, takže ho môžete zahrnúť do vlastného procesu uchovávania. Pre viac informácií pozri Spravovať uchovávanie diagnostických záznamov.

Správa uchovávania diagnostických záznamov

Aby ste obmedzili kapacitu vašich diagnostických logov, spustite plánovanú čistiacu úlohu, ktorá vymaže súbory staršie, než je vaša požiadavka na uchovávanie.

Každý nástroj, ktorý sa dokáže autentifikovať na OneLake, funguje. Príklad:

• Plánovaný Fabric zápisník (PySpark alebo Python), ktorý enumeruje cestu Files/DiagnosticLogs/OneLake/Workspaces/<WorkspaceId>/y=YYYY/m=MM/d=DD/... a maže priečinky staršie ako vaša doba uchovávania.
• Dátový pipeline, ktorý používa aktivity Získať metadáta a Vymazať cez rovnakú štruktúru priečinkov.
• Vlastná úloha, ktorá priamo volá ADLS Gen2 alebo OneLake API.

Keď sú povolené nemenné diagnostické logy, vaša čistiaca úloha musí zabrániť mazaniu súborov, ktoré sú stále v okne nemennosti. Tri vzory fungujú dobre:

• Zarovnajte retenciu s obdobím nemennosti. Doba nemennosti je pevne stanovená pre všetky súbory v pracovnom priestore a cesta k priečinku (y=YYYY/m=MM/d=DD/h=HH/m=00) vám hovorí vek každého súboru. Ak nastavíte dobu uchovávania dlhšiu ako obdobie nemennosti a mažete podľa veku priečinka, nikdy sa nedotknete súboru, ktorý je stále nemenný.
• Skontrolujte vypršanie platnosti nemennosti na blobe. Get Blob Properties vráti x-ms-immutability-policy-until-date (a x-ms-immutability-policy-mode) keď je na blob nastavená politika. Preskočite akýkoľvek súbor, ktorého doterajší dátum je ešte v budúcnosti.
• Urobte prácu tolerantnou voči chybám. Pokus o vymazanie súboru, ktorý je stále v okne nemennosti, zlyhá kvôli konfliktu HTTP 409 a chybovému kódu BlobImmutableDueToPolicy. Zachytiť zlyhanie, zaznamenať súbor a pokračovať. Ďalšie plánované spustenie preberie súbor, keď je premenliteľný.

Zmeňte diagnostický jazerný dom OneLake

Môžete zmeniť, ktorý jazerný dom ukladá vaše diagnostické udalosti.

Zmena jazerného domu neovplyvní existujúce diagnostické udalosti. Predtým zachytené diagnostické udalosti zostávajú v pôvodnom jazernom dome. Nové podujatia sú uložené v novo vybranom jazernom dome.

1. Otvorte nastavenia pracovného priestoru.
2. Prejdite na kartu Nastavenia OneLake.
3. Vyberte Nahradiť jazerný dom.
4. Vyberte si nový domček pri jazere.

Vypnúť diagnostiku OneLake

1. Otvorte nastavenia pracovného priestoru.
2. Prejdite na kartu Nastavenia OneLake.
3. Prepínač Pridať diagnostické udalosti do jazerného domu na Vypnuté.

OneLake ukladá vaše diagnostické informácie o jazernom dome. Ak diagnostiku znovu zapnete, používa ten istý lakehouse ako predtým.

Odporúčania osvedčených postupov

Riaďte sa týmito odporúčaniami na zjednodušenie riadenia a zlepšenie kontroly prístupu.

• Použite vyhradený pracovný priestor na diagnostické logy. Ak povolíte diagnostiku naprieč viacerými pracovnými priestormi v rovnakej miere, zvážte centralizáciu logov v jednom jazernom dome, aby bola analýza jednoduchšia. Dedikovaný pracovný priestor izoluje oprávnenia a zabraňuje prevádzkovým záťažiam zasahovať do auditných dát.

Ak povolíte nemenné diagnostické záznamy, zvážte aj tieto postupy:

• Obmedzte roly administrátora pracovného priestoru. Obmedziť administrátorov pracovného priestoru na malú, dôveryhodnú skupinu zodpovednú za konfiguráciu nemennosti a správu nastavení na úrovni pracovného priestoru. Toto rozdelenie povinností zabraňuje akémukoľvek tímu generovať diagnostickú aktivitu a zároveň kontrolovať prostredie, ktoré uchováva logy.

• Chráňte pred vymazaním pracovného priestoru alebo jazerného domu. Nemennosť zabraňuje vymazaniu súboru, ale nebráni niekomu s vhodnými oprávneniami vymazať pracovný priestor alebo samotný lakehouse. Udržujte zoznam administrátorov malý, aby ste znížili riziko náhodného alebo úmyselného odstránenia.

• Zosúladiť obdobie uchovávania nemennosti s organizačnými politikami. Vyberte si obdobie nemennosti, ktoré zodpovedá vašim požiadavkám na audit, súlad, právne a vyšetrovanie. Keďže nemennosť sa nedá skrátiť ani zvrátiť po aplikácii, uistite sa, že doba zadržania odráža vaše skutočné povinnosti.

• Plánujte čistenie logov po vypršaní nemennosti. Naplánujte čistiacu úlohu (Fabric notebook, dátový pipeline alebo API nástroje), ktorá vymaže súbory staršie ako vaša politika uchovávania, pričom dbajte na to, aby ste preskočili súbory, ktoré sú stále v okne nemennosti. Pre viac informácií pozri Spravovať uchovávanie diagnostických záznamov.

Najčastejšie otázky

Čo sa stane, ak je cieľový jazerný dom vymazaný?

Ak je jazerný dom vybraný na diagnostiku vymazaný:

• Všetky pracovné priestory, ktoré ukazujú na jazerný dom, automaticky deaktivujú diagnostiku.
• Predtým zachytené diagnostické údaje sa nevymažú. Diagnostické údaje zostávajú v úložisku vymazaného jazerného domu, kým nie je vymazaný samotný pracovný priestor. Ak chcete pokračovať v diagnostike, vyberte nový jazerný dom v tom istom pracovnom priestore. OneLake opätovne aktivuje diagnostiku a všetky predtým zachytené záznamy zostávajú prístupné.

Čo sa stane, ak sa pracovný priestor odstráni?

• Ak je pracovný priestor vymazaný, odstránia sa aj diagnostika OneLake pre tento pracovný priestor.
• Ak je pracovný priestor obnovený, diagnostické údaje sa obnovia.
• Keď je pracovný priestor trvalo vymazaný, trvalo sa odstránia aj súvisiace diagnostické udalosti.

Čo sa stane, keď zmením kapacity?

• Keď presuniete pracovný priestor do inej kapacity, diagnostické logovanie je vypnuté.
• Na opätovné povolenie diagnostiky vyberte nový jazerný dom v rámci novej kapacity.

Ako vymažem diagnostické logy po uplynutí obdobia nemennosti?

Keď obdobie nemennosti uplynie, súbory sa stanú upraviteľnými a vymazateľnými, takže ich môžete zahrnúť do vlastného procesu uchovávania. Pre odporúčané prístupy k čisteniu pozri Spravovať uchovávanie diagnostických záznamov.

Čo sa stane, keď povolím BCDR pre pracovný priestor?

Keď povolíte Business Continuity and Disaster Recovery (BCDR), diagnostické dáta OneLake sa replikujú do sekundárneho regiónu a sú prístupné cez OneLake API v prípade failoveru.

Môžem auditovať diagnostiku OneLake?

Áno. Keď zapnete alebo vypnete monitorovanie pracovného priestoru, alebo aktualizujete lakehouse, systém zachytí udalosť ModifyOneLakeDiagnosticSettings v bezpečnostných logoch Microsoft 365. Táto udalosť vám umožní auditovať zmeny v diagnostických nastaveniach.

Akú spotrebu generuje diagnostika OneLake?

Náklady na spotrebu diagnostiky OneLake sú porovnateľné s diagnostikou Azure Storage, keď posielate dáta na úložný účet. Pre viac informácií pozri spotrebu OneLake.

Obmedzenia

OneLake diagnostika nie je kompatibilná s ochranou prístupu odchádzajúceho (OAP) v Workspace naprieč pracovnými priestormi. Ak potrebujete, aby OneLake diagnostika a OAP spolupracovali, musíte vybrať jazerný dom v rovnakom pracovnom priestore.

Keď konfigurujete diagnostiku OneLake, výber pracovného priestoru rešpektuje konfiguráciu súkromného spojenia pracovného priestoru tým, že obmedzuje výber na pracovné priestory v rámci tej istej privátnej siete. Diagnostika OneLake však automaticky nereaguje na zmeny v sieti.

Diagnostické udalosti OneLake

Priečinok DiagnosticLogs v sekcii Súbory v jazernom dome uchováva diagnostické udalosti OneLake. Súbory JSON sa zapisujú do priečinka s nasledujúcou cestou: Files/DiagnosticLogs/OneLake/Workspaces/WorkspaceId/y=YYYY/m=MM/d=DD/h=HH/m=00/PT1H.json

Udalosť JSON obsahuje nasledujúce atribúty:

Vlastnosť	Description
workspaceId	Identifikátor GUID pracovného priestoru so zapnutou diagnostikou.
Identifikátor položky	GUID textilnej položky, ako je napríklad chata pri jazere, ktorá vykonávala operáciu OneLake.
itemType (typ položky)	Taký typ zariadenia, ktorý vykonával operáciu OneLake.
tenantId	Identifikátor nájomcu, ktorý vykonával operáciu OneLake.
executingPrincipalId	GUID princípu Microsoft Entra, ktorý vykonával operáciu OneLake.
koreláciaId	GUID identifikátor korelácie pre operáciu OneLake.
Názov operácie	Vykonávaná operácia OneLake (nie je k dispozícii pre interné operácie Fabric). Viac informácií nájdete v sekcii Operácie .
prevádzkaKategória	Široká kategória operácie OneLake, napríklad Read.
vykonávanie hlavného názvu používateľa	Jedinečný hlavný názov Microsoft Entra, ktorý vykonával túto operáciu (nie je poskytovaný pre interné Fabric operácie).
executingPrincipalType	Typ princípu, ktorý sa používa, napríklad User alebo Service Principal.
accessStartTime	Čas vykonania operácie. Alebo, keď je dočasný prístup poskytnutý, čas začiatku dočasného prístupu.
accessEndTime	Čas dokončenia operácie. Alebo, keď je dočasný prístup poskytnutý, časovo dočasný prístup je dokončený.
originatingApp	Záťaž, ktorá vykonala operáciu. Pre externý prístup je originatingApp reťazec používateľského agenta.
serviceEndpoint	Používaný koncový bod služby OneLake (DFS, Blob alebo Iné).
Resource	Zdroje, ku ktorým pristupujeme (vzhľadom na pracovný priestor).
capacityId	Identifikátor kapacity, ktorá vykonávala operáciu OneLake.
httpStatusCode	Stavový kód sa vrátil používateľovi.
isSkratka	Označuje, či bol prístup vykonaný cez skratku.
accessedViaResource	Zdroj, cez ktorý sa k údajom pristupovalo. Keď sa použije skratka, tento zdroj je miesto, kde sa skratka nachádza.
volajúciIPAddress	IP adresa volajúceho.

Osobné údaje

Diagnostické udalosti OneLake zahŕňajú executingUPN a callerIpAddress. Na začiernenie týchto údajov môžu administrátori nájomcov vypnúť nastavenie Zahrnúť identifikátory koncových používateľov do diagnostických logov OneLake v portáli Fabric Admin Portal. Ak sú tieto polia zakázané, sú vylúčené z nových diagnostických udalostí.

Operations

Globálne operácie

Operation	Kategória
ReadFileOrGetBlob	Read
GetFileOrBlobProperties	Read
GetActionFileOrBlobProperties	Read
CheckAccessFileOrBlob	Read
DeleteFileOrBlob	Delete

Operácie objektov BLOB

Operation	Kategória
GetBlockList	Read
ZoznamBlob	Read
Získať Blob	Read
Odstrániť Blob	Delete
Zrušiť odstránenie objektu blob	Zapisovať
GetBlobMetadata	Read
Uplynutie platnosti SetBlob	Zapisovať
SetBlobMetadata	Zapisovať
Vlastnosti SetBlob	Zapisovať
SetBlobTier	Zapisovať
Objekt LeaseBlob	Zapisovať
AbortCopyBlob	Zapisovať
PutBlockFromURL	Zapisovať
Umiestnenie bloku	Zapisovať
Zoznam blokov PutBlockList	Zapisovať
AppendBlockFromURL	Zapisovať
Pripojiť blok	Zapisovať
AppendBlobSeal	Zapisovať
PutBlobFromURL	Zapisovať
CopyBlob	Zapisovať
Umiestnenie Blob	Zapisovať
QueryBlobContents	Read
GetBlobProperties	Read
Vytvoriť kontajner	Zapisovať
Odstrániť kontajner	Delete
GetContainerMetadata	Read
GetContainerProperties	Read
SetContainerMetadata	Zapisovať
SetContainerAcl	Zapisovať
Prenájom kontajnera	Zapisovať
Obnoviť kontajner	Zapisovať
Objekt SnapshotBlob	Zapisovať
CreateFastPathReadSession	Read
CreateFastPathWriteSession	Zapisovať

Operácie DFS

Operation	Kategória
Vytvoriť súborový systém	Zapisovať
PatchFileSystem	Zapisovať
Odstrániť súborový systém	Delete
GetFileSystemProperties	Read
Vytvoriť adresár	Zapisovať
Vytvoriť súbor	Zapisovať
Odstrániť adresár	Delete
Odstrániť súbor	Delete
PremenovaťFileOrDirectory	Zapisovať
Cesta k súboru zoznamu	Read
AppendDataToFile	Zapisovať
FlushDataToFile	Zapisovať
NastaviťVlastnosti súboru	Zapisovať
SetAccessControlForFile	Zapisovať
SetAccessControlForDirectory	Zapisovať
Prenájomná cesta	Zapisovať
GetPathStatus	Read
GetAccessControlListForFile	Read

Operácie s tkaninami

Operation	Kategória
FabricWorkloadAccess	Read