Diagnostika OneLake

Diagnostika OneLake poskytuje ucelený přehled o přístupu k datům a jejich používání v celém prostředí Fabric. Umožňuje organizacím zodpovědět kritické otázky, jako je "kdo přistupoval k čemu, kdy a jak", které podporují zásady správného řízení dat, provozní přehled a vytváření sestav dodržování předpisů.

Když povolíte diagnostiku OneLake na úrovni pracovního prostoru, streamuje události přístupu k datům jako protokoly JSON do lakehouse dle vašeho výběru ve stejné kapacitě. Tyto protokoly můžete transformovat na tabulky Delta připravené pro analýzy, takže týmy můžou vytvářet řídicí panely a sestavy, které sledují vzory využití, položky s nejvyšším přístupem a trendy v průběhu času.

Vzhledem k tomu, že všechna data jsou v rámci Fabric v OneLake sjednocena, poskytuje diagnostika na úrovni pracovního prostoru konzistentní a důvěryhodný záznam o aktivitě dat bez ohledu na způsob spotřeby či umístění dat. Tento záznam zahrnuje:

• Akce uživatelů ve webovém prostředí Fabric
• Programový přístup prostřednictvím rozhraní API, kanálů a analytických modulů
• Klávesové zkratky mezi pracovními prostory s událostmi zachycenými ze zdrojového pracovního prostoru

Tento jednotný přístup protokolování zajišťuje, že i když jsou data přístupná prostřednictvím zkratek nebo napříč pracovními prostory, viditelnost zůstane zachována.

Diagnostické události se zaznamenávají pro Fabric a ne-Fabric zdroje. Pro přístup přes uživatelské rozhraní Fabric a rozhraní API služby Blob nebo Azure Data Lake Storage (ADLS) se protokolují všechny operace. V případě přístupu k úlohám Fabric zaznamenává, že byl udělen dočasný přístup, abyste se mohli dále podívat na konkrétní protokoly modulu. Tento přístup zajišťuje efektivní protokolování při zachování přehledu o tom, jak se data spotřebovávají v celé organizaci.

Ukázkové scénáře podporované diagnostikou OneLake

• Šetření zabezpečení: Umožňuje sledovat, kteří uživatelé přistupovali k citlivým sémantickým modelům, kdy a odkud identifikovat pokusy o neoprávněný přístup nebo neobvyklé vzory.
• Řešení potíží s výkonem: Diagnostikujte problémy s latencí nebo selháním pomocí korelace diagnostických událostí s akcemi uživatele nebo interakcemi systému.
• Analýza a optimalizace využití: Zjistěte, ke kterým sémantickým modelům se nejčastěji přistupuje, kdo a jak často podporuje zásady správného řízení dat a optimalizaci prostředků.
• Monitorování integrace: Monitorování externích systémů pracujících s OneLake (prostřednictvím rozhraní API nebo konektorů), zajištění toho, aby integrace fungovaly podle očekávání a diagnostikovali problémy při jejich vzniku.

Konfigurace diagnostiky OneLake

Požadavky

• Vytvořte lakehouse pro ukládání diagnostických událostí OneLake.
• Lakehouse musí být ve stejné kapacitě jako pracovní prostory, pro které chcete povolit diagnostiku.
• Pokud pracovní prostor používá privátní propojení pro ochranu příchozí sítě, musí být ve stejné virtuální síti jako je lakehouse.
• Musíte být správcem pracovního prostoru pro pracovní prostor, ve kterém povolujete diagnostiku OneLake, a přispěvatelem do cílového jezera.

Povolení diagnostiky OneLake

Pokud chcete povolit diagnostiku OneLake, postupujte následovně:

1. Otevřete nastavení pracovního prostoru.
2. Přejděte na kartu Nastavení OneLake.
3. Přepněte možnost Přidat diagnostické události do lakehouse na Zapnuto.
4. Vyberte jezero, do kterého chcete ukládat diagnostické události.

Poznámka:

Začátku diagnostických událostí, které začnou proudit do Lakehouse, může trvat až jednu hodinu.

Povolení neměnných diagnostických protokolů

Diagnostické události OneLake můžete nastavit jako neměnné, což znamená, že nikdo nemůže manipulovat se soubory JSON, které obsahují diagnostické události během období neměnnosti. Neměnnost diagnostiky OneLake je založená na neměnném úložišti pro funkci Azure Blob Storage. Další informace najdete v tématu Ukládání kritických obchodních dat typu blob s neměnnou úložištěm ve stavu zápisu jednou, čtení mnohokrát (WORM).

Neměnnost nezavádí další poplatky, ale ovlivňuje, jak dlouho diagnostická data zůstávají v úložišti. Vzhledem k tomu, že soubory nelze během období neměnnosti odstranit, náklady na úložiště se při zápisu nových diagnostických událostí zvětšují. Pokud chcete řídit růst úložiště, naplánujte proces čištění, který odebere soubory po uplynutí období neměnnosti. Další informace najdete v tématu Správa uchovávání diagnostických protokolů.

V pracovním prostoru, který obsahuje diagnostické jezero, nakonfigurujete období neměnnosti. Období neměnnosti platí pro všechny události uložené v tomto pracovním prostoru.

1. Zadejte požadovanou dobu neměnnosti.
2. Vyberte a použijte.

Poznámka:

Po použití zásad neměnnosti nemůžete soubory upravovat ani odstraňovat, dokud neproběhne doba uchovávání neměnnosti. Při použití zásad buďte opatrní, protože se po nastavení nedají změnit.

Poznámka:

Když doba uchovávání neměnnosti uplynula pro daný soubor, soubor se znovu upraví a zruší, takže ho můžete zahrnout do vlastního procesu uchovávání informací. Další informace najdete v tématu Správa uchovávání diagnostických protokolů.

Správa uchovávání diagnostických protokolů

Pokud chcete limitovat nároky na úložiště diagnostických protokolů, spusťte naplánovanou úlohu čištění, která odstraňuje soubory starší než váš požadavek na uchovávání informací.

Jakýkoli nástroj, který se může ověřit ve OneLake, funguje. Příklad:

• Naplánovaný poznámkový blok Fabric (PySpark nebo Python), který prochází cestu Files/DiagnosticLogs/OneLake/Workspaces/<WorkspaceId>/y=YYYY/m=MM/d=DD/... a odstraňuje složky starší než vaše doba uchovávání.
• Datový kanál, který používá aktivity Get Metadata a Delete ve stejné struktuře složek.
• Vlastní úloha, která přímo volá rozhraní API ADLS Gen2 nebo OneLake.

Pokud jsou povolené neměnné diagnostické protokoly, je potřeba, aby se úloha čištění vyhnula odstraňování souborů, které jsou stále v okně neměnnosti. Dobře fungují tři vzory:

• Slaďte dobu uchování s dobou neměnnosti. Doba neměnnosti je pevná pro všechny soubory v pracovním prostoru a cesta ke složce (y=YYYY/m=MM/d=DD/h=HH/m=00) udává věk jednotlivých souborů. Pokud nastavíte dobu uchovávání delší než doba neměnnosti a odstraníte ji podle věku složky, nikdy se nedotknete souboru, který je stále neměnný.
• Zkontrolujte datum vypršení neměnnosti u objektu blob. Get Blob Properties vrátí x-ms-immutability-policy-until-date (a x-ms-immutability-policy-mode), když je u objektu blob nastavena zásada. Přeskočte jakýkoli soubor, jehož datum „do“ je stále v budoucnu.
• Zajistěte odolnost úlohy vůči chybám. Pokus o odstranění souboru, který je stále v rámci doby neměnnosti, selže s chybou HTTP 409 Conflict a kódem chyby BlobImmutableDueToPolicy. Zachyťte selhání, za protokolujte soubor a pokračujte. Další naplánované spuštění vybere soubor, jakmile bude proměnlivý.

Změna diagnostického jezera OneLake

Můžete změnit, které lakehouse ukládá diagnostické události.

Změna lakehouse nemá vliv na existující diagnostické události. Dříve zachycené diagnostické události zůstávají v původním Lakehouse. Nové události se ukládají v nově vybraném jezeře.

1. Otevřete nastavení pracovního prostoru.
2. Přejděte na kartu Nastavení OneLake.
3. Vyberte Nahradit datové úložiště typu lakehouse.
4. Zvolte nový jezerní dům.

Zakázání diagnostiky OneLake

1. Otevřete nastavení pracovního prostoru.
2. Přejděte na kartu Nastavení OneLake.
3. Přepněte Přidat diagnostické události do lakehouse na Vypnuto.

OneLake ukládá informace o diagnostickém jezeře. Pokud znovu povolíte diagnostiku, použije stejný lakehouse jako předtím.

Doporučení osvědčených postupů

Pokud chcete zjednodušit správu a zlepšit řízení přístupu, postupujte podle těchto doporučení.

• Pro diagnostické protokoly použijte vyhrazený pracovní prostor. Pokud povolíte diagnostiku napříč více pracovními prostory ve stejné kapacitě, zvažte centralizaci protokolů v jednom jezeře, aby se usnadnila analýza. Vyhrazený pracovní prostor izoluje oprávnění a brání provozním úlohám v ovlivňování dat auditu.

Pokud povolíte neměnné diagnostické protokoly, zvažte také tyto postupy:

• Omezte role správce pracovního prostoru. Omezte správce pracovního prostoru na malou důvěryhodnou skupinu odpovědnou za konfiguraci neměnnosti a správu nastavení na úrovni pracovního prostoru. Toto oddělení povinností brání jakémukoli týmu v generování diagnostické aktivity a řízení prostředí, ve které se protokoly ukládají.

• Ochrana proti odstranění pracovního prostoru nebo lakehousu. Neměnnost brání odstranění souboru, ale nebrání tomu, aby někdo se správnými oprávněními odstranil pracovní prostor nebo samotný lakehouse. Udržujte seznam správců malý, abyste snížili riziko náhodného nebo úmyslného odebrání.

• Zarovnejte dobu uchovávání neměnnosti se zásadami organizace. Zvolte období neměnnosti, které odpovídá vašim požadavkům na audit, dodržování předpisů, právní a šetření. Vzhledem k tomu, že neměnnost nelze po použití zkrátit ani vrátit zpět, ujistěte se, že okno uchovávání odpovídá vašim skutečným povinnostem.

• Naplánujte vyčištění protokolových záznamů po skončení doby neměnnosti. Naplánujte úlohu čištění (pomocí poznámkového bloku Fabric, datového kanálu nebo nástroje založeného na rozhraní API), která odstraní soubory starší, než určují zásady uchovávání, a dbejte na to, aby vynechala soubory, které jsou stále v období neměnnosti. Další informace najdete v tématu Správa uchovávání diagnostických protokolů.

Často kladené otázky (FAQ)

Co se stane, když dojde k odstranění cílového jezera?

Pokud je objekt lakehouse vybraný pro diagnostiku odstraněn:

• Všechny pracovní prostory, které odkazují na lakehouse, automaticky vypnou diagnostiku.
• Dříve zachycená diagnostická data se neodstraní. Diagnostická data zůstanou v úložišti odstraněného lakehouse, dokud se samotný pracovní prostor nesmaže. Chcete-li pokračovat v diagnostice, vyberte nový lakehouse ve stejném pracovním prostoru. OneLake znovu povolí diagnostiku a všechny dříve zachycené protokoly zůstanou přístupné.

Co se stane, když se pracovní prostor odstraní?

• Pokud dojde k odstranění pracovního prostoru, odstraní se také diagnostika OneLake pro tento pracovní prostor.
• Pokud se pracovní prostor obnoví, obnoví se diagnostická data.
• Po trvalém odstranění pracovního prostoru se také trvale odeberou přidružené diagnostické události.

Co se stane, když změním kapacity?

• Když přesunete pracovní prostor do jiné kapacity, zakáže se protokolování diagnostiky.
• Pokud chcete diagnostiku znovu povolit, vyberte v nové kapacitě nový jezerní dům.

Jak odstraním diagnostické protokoly po vypršení období neměnnosti?

Po uplynutí období neměnnosti se soubory stanou upravitelnými a odsunutelnými, takže je můžete zahrnout do vlastního procesu uchovávání informací. Doporučené postupy čištění najdete v tématu Správa uchovávání diagnostických protokolů.

Co se stane, když pro pracovní prostor povolím BCDR?

Když povolíte provozní kontinuitu a zotavení po havárii (BCDR), replikují se diagnostická data OneLake do sekundární oblasti a jsou přístupná prostřednictvím rozhraní API OneLake, pokud dojde k přepnutí na záložní systém.

Můžu auditovat diagnostiku OneLake?

Ano. Když povolíte nebo zakážete monitorování pracovního prostoru nebo aktualizujete lakehouse, systém zaznamená událost ModifyOneLakeDiagnosticSettings v protokolech zabezpečení Microsoftu 365. Tato událost umožňuje auditovat změny nastavení diagnostiky.

Kolik spotřeby generuje diagnostika OneLake?

Náklady na spotřebu diagnostiky OneLake jsou srovnatelné s diagnostikou azure Storage při odesílání dat do účtu úložiště. Další informace najdete v tématu o spotřebě OneLake.

Omezení

Diagnostika OneLake není kompatibilní s ochranou odchozího přístupu pracovního prostoru (OAP) napříč pracovními prostory. Pokud potřebujete, aby diagnostika OneLake a OAP spolupracovaly, musíte vybrat lakehouse v rámci stejného pracovního prostoru.

Když nakonfigurujete diagnostiku OneLake, výběr pracovního prostoru respektuje konfiguraci privátního propojení pracovního prostoru omezením výběru na pracovní prostory ve stejné privátní síti. Diagnostika OneLake ale automaticky nereaguje na změny sítí.

Diagnostické události OneLake

Složka DiagnosticLogs v části Soubory lakehousu ukládá diagnostické události OneLake. Soubory JSON se zapisují do složky s následující cestou: Files/DiagnosticLogs/OneLake/Workspaces/WorkspaceId/y=YYYY/m=MM/d=DD/h=HH/m=00/PT1H.json

Událost JSON obsahuje následující atributy:

Vlastnictví	Description
workspaceId	Identifikátor GUID pracovního prostoru s povolenou diagnostikou.
Identifikátor položky	Identifikátor GUID položky infrastruktury, jako je lakehouse, který provedl operaci OneLake.
Typ položky	Druh položky, která byla použita pro operaci OneLake.
tenantId	Identifikátor tenanta, který provedl operaci OneLake.
ExecutingPrincipalId	Identifikátor GUID principu Microsoft Entra, který provedl operaci OneLake.
identifikátor korelace	Identifikátor korelace GUID pro operaci OneLake.
název operace	Operace OneLake, která se provádí (není k dispozici pro interní operace Fabric). Další informace najdete v části Operace .
kategorie operace	Obecná kategorie operace OneLake, například čtení.
spuštění User Principal Name (UPN)	Jedinečný hlavní název uživatele Microsoft Entra, který provedl operaci (není k dispozici pro interní operace Fabric).
ExecutingPrincipalType	Typ použití hlavního objektu, například Uživatel nebo Hlavní objekt služeb.
accessStartTime	Čas provedení operace. Nebo pokud je k dispozici dočasný přístup, čas spuštění dočasného přístupu.
accessEndTime	Čas dokončení operace. Nebo pokud je k dispozici dočasný přístup, čas dokončení dočasného přístupu.
původníAplikace	Úloha, která operaci provedla. Pro externí přístup je pak původcem Aplikace řetězec uživatelského agenta.
serviceEndpoint	Používaný koncový bod služby OneLake (DFS, Blob nebo Jiný).
Resource	Prostředky, ke kterým se přistupuje vzhledem k pracovnímu prostoru.
identifikátor kapacity	Identifikátor kapacity, která prováděla operaci OneLake.
Kód stavu HTTP (httpStatusCode)	Stavový kód vrácený uživateli.
isShortcut	Označuje, jestli byl přístup proveden prostřednictvím zkratky.
přístupprostřednictvímzdroje	Prostředek, přes který byla data přístupná. Při použití zástupce je tento prostředek umístěním zástupce.
IP adresa volajícího	IP adresa volajícího.

Osobní údaje

Události diagnostiky OneLake zahrnují executingUPN a callerIpAddress. Správci tenantů mohou zakázat nastavení Zahrnout identifikátory koncových uživatelů v diagnostických protokolech OneLake tím, že toto nastavení vypnou na portálu pro správu Fabric. Pokud je tato pole zakázaná, budou tato pole vyloučena z nových diagnostických událostí.

Operations

Globální operace

Operation	Kategorie
ČtiSouborNeboZískejBlob	Čti
GetFileOrBlobProperties	Čti
GetActionFileOrBlobProperties	Čti
CheckAccessFileOrBlob	Čti
DeleteFileOrBlob	Delete

Operace objektů blob

Operation	Kategorie
ZískatSeznamBloků	Čti
ListBlob	Čti
GetBlob	Čti
DeleteBlob	Delete
UndeleteBlob	Napiš
GetBlobMetadata	Čti
SetBlobExpiry	Napiš
SetBlobMetadata	Napiš
SetBlobProperties	Napiš
NastavitÚroveňBlobu	Napiš
LeaseBlob	Napiš
AbortCopyBlob	Napiš
PutBlockFromURL	Napiš
PutBlock	Napiš
PutBlockList	Napiš
AppendBlockFromURL	Napiš
AppendBlock	Napiš
AppendBlobSeal	Napiš
PutBlobFromURL	Napiš
CopyBlob	Napiš
PutBlob	Napiš
QueryBlobContents	Čti
GetBlobProperties	Čti
VytvořitKontejner	Napiš
SmazatKontejner	Delete
GetContainerMetadata	Čti
ZískatVlastnostiKontejneru	Čti
SetContainerMetadata	Napiš
SetContainerAcl	Napiš
LeaseContainer	Napiš
ObnovitKontejner	Napiš
SnapshotBlob	Napiš
CreateFastPathReadSession	Čti
CreateFastPathWriteSession	Napiš

Operace DFS

Operation	Kategorie
CreateFileSystem	Napiš
PatchFileSystem	Napiš
DeleteFileSystem	Delete
GetFileSystemProperties	Čti
CreateDirectory	Napiš
CreateFile	Napiš
DeleteDirectory	Delete
DeleteFile	Delete
PřejmenovatSouborNeboAdresář	Napiš
ListFilePath	Čti
AppendDataToFile	Napiš
FlushDataToFile	Napiš
SetFileProperties	Napiš
NakonfigurujPřístupováPrávaProSoubor	Napiš
SetAccessControlForDirectory	Napiš
LeasePath	Napiš
GetPathStatus	Čti
GetAccessControlListForFile	Čti

Operace fabricu

Operation	Kategorie
FabricWorkloadAccess	Čti