Diagnostik OneLake

Diagnostik OneLake memberikan visibilitas end-to-end tentang bagaimana data diakses dan digunakan di seluruh lingkungan Fabric Anda. Ini memungkinkan organisasi menjawab pertanyaan penting seperti "siapa yang mengakses apa, kapan, dan bagaimana," mendukung tata kelola data, wawasan operasional, dan pelaporan kepatuhan.

Saat Anda mengaktifkan diagnostik OneLake di tingkat ruang kerja, peristiwa akses data dialirkan dalam bentuk log JSON ke lakehouse pilihan Anda dalam kapasitas yang sama. Anda dapat mengubah log ini menjadi tabel Delta siap analitik, sehingga tim Anda dapat membangun dasbor dan laporan yang melacak pola penggunaan, item yang diakses teratas, dan tren dari waktu ke waktu.

Karena semua data dalam Fabric disatukan dalam OneLake, diagnostik di tingkat ruang kerja memberikan catatan aktivitas data yang konsisten dan dapat dipercaya terlepas dari bagaimana atau di mana data dikonsumsi. Catatan ini mencakup:

• Tindakan pengguna dalam pengalaman web Fabric
• Akses terprogram melalui API, alur, dan mesin analitik
• Pintasan antarruang kerja, dengan peristiwa yang ditangkap dari ruang kerja sumber

Pendekatan pengelogan terpadu ini memastikan bahwa bahkan ketika data diakses melalui pintasan atau di seluruh ruang kerja, visibilitas dipertahankan.

Peristiwa diagnostik direkam untuk sumber Fabric dan non-Fabric. Untuk akses melalui UI Fabric dan API Blob atau Azure Data Lake Storage (ADLS), setiap operasi dicatat. Untuk mengakses beban kerja Fabric, dicatat bahwa akses sementara telah diberikan, sehingga Anda dapat memeriksa lebih lanjut dalam log khusus mesin. Pendekatan ini memastikan pengelogan yang efisien sambil mempertahankan visibilitas tentang bagaimana data digunakan di seluruh organisasi Anda.

Contoh skenario yang didukung oleh diagnostik OneLake

• Investigasi keamanan: Lacak pengguna mana yang mengakses model semantik sensitif, kapan, dan dari mana mengidentifikasi upaya akses yang tidak sah atau pola yang tidak biasa.
• Pemecahan masalah performa: Mendiagnosis latensi atau masalah kegagalan dengan menghubungkan peristiwa diagnostik dengan tindakan pengguna atau interaksi sistem.
• Analitik dan pengoptimalan penggunaan: Pahami model semantik mana yang paling sering diakses, oleh siapa, dan seberapa sering untuk mendukung tata kelola data dan pengoptimalan sumber daya.
• Pemantauan integrasi: Memantau sistem eksternal yang berinteraksi dengan OneLake (melalui API atau konektor), memastikan integrasi berfungsi seperti yang diharapkan dan mendiagnosis masalah saat muncul.

Mengonfigurasi diagnostik OneLake

Prasyarat

• Buat lakehouse untuk menyimpan event diagnostik OneLake.
• Lakehouse harus berada dalam kapasitas yang sama dengan ruang kerja yang ingin Anda aktifkan diagnostiknya.
• Jika ruang kerja menggunakan tautan privat untuk perlindungan jaringan masuk, ruang kerja harus berada dalam jaringan virtual yang sama dengan lakehouse.
• Anda harus menjadi admin ruang kerja untuk ruang kerja tempat Anda mengaktifkan diagnostik OneLake, dan kontributor ke lakehouse tujuan.

Mengaktifkan diagnostik OneLake

Gunakan langkah-langkah berikut untuk mengaktifkan diagnostik OneLake:

1. Buka pengaturan ruang kerja.
2. Navigasikan ke tab pengaturan OneLake.
3. Alihkan Tambahkan peristiwa diagnostik ke lakehouse menjadi Aktif.
4. Pilih lakehouse tempat Anda ingin menyimpan peristiwa diagnostik.

Nota

Dibutuhkan waktu hingga satu jam sebelum peristiwa diagnostik mulai mengalir ke lakehouse.

Aktifkan log diagnostik yang tidak dapat diubah

Anda dapat membuat peristiwa diagnostik OneLake tidak dapat diubah, yang berarti bahwa tidak ada yang dapat mengubah atau menghapus file JSON yang berisi peristiwa diagnostik selama periode retensi kekekalan. Kekekalan diagnostik OneLake dibangun di atas penyimpanan yang tidak dapat diubah untuk kemampuan Azure Blob Storage. Untuk informasi selengkapnya, lihat Menyimpan data blob yang penting untuk bisnis dengan penyimpanan immutabel dalam mode WORM (write once, read many).

Kekekalan tidak menimbulkan biaya tambahan, tetapi memengaruhi berapa lama data diagnostik tetap berada di penyimpanan. Karena file tidak dapat dihapus selama periode imutabilitas, biaya penyimpanan bertambah saat peristiwa diagnostik baru ditulis. Untuk mengontrol pertumbuhan penyimpanan, rencanakan proses pembersihan yang menghapus file setelah periode imutabilitas berlalu. Untuk informasi selengkapnya, lihat Mengelola retensi log diagnostik.

Anda mengonfigurasi periode kekekalan pada ruang kerja yang berisi lakehouse diagnostik. Periode imutabilitas berlaku untuk semua peristiwa yang disimpan di ruang kerja ini.

1. Masukkan periode imutabilitas yang diperlukan.
2. Pilih Terapkan.

Nota

Setelah menerapkan kebijakan imutabilitas, Anda tidak dapat mengubah atau menghapus file hingga periode retensi kekekalan berlalu. Berhati-hatilah saat menerapkan kebijakan karena tidak dapat diubah setelah ditetapkan.

Nota

Ketika periode retensi kekekalan berlalu untuk file tertentu, file menjadi dapat diedit dan dapat dilepas lagi, sehingga Anda dapat menyertakannya dalam proses retensi Anda sendiri. Untuk informasi selengkapnya, lihat Mengelola retensi log diagnostik.

Mengelola retensi log diagnostik

Untuk menutup jejak penyimpanan log diagnostik Anda, jalankan pekerjaan pembersihan terjadwal yang menghapus file yang lebih lama dari persyaratan retensi Anda.

Alat apa pun yang dapat mengautentikasi ke OneLake berfungsi. Contohnya:

• Buku catatan Fabric terjadwal (PySpark atau Python) yang menghitung jalur Files/DiagnosticLogs/OneLake/Workspaces/<WorkspaceId>/y=YYYY/m=MM/d=DD/... dan menghapus folder yang lebih lama dari periode retensi Anda.
• Alur data yang menggunakan aktivitas Dapatkan Metadata dan Hapus melalui struktur folder yang sama.
• Pekerjaan kustom yang memanggil API ADLS Gen2 atau OneLake secara langsung.

Ketika log diagnostik yang tidak dapat diubah diaktifkan, pekerjaan pembersihan Anda perlu menghindari penghapusan file yang masih berada dalam jendela imutabilitasnya. Tiga pola bekerja dengan baik:

• Menyelaraskan retensi dengan periode imutabilitas. Periode imutabilitas ditetapkan untuk semua file di ruang kerja, dan jalur folder (y=YYYY/m=MM/d=DD/h=HH/m=00) menunjukkan usia masing-masing file. Jika Anda mengatur periode retensi menjadi lebih lama dari periode imutabilitas dan menghapus berdasarkan usia folder, Anda tidak pernah menyentuh file yang masih tidak dapat diubah.
• Periksa kapan masa berlaku imutabilitas blob tersebut berakhir. Get Blob Properties mengembalikan x-ms-immutability-policy-until-date (dan x-ms-immutability-policy-mode) ketika kebijakan ditetapkan pada blob. Lewati file apa pun yang tanggal hingganya masih berada di masa depan.
• Buat pekerjaan toleran terhadap kesalahan. Upaya menghapus file yang masih berada dalam periode immutability-nya akan gagal dengan HTTP 409 Conflict dan kode kesalahan BlobImmutableDueToPolicy. Tangkap kegagalan, catat file, dan lanjutkan. Proses terjadwal berikutnya mengambil file tersebut setelah file itu dapat diubah.

Mengubah rumah danau diagnostik OneLake

Anda dapat mengubah lakehouse mana yang menyimpan peristiwa diagnostik Anda.

Mengubah lakehouse tidak mempengaruhi peristiwa diagnostik yang ada. Peristiwa diagnostik yang telah tertangkap sebelumnya tetap berada di lakehouse asli tersebut. Peristiwa baru disimpan di lakehouse yang baru dipilih.

1. Buka pengaturan ruang kerja.
2. Buka tab Pengaturan OneLake.
3. Pilih Ganti lakehouse.
4. Pilih lakehouse baru.

Menonaktifkan diagnostik OneLake

1. Buka pengaturan ruang kerja.
2. Navigasikan ke tab pengaturan OneLake.
3. Ubah pengaturan Tambahkan peristiwa diagnostik pada lakehouse menjadi Nonaktif.

OneLake menyimpan informasi diagnostik lakehouse Anda. Jika Anda mengaktifkan kembali diagnostik, ia menggunakan lakehouse yang sama seperti sebelumnya.

Rekomendasi praktik terbaik

Ikuti rekomendasi ini untuk menyederhanakan manajemen dan meningkatkan kontrol akses.

• Gunakan ruang kerja khusus untuk log diagnostik. Jika Anda mengaktifkan diagnostik di beberapa ruang kerja dalam kapasitas yang sama, pertimbangkan untuk mengumpulkan log secara terpusat dalam satu lakehouse untuk mempermudah analisis. Ruang kerja khusus mengisolasi izin dan mencegah beban kerja operasional mengganggu data audit.

Jika Anda mengaktifkan log diagnostik yang tidak dapat diubah, pertimbangkan juga praktik ini:

• Membatasi peran admin ruang kerja. Batasi admin ruang kerja ke grup kecil tepercaya yang bertanggung jawab untuk mengonfigurasi kekekalan dan mengelola pengaturan tingkat ruang kerja. Pemisahan tugas ini mencegah tim tunggal menghasilkan aktivitas diagnostik dan mengontrol lingkungan yang menyimpan log.

• Lindungi dari penghapusan ruang kerja atau lakehouse. Kekekalan mencegah penghapusan file, tetapi tidak mencegah seseorang dengan izin yang tepat menghapus ruang kerja atau lakehouse itu sendiri. Jaga agar daftar admin tetap kecil untuk mengurangi risiko penghapusan yang tidak disengaja atau disengaja.

• Menyelaraskan periode retensi kekekalan dengan kebijakan organisasi. Pilih periode imutabilitas yang sesuai dengan persyaratan audit, kepatuhan, hukum, dan investigasi Anda. Karena imutabilitas tidak dapat dipersingkat atau dibalik setelah diterapkan, pastikan jendela retensi mencerminkan kewajiban Anda yang sebenarnya.

• Rencanakan pembersihan log setelah status tidak dapat diubah berakhir. Jadwalkan pekerjaan pembersihan (Fabric notebook, alur data, atau alat berbasis API) yang menghapus file yang lebih lama dari kebijakan retensi Anda, berhati-hatilah untuk melewati file yang masih dalam jendela kekekalannya. Untuk informasi selengkapnya, lihat Mengelola retensi log diagnostik.

Tanya jawab umum (FAQ)

Apa yang terjadi jika lakehouse yang dituju dihapus?

Jika lakehouse yang dipilih untuk diagnostik dihapus:

• Semua ruang kerja yang menunjuk ke lakehouse secara otomatis menonaktifkan diagnostik.
• Data diagnostik yang diambil sebelumnya tidak dihapus. Data diagnostik tetap berada di penyimpanan lakehouse yang dihapus sampai ruang kerja itu sendiri dihapus. Untuk melanjutkan diagnostik, pilih lakehouse baru di ruang kerja yang sama. OneLake mengaktifkan kembali diagnostik, dan semua log yang diambil sebelumnya tetap dapat diakses.

Apa yang terjadi jika ruang kerja dihapus?

• Jika ruang kerja dihapus, diagnostik OneLake untuk ruang kerja tersebut juga akan dihapus.
• Jika ruang kerja dipulihkan, data diagnostik akan dipulihkan.
• Setelah ruang kerja dihapus secara permanen, peristiwa diagnostik terkait juga dihapus secara permanen.

Apa yang terjadi ketika saya mengubah kapasitas?

• Saat Anda memindahkan ruang kerja ke kapasitas yang berbeda, pembuatan log diagnostik dinonaktifkan.
• Untuk mengaktifkan kembali diagnostik, pilih lakehouse baru dalam kapasitas baru.

Bagaimana cara menghapus log diagnostik setelah periode imutabilitas kedaluwarsa?

Setelah periode imutabilitas berlalu, file menjadi dapat diedit dan dapat dihapus, sehingga Anda dapat menyertakannya dalam proses retensi Anda sendiri. Untuk pendekatan pembersihan yang direkomendasikan, lihat Mengelola retensi log diagnostik.

Apa yang terjadi saat saya mengaktifkan BCDR untuk ruang kerja?

Saat Anda mengaktifkan Kelangsungan Bisnis dan Pemulihan Bencana (BCDR), data diagnostik OneLake direplikasi ke wilayah sekunder dan dapat diakses melalui API OneLake jika kegagalan terjadi.

Dapatkah saya mengaudit diagnostik OneLake?

Ya. Saat Anda mengaktifkan atau menonaktifkan pemantauan ruang kerja, atau memperbarui lakehouse, sistem mencatat peristiwa ModifyOneLakeDiagnosticSettings di log keamanan Microsoft 365. Kejadian ini memungkinkan Anda mengaudit perubahan pada pengaturan diagnostik.

Berapa banyak konsumsi yang dihasilkan oleh diagnostik OneLake?

Biaya konsumsi diagnostik OneLake sebanding dengan diagnostik Azure Storage saat Anda mengirim data ke akun penyimpanan. Untuk informasi selengkapnya, lihat Konsumsi OneLake.

Keterbatasan

Diagnostik OneLake tidak kompatibel dengan Perlindungan akses keluar Ruang Kerja (OAP) di seluruh ruang kerja. Jika Anda memerlukan diagnostik OneLake dan OAP untuk bekerja sama, Anda harus memilih lakehouse di ruang kerja yang sama.

Saat Anda mengonfigurasi diagnostik OneLake, pemilihan ruang kerja mematuhi konfigurasi tautan privat ruang kerja dengan membatasi pilihan Anda pada ruang kerja dalam jaringan privat yang sama. Namun, diagnostik OneLake tidak secara otomatis merespons perubahan jaringan.

Peristiwa diagnostik OneLake

Folder DiagnosticLogs di dalam bagian File di lakehouse menyimpan peristiwa diagnostik OneLake. File JSON ditulis ke folder dengan jalur berikut: Files/DiagnosticLogs/OneLake/Workspaces/WorkspaceId/y=YYYY/m=MM/d=DD/h=HH/m=00/PT1H.json

Peristiwa JSON berisi atribut berikut:

Harta benda	Description
workspaceId	GUID dari ruang kerja dengan diagnostik yang diaktifkan.
ID Barang	GUID item kain, yang seperti lakehouse, yang melakukan operasi OneLake tersebut.
JenisItem	Jenis item yang melakukan operasi OneLake.
tenantId	Pengidentifikasi penyewa yang melakukan operasi OneLake.
executingPrincipalId	GUID prinsip Microsoft Entra yang melakukan operasi OneLake.
correlationId	Pengidentifikasi korelasi GUID untuk operasi OneLake.
operationName	Operasi OneLake yang sedang berlangsung (tidak disediakan untuk operasi internal Fabric). Untuk informasi selengkapnya, lihat bagian Operasi .
kategoriOperasi	Kategori operasi OneLake yang luas, contohnya seperti Baca.
menjalankanUPN	Nama utama unik Microsoft Entra yang melakukan operasi (tidak disediakan untuk operasi Fabric internal).
tipeEksekusiPrinsipal	Jenis prinsipal yang digunakan, misalnya Pengguna atau Perwakilan Layanan.
accessStartTime	Waktu operasi dilakukan. Atau, ketika akses sementara diberikan, waktu dimulainya akses tersebut.
accessEndTime	Waktu ketika operasi diselesaikan. Atau, ketika akses sementara disediakan, waktu akses sementara selesai.
aplikasi asal	Beban kerja yang melakukan operasi. Untuk akses eksternal, maka originatingApp adalah string agen pengguna.
serviceEndpoint	Titik akhir layanan OneLake yang digunakan (DFS, Blob, atau Lainnya).
Sumber Daya	Sumber daya yang diakses (relatif terhadap ruang kerja).
capacityId	ID kapasitas yang melakukan operasi OneLake.
httpStatusCode	Kode status dikembalikan kepada pengguna.
adalahJalan Pintas	Menunjukkan apakah akses dilakukan melalui pintasan.
diaksesMelaluiSumberDaya	Sumber daya melalui mana data diakses. Ketika pintasan digunakan, sumber daya ini adalah lokasi pintasan.
Alamat IP Pemanggil	Alamat IP penelepon.

Data pribadi

Peristiwa diagnostik OneLake meliputi executingUPN dan callerIpAddress. Untuk meredaksi data ini, admin penyewa dapat menonaktifkan pengaturan Sertakan pengidentifikasi pengguna akhir dalam log diagnostik OneLake di Portal Admin Fabric. Saat dinonaktifkan, bidang ini dikecualikan dari peristiwa diagnostik baru.

Operations

Operasi global

Operasi	Kategori
ReadFileOrGetBlob	Read
GetFileOrBlobProperties	Read
GetActionFileOrBlobProperties	Read
PeriksaAksesFileAtauBlob	Read
DeleteFileOrBlob	Delete

Operasi Blob

Operasi	Kategori
GetBlockList	Read
ListBlob	Read
GetBlob	Read
DeleteBlob	Delete
Batal Hapus Blob	Write
GetBlobMetadata	Read
SetBlobExpiry	Write
SetBlobMetadata	Write
SetBlobProperties	Write
SetBlobTier	Write
LeaseBlob	Write
AbortCopyBlob	Write
PutBlockFromURL	Write
PutBlock	Write
PutBlockList	Write
AppendBlockFromURL	Write
TambahkanBlok	Write
TambahkanBlobSeal	Write
PutBlobFromURL	Write
CopyBlob	Write
PutBlob	Write
QueryBlobContents	Read
GetBlobProperties	Read
BuatKontainer	Write
HapusKontainer	Delete
GetContainerMetadata	Read
GetContainerProperties	Read
SetContainerMetadata	Write
SetContainerAcl	Write
LeaseContainer	Write
RestoreContainer	Write
SnapshotBlob	Write
CreateFastPathReadSession	Read
CreateFastPathWriteSession	Write

Operasi DFS

Operasi	Kategori
CreateFileSystem	Write
PatchFileSystem	Write
DeleteFileSystem	Delete
GetFileSystemProperties	Read
CreateDirectory	Write
CreateFile	Write
DeleteDirectory	Delete
DeleteFile	Delete
Ganti namaFileOrDirectory	Write
ListFilePath	Read
AppendDataToFile	Write
FlushDataToFile	Write
SetFileProperties	Write
SetelAksesKontrolUntukBerkas	Write
SetelKontrolAksesUntukDirektori	Write
LeasePath	Write
GetPathStatus	Read
DapatkanDaftarKontrolAksesUntukFile	Read

Operasi jaringan fabric

Operasi	Kategori
FabricWorkloadAccess	Read