Apa struktur penyimpanan untuk aliran data analitis?

Aliran data analitik menyimpan data dan metadata di Azure Data Lake Storage. Aliran data menggunakan struktur standar untuk menyimpan dan menjelaskan data yang dibuat di data lake, yang disebut folder Common Data Model. Dalam artikel ini, Anda mempelajari selengkapnya tentang standar penyimpanan yang digunakan aliran data di belakang layar.

Penyimpanan memerlukan struktur untuk aliran data analitik

Jika aliran data adalah standar, maka data disimpan di Dataverse. Dataverse seperti sistem database; ini memiliki konsep tabel, tampilan, dan sebagainya. Dataverse adalah opsi penyimpanan data terstruktur yang digunakan oleh aliran data standar.

Namun, ketika aliran data bersifat analitis, data disimpan di Azure Data Lake Storage. Data dan metadata aliran data disimpan di folder Common Data Model. Karena akun penyimpanan mungkin memiliki beberapa aliran data yang disimpan di dalamnya, hierarki folder dan subfolder diperkenalkan untuk membantu mengatur data. Bergantung pada produk tempat aliran data dibuat, folder dan subfolder mungkin mewakili ruang kerja (atau lingkungan), lalu folder Model Data Umum aliran data. Di dalam folder Common Data Model, skema dan data tabel aliran data disimpan. Struktur ini mengikuti standar yang ditentukan untuk Common Data Model.

Diagram aliran data analitis yang menyimpan data dalam struktur Common Data Model.

Apa itu struktur penyimpanan Common Data Model?

Common Data Model adalah struktur metadata yang didefinisikan untuk menghadirkan kesamaan dan konsistensi untuk menggunakan data di beberapa platform. Model Data Umum bukan penyimpanan data, itu adalah cara data disimpan dan ditentukan.

Folder Model Data Umum menentukan bagaimana skema tabel dan datanya harus disimpan. Di Azure Data Lake Storage, data diatur dalam folder. Folder dapat mewakili ruang kerja atau lingkungan. Di bawah folder tersebut, subfolder untuk setiap aliran data dibuat.

Cuplikan layar struktur folder ruang kerja.

Apa yang ada di folder aliran data?

Setiap folder aliran data berisi subfolder untuk setiap tabel dan file metadata bernama model.json.

Diagram folder Common Data Model dengan subfolder untuk setiap file tabel dan data.

File metadata: model.json

File model.json adalah definisi metadata dari aliran data. File ini adalah satu file yang berisi semua metadata aliran data. Ini termasuk daftar tabel, kolom, dan jenis datanya di setiap tabel, hubungan antara tabel, dan sebagainya. Anda dapat mengekspor file ini dari aliran data dengan mudah, bahkan jika Anda tidak memiliki akses ke struktur folder Common Data Model.

Cuplikan layar daftar aliran data memperlihatkan cara mengekspor file model.json dari aliran data.

Anda dapat menggunakan file JSON ini untuk memigrasikan (atau mengimpor) aliran data Anda ke ruang kerja atau lingkungan lain.

Cuplikan layar halaman pembuatan aliran data dengan pilihan Impor Model ditekankan.

Untuk mempelajari dengan tepat apa yang disertakan file metadata model.json, buka File metadata (model.json) untuk Common Data Model.

Data file

Selain file metadata, folder aliran data menyertakan subfolder lainnya. Aliran data menyimpan data untuk setiap tabel dalam subfolder dengan nama tabel. Data untuk tabel mungkin dibagi menjadi beberapa partisi data, disimpan dalam format CSV.

Cara melihat atau mengakses folder Common Data Model

Jika Anda menggunakan aliran data yang menggunakan penyimpanan yang disediakan oleh produk tempat mereka dibuat, Anda tidak memiliki akses ke folder tersebut secara langsung. Dalam kasus seperti itu, mendapatkan data dari aliran data memerlukan penggunaan konektor aliran data Microsoft Power Platform yang tersedia dalam mendapatkan pengalaman data di layanan Power BI, Power Apps, dan produk Dynamics 35 Customer Insights, atau di Power BI Desktop.

Cuplikan layar halaman Pilih sumber data dengan konektor aliran data Power Platform ditekankan.

Untuk mempelajari cara kerja aliran data dan integrasi Data Lake Storage internal, buka Aliran Data dan integrasi Azure Data Lake (Pratinjau).

Jika organisasi Anda mengaktifkan aliran data untuk memanfaatkan akun Data Lake Storage-nya dan dipilih sebagai target beban untuk aliran data, Anda masih bisa mendapatkan data dari aliran data dengan menggunakan konektor aliran data Power Platform seperti yang disebutkan sebelumnya. Tetapi Anda juga dapat mengakses folder Common Data Model dari arus data secara langsung melalui data lake, bahkan di luar alat dan layanan Power Platform. Akses ke lake dimungkinkan melalui portal Microsoft Azure, Microsoft Azure Storage Explorer, atau layanan atau pengalaman lain yang mendukung Azure Data Lake Storage. Untuk informasi selengkapnya, buka Menyambungkan Azure Data Lake Storage Gen2 untuk penyimpanan aliran data.