Bekerja dengan data pelanggan di Fabric

Microsoft Fabric OneLake adalah data lake logis terpadu untuk seluruh organisasi, yang dirancang untuk menjadi satu tempat untuk semua data analitik. Ini datang secara otomatis dengan setiap penyewa Microsoft Fabric dan dibangun di atas Azure Data Lake Storage (ADLS) Gen2. OneLake mendukung semua jenis file, terstruktur atau tidak terstruktur, dan menyimpan semua data tabular dalam format Delta Parquet. Ini memungkinkan kolaborasi di berbagai grup bisnis dengan menyediakan satu data lake yang diatur secara default dengan kepemilikan terdistribusi untuk kolaborasi dalam batas penyewa. OneLake juga mendukung berbagi data lintas penyewa, memungkinkan akses yang terkendali ke dataset bersama melewati batas penyewa Microsoft Entra. Ruang kerja dalam tenant memungkinkan berbagai bagian organisasi untuk mengatur kepemilikan dan kebijakan akses, dan semua data di OneLake dapat diakses melalui objek data seperti Lakehouses dan Warehouses. Dalam hal penyimpanan data, OneLake berfungsi sebagai lokasi penyimpanan umum untuk penyerapan, transformasi, wawasan real-time, dan visualisasi Kecerdasan Bisnis. Ini mempusatkan layanan Fabric yang berbeda dan merupakan penyimpanan untuk item data yang digunakan oleh semua beban kerja di Fabric.

Pintasan OneLake

Pintasan OneLake adalah referensi yang disematkan yang menunjuk ke data dalam sistem penyimpanan eksternal (seperti Azure Data Lake Storage, Amazon S3, atau Google Cloud Storage) atau dalam workspace dan tenant Fabric lainnya. Pintasan menyediakan akses tanpa penyalinan ke data tanpa ETL atau migrasi data, membuat data yang dirujuk muncul sebagai bagian dari namespace OneLake lokal. Pengembang yang bekerja dengan beban kerja dapat membaca data yang direferensikan oleh pintasan dengan menggunakan API REST ADLS Gen2 yang sama seperti yang digunakan untuk data asli OneLake.

Microsoft Fabric Eventhouse menyediakan solusi yang dapat diskalakan untuk menangani dan menganalisis data dalam volume besar, terutama dalam skenario analitik real time. Eventhouse secara efisien mengelola aliran data real-time, memungkinkan organisasi untuk menyerap, memproses, dan menganalisis data hampir secara real-time. Mereka ideal untuk skenario yang membutuhkan wawasan tepat waktu dan merupakan mesin pilihan untuk analisis teks semistruktur dan gratis. Eventhouse adalah ruang kerja database yang dapat dibagikan di seluruh proyek, mengoptimalkan performa, dan biaya dengan mengelola beberapa database sekaligus. Eventhouses mendukung data dari beberapa sumber dan format, secara otomatis mengindeks dan mempartisi data berdasarkan waktu penyerapan.

Cara membaca dan menulis data di Microsoft Fabric

Microsoft Fabric adalah platform yang memungkinkan penyimpanan dan manajemen data pelanggan. Untuk membaca dan menulis data di Fabric, Anda perlu menggunakan FABRIC REST API dan metode autentikasi yang sesuai.

Izin API

Beberapa metode mengakses data pelanggan memerlukan penggunaan layanan lain di luar Fabric seperti Azure Storage atau Azure SQL Database. Misalnya, dalam sampel kit Microsoft Fabric Developer, izin API Azure Storage user_impersonation digunakan bersama dengan izin layanan Power BI Lakehouse.Read.All untuk mengakses data dari Lakehouses.

Anda dapat menggunakan Azure SQL Database untuk mengakses data tabel dari item Gudang. Dalam hal ini, konfigurasikan aplikasi Anda dengan Azure SQL Database user_impersonation untuk mengkueri database atas nama pengguna dan layanan Power BI Warehouse.Read.All untuk mengkueri titik akhir Fabric REST API Get Warehouse.

Pastikan Anda mengonfigurasi aplikasi ID Microsoft Entra sesuai dengan kebutuhan pengembangan Anda.

Untuk skenario berbagi data lintas penyewa, aplikasi yang mengonsumsi harus melakukan otentikasi terhadap ID Microsoft Entra penyewa sumber. Pastikan bahwa pendaftaran aplikasi menyertakan cakupan delegasi yang sesuai untuk tenant sumber, dan bahwa pemilik data telah memberikan izin kepada identitas eksternal untuk mengakses OneLake.

Autentikasi

Sebelum Anda dapat mulai menggunakan FABRIC REST API atau layanan lain, seperti Azure Storage dan Azure SQL Database, atas nama pengguna, Anda perlu mengautentikasi menggunakan token. Token ini dapat diperoleh melalui proses pertukaran token.

Fabric Workload Development Kit SDK menyediakan metode untuk memperoleh token akses di front end beban kerja. Misalnya, lihat Contoh Pengontrol Beban Kerja.

Token akses klien ini harus diteruskan ke backend pemrosesan beban kerja dan ditukar dengan menggunakan alur penggantian atas nama untuk token dengan cakupan yang diperlukan untuk mengakses sumber daya yang Anda butuhkan, seperti OneLake. Misalnya, untuk mengakses dan membaca dari Lakehouse, pengguna harus mengotorisasi aplikasi untuk melakukan panggilan API atas nama mereka dengan menggunakan izin Azure Storage user_impersonation . Kemudian, di backend, token akses harus diperoleh dengan cakupan https://storage.azure.com/user_impersonation yang didelegasikan untuk menggunakan Azure Storage.

Jika Anda memutuskan untuk menggunakan SQL untuk mengakses data pelanggan Anda, token akses harus diperoleh dengan cakupan https://database.windows.net//user_impersonation untuk menggunakan Azure SQL Database dan namespace Microsoft.Data.SqlClient. Token akses harus digunakan apa adanya, dengan dua garis miring sebelum user_impersonation, untuk divalidasi oleh kelas SQLConnection. Untuk contoh autentikasi token lainnya, lihat sampel kit Microsoft Fabric Developer.

Untuk informasi lebih lanjut tentang cara mendapatkan token, lihat dokumentasi Microsoft Fabric Workload Development REST API.

Membaca metadata

FABRIC REST API menyediakan cara untuk mengakses properti item. Misalnya, mengkueri Get Lakehouse API memberi Anda metadata untuk Lakehouse tertentu, termasuk properti yang berguna seperti jalur OneLake dan string koneksi SQL. Titik akhir lain yang berguna adalah Get Warehouse API, yang mengembalikan informasi berikut:

    {
        Id: Guid
        Type: string
        DisplayName: string
        Description: string
        WorkspaceId: Guid
        Properties {
            ConnectionInfo: string
            CreatedDate: DateTime
            LastUpdatedTime: DateTime
        }
    }

Di sini, properti "ConnectionInfo" adalah Nama Domain yang Sepenuhnya Memenuhi Syarat (FQDN) dari Warehouse SQL Server. Dengan FQDN ini, Anda dapat membuat koneksi SQL. Untuk informasi lebih lanjut, lihat Konektivitas ke Data Warehouse di Microsoft Fabric. Untuk contoh implementasi, lihat Kit Pengembangan Beban Kerja Microsoft Fabric.

Membaca data

Setelah mengautentikasi, Anda dapat menyambungkan ke OneLake menggunakan REST API Azure Data Lake Storage untuk membaca berbagai jenis data. Sebaiknya gunakan protokol Delta Lake untuk membaca tabel. Anda juga dapat menggunakan API yang sama untuk membaca tabel dan file melalui pintasan OneLake; Panggilan API berperilaku sama dengan membaca data OneLake asli, baik pintasan mereferensikan penyimpanan eksternal atau data yang dibagikan dari penyewa lain.

Atau, jika Anda memilih untuk menggunakan Azure SQL Database, Anda dapat menerapkan prosedur berikut untuk membaca data dari Gudang.

Buat konteks otorisasi. Untuk contoh pembuatan konteks otorisasi, lihat metode AuthenticateDataPlaneCall.
Dapatkan token dengan cakupan Warehouse.Read.All atas nama pengguna menggunakan token bearer yang diteruskan dari antarmuka depan.
Gunakan token Fabric untuk memanggil Get Warehouse API. Dibutuhkan akses ke info koneksi dan nama tampilan Gudang, yang merupakan katalog awal server.
Dapatkan token dengan ruang lingkup SQL untuk atas nama pengguna. Agar berhasil membuat koneksi SQL, gunakan cakupan https://database.windows.net//user_impersonation.

Gunakan token SQL dan informasi koneksi untuk membuka koneksi SQL:

private SqlConnection GetSqlConnection(string token, string databaseFqdn, string initialCatalog)
        {
            var builder = new SqlConnectionStringBuilder();
            builder.DataSource = databaseFqdn; // ConnectionInfo from Get Warehouse API
            builder.InitialCatalog = initialCatalog; //display name of the Warehouse
            builder.ConnectTimeout = 120;

            var connection = new SqlConnection();
            connection.AccessToken = token; // SQL token acquired with the Azure SQL Database user_impersonation scope
            connection.ConnectionString = builder.ConnectionString;
            connection.Open();
            return connection;
        }

Koneksi ini sekarang dapat dikueri untuk mengakses data dari Gudang. Untuk informasi selengkapnya tentang menggunakan namespace Microsoft.Data.SqlClient , lihat Dokumentasi Namespace Microsoft.Data.SqlClient.

Eventhouse API

Setelah mengautentikasi, Anda dapat melakukan tindakan seperti membuat Eventhouse, menghapus Eventhouse, mendapatkan daftar Eventhouses, dll. Salah satu cara untuk melakukannya adalah menggunakan portal - gambaran umum Eventhouse.

Cara lain adalah menggunakan Eventhouse Rest API - Gambaran umum Eventhouse Rest API.

Otorisasi.
Dapatkan token dengan cakupan FabricEventhouse.Read.All atas nama pengguna menggunakan token pembawa yang diteruskan dari ujung depan.
Gunakan token Fabric untuk memanggil Get Eventhouse API.
Sekarang dengan daftar Database Eventhouse, Anda bisa Mengkueri DB tertentu yang Anda inginkan, seperti yang dijelaskan di bagian Data kueri di bawah ini.

Data pencarian

Untuk mengkueri data dari Eventhouse KQL Database, ikuti langkah-langkah berikut: Pertama, autentikasi menggunakan metode yang sesuai. Selanjutnya, sambungkan ke Eventhouse untuk mengambil daftar database. Kemudian, kueri database tertentu yang ingin Anda akses. Penting untuk membedakan antara perintah kueri, seperti .show tables, dan kueri data, seperti <TableName> | take 10. Untuk dokumentasi lengkap tentang KQL REST API, lihat dokumentasi KQL REST API .

Cara lain adalah menggunakan Eventhouse Rest API - Gambaran umum Eventhouse Rest API.

Otorisasi.
Dapatkan token dengan cakupan KQLDatabase.ReadWrite.All pada atas nama pengguna menggunakan token pembawa yang diteruskan dari antarmuka depan.
Gunakan token Kql untuk memanggil KQL Rest API.

Data tulis

Selain membaca data menggunakan token, Anda juga dapat menggunakan API ADLS untuk menulis data ke dalam tabel seperti yang dijelaskan oleh protokol Delta Lake.

Anda juga dapat menggunakan API untuk membuat file dan direktori.

Atau, Anda dapat menggunakan beban kerja Fabric lainnya untuk menulis data ke platform. Misalnya, Anda dapat menggunakan API beban kerja Lakehouse Fabric untuk memuat jenis file umum secara efisien ke tabel Delta yang dioptimalkan. Ini dilakukan dengan mengirim permintaan POST ke titik akhir Tables - Load Table API.

Koneksi SQL juga dapat digunakan untuk melakukan perintah yang menyisipkan data ke dalam tabel.

Integrasi OneLake

Anda dapat memilih untuk menggunakan integrasi OneLake dalam beban kerja Anda. Jika Anda melakukannya, ketika item baru dibuat untuk beban kerja Anda, Fabric akan secara otomatis membuat folder untuk item baru.

Untuk ikut serta, XML manifes item Anda harus mendeklarasikan ini dengan mengatur CreateOneLakeFoldersOnArtifactCreation atribut ke true. Contohnya:

<ItemManifestConfiguration xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance" SchemaVersion="1.101.0">  
  <Item TypeName="Org.WorkloadSample.SampleWorkloadItem" Category="Data" CreateOneLakeFoldersOnArtifactCreation="true">
    <Workload WorkloadName="Org.WorkloadSample" />
    ...
  </Item>
</ItemManifestConfiguration>

Nota

SchemaVersion harus diatur ke 1.101.0 (atau versi yang lebih baru yang didukung).

SchemaVersion yang sama harus diatur dalam WorkloadManifest.xml:

<WorkloadManifestConfiguration xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance" SchemaVersion="1.101.0">
  <Workload WorkloadName="Org.WorkloadSample" HostingType="Remote">
  ...
  </Workload>
</WorkloadManifestConfiguration>

Saat item baru dibuat, folder akar berikut dibuat di OneLake:

<WorkspaceID>/<ItemID>/Files

<WorkspaceID>/<ItemID>/Tables

Anda dapat membuat folder tambahan di bawah ini, dan menggunakannya untuk menyimpan data dalam format apa pun (di bawah Files folder) atau dalam format parquet (di bawah Tables folder). Ikuti petunjuk di atas untuk membaca/menulis dari penyimpanan OneLake.