Danau data

Database lake di Azure Synapse Analytics memungkinkan pelanggan untuk menyatukan desain database, meta informasi tentang data yang disimpan dan kemungkinan untuk mengcitrakan bagaimana dan di mana data harus disimpan. Lake Database mengatasi tantangan data lake masa kini di mana sulit untuk memahami struktur data.

Gambaran umum lake database

Perancang database

Perancang database baru di Synapse Studio memberi Anda kemungkinan untuk membuat model data untuk database lake Anda dan menambahkan informasi tambahan ke dalamnya. Setiap Entitas dan Atribut dapat dideskripsikan untuk memberikan lebih banyak informasi tentang model, yang tidak hanya berisi Entitas tetapi juga hubungan. Secara khusus, ketidakmampuan untuk memodelkan hubungan telah menjadi tantangan bagi interaksi di data lake. Tantangan ini sekarang ditangani dengan perancang terintegrasi yang menyediakan fitur-fitur yang telah tersedia dalam basis data tetapi belum ada di sistem penyimpanan data (data lake). Juga kemampuan untuk menambahkan deskripsi dan nilai demo yang mungkin ke model memungkinkan orang-orang yang berinteraksi dengannya di masa depan untuk memiliki informasi di mana mereka membutuhkannya untuk mendapatkan pemahaman yang lebih baik tentang data.

Catatan

Ukuran maksimum metadata dalam database lake adalah 10 GB. Mencoba menerbitkan atau memperbarui model yang melebihi ukuran 10 GB akan gagal. Untuk mengatasi masalah ini, kurangi ukuran model dengan menghapus tabel dan kolom. Pertimbangkan untuk membagi model besar menjadi beberapa database lake untuk menghindari batas ini.

Penyimpanan data

Database lake menggunakan lake data di akun Azure Storage untuk menyimpan data database. Data dapat disimpan dalam format Parquet, Delta, atau CSV dan pengaturan yang berbeda dapat digunakan untuk mengoptimalkan penyimpanan. Setiap database lake menggunakan layanan tertaut untuk menentukan lokasi folder data root. Untuk setiap entitas, folder terpisah dibuat secara default dalam folder database ini di lake data. Secara default semua tabel dalam database lake menggunakan format yang sama tetapi format dan lokasi data dapat diubah per entitas jika diminta.

Catatan

Menerbitkan database lake tidak membuat struktur atau skema dasar yang diperlukan untuk mengkueri data di Spark atau SQL. Setelah menerbitkan, muat data ke database lake Anda menggunakan pipeline untuk mulai melakukan kueri.

Saat ini, dukungan format Delta untuk database lake tidak didukung di Synapse Studio.

Sinkronisasi objek database lake antara penyimpanan dan Synapse bersifat satu arah. Pastikan untuk melakukan pembuatan atau modifikasi skema objek database lake menggunakan perancang database di Synapse Studio. Jika Anda sebaliknya membuat perubahan seperti itu dari Spark atau langsung di penyimpanan, definisi database lake Anda akan menjadi tidak sinkron. Jika ini terjadi, Anda mungkin melihat definisi database lake lama di perancang database. Anda harus mereplikasi dan menerbitkan perubahan tersebut dalam perancang database agar database lake Anda kembali sinkron.

Pengolahan database

Database lake diekspos di Synapse SQL kolam SQL tanpa server dan Apache Spark menyediakan pengguna dengan kemampuan untuk memisahkan penyimpanan dari komputasi. Metadata yang terkait dengan database lake memudahkan mesin komputasi yang berbeda untuk tidak hanya memberikan pengalaman terintegrasi tetapi juga menggunakan informasi tambahan (misalnya, hubungan) yang awalnya tidak didukung pada data lake.

Konten terkait

Terus jelajahi kemampuan perancang database menggunakan tautan di bawah ini.

  • Last updated on