Cara: Mengubah lake database

Dalam artikel ini, Anda akan mempelajari cara mengubah lake database yang ada di Azure Synapse menggunakan perancang database. Perancang database memungkinkan Anda membuat dan menyebarkan database dengan mudah tanpa menulis kode apa pun.

Prasyarat

• Izin Admin Synapse, atau Kontributor Synapse diperlukan di ruang kerja Synapse untuk membuat lake database.
• Izin Kontributor Data Blob Penyimpanan diperlukan pada data lake saat menggunakan opsi buat tabel Dari data lake.

Ubah properti database

1. Dari hub Beranda ruang kerja Azure Synapse Analytics, pilih tab Data di sebelah kiri. Tab Data akan terbuka, Anda akan melihat daftar database yang sudah ada di ruang kerja.

2. Arahkan kursor ke bagian Database dan pilih elipsis ... di samping database yang ingin Anda ubah, lalu pilih Buka.

   

3. Tab perancang database akan terbuka dengan database yang Anda pilih dimuat di kanvas.

4. Perancang database memiliki panel Properti yang dapat dibuka dengan memilih ikon Properti di kanan atas tab.

   • Nama Nama tidak dapat diedit setelah database diterbitkan, jadi pastikan nama yang Anda pilih sudah benar.
   • Deskripsi Memberikan deskripsi kepada database Anda adalah opsional, tetapi memungkinkan pengguna untuk memahami tujuan database.
   • Pengaturan penyimpanan untuk database adalah bagian yang berisi informasi penyimpanan default untuk tabel dalam database. Pengaturan default diterapkan ke setiap tabel dalam database kecuali jika diganti pada tabel itu sendiri.
   • Layanan tertaut adalah layanan tertaut default yang digunakan untuk menyimpan data Anda di Azure Data Lake Storage. Layanan tertaut default yang terkait dengan ruang kerja Synapse akan ditampilkan, tetapi Anda dapat mengubah Layanan Tertaut ke akun penyimpanan ADLS apa pun yang Anda suka.
   • Folder input yang digunakan untuk mengatur jalur kontainer dan folder default dalam layanan tertaut tersebut menggunakan browser file atau mengedit jalur secara manual dengan ikon pensil.
   • Lake database format data di Azure Synapse mendukung parquet dan teks yang dibatasi sebagai format penyimpanan untuk data.

5. Untuk menambahkan tabel ke database, pilih tombol + Tabel.

   • Kustom akan menambahkan tabel baru ke kanvas.
   • Dari templat akan membuka galeri dan memungkinkan Anda memilih templat database untuk digunakan saat menambahkan tabel baru. Untuk informasi selengkapnya, lihat Membuat database lake dari templat database.
   • Dari data lake memungkinkan Anda mengimpor skema tabel menggunakan data yang sudah ada di lake Anda.

6. Pilih Kustom. Sebuah tabel baru akan muncul di kanvas bernama Table_1.

7. Anda kemudian dapat menyesuaikan Tabel_1, termasuk nama tabel, deskripsi, pengaturan penyimpanan, kolom, dan hubungan. Lihat bagian Penyesuian tabel dalam database di bawah ini.

8. Tambahkan tabel baru dari data lake dengan memilih + Tabel lalu Dari data lake.

9. Panel Buat tabel eksternal dari data lake akan muncul. Isi panel dengan detail di bawah dan pilih Lanjutkan.

   • Nama tabel eksternal nama yang ingin Anda berikan pada tabel yang Anda buat.
   • Layanan tertaut layanan tertaut yang berisi lokasi Azure Data Lake Storage tempat file data Anda berada.
   • Masukkan file atau folder gunakan browser file untuk membuka dan memilih file di lake Anda yang ingin Anda gunakan untuk membuat tabel.
   • Di layar berikutnya, Azure Synapse akan meninjau file dan mendeteksi skema.
   • Anda akan diarahkan ke halaman Tabel eksternal baru tempat Anda dapat memperbarui pengaturan apa pun yang terkait dengan format data, dan Data Pratinjau untuk memeriksa apakah Azure Synapse mengidentifikasi file dengan benar.
   • Jika Anda puas dengan pengaturan, pilih Buat.
   • Tabel baru dengan nama yang Anda pilih akan ditambahkan ke kanvas, dan bagian Pengaturan penyimpanan untuk tabel akan menampilkan file yang Anda tentukan.

10. Dengan database yang disesuaikan, sekarang saatnya untuk menerbitkannya. Jika Anda menggunakan integrasi Git dengan ruang kerja Synapse Anda, Anda harus melakukan perubahan dan menggabungkannya ke dalam cabang kolaborasi. Mempelajari selengkapnya tentang kontrol sumber di Azure Synapse. Jika Anda menggunakan mode Synapse Live, Anda dapat memilih "terbitkan".

    • Database Anda akan divalidasi untuk kesalahan sebelum diterbitkan. Setiap kesalahan yang ditemukan akan ditampilkan di tab pemberitahuan dengan instruksi tentang cara memperbaiki kesalahan.

      

    • Penerbitan akan membuat skema database Anda di Azure Synapse Metastore. Setelah penerbitan, database dan objek tabel akan terlihat oleh layanan Azure lainnya dan memungkinkan metadata dari database Anda mengalir ke aplikasi seperti Power BI atau Microsoft Purview.

Sesuaikan tabel dalam database

Perancang database memungkinkan Anda untuk sepenuhnya menyesuaikan salah satu tabel dalam database. Saat Anda memilih tabel, ada tiga tab yang tersedia, masing-masing berisi pengaturan yang terkait dengan skema atau metadata tabel.

Umum

Tab Umum berisi informasi khusus untuk tabel itu sendiri.

• Nama nama tabel. Nama tabel dapat disesuaikan dengan nilai unik apa pun dalam database. Beberapa tabel dengan nama yang sama tidak diperbolehkan.

• Diwarisi dari (opsional) nilai ini akan ada jika tabel dibuat dari templat database. Nilai tidak dapat diedit dan memberi tahu pengguna dari mana tabel templat itu berasal.

• Deskripsi deskripsi tabel. Jika tabel dibuat dari templat database, tabel akan berisi deskripsi konsep yang diwakili oleh tabel ini. Bidang ini dapat diedit dan diubah agar sesuai dengan deskripsi yang cocok dengan persyaratan bisnis Anda.

• Folder tampilan memberikan nama folder area bisnis yang dikelompokkan dalam tabel ini sebagai bagian dari templat database. Untuk tabel kustom, nilai ini akan menjadi "Lainnya".

  

• Selain itu, ada bagian yang dapat diciutkan yang disebut Pengaturan penyimpanan untuk tabel yang menyediakan pengaturan untuk informasi penyimpanan dasar yang digunakan oleh tabel.

• Mewarisi dari default database kotak centang yang menentukan apakah pengaturan penyimpanan di bawah ini diwarisi dari nilai yang diatur di tab Properti database, atau diatur satu per satu. Jika Anda ingin menyesuaikan nilai penyimpanan, hapus centang pada kotak ini.

  • Layanan tertaut adalah layanan tertaut default yang digunakan untuk menyimpan data Anda di Azure Data Lake Storage. Ubah ini untuk memilih akun ADLS yang berbeda.
  • Folder input folder di ADLS tempat data yang dimuat ke tabel ini akan ditampilkan. Anda dapat menelusuri lokasi folder atau mengeditnya secara manual menggunakan ikon pensil.
  • Format data format data dari data di Folder input Lake database di Azure Synapse mendukung parquet dan teks yang dibatasi sebagai format penyimpanan data. Jika format data tidak cocok dengan data dalam folder, kueri ke tabel akan gagal.

• Untuk Format data teks yang Dibatasi, ada pengaturan lebih lanjut:

  • Header baris centang kotak ini jika data memiliki header baris.
  • Aktifkan multibaris dalam data, centang kotak ini jika data memiliki beberapa baris dalam kolom string.
  • Karakter Kuotasi menentukan karakter kutipan kustom untuk file teks yang dibatasi.
  • Karakter Escape menentukan karakter escape kustom untuk file teks yang dibatasi.
  • Pemadatan data jenis pemadatan yang digunakan pada data.
  • Pemisah pemisah bidang yang digunakan dalam file data. Nilai yang didukung adalah: Koma (,), tab (\t), dan pipa (|).
  • Kolom partisi, daftar kolom partisi akan ditampilkan di sini.
  • Dapat ditambahkan, centang kotak ini jika Anda menanyakan data Dataverse dari SQL Serverless.

• Untuk data Parquet, ada pengaturan berikut:

  • Pemadatan data jenis pemadatan yang digunakan pada data.

Kolom

Tab Kolom adalah tempat kolom untuk tabel dicantumkan dan dapat diubah. Pada tab ini terdapat dua daftar kolom: Kolom standar dan Kolom partisi. Kolom standar adalah kolom apa pun yang menyimpan data, merupakan kunci primer, dan jika tidak, tidak digunakan untuk mempartisi data. Kolom partisi juga menyimpan data, tetapi digunakan untuk mempartisi data pokok ke dalam folder berdasarkan nilai yang terdapat dalam kolom. Setiap kolom memiliki properti berikut.

• Nama nama kolom. Harus unik di dalam tabel.
• Kunci menunjukkan apakah kolom adalah kunci primer (PK) dan/atau kunci asing (FK) untuk tabel. Tidak berlaku untuk kolom partisi.
• Deskripsi deskripsi kolom. Jika kolom dibuat dari templat database, deskripsi konsep yang diwakili oleh kolom ini akan terlihat. Bidang ini dapat diedit dan diubah agar sesuai dengan deskripsi yang cocok dengan persyaratan bisnis Anda.
• Nullabilitas menunjukkan apakah ada nilai null di kolom ini. Tidak berlaku untuk kolom partisi.
• Jenis data mengatur jenis data untuk Kolom berdasarkan daftar jenis data Spark yang tersedia.
• Format / Panjang memungkinkan penyesuaian format atau panjang maksimum kolom, bergantung pada jenis data. Jenis data tanggal dan tanda waktu memiliki format dropdown, dan jenis lain seperti string memiliki bidang panjang maksimum. Tidak semua jenis data memiliki nilai karena beberapa jenis memiliki panjang tetap. Di bagian atas tab Kolom terdapat bilah perintah yang dapat digunakan untuk berinteraksi dengan kolom.
• Filter menurut kata kunci memfilter daftar kolom ke item yang cocok dengan kata kunci yang ditentukan.
• + Kolom memungkinkan Anda menambahkan kolom baru. Ada tiga pilihan yang memungkinkan.
  • Kolom baru membuat kolom standar kustom baru.
  • Dari templat membuka panel eksplorasi dan memungkinkan Anda mengidentifikasi kolom dari templat database untuk disertakan di tabel. Jika database Anda tidak dibuat menggunakan templat database, opsi ini tidak akan muncul.
  • Kolom partisi menambahkan kolom partisi kustom baru.
• Klon menduplikasi kolom yang dipilih. Kolom kloning selalu memiliki jenis yang sama dengan kolom yang dipilih.
• Jenis konversi digunakan untuk mengubah kolom standar yang dipilih menjadi kolom partisi dan sebaliknya. Opsi ini akan berwarna abu-abu jika Anda telah memilih beberapa kolom dari jenis yang berbeda atau kolom yang dipilih tidak memenuhi syarat untuk dikonversi karena tanda PK atau bendera Nullabilitas diatur pada kolom.
• Hapus menghapus kolom yang dipilih dari tabel. Tindakan ini tidak dapat dipulihkan.

Anda juga dapat menyusun ulang urutan kolom dengan menyeret dan meletakkan menggunakan elipsis vertikal ganda yang muncul di sebelah kiri nama kolom saat Anda mengarahkan kursor ke atas atau mengeklik kolom seperti yang ditunjukkan pada gambar di atas.

Kolom Partisi

Kolom partisi digunakan untuk mempartisi data fisik di database Anda berdasarkan nilai di kolom tersebut. Kolom partisi memungkinkan cara mudah untuk mendistribusikan data pada disk ke dalam gugus yang lebih bagus performanya. Kolom partisi di Azure Synapse selalu berada di akhir skema tabel. Selain itu, kolom partisi digunakan dari atas hingga bawah saat membuat folder partisi. Misalnya, jika kolom partisi Anda adalah Tahun dan Bulan, Anda akan mendapatkan struktur di ADLS seperti ini:

Di mana file1 dan file2 berisi semua baris di mana nilai Tahun dan Bulan masing-masing adalah 2020 dan Jan. Semakin banyak kolom partisi yang ditambahkan ke tabel, semakin banyak file yang ditambahkan ke hierarki ini, membuat ukuran file keseluruhan dari partisi menjadi lebih kecil.

Azure Synapse tidak menerapkan atau membuat hierarki ini dengan menambahkan kolom partisi ke tabel. Data harus dimuat ke dalam tabel menggunakan Alur Synapse atau catatan buku Spark agar struktur partisi dapat dibuat.

Hubungan

Tab hubungan memungkinkan Anda menentukan hubungan antara tabel dalam database. Hubungan dalam perancang database bersifat informasional, dan tidak memaksakan batasan apa pun pada data yang mendasarinya. Data dibaca oleh aplikasi Microsoft lainnya dapat digunakan untuk mempercepat transformasi atau memberikan wawasan pengguna bisnis tentang cara tabel tersambung. Panel hubungan memiliki info berikut.

• Hubungan dari (Tabel) adalah saat satu atau beberapa tabel memiliki kunci asing yang tersambung ke tabel ini. Ini kadang-kadang disebut hubungan induk.
• Hubungan ke (Tabel) adalah saat sebuah tabel memiliki kunci asing dan tersambung dengan tabel lain. Ini kadang-kadang disebut hubungan anak.
• Kedua jenis hubungan memiliki properti berikut.
  • Dari tabel tabel induk dalam hubungan, atau sisi "satu".
  • Dari kolom kolom di tabel induk yang menjadi dasar hubungan.
  • Ke tabel tabel anak dalam hubungan, atau sisi "banyak".
  • Ke kolom kolom di tabel anak yang menjadi dasar hubungan. Di bagian atas tab Hubungan, adalah bilah perintah yang dapat digunakan untuk berinteraksi dengan hubungan
• Filter menurut kata kunci memfilter daftar kolom ke item yang cocok dengan kata kunci yang ditentukan.
• + Hubungan memungkinkan Anda menambahkan hubungan baru. Terdapat dua pilihan.
  • Dari tabel membuat hubungan baru dari tabel yang sedang Anda kerjakan ke tabel lain.
  • Ke tabel membuat hubungan baru dari tabel yang berbeda dengan tabel yang sedang Anda kerjakan.
  • Dari templat membuka panel eksplorasi dan memungkinkan Anda memilih dari hubungan di templat database untuk disertakan dalam database Anda. Jika database Anda tidak dibuat menggunakan templat database, opsi ini tidak akan muncul.

Langkah berikutnya

Terus jelajahi kemampuan perancang database menggunakan tautan di bawah ini.

• Buat lake database kosong
• Mengklon database lake
• Membuat database lake dari templat database lake