Bagikan melalui

Pool SQL tanpa server di Azure Synapse Analytics

Setiap ruang kerja Azure Synapse Analytics dilengkapi dengan titik akhir kumpulan SQL tanpa server yang dapat Anda gunakan untuk mengkueri data di Azure Data Lake (Parquet, Delta Lake, format teks yang dibatasi), Azure Cosmos DB, atau Dataverse.

Pool SQL tanpa server adalah layanan kueri atas data di data lake Anda. Ini memungkinkan Anda untuk mengakses data Anda melalui fungsi berikut:

  • Sintaks T-SQL yang sudah dikenal untuk mengkueri data dari lokasi semula tanpa perlu menyalin atau memuat data ke dalam penyimpanan khusus. Untuk mempelajari lebih lanjut, lihat bagian Dukungan T-SQL.
  • Konektivitas terintegrasi melalui antarmuka T-SQL yang menawarkan berbagai inteligensi bisnis dan alat kueri ad-hoc, termasuk driver paling populer. Untuk mempelajari lebih lanjut, lihat bagian Alat klien. Anda dapat mempelajari lebih lanjut dari Video Pengenalan Synapse Serverless SQL Pools.

Pool SQL Serverless adalah sistem pemrosesan data terdistribusi, yang dirancang untuk data berskala besar dan fungsi komputasional. SQL serverless pool memungkinkan Anda untuk menganalisis Big Data dalam hitungan detik hingga menit, tergantung pada muatan kerja. Berkat toleransi kesalahan eksekusi kueri bawaan, sistem memberikan keandalan dan tingkat keberhasilan yang tinggi bahkan untuk kueri jangka panjang yang melibatkan kumpulan data besar.

Pool SQL serverless adalah tanpa server, sehingga tidak ada infrastruktur yang perlu diatur atau kluster yang harus dipertahankan. Titik Akhir Default untuk layanan ini disediakan dalam setiap ruang kerja Azure Synapse, sehingga Anda bisa mulai melakukan permintaan data segera setelah ruang kerja dibuat.

Tidak ada biaya untuk sumber daya yang dicadangkan. Anda hanya dikenakan biaya untuk data yang diproses oleh kueri yang Anda jalankan, oleh karena itu model ini adalah model bayar per penggunaan yang sebenarnya.

Jika Anda menggunakan Apache Spark untuk Azure Synapse di dalam pipeline data Anda, untuk persiapan data, membersihkan, memperbaiki, atau memperkaya, Anda bisa meminta tabel Spark eksternal yang telah Anda buat dalam prosesnya, langsung dari pool SQL serverless. Gunakan Private Link untuk membawa titik akhir kumpulan SQL tanpa server Anda ke jaringan virtual ruang kerja terkelola Anda.

Keuntungan SQL pool tanpa server

Jika Anda perlu mengeksplorasi data di data lake, mendapatkan wawasan darinya atau mengoptimalkan pipeline transformasi data yang ada, Anda bisa mendapatkan keuntungan dari menggunakan kolam SQL tanpa server. Hal tersebut memungkinkan untuk skenario berikut:

  • Eksplorasi dan penemuan dasar - Memperoleh pemahaman cepat tentang data dalam format yang beragam (Parquet, CSV, JSON) di dalam data lake Anda, sehingga Anda bisa merencanakan bagaimana mengekstrak wawasan darinya.
  • Penyimpanan data logis - Menyediakan abstraksi relasional di atas data mentah atau yang berbeda-beda tanpa merelokasi dan mentransformasi data, memungkinkan tinjauan yang selalu terkini dari data Anda. Pelajari lebih lanjut mengenai membuat penyimpanan logikal data.
  • Transformasi Data - Cara sederhana, berskala, dan berperforma tinggi untuk mentransformasikan data di data lake menggunakan T-SQL, sehingga dapat digunakan oleh alat BI dan lainnya, atau dimuat ke dalam penyimpanan data relasional (database Synapse SQL, Azure SQL Database, dll.).

Berbagai peran profesional dapat memperoleh manfaat dari serverless SQL pool.

  • Insinyur Data dapat mengeksplorasi danau, mengubah dan menyiapkan data menggunakan layanan ini, serta menyederhanakan alur transformasi data. Untuk informasi lebih lanjut, cek ini tutorial.
  • Ilmuwan Data dapat dengan cepat memahami isi dan struktur data di danau data, berkat fitur seperti OPENROWSET dan inferensi skema otomatis.
  • Data Analisis bisa mengeksplor data dan tabel eksternal Spark yang dibuat oleh Data Scientist atau Data Engineer menggunakan bahasa T-SQL yang familiar atau alat favorit mereka, yang dapat terhubung dengan pool SQL serverless.
  • BI Professionals bisa dengan cepat membuat laporan Power BI berdasarkan data di danau data dan tabel Spark.

Bagaimana cara memulai menggunakan serverless SQL pool

Titik akhir kumpulan SQL tanpa server disediakan dalam setiap ruang kerja Azure Synapse. Anda bisa membuat ruang kerja dan mulai mengkueri data secara instan menggunakan alat yang anda kenal.

Pastikan Anda menerapkan praktik terbaik untuk mendapatkan performa terbaik.

Perangkat klien

Pool SQL Serverless memungkinkan query SQL ad-hoc yang sudah ada dan alat intelijen bisnis untuk mengakses data lake. Karena menyediakan sintaks T-SQL yang familiar, alat apa pun yang mampu membuat koneksi TDS ke layanan SQL dapat terhubung ke dan melakukan kueri pada Synapse SQL. Anda dapat terhubung dengan Azure Data Studio dan menjalankan permintaan ad-hoc atau terhubung dengan Power BI untuk mendapatkan pandangan dalam hitungan menit.

Dukungan T-SQL

Pool SQL serverless menawarkan kapabilitas kueri T-SQL, yang sedikit ditingkatkan dalam beberapa aspek untuk mengakomodasi pengalaman melakukan kueri terhadap data semi-terstruktur dan tidak terstruktur. Selain itu, beberapa aspek bahasa T-SQL tidak didukung karena desain kumpulan SQL tanpa server, sebagai contoh, fungsionalitas DML saat ini tidak didukung.

  • Muatan kerja dapat diatur menggunakan konsep yang sudah dikenal:
  • Database - titik akhir pool SQL serverless dapat memiliki banyak database.
  • Skema - Dalam database, mungkin ada satu atau banyak grup kepemilikan objek yang disebut skema.
  • Tampilan, prosedur tersimpan, fungsi nilai tabel sebaris
  • Sumber daya eksternal – sumber data, format file, dan tabel

Keamanan dapat ditegakkan dengan menggunakan:

  • Login dan pengguna
  • Kredensial untuk mengontrol akses ke akun penyimpanan
  • Berikan, tolak, dan cabut izin untuk setiap tingkat objek
  • Integrasi Microsoft Entra

T-SQL yang didukung:

  • Seluruh area permukaan PILIH didukung sepenuhnya, termasuk sebagian besar fungsi SQL.
  • CETAS - BUAT TABEL EKSTERNAL DENGAN PERINTAH SELECT
  • Pernyataan DDL (Data Definition Language) yang terkait dengan tampilan dan keamanan saja

Kumpulan SQL tanpa server tidak memiliki penyimpanan lokal, hanya objek metadata yang disimpan dalam database. Oleh karena itu, T-SQL yang terkait dengan konsep berikut tidak didukung:

  • Tabel
  • Pemicu
  • Tampilan Materialisasi
  • Pernyataan DDL selain yang terkait dengan tampilan dan keamanan
  • Pernyataan DML

Catatan

Kueri kumpulan SQL tanpa server memiliki batas waktu. Untuk informasi selengkapnya tentang waktu tunggu kueri yang dapat memengaruhi beban kerja Anda, lihat batasan sistem kumpulan SQL tanpa server. Saat ini Anda tidak dapat mengubah batas waktu.

Ekstensi

Untuk memungkinkan pengalaman yang lancar dalam melakukan kueri data secara langsung yang berada dalam file di data lake, kumpulan SQL serverless memperluas fungsi OPENROWSET yang ada dengan menambahkan kemampuan berikut:

Kueri beberapa file atau folder

Format file PARQUET kueri

Format DELTA kueri

Berbagai format teks yang dibatasi (dengan terminator bidang khusus, terminator baris, karakter escape)

Penyimpanan analitik Azure Cosmos DB

Membaca subset kolom yang dipilih

Inferensi skema

nama fungsi

fungsi filepath

Bekerja dengan jenis kompleks dan struktur data bersarang atau berulang

Keamanan

Kumpulan SQL tanpa server menawarkan mekanisme untuk mengamankan akses ke data Anda.

Integrasi Microsoft Entra dan autentikasi multifaktor

Kumpulan SQL tanpa server memungkinkan Anda mengelola identitas pengguna database dan layanan Microsoft lainnya secara terpusat dengan integrasi Microsoft Entra. Kapabilitas ini menyederhanakan manajemen perijinan dan meningkatkan keamanan. MICROSOFT Entra ID mendukung autentikasi multifaktor (MFA) untuk meningkatkan keamanan data dan aplikasi sambil mendukung proses akses menyeluruh.

Autentikasi

Autentikasi kumpulan SQL tanpa server mengacu pada bagaimana pengguna membuktikan identitas mereka saat terhubung ke titik akhir. Dua jenis autentikasi yang didukung:

  • Autentikasi SQL

    Metode autentikasi ini menggunakan nama pengguna dan kata sandi.

  • Autentikasi Microsoft Entra:

    Metode autentikasi ini menggunakan identitas yang dikelola oleh MICROSOFT Entra ID. Untuk pengguna Microsoft Entra, autentikasi multifaktor dapat diaktifkan. Gunakan autentikasi Direktori Aktif (keamanan terintegrasi) bila memungkinkan.

Otorisasi

Otorisasi mengacu pada tindakan apa yang dapat dilakukan pengguna dalam kumpulan database SQL tanpa server, dan dikendalikan oleh keanggotaan peran database dari akun pengguna Anda dan izin pada tingkat objek.

Jika autentikasi SQL digunakan, pengguna SQL hanya ada di kumpulan SQL tanpa server dan izin dicakupkan ke objek di kumpulan SQL tanpa server. Akses ke objek yang dapat diamankan di layanan lain (seperti Microsoft Azure Storage) tidak dapat diberikan kepada pengguna SQL secara langsung karena hanya ada dalam lingkup kumpulan SQL tanpa server. Pengguna SQL perlu menggunakan salah satu jenis otorisasi yang didukung untuk mengakses file.

Jika autentikasi Microsoft Entra digunakan, pengguna dapat masuk ke kumpulan SQL tanpa server dan layanan lain, seperti Azure Storage, dan dapat memberikan izin kepada pengguna Microsoft Entra.

Akses ke akun penyimpanan

Pengguna yang masuk ke layanan kumpulan SQL tanpa server harus diizinkan untuk mengakses dan meminta file di Azure Storage. Kumpulan SQL tanpa server mendukung tipe otorisasi berikut ini:

  • Tanda tangan akses bersama (SAS) memberikan akses yang didelegasikan ke sumber daya di akun penyimpanan. Dengan menggunakan SAS, Anda dapat memberi klien akses ke sumber daya pada akun penyimpanan tanpa membagikan kunci akun. Sebuah SAS memberi Anda kontrol terperinci atas jenis akses yang Anda berikan kepada klien yang memiliki SAS, termasuk interval validitas, izin yang diberikan, rentang alamat IP yang dapat diterima, dan protokol yang dapat diterima (https/http).

  • Identitas Pengguna (juga dikenal sebagai "pass-through") adalah jenis otorisasi di mana identitas pengguna Microsoft Entra yang masuk ke kumpulan SQL tanpa server digunakan untuk mengotorisasi akses ke data. Sebelum mengakses data, administrator Azure Storage harus memberikan izin kepada pengguna Microsoft Entra untuk mengakses data. Jenis otorisasi ini menggunakan pengguna Microsoft Entra yang masuk ke kumpulan SQL tanpa server, oleh karena itu tidak didukung untuk jenis pengguna SQL.

  • Identitas Ruang Kerja adalah jenis otorisasi di mana identitas ruang kerja Synapse digunakan untuk mengotorisasi akses ke data. Sebelum mengakses data, administrator Azure Storage harus memberikan izin kepada identitas ruang kerja untuk mengakses data.

Akses ke Azure Cosmos DB

Anda perlu membuat kredensial tingkat server atau cakupan database dengan kunci baca-saja akun Azure Cosmos DB untuk mengakses penyimpanan analitik Azure Cosmos DB.

Langkah berikutnya

Informasi tambahan tentang koneksi titik akhir dan file permintaan dapat ditemukan di artikel berikut ini:

  • Last updated on