Pool SQL serverless di Synapse Analytics

  • Artikel

Setiap ruang kerja Azure Synapse Analytics dilengkapi dengan titik akhir kumpulan SQL tanpa server yang dapat Anda gunakan untuk mengkueri data di Azure Data Lake (Parquet, Delta Lake, format teks yang dibatasi), Azure Cosmos DB, atau Dataverse.

Kumpulan SQL tanpa server adalah layanan kueri atas data di data lake Anda. Ini memungkinkan Anda untuk mengakses data Anda melalui fungsi berikut:

  • T-SQL syntaxmirip untuk meminta data di tempat tanpa butuh untuk menyalin atau memuat data ke dalam penyimpanan spesial. Untuk mempelajari lebih lanjut, lihat bagian Dukungan T-SQL.
  • Konektivitas terintegrasi melalui antarmuka T-SQL yang menawarkan berbagai inteligensi bisnis dan alat kueri ad-hoc, termasuk driver paling populer. Untuk mempelajari lebih lanjut, lihat bagian Alat klien. Anda dapat mempelajari lebih lanjut dari Video Pengenalan Synapse Serverless SQL Pools.

Pool SQL Serverless adalah sistem pemrosesan data terdistribusi, membuat data berskala besar dan fungsi komputasional. Pool SQL Serverless mengizinkan Anda untuk menganalisa Big Data dalam detik ke menit, tergantung muatan kerja. Berkat toleransi kesalahan eksekusi kueri bawaan, sistem memberikan keandalan dan tingkat keberhasilan yang tinggi bahkan untuk kueri jangka panjang yang melibatkan kumpulan data besar.

Pool SQL serverless tidak berserver, sehingga tidak ada infrastruktur untuk mengatur atau kluster untuk mempertahankan. titik akhir default untuk layanan ini disediakan di antara ruang kerja Azure Synapse, sehingga Anda bisa memulai data permintaan segera saat ruang kerja dibuat.

Tidak ada biaya untuk sumber daya yang dipesan, Anda hanya dikenakan biaya untuk data yang diproses oleh kueri yang Anda jalankan, oleh karena itu model ini adalah model bayar per penggunaan yang sebenarnya.

Jika Anda menggunakan Apache Spark untuk Azure Synapse di dalam pipeline data Anda, untu persiapan data, membersihkan atau memperkaya, Anda bisa tabel Spark eksternal permintaan Anda sudha membuat dari pool SQL serveless. Gunakan Link Pribadi untuk membawa titik akhir SQL serverless ke Anda mengatur ruang kerja VNet.

Keuntungan pool SQL Serverless

Jika Anda butuh mengeksplor data di dalam data lake, dapatkan pandangan atau optimalkan pipeline transformasi data yang ada, Anda bisa mendapatkan keuntungan dari pool SQL serverless. Hal tersebut memungkinkan untuk skenario berikut:

  • Eksplorasi dan penemuan dasar - Alasan cepat tentang data dalam format yang beragam (Parquet, CSV, JSON) di dalam data lake Anda, jadi Anda bisa merencanakan bagaimana mengesktrak pandangan darinya.
  • Penyimpanan data logikal - Menyediakan abstraksi relasional di atas data mentah atau tidak terpisah tanpa merelokasi dan mentransform data, mengijinkan tinjauan yang selalu up-to-date dari data Anda. Pelajari lebih lanjut mengenai membuat penyimpanan logikal data.
  • Transformasi Data - Sederhana, berskala, dan cara performant untuk mentransform data di lake menggunakan T-SQL, jadi ini bisa diberikan untuk BI dan alat lain, atau memuat ke penyimpanan sebuah data rasional (database Synapse SQL, Azure SQL Database, dll.).

Peran profesional yang berbeda akan mendapat keuntungan pool SQL serverless:

  • Data Engineers bisa mengeksplor lake, mentransform dan menyiapkan data menggunakan layanan ini, dan menyederhanakan pipeline transformasi data. Untuk informasi lebih lanjut, cek ini tutorial.
  • Data Peneliti bisa beralasan secara cepat tentang konten-konten dan struktur data di lake, berkat fitur seperti OPENROWSET dan inferensi skema otomatis.
  • Data Analisis bisa mengeksplor data dan tabel luar Spark dibuat dengan Data Scientists atau Data Engineers menggunakan bahasa T-SQL yang familiar atau alat favorit, yang bisa berhubungan dengan pool SQL serverless.
  • BI Professionals bisa dengan cepat membuat Power BI melaporkan data atas di lake dan Spark tables.

Bagaimana memulai penggunaan pool SQL serverless

Titik akhir kumpulan SQL tanpa server disediakan dalam setiap ruang kerja Azure Synapse. Anda bisa membuat sebuah ruang kerja dan memulai meminta data secara instan menggunakan alat yang Anda sudah familiar.

Pastikan bahwa Anda memberlakukan praktek terbaik untuk mendapatkan penampilan yang terbaik.

Alat klien

Pool SQL Serverless mengaktifkan permintaan ad-hoc SQL yang sudah ada dan alat inteligen untuk membuka menuju data lake. Karena menyediakan syntax T-SQL yang familiar, alat apa pun yang mampu membuat koneksi TDS ke penawaran SQL dapat menghubungkan ke dan menanyakan Synapse SQL. Anda dapat terhubung dengan Azure Data Studio dan menjalankan permintaan ad-hoc atau terhubung dengan Power BI untuk mendapatkan pandangan dalam hitungan menit.

Dukungan T-SQL

Pool SQL severless menawarkan area permukaan kueri T-SQL, yang sedikit ditingkatkan/diperpanjang dalam beberapa aspek untuk mengakomodasi pengalaman seputar kueri data semi-terstruktur dan tidak terstruktur. Selain itu, beberapa aspek bahasa T-SQL tidak didukung karena desain kumpulan SQL tanpa server, sebagai contoh, fungsionalitas DML saat ini tidak didukung.

  • Muatan kerja dapat diatur menggunakan konsep yang sudah dikenal:
  • Database - titik akhir pool SQL serverless dapat memiliki banyak database.
  • Skema - Dalam database, mungkin ada satu atau banyak grup kepemilikan objek yang disebut skema.
  • Tampilan, prosedur tersimpan, fungsi nilai tabel sebaris
  • Sumber daya eksternal – sumber data, format file, dan tabel

Keamanan dapat ditegakkan dengan menggunakan:

  • Login dan pengguna
  • Kredensial untuk mengontrol akses ke akun penyimpanan
  • Berikan, tolak, dan cabut izin per level objek
  • Integrasi Microsoft Entra

T-SQL yang didukung:

  • Area permukaan PILIH penuh didukung, termasuk sebagian besar fungsi SQL
  • CETAS - BUAT TABEL EKSTERNAL SEBAGAI PILIH
  • Pernyataan DDL yang terkait dengan tampilan dan keamanan saja

Kumpulan SQL tanpa server tidak memiliki penyimpanan lokal, hanya objek metadata yang disimpan dalam database. Oleh karena itu, T-SQL yang terkait dengan konsep berikut tidak didukung:

  • Tabel
  • Memicu
  • Tampilan Materialisasi
  • Pernyataan DDL selain yang terkait dengan tampilan dan keamanan
  • Pernyataan DML

Catatan

Kueri kumpulan SQL tanpa server memiliki batas waktu. Untuk informasi selengkapnya tentang waktu tunggu kueri yang dapat memengaruhi beban kerja Anda, lihat batasan sistem kumpulan SQL tanpa server. Saat ini Anda tidak dapat mengubah batas waktu.

Ekstensi

Untuk memungkinkan pengalaman yang lancar untuk kueri data di tempat yang berada dalam file di data lake, kumpulan SQL tanpa server memperluas fungsi OPENROWSET yang ada dengan menambahkan kemampuan berikut:

Kueri beberapa file atau folder

Format file PARQUET kueri

Format DELTA kueri

Berbagai format teks yang dibatasi (dengan terminator bidang khusus, terminator baris, karakter escape)

Penyimpanan analitik Azure Cosmos DB

Membaca subset kolom yang dipilih

Inferensi skema

fungsi filename

fungsi filepath

Bekerja dengan jenis kompleks dan struktur data bersarang atau berulang

Keamanan

Kumpulan SQL tanpa server menawarkan mekanisme untuk mengamankan akses ke data Anda.

Integrasi Microsoft Entra dan autentikasi multifaktor

Kumpulan SQL tanpa server memungkinkan Anda mengelola identitas pengguna database dan layanan Microsoft lainnya secara terpusat dengan integrasi Microsoft Entra. Kapabilitas ini menyederhanakan manajemen perijinan dan meningkatkan keamanan. MICROSOFT Entra ID mendukung autentikasi multifaktor (MFA) untuk meningkatkan keamanan data dan aplikasi sambil mendukung proses akses menyeluruh.

Autentikasi

Autentikasi kumpulan SQL tanpa server mengacu pada bagaimana pengguna membuktikan identitas mereka saat terhubung ke titik akhir. Dua jenis autentikasi yang didukung:

  • Autentikasi SQL

    Metode autentikasi ini menggunakan nama pengguna dan kata sandi.

  • Autentikasi Microsoft Entra:

    Metode autentikasi ini menggunakan identitas yang dikelola oleh MICROSOFT Entra ID. Untuk pengguna Microsoft Entra, autentikasi multifaktor dapat diaktifkan. Gunakan autentikasi Direktori Aktif (keamanan terintegrasi) bila memungkinkan.

Authorization

Otorisasi mengacu pada apa yang dapat dilakukan pengguna dalam database kumpulan SQL tanpa server, dan dikendalikan oleh keanggotaan peran database akun pengguna Anda dan izin tingkat objek.

Jika autentikasi SQL digunakan, pengguna SQL hanya ada di kumpulan SQL tanpa server dan izin dicakupkan ke objek di kumpulan SQL tanpa server. Akses ke objek yang dapat diamankan di layanan lain (seperti Microsoft Azure Storage) tidak dapat diberikan kepada pengguna SQL secara langsung karena hanya ada dalam lingkup kumpulan SQL tanpa server. Pengguna SQL perlu menggunakan salah satu jenis otorisasi yang didukung untuk mengakses file.

Jika autentikasi Microsoft Entra digunakan, pengguna dapat masuk ke kumpulan SQL tanpa server dan layanan lain, seperti Azure Storage, dan dapat memberikan izin kepada pengguna Microsoft Entra.

Akses ke akun penyimpanan

Pengguna yang masuk ke layanan kumpulan SQL tanpa server harus diizinkan untuk mengakses dan meminta file di Azure Storage. kumpulan SQL tanpa server mendukung jenis otorisasi berikut:

  • Tanda tangan akses bersama (SAS) memberikan akses yang didelegasikan ke sumber daya di akun penyimpanan. Anda dapat memberi klien akses ke sumber daya pada akun penyimpanan Anda tanpa membagikan kunci akun Anda. Sebuah SAS memberi Anda kontrol terperinci atas jenis akses yang Anda berikan kepada klien yang memiliki SAS, termasuk interval validitas, izin yang diberikan, rentang alamat IP yang dapat diterima, dan protokol yang dapat diterima (https/http).

  • Identitas Pengguna (juga dikenal sebagai "pass-through") adalah jenis otorisasi di mana identitas pengguna Microsoft Entra yang masuk ke kumpulan SQL tanpa server digunakan untuk mengotorisasi akses ke data. Sebelum mengakses data, administrator Azure Storage harus memberikan izin kepada pengguna Microsoft Entra untuk mengakses data. Jenis otorisasi ini menggunakan pengguna Microsoft Entra yang masuk ke kumpulan SQL tanpa server, oleh karena itu tidak didukung untuk jenis pengguna SQL.

  • Identitas Ruang Kerja adalah jenis otorisasi di mana identitas ruang kerja Synapse digunakan untuk mengotorisasi akses ke data. Sebelum mengakses data, administrator Microsoft Azure Storage harus memberikan izin kepada Identitas Terkelola untuk mengakses data.

Akses ke Azure Cosmos DB

Anda perlu membuat kredensial tingkat server atau cakupan database dengan kunci baca-saja akun Azure Cosmos DB untuk mengakses penyimpanan analitik Azure Cosmos DB.

Langkah berikutnya

Informasi tambahan tentang koneksi titik akhir dan file permintaan dapat ditemukan di artikel berikut ini: