Mengonfigurasi Kluster Big Data SQL Server - Rilis Pra CU9
Berlaku untuk: SQL Server 2019 (15.x)
Penting
Add-on Kluster Big Data Microsoft SQL Server 2019 akan dihentikan. Dukungan untuk SQL Server 2019 Kluster Big Data akan berakhir pada 28 Februari 2025. Semua pengguna SQL Server 2019 yang ada dengan Jaminan Perangkat Lunak akan didukung sepenuhnya pada platform dan perangkat lunak akan terus dipertahankan melalui pembaruan kumulatif SQL Server hingga saat itu. Untuk informasi selengkapnya, lihat posting blog pengumuman dan Opsi big data di platform Microsoft SQL Server.
Di SQL Server 2019 Kluster Big Data merilis CU8 dan yang lebih lama, Anda dapat mengonfigurasi pengaturan kluster big data pada waktu penyebaran melalui file penyebaranbdc.json
. Instans master SQL Server dapat dikonfigurasi pasca-penyebaran hanya menggunakan mssql-conf.
Catatan
Sebelum rilis CU9 dan dukungan untuk kluster berkemampuan konfigurasi, Kluster Big Data hanya dapat dikonfigurasi pada waktu penyebaran, dengan pengecualian untuk instans master SQL Server - yang dapat dikonfigurasi pasca-penyebaran hanya menggunakan mssql-conf. Untuk instruksi mengonfigurasi CU9 dan rilis yang lebih baru, lihat Mengonfigurasi Kluster Big Data SQL Server.
Cakupan Konfigurasi
Kluster Big Data konfigurasi pra-CU9 memiliki dua tingkat cakupan: service
, dan resource
. Hierarki pengaturan juga mengikuti urutan ini, dari tertinggi hingga terendah. Komponen BDC akan mengambil nilai pengaturan yang ditentukan pada cakupan terendah. Jika pengaturan tidak ditentukan pada cakupan tertentu, pengaturan akan mewarisi nilai dari cakupan induknya yang lebih tinggi.
Misalnya, Anda mungkin ingin menentukan jumlah default inti yang akan digunakan driver Spark di kumpulan penyimpanan dan Sparkhead
sumber daya. Anda dapat melakukannya dengan dua cara:
- Tentukan nilai inti default pada
Spark
cakupan layanan - Tentukan nilai inti default di
storage-0
cakupan sumber daya dansparkhead
Dalam skenario pertama, semua sumber daya dengan cakupan yang lebih rendah dari layanan Spark (kumpulan penyimpanan dan Sparkhead
) akan mewarisi jumlah default inti dari nilai default layanan Spark.
Dalam skenario kedua, setiap sumber daya akan menggunakan nilai yang ditentukan pada cakupan masing-masing.
Jika jumlah default inti dikonfigurasi pada cakupan layanan dan sumber daya, maka nilai cakupan sumber daya akan mengambil alih nilai cakupan layanan karena ini adalah cakupan terendah yang dikonfigurasi pengguna untuk pengaturan yang diberikan.
Untuk informasi spesifik tentang konfigurasi, lihat artikel yang sesuai:
Mengonfigurasi instans master SQL Server
Konfigurasikan instans master SQL Server Kluster Big Data.
Pengaturan konfigurasi server tidak dapat dikonfigurasi untuk instans master SQL Server pada waktu penyebaran. Artikel ini menjelaskan solusi sementara tentang cara mengonfigurasi pengaturan seperti edisi SQL Server, mengaktifkan atau menonaktifkan SQL Server Agent, mengaktifkan bendera pelacakan tertentu atau mengaktifkan/menonaktifkan umpan balik pelanggan.
Untuk mengubah salah satu pengaturan ini, ikuti langkah-langkah berikut:
Buat file
mssql-custom.conf
kustom yang menyertakan pengaturan yang ditargetkan. Contoh berikut mengaktifkan SQL Agent, telemetri, mengatur PID untuk Enterprise Edition, dan mengaktifkan bendera pelacakan 1204.:[sqlagent] enabled=true [telemetry] customerfeedback=true userRequestedLocalAuditDirectory = /tmp/audit [DEFAULT] pid = Enterprise [traceflag] traceflag0 = 1204
Salin file
mssql-custom.conf
ke/var/opt/mssql
dalam kontainermssql-server
di podmaster-0
. Ganti<namespaceName>
dengan nama kluster big data.kubectl cp mssql-custom.conf master-0:/var/opt/mssql/mssql-custom.conf -c mssql-server -n <namespaceName>
Hidupkan ulang instans SQL Server. Ganti
<namespaceName>
dengan nama kluster big data.kubectl exec -it master-0 -c mssql-server -n <namespaceName> -- /bin/bash supervisorctl restart mssql-server exit
Penting
Jika instans master SQL Server berada dalam konfigurasi grup ketersediaan, salin mssql-custom.conf
file di semua master
pod. Perhatikan bahwa setiap mulai ulang akan menyebabkan failover, jadi Anda harus memastikan Anda mengatur waktu aktivitas ini selama periode waktu henti.
Pembatasan yang diketahui
- Langkah-langkah di atas memerlukan izin admin kluster Kubernetes
- Anda tidak dapat mengubah kolase server untuk instans master SQL Server dari penyebaran pos kluster big data.
Mengonfigurasi Apache Spark dan Apache Hadoop
Untuk mengonfigurasi Apache Spark dan Apache Hadoop di Kluster Big Data, Anda perlu memodifikasi profil kluster pada waktu penyebaran.
Kluster Big Data memiliki empat kategori konfigurasi:
sql
hdfs
spark
gateway
sql
, , hdfs
spark
, sql
adalah layanan. Setiap layanan memetakan ke kategori konfigurasi bernama yang sama. Semua konfigurasi gateway masuk ke kategori gateway
.
Misalnya, semua konfigurasi dalam layanan hdfs
termasuk dalam kategori hdfs
. Perhatikan bahwa semua konfigurasi Hadoop (situs inti), HDFS dan Zookeeper termasuk dalam kategori hdfs
; semua konfigurasi Livy, Spark, Yarn, Apache Hive, Metastore termasuk dalam kategori spark
.
Konfigurasi yang didukung mencantumkan properti Apache Spark & Hadoop yang dapat Anda konfigurasikan saat menyebarkan Kluster Big Data SQL Server.
Bagian berikut ini mencantumkan properti yang tidak dapat Anda ubah dalam kluster:
- Konfigurasi yang
spark
tidak didukung - Konfigurasi yang
hdfs
tidak didukung - Konfigurasi yang
gateway
tidak didukung