Jalankan skrip Python dan R dengan layanan Pembelajaran Mesin di SQL Server 2019 Kluster Big Data

Berlaku untuk: SQL Server 2019 (15.x)

Penting

Add-on Kluster Big Data Microsoft SQL Server 2019 akan dihentikan. Dukungan untuk SQL Server 2019 Kluster Big Data akan berakhir pada 28 Februari 2025. Semua pengguna SQL Server 2019 yang ada dengan Jaminan Perangkat Lunak akan didukung sepenuhnya pada platform dan perangkat lunak akan terus dipertahankan melalui pembaruan kumulatif SQL Server hingga saat itu. Untuk informasi selengkapnya, lihat posting blog pengumuman dan Opsi big data di platform Microsoft SQL Server.

Anda dapat menjalankan skrip Python dan R pada instans master SQL Server Kluster Big Data dengan Pembelajaran Mesin Services.

Catatan

Anda juga dapat menjalankan kode Java pada instans master SQL Server Kluster Big Data dengan Ekstensi Bahasa Java. Mengikuti langkah-langkah di bawah ini juga akan mengaktifkan Ekstensi Bahasa SQL Server.

Aktifkan Layanan Pembelajaran Mesin

Pembelajaran Mesin Services diinstal secara default pada SQL Server 2019 Kluster Big Data dan tidak memerlukan penginstalan terpisah.

Untuk mengaktifkan Pembelajaran Mesin Services, jalankan pernyataan ini pada instans master:

EXEC sp_configure 'external scripts enabled', 1
RECONFIGURE WITH OVERRIDE
GO

Anda sekarang siap untuk menjalankan skrip Python dan R pada instans master Kluster Big Data. Lihat mulai cepat di bawah Langkah berikutnya untuk menjalankan skrip pertama Anda.

Catatan

Pengaturan konfigurasi tidak dapat diatur pada koneksi pendengar grup ketersediaan. Jika Kluster Big Data disebarkan dengan ketersediaan tinggi, set external scripts enabled pada setiap replika. Lihat Mengaktifkan pada kluster dengan ketersediaan tinggi.

Aktifkan pada kluster dengan ketersediaan tinggi

Saat Anda Menyebarkan Kluster Big Data SQL Server dengan ketersediaan tinggi, penyebaran membuat grup ketersediaan untuk instans master. Untuk mengaktifkan Pembelajaran Mesin Services, atur external scripts enabled pada setiap instans grup ketersediaan. Untuk Kluster Big Data, Anda perlu menjalankan sp_configure setiap replika instans master SQL Server

Bagian berikut menjelaskan cara mengaktifkan skrip eksternal pada setiap instans.

Membuat load balancer eksternal untuk setiap instans

Untuk setiap replika pada grup ketersediaan, buat load balancer untuk memungkinkan Anda terhubung ke instans.

kubectl expose pod <pod-name> --port=<connection port number> --name=<load-balancer-name> --type=LoadBalancer -n <kubernetes namespace>

Contoh dalam artikel ini menggunakan nilai berikut:

• <pod-name>: master-#
• <connection port number>: 1533
• <load-balancer-name>: mymaster-#
• <kubernetes namespace>: mssql-cluster

Perbarui skrip berikut untuk lingkungan Anda, dan jalankan perintah:

kubectl expose pod master-0 --port=1533 --name=mymaster-0 --type=LoadBalancer -n mssql-cluster
kubectl expose pod master-1 --port=1533 --name=mymaster-1 --type=LoadBalancer -n mssql-cluster
kubectl expose pod master-2 --port=1533 --name=mymaster-2 --type=LoadBalancer -n mssql-cluster

kubectl mengembalikan output berikut.

service/mymaster-0 exposed
service/mymaster-1 exposed
service/mymaster-2 exposed

Setiap load balancer adalah titik akhir replika master.

Mengaktifkan eksekusi skrip pada setiap replika

1. Dapatkan alamat IP untuk titik akhir replika master.

   Perintah berikut mengembalikan alamat IP eksternal untuk titik akhir replika.

   kubectl get services <load-balancer-name> -n <kubernetes namespace>

   Untuk mendapatkan alamat IP eksternal untuk setiap replika dalam skenario ini, jalankan perintah berikut:

   kubectl get services mymaster-0 -n mssql-cluster
   kubectl get services mymaster-1 -n mssql-cluster
   kubectl get services mymaster-2 -n mssql-cluster
   

   Catatan

   Mungkin perlu sedikit waktu sebelum alamat IP eksternal tersedia. Jalankan skrip sebelumnya secara berkala hingga setiap titik akhir mengembalikan alamat IP eksternal.

2. Sambungkan ke titik akhir replika master dan aktifkan eksekusi skrip.

   Jalankan pernyataan ini:

   EXEC sp_configure 'external scripts enabled', 1
   RECONFIGURE WITH OVERRIDE
   GO
   

   Misalnya, Anda dapat menjalankan perintah sebelumnya dengan sqlcmd. Contoh berikut terhubung ke titik akhir replika master dan mengaktifkan eksekusi skrip. Perbarui nilai dalam skrip dengan untuk lingkungan Anda.

   sqlcmd -S <IP address>,1533 -U <user name> -P <password> -Q "EXEC sp_configure 'external scripts enabled', 1; RECONFIGURE WITH OVERRIDE;"
   

   Ulangi langkah untuk setiap replika.

Demonstrasi

Gambar berikut menunjukkan proses ini.

Anda sekarang siap untuk menjalankan skrip Python dan R pada instans master Kluster Big Data. Lihat mulai cepat di bawah Langkah berikutnya untuk menjalankan skrip pertama Anda.

Menghapus titik akhir replika master

Pada kluster Kubernetes, hapus titik akhir untuk setiap replika. Titik akhir diekspos di Kubernetes sebagai layanan penyeimbang beban.

Perintah berikut menghapus layanan penyeimbangan beban.

kubectl delete svc <load-balancer-name> -n mssql-cluster

Untuk contoh dalam artikel ini, jalankan perintah berikut.

kubectl delete svc mymaster-0 -n mssql-cluster
kubectl delete svc mymaster-1 -n mssql-cluster
kubectl delete svc mymaster-2 -n mssql-cluster

Mulai cepat pembelajaran mesin SQL Server Kluster Big Data

Mulai cepat Python

• Menjalankan skrip Python
• Struktur dan objek data
• Fungsi Python
• Melatih dan menilai model

Mulai cepat R

• Jalankan skrip R
• Jenis dan objek data
• Fungsi R
• Melatih dan menilai model

Tutorial pembelajaran mesin SQL Server Kluster Big Data

Tutorial Python

Penyewaan ski (regresi linear)

• 1 - Pengantar
• 2 - Menyiapkan data
• 3 - Melatih model
• 4 - Menyebarkan model

Kategorikan pelanggan (pengklusteran k-means)

• 1 - Pengantar
• 2 - Menyiapkan data
• 3 - Membuat model
• 4 - Menyebarkan model

Tips pajak NYC (klasifikasi)

• 1 - Pengantar
• 2 - Eksplorasi data
• 3 - Rekayasa fitur
• 4 - Melatih dan menyebarkan
• 5 - Prediksi

Tutorial R

Penyewaan ski (pohon keputusan)

• 1 - Pengantar
• 2 - Menyiapkan data
• 3 - Melatih model
• 4 - Menyebarkan model

Kategorikan pelanggan (pengklusteran k-means)

• 1 - Pengantar
• 2 - Menyiapkan data
• 3 - Membuat model
• 4 - Menyebarkan model

Tips pajak NYC (klasifikasi)

• 1 - Pengantar
• 2 - Eksplorasi data
• 3 - Rekayasa fitur
• 4 - Melatih dan menyebarkan
• 5 - Prediksi

Panduan cara pembelajaran mesin SQL Server Kluster Big Data

Penjelajahan dan pemodelan lanjutan

• Plot Histogram di Python
• Mengimpor data ke dalam dataframe pandas
• Menyisipkan dataframe ke dalam SQL

Konversi jenis data

• Python ke SQL
• R ke SQL

Sebarkan

• Mengoprasionalkan menggunakan prosedur tersimpan
• Mengonversi kode R untuk SQL Server

Prediksi

• Penilaian asli dengan PREDICT T-SQL

Pengelolaan paket

Pasang paket Python baru

• Dapatkan informasi paket Python
• Menginstal dengan sqlmlutils

Pasang paket R baru

• Dapatkan informasi paket R
• Menginstal dengan sqlmlutils
• Membuat repositori miniCRAN
• Tips untuk menggunakan paket R

Monitor

• Memantau menggunakan laporan SQL Server Management Directory

• Memantau menggunakan DMV

• Memantau menggunakan peristiwa yang diperluas

• Memantau PREDICT T-SQL

Keamanan

• Beri pengguna izin

Spark Machine Learning

• Menggunakan Spark Pembelajaran Mesin
• Manipulasi data menggunakan Akselerator Kode PROSE
• Model pembelajaran mesin Spark dengan MLeap

Langkah berikutnya

• Menjalankan skrip Python sederhana
• Melatih dan menilai model prediktif di Python
• Menjalankan skrip R sederhana
• Melatih dan menilai model prediktif di R