Memperkenalkan Pembelajaran Mesin Spark di SQL Server Kluster Big Data

Berlaku untuk: SQL Server 2019 (15.x)

Penting

Add-on Kluster Big Data Microsoft SQL Server 2019 akan dihentikan. Dukungan untuk Kluster Big Data SQL Server 2019 akan berakhir pada 28 Februari 2025. Semua pengguna SQL Server 2019 yang ada dengan Jaminan Perangkat Lunak akan didukung penuh pada platform dan perangkat lunak akan terus dipertahankan melalui pembaruan kumulatif SQL Server hingga saat itu. Untuk informasi selengkapnya, lihat posting blog pengumuman dan opsi Big data di platform Microsoft SQL Server.

Artikel ini menjelaskan cara menggunakan Spark untuk Pembelajaran Mesin secara efektif di SQL Server Kluster Big Data.

Pembelajaran Mesin Spark di SQL Server Kluster Big Data

SQL Server Kluster Big Data memungkinkan skenario dan solusi pembelajaran mesin menggunakan tumpukan teknologi yang berbeda: SQL Server Machine Learning Services dan Apache Spark ML.

Untuk lebih memahami kapan menggunakan setiap tumpukan teknologi, lihat Panduan Pembelajaran Mesin untuk SQL Server Kluster Big Data. Panduan ini mencakup Apache Spark ML.

Untuk skenario pembelajaran mesin berbasis big data, penggunaan HDFS untuk hosting big data dan kemampuan Apache Spark ML adalah pendekatan yang lebih hemat biaya, dapat diskalakan, dan kuat. Namun ini jauh dari daftar lengkap kemungkinan apa yang dapat dicapai dengan Spark Machine Learning, untuk daftar lengkap fitur lihat: Spark MLlib.

Bagian berikutnya menyediakan daftar skenario dan referensi yang dikumpulkan untuk Spark di SQL Server Kluster Big Data.

Blok penyusun untuk Spark Machine Learning di SQL Server Kluster Big Data

Learn	Konten	Tautan
SQL Server Kluster Big Data runtime untuk Apache Spark	Ini akan menunjukkan apa yang disertakan dengan setiap rilis	SQL Server Kluster Big Data runtime untuk Panduan Apache Spark
Kumpulan Penyimpanan	Cara menyimpan dan menggunakan HDFS + Spark bersama-sama untuk membuka kunci data untuk pembelajaran mesin	Memperkenalkan kumpulan penyimpanan di SQL Server Kluster Big Data
Menggunakan pengalaman berbasis notebook dan alat pilihan Anda	Menyambungkan titik akhir Spark-Livy menggunakan alat pilihan Anda	Mengirimkan pekerjaan Spark di SQL Server Kluster Big Data di Azure Data Studio Mengirimkan pekerjaan Spark di SQL Server kluster big data di Visual Studio Code Menggunakan sparklyr di SQL Server kluster big data
Cara menginstal paket tambahan	Jika paket tidak disediakan di luar kotak, instal	Manajemen pustaka Spark
Cara memecahkan masalah	Jika rusak	pyspark Memecahkan masalah buku catatan Debug dan Diagnosis Aplikasi Spark pada SQL Server Kluster Big Data di Server Riwayat Spark
Cara mengirimkan pekerjaan batch pembelajaran mesin	Membuat pelatihan ML dan penilaian batch berjalan menggunakan baris perintah	Mengirimkan pekerjaan Spark dengan menggunakan alat baris perintah
Cara cepat memindahkan data antara SQL Server dan Spark	Jadikan sumber dan/atau tujuan SQL Server untuk skenario Spark ML Anda. Penggunaan HDFS tidak wajib	Gunakan Konektor Apache Spark untuk SQL Server dan Azure SQL
Operasionalisasi model Spark	Setelah pelatihan, operasionalisasi menggunakan MLeap	Membuat, mengekspor, dan menilai model pembelajaran mesin Spark di SQL Server Kluster Big Data
Manipulasi data	Seiring dengan kemampuan manipulasi data Spark yang kuat, kami mengirimkan PROSE	Manipulasi Data menggunakan Akselerator Kode PROSE

Langkah berikutnya

Untuk informasi selengkapnya, lihat Memperkenalkan SQL Server Kluster Big Data.