Notebook umum untuk Kluster Big Data SQL Server

Artikel ini mencantumkan buku catatan untuk Kluster Big Data SQL Server. Notebook yang dapat dieksekusi (.ipynb) dirancang untuk SQL Server 2019 untuk membantu skenario umum dalam kluster big data.

Important

Kluster Big Data Microsoft SQL Server 2019 dihentikan. Dukungan untuk Kluster Big Data SQL Server 2019 berakhir per 28 Februari 2025. Untuk informasi selengkapnya, lihat posting blog pengumuman dan Opsi big data di platform Microsoft SQL Server.

Setiap notebook dirancang untuk memeriksa dependensinya sendiri. Opsi Jalankan semua sel berhasil diselesaikan atau menimbulkan pengecualian dengan petunjuk hyperlink ke buku catatan lain untuk mengatasi dependensi yang hilang. Ikuti hyperlink petunjuk ke buku catatan tujuan, klik Jalankan semua sel. Setelah berhasil kembali ke buku catatan asli, lalu klik Jalankan semua sel.

Setelah semua dependensi diinstal, tetapi Jalankan semua sel gagal, setiap buku catatan akan menganalisis hasil dan, jika memungkinkan, menghasilkan petunjuk dengan hyperlink ke buku catatan lain untuk membantu menyelesaikan masalah tersebut.

Mengumpulkan log dari Kluster Big Data

Buku catatan di bagian ini digunakan sebagai prasyarat untuk buku catatan lainnya, seperti masuk dan keluar dari kluster.

Name Description
SOP005 - az login Gunakan antarmuka baris perintah az untuk masuk ke Azure.
SOP006 - az logout Gunakan antarmuka baris perintah az untuk keluar dari Azure.
SOP007 - Informasi versi (azdata, bdc, kubernetes) Tentukan fungsi pembantu yang digunakan dalam buku catatan pada informasi penerapan versi.
SOP011 - Mengatur konteks konfigurasi kubernetes Atur konfigurasi kubernetes yang akan digunakan.
SOP028 - masuk azdata Gunakan antarmuka baris perintah azdata untuk masuk ke Kluster Big Data.
SOP033 - logout azdata Gunakan antarmuka baris perintah azdata untuk keluar dari Kluster Big Data.
SOP034 - Tunggu BDC Menjadi Sehat Memblokir hingga Kluster Big Data sehat, atau batas waktu yang ditentukan kedaluwarsa. Parameter min_pod_count menunjukkan bahwa pemeriksaan kesehatan tidak akan berhasil sampai jumlah minimal pod ini ada di kluster. Jika ada pod yang melebihi batas ini dan tidak sehat, maka kluster tidak sehat.
OPR001 - Membuat penyebaran aplikasi Gunakan buku catatan ini untuk membuat aplikasi di Kluster Big Data.
OPR002 - Jalankan penyebaran aplikasi Gunakan buku catatan ini untuk menjalankan aplikasi di Kluster Big Data.
OPR003 - Buat cronjob Gunakan notebook ini untuk membuat cronjob di Big Data Cluster.
OPR004 - Menangguhkan cronjob Gunakan notebook ini untuk menangguhkan cronjob di Big Data Cluster.
OPR005 - Lanjutkan cronjob Gunakan notebook ini untuk melanjutkan cronjob di Big Data Cluster.
OPR006 - Hapus cronjob Gunakan notebook ini untuk menghapus cronjob di Big Data Cluster.
OPR007 - Menghapus implementasi aplikasi Gunakan buku catatan ini untuk menghapus aplikasi di Kluster Big Data.
OPR100 - Menyebarkan dan Menjadwalkan Notebook Gunakan notebook ini untuk menyebarkan daftar notebook ke pod App-Deploy, jalankan App-Deploy sesuai jadwal menggunakan Kubernetes CronJob dan instal dasbor Grafana untuk melihat hasil.
OPR600 - Memantau infrastruktur (Kubernetes) Gunakan buku catatan ini untuk memantau infrastruktur.
OPR700 - Buat Dasbor Grafana untuk Aplikasi App-Deploy Gunakan notebook ini untuk membuat dasbor di Grafana untuk memantau hasil App-Deploy dan menghasilkan peringatan jika Canary atau Application mengalami kegagalan.
OPR900 - Memecahkan masalah menjalankan dan menyebarkan aplikasi Gunakan notebook ini untuk menjalankan skrip penyebaran aplikasi langsung dalam kontainer (menggunakan kubectl exec). Ini dapat memberikan lebih banyak informasi debugging untuk memecahkan masalah, terutama yang terkait dengan masalah dalam tahap permulaan skrip.
OPR901 - Memecahkan masalah cronjob Gunakan notebook ini untuk menjalankan skrip cronjob langsung dalam kontainer (menggunakan kubectl exec). Ini dapat memberikan informasi penelusuran kesalahan lebih lanjut untuk pemecahan masalah.

Menganalisis log dari Kluster Big Data

Sekumpulan contoh notebook yang menunjukkan skenario Kluster Big Data SQL Server.

Name Description
SAM001a - Kumpulan Penyimpanan Kueri dari Kumpulan Master SQL Server (1 dari 3) - Memuat data sampel Dalam tutorial 3 bagian ini, muat data ke dalam Kumpulan Penyimpanan (HDFS) menggunakan azdata, konversikan menjadi Parquet (menggunakan Spark) dan di bagian ke-3, kueri data menggunakan Kumpulan Master (SQL Server).
SAM001b - Kueri dari Kumpulan Penyimpanan di Kumpulan Master SQL Server (2 dari 3) - Mengonversi data ke format Parquet Di bagian kedua tutorial 3 bagian ini, gunakan Spark untuk mengonversi file .csv menjadi file parkket.
SAM001c - Kumpulan Penyimpanan dari Kumpulan Master SQL Server (3 dari 3) - Kueri HDFS dari SQL Server Di bagian ke-3 tutorial Kumpulan Penyimpanan ini, Anda akan mempelajari cara membuat tabel eksternal yang menunjuk ke data HDFS dalam kluster big data dan menggabungkan data ini dengan data bernilai tinggi dalam instans master.
SAM002 - Kumpulan Penyimpanan (2 dari 2) - Kueri HDFS Di bagian kedua tutorial Kumpulan Penyimpanan ini, Anda akan mempelajari cara membuat tabel eksternal yang menunjuk ke data HDFS dalam kluster big data dan menggabungkan data ini dengan data bernilai tinggi dalam instans master
SAM003 - Contoh Kumpulan Data Dalam tutorial ini, Anda mempelajari cara membuat sumber kumpulan data dan tabel eksternal di kumpulan data, lalu menyisipkan data dalam tabel kumpulan data dan memuat data dari satu tabel kumpulan data ke tabel kumpulan data lainnya. Gabungkan data dalam tabel kumpulan data dengan tabel kumpulan data lainnya, serta memangkas dan membersihkan tabel.
SAM004 - Virtualisasi data dari MongoDB Untuk mengkueri data dari sumber data eksternal MongoDB, Anda harus membuat tabel eksternal untuk mereferensikan data eksternal tersebut. Bagian ini menyediakan kode sampel untuk membuat tabel eksternal ini.
SAM005 - Virtualisasi data dari Oracle Untuk mengkueri data dari sumber data eksternal Oracle, Anda harus membuat tabel eksternal untuk mereferensikan data eksternal tersebut. Bagian ini menyediakan kode sampel untuk membuat tabel eksternal ini.
SAM006 - Virtualisasi data dari SQL Server Untuk mengkueri data secara virtual dari sumber data SQL Server lain, Anda harus membuat tabel eksternal untuk mereferensikan data eksternal tersebut. Bagian ini menyediakan kode sampel untuk membuat tabel eksternal ini.
SAM007 - Virtualisasi data dari Teradata Untuk mengkueri data dari sumber data eksternal Teradata, Anda harus membuat tabel eksternal untuk mereferensikan data eksternal tersebut. Bagian ini menyediakan kode sampel untuk membuat tabel eksternal ini.
SAM008 - Spark menggunakan azdata Perintah Azdata dan kubectl untuk mengelola sesi Spark.
SAM009 - HDFS menggunakan azdata Perintah Azdata dan kubectl untuk bekerja dengan HDFS.
SAM010 - Aplikasi menggunakan azdata Perintah Azdata dan kubectl untuk menggunakan App Deploy.

Next steps

Untuk informasi selengkapnya tentang Kluster Big Data SQL Server, lihat Memperkenalkan Kluster Big Data SQL Server 2019.

  • Last updated on