Bagikan melalui

az synapse spark job

  • Referensi

Mengelola pekerjaan batch Synapse Spark.

Perintah

Nama Deskripsi Jenis Status
az synapse spark job cancel

Batalkan pekerjaan Spark.

 Core GA
az synapse spark job list

Mencantumkan semua pekerjaan Spark.

 Core GA
az synapse spark job show

Dapatkan pekerjaan Spark.

 Core GA
az synapse spark job submit

Kirim pekerjaan Spark.

 Core GA

az synapse spark job cancel

Edit

Batalkan pekerjaan Spark.

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

Contoh

Batalkan pekerjaan Spark.

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Parameter yang Diperlukan

--livy-id

Id pekerjaan Spark.

--spark-pool-name

Nama kumpulan Spark.

--workspace-name

Nama ruang kerja.

Parameter Opsional

--yes -y

Jangan meminta konfirmasi.

Nilai default: False
Parameter Global
--debug

Meningkatkan verbositas pengelogan untuk menampilkan semua log debug.

--help -h

Menampilkan pesan bantuan ini dan keluar.

--only-show-errors

Hanya menampilkan kesalahan, menyembunyikan peringatan.

--output -o

Format output.

Nilai yang diterima: json, jsonc, none, table, tsv, yaml, yamlc
Nilai default: json
--query

String kueri JMESPath. Lihat http://jmespath.org/ untuk informasi selengkapnya beserta contohnya.

--subscription

Nama atau ID langganan. Anda dapat mengonfigurasi langganan default menggunakan az account set -s NAME_OR_ID.

--verbose

Meningkatkan verbositas pengelogan. Gunakan --debug untuk log waktu lengkap.

az synapse spark job list

Edit

Mencantumkan semua pekerjaan Spark.

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

Contoh

Mencantumkan semua pekerjaan Spark.

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Parameter yang Diperlukan

--spark-pool-name

Nama kumpulan Spark.

--workspace-name

Nama ruang kerja.

Parameter Opsional

--from-index

Parameter opsional yang menentukan indeks mana yang harus dimulai oleh daftar.

--size

Ukuran daftar yang dikembalikan. Secara default adalah 20 dan itu adalah maksimum.

Parameter Global
--debug

Meningkatkan verbositas pengelogan untuk menampilkan semua log debug.

--help -h

Menampilkan pesan bantuan ini dan keluar.

--only-show-errors

Hanya menampilkan kesalahan, menyembunyikan peringatan.

--output -o

Format output.

Nilai yang diterima: json, jsonc, none, table, tsv, yaml, yamlc
Nilai default: json
--query

String kueri JMESPath. Lihat http://jmespath.org/ untuk informasi selengkapnya beserta contohnya.

--subscription

Nama atau ID langganan. Anda dapat mengonfigurasi langganan default menggunakan az account set -s NAME_OR_ID.

--verbose

Meningkatkan verbositas pengelogan. Gunakan --debug untuk log waktu lengkap.

az synapse spark job show

Edit

Dapatkan pekerjaan Spark.

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

Contoh

Dapatkan pekerjaan Spark.

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Parameter yang Diperlukan

--livy-id

Id pekerjaan Spark.

--spark-pool-name

Nama kumpulan Spark.

--workspace-name

Nama ruang kerja.

Parameter Global
--debug

Meningkatkan verbositas pengelogan untuk menampilkan semua log debug.

--help -h

Menampilkan pesan bantuan ini dan keluar.

--only-show-errors

Hanya menampilkan kesalahan, menyembunyikan peringatan.

--output -o

Format output.

Nilai yang diterima: json, jsonc, none, table, tsv, yaml, yamlc
Nilai default: json
--query

String kueri JMESPath. Lihat http://jmespath.org/ untuk informasi selengkapnya beserta contohnya.

--subscription

Nama atau ID langganan. Anda dapat mengonfigurasi langganan default menggunakan az account set -s NAME_OR_ID.

--verbose

Meningkatkan verbositas pengelogan. Gunakan --debug untuk log waktu lengkap.

az synapse spark job submit

Edit

Kirim pekerjaan Spark.

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

Contoh

Kirim pekerjaan Java Spark.

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

Parameter yang Diperlukan

--executor-size

Ukuran pelaksana.

Nilai yang diterima: Large, Medium, Small
--executors

Jumlah pelaksana.

--main-definition-file

File utama yang digunakan untuk tugas tersebut.

--name -n

Nama pekerjaan Spark.

--spark-pool-name

Nama kumpulan Spark.

--workspace-name

Nama ruang kerja.

Parameter Opsional

--archives

Array arsip.

--arguments

Argumen opsional untuk pekerjaan (Catatan: silakan gunakan URI penyimpanan untuk argumen file).

--configuration

Konfigurasi pekerjaan Spark.

--language

Bahasa pekerjaan Spark.

Nilai yang diterima: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
Nilai default: Scala
--main-class-name

Pengidentifikasi yang sepenuhnya memenuhi syarat atau kelas utama yang ada dalam file definisi utama.

--python-files

Array file yang digunakan untuk pembenahan dalam file definisi python utama. Contohnya termasuk file whl kustom dan file python kustom. Dapat meneruskan beberapa file seperti "az synapse spark job sumbit <other_args> --python_files abfss://file1 abss://file2".

--reference-files

File tambahan yang digunakan untuk referensi dalam file definisi utama.

--tags

Tag yang dipisahkan spasi: key[=value] [key[=value] ...]. Gunakan "" untuk menghapus tag yang ada.

Parameter Global
--debug

Meningkatkan verbositas pengelogan untuk menampilkan semua log debug.

--help -h

Menampilkan pesan bantuan ini dan keluar.

--only-show-errors

Hanya menampilkan kesalahan, menyembunyikan peringatan.

--output -o

Format output.

Nilai yang diterima: json, jsonc, none, table, tsv, yaml, yamlc
Nilai default: json
--query

String kueri JMESPath. Lihat http://jmespath.org/ untuk informasi selengkapnya beserta contohnya.

--subscription

Nama atau ID langganan. Anda dapat mengonfigurasi langganan default menggunakan az account set -s NAME_OR_ID.

--verbose

Meningkatkan verbositas pengelogan. Gunakan --debug untuk log waktu lengkap.