Manajemen pekerjaan Apache Flink® di HDInsight pada kluster AKS

Artikel
04/01/2024

Penting

Fitur ini masih dalam mode pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure mencakup lebih banyak persyaratan hukum yang berlaku untuk fitur Azure yang dalam versi beta, dalam pratinjau, atau belum dirilis ke ketersediaan umum. Untuk informasi tentang pratinjau khusus ini, lihat Azure HDInsight pada informasi pratinjau AKS. Untuk pertanyaan atau saran fitur, kirimkan permintaan di AskHDInsight dengan detail dan ikuti kami untuk pembaruan lebih lanjut di Komunitas Azure HDInsight.

HDInsight di AKS menyediakan fitur untuk mengelola dan mengirimkan pekerjaan Apache Flink® langsung melalui portal Azure (antarmuka yang mudah digunakan) dan ARM Rest API.

Fitur ini memberdayakan pengguna untuk mengontrol dan memantau pekerjaan Apache Flink mereka secara efisien tanpa memerlukan pengetahuan tingkat kluster yang mendalam.

Keuntungan

Manajemen pekerjaan yang disederhanakan: Dengan integrasi asli Apache Flink di portal Azure, pengguna tidak lagi memerlukan pengetahuan luas tentang kluster Flink untuk mengirimkan, mengelola, dan memantau pekerjaan.
REST API yang Mudah Digunakan: HDInsight di AKS menyediakan REST API ARM yang ramah pengguna untuk mengirimkan dan mengelola pekerjaan Flink. Pengguna dapat mengirimkan pekerjaan Flink dari layanan Azure apa pun menggunakan REST API ini.
Pembaruan pekerjaan yang mudah dan manajemen status: Integrasi portal Azure asli memberikan pengalaman bebas repot untuk memperbarui pekerjaan dan memulihkannya ke status tersimpan terakhir mereka (titik simpan). Fungsionalitas ini memastikan kelangsungan dan integritas data sepanjang siklus hidup pekerjaan.
Mengotomatiskan pekerjaan Flink menggunakan alur Azure: Menggunakan HDInsight di AKS, pengguna Flink memiliki akses ke ARM Rest API yang ramah pengguna, Anda dapat dengan mulus mengintegrasikan operasi pekerjaan Flink ke dalam Azure Pipeline Anda. Baik Anda meluncurkan pekerjaan baru, memperbarui pekerjaan yang sedang berjalan, atau melakukan berbagai operasi pekerjaan, pendekatan yang disederhanakan ini menghilangkan langkah manual. Ini memberdayakan Anda untuk mengelola kluster Flink Anda secara efisien.

Prasyarat

Ada beberapa prasyarat sebelum mengirimkan dan mengelola pekerjaan dari portal atau Rest API.

Buat direktori di akun penyimpanan utama kluster untuk mengunggah jar pekerjaan.
Jika pengguna ingin mengambil titik penyimpanan, buat direktori di akun penyimpanan untuk titik penyimpanan pekerjaan.

Fitur dan operasi utama

Pengiriman pekerjaan baru: Pengguna dapat dengan mudah mengirimkan Flink baru, menghilangkan kebutuhan akan konfigurasi kompleks atau alat eksternal.
Menghentikan dan memulai pekerjaan dengan titik penyimpanan: Pengguna dapat dengan anggun menghentikan dan memulai pekerjaan Flink mereka dari status sebelumnya (Savepoint). Titik penyimpanan memastikan bahwa kemajuan pekerjaan dipertahankan, memungkinkan dimulainya kembali tanpa hambatan.
Pembaruan pekerjaan: Pengguna dapat memperbarui pekerjaan yang sedang berjalan setelah memperbarui jar pada akun penyimpanan. Pembaruan ini secara otomatis mengambil titik penyimpanan dan memulai pekerjaan dengan jar baru.
Pembaruan stateless: Melakukan mulai ulang baru untuk pekerjaan disederhanakan melalui pembaruan stateless. Fitur ini memungkinkan pengguna untuk memulai hidupkan ulang yang bersih menggunakan jar pekerjaan yang diperbarui.
Manajemen titik penyimpanan: Pada saat tertentu, pengguna dapat membuat titik simpan untuk pekerjaan yang sedang berjalan. Titik penyimpanan ini dapat dicantumkan dan digunakan untuk memulai ulang pekerjaan dari titik pemeriksaan tertentu sesuai kebutuhan.
Batal: Ini membatalkan pekerjaan secara permanen.
Hapus: Hapus rekaman riwayat pekerjaan.

Opsi untuk mengelola pekerjaan di HDInsight di AKS

HDInsight di AKS menyediakan cara untuk mengelola pekerjaan Flink.

Portal Azure
ARM Rest API

Manajemen Pekerjaan dari portal Azure

Untuk menjalankan pekerjaan Flink dari portal, buka:

Portal --> HDInsight di Kumpulan Kluster AKS --> Kluster Flink --> Pengaturan --> Pekerjaan Flink

Pekerjaan baru: Untuk mengirimkan pekerjaan baru, unggah jar pekerjaan ke akun penyimpanan dan buat direktori savepoint. Lengkapi templat dengan konfigurasi yang diperlukan lalu kirimkan pekerjaan.

Detail properti:

Properti	Deskripsi	Nilai Default	Wajib
Nama pekerjaan	Nama unik untuk pekerjaan. Ini ditampilkan di portal. Nama pekerjaan harus dalam huruf kecil terakhir.		Ya
Jalur Jar	Jalur penyimpanan untuk jar pekerjaan. Pengguna harus membuat direktori di penyimpanan kluster dan mengunggah jar pekerjaan.	Ya
Kelas entri	Kelas entri untuk pekerjaan dari mana eksekusi pekerjaan dimulai.		Ya
Argumen	Argumen untuk program utama pekerjaan. Pisahkan semua argumen dengan spasi.		No
Paralelisme	Paralelisme Flink Pekerjaan.	2	Ya
savepoint.directory	Direktori savepoint untuk pekerjaan. Disarankan agar pengguna harus membuat direktori baru untuk titik penyimpanan pekerjaan di akun penyimpanan.	`abfs://<container>@<account>/<deployment-ID>/savepoints`	No

Setelah pekerjaan diluncurkan, status pekerjaan di portal adalah BERJALAN.

Hentikan: Hentikan pekerjaan tidak memerlukan parameter apa pun, pengguna dapat menghentikan pekerjaan dengan memilih tindakan.

Setelah pekerjaan dihentikan, status pekerjaan di portal DIHENTIKAN.

Mulai: Tindakan ini memulai pekerjaan dari titik penyimpanan. Untuk memulai pekerjaan, pilih pekerjaan yang dihentikan dan mulai.

Isi templat alur dengan opsi yang diperlukan dan mulai. Pengguna perlu memilih titik penyimpanan tempat pengguna ingin memulai pekerjaan. Secara default, dibutuhkan titik penyimpanan terakhir yang berhasil.

Detail properti:

Properti	Deskripsi	Wajib
Argumen	Argumen untuk program utama pekerjaan. Semua argumen harus dipisahkan oleh spasi.	No
Titik penyimpanan terakhir	Titik penyimpanan terakhir yang berhasil diambil sebelum menghentikan pekerjaan. Ini akan digunakan secara default jika tidak titik simpan dipilih.	Tidak Dapat Diedit
Simpan nama titik	Pengguna dapat mencantumkan titik simpan yang tersedia untuk pekerjaan dan memilih satu untuk memulai pekerjaan.	No

Setelah pekerjaan dimulai, status pekerjaan di portal akan BERJALAN.

Pembaruan: Pembaruan membantu memulai ulang pekerjaan dengan kode pekerjaan yang diperbarui. Pengguna perlu memperbarui jar pekerjaan terbaru di lokasi penyimpanan dan memperbarui pekerjaan dari portal. Pembaruan ini menghentikan pekerjaan dengan titik penyimpanan dan memulai lagi dengan jar terbaru.

Templat untuk memperbarui pekerjaan.

Setelah pekerjaan diperbarui, status pekerjaan di portal adalah "RUNNING."
Pembaruan stateless: Pekerjaan ini seperti pembaruan, tetapi melibatkan mulai ulang pekerjaan yang baru dengan kode terbaru.

Templat untuk memperbarui pekerjaan.

Detail properti:

Properti Deskripsi Nilai Default Wajib

Argumen Argumen untuk program utama pekerjaan. Pisahkan semua argumen dengan spasi. No

Setelah pekerjaan diperbarui, status pekerjaan di portal berjalan.
Savepoint: Ambil titik penyimpanan untuk Pekerjaan Flink.

Titik hemat adalah proses yang memakan waktu, dan membutuhkan waktu. Anda dapat melihat status tindakan pekerjaan sebagai sedang berlangsung.
Batal: Pekerjaan ini membantu pengguna untuk mengakhiri pekerjaan.
Hapus: Hapus data pekerjaan dari portal.
Lihat Detail pekerjaan: Untuk melihat detail pekerjaan, pengguna dapat mengklik nama pekerjaan, pengguna memberikan detail tentang pekerjaan dan hasil tindakan terakhir.

Untuk tindakan yang gagal, json pekerjaan ini memberikan pengecualian dan alasan kegagalan terperinci.

Properti	Deskripsi	Nilai Default	Wajib
Argumen	Argumen untuk program utama pekerjaan. Pisahkan semua argumen dengan spasi.		No

Manajemen Pekerjaan Menggunakan Rest API

HDInsight di AKS mendukung REST API ARM yang ramah pengguna untuk mengirimkan pekerjaan dan mengelola pekerjaan. Dengan menggunakan Flink REST API ini, Anda dapat mengintegrasikan operasi pekerjaan Flink dengan lancar ke dalam Azure Pipeline Anda. Baik Anda meluncurkan pekerjaan baru, memperbarui pekerjaan yang sedang berjalan, atau melakukan berbagai operasi pekerjaan, pendekatan yang disederhanakan ini menghilangkan langkah manual dan memberdayakan Anda untuk mengelola kluster Flink Anda secara efisien.

Format URL Dasar untuk Rest API

Lihat URL berikut untuk rest API, pengguna perlu mengganti langganan, grup sumber daya, kumpulan kluster, nama kluster, dan HDInsight pada versi API AKS dalam hal ini sebelum menggunakannya. https://management.azure.com/subscriptions/{{USER_SUBSCRIPTION}}/resourceGroups/{{USER_RESOURCE_GROUP}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSER_POOL}}/clusters/{{FLINK_CLUSTER}}/runjob?api-version={{API_VERSION}}

Dengan menggunakan REST API ini, pengguna dapat memulai pekerjaan baru, menghentikan pekerjaan, memulai pekerjaan, membuat titik penyimpanan, membatalkan pekerjaan, dan menghapus pekerjaan. API_VERSION saat ini adalah pratinjau 2023-06-01.

Autentikasi Rest API

Untuk mengautentikasi pengguna Flink ARM Rest API, perlu mendapatkan token pembawa atau token akses untuk sumber daya ARM. Untuk mengautentikasi REST API Azure ARM (Azure Resource Manager) menggunakan perwakilan layanan, Anda dapat mengikuti langkah-langkah umum berikut:

Buat Perwakilan Layanan.

az ad sp create-for-rbac --name <your-SP-name>
Berikan izin pemilik ke SP untuk flink kluster.
Masuk dengan perwakilan layanan.

az login --service-principal -u <client_id> -p <client_secret> --tenant <tenant_id>
Dapatkan token akses.

$token = az account get-access-token --resource=https://management.azure.com/ | ConvertFrom-Json

$tok = $token.accesstoken

Pengguna dapat menggunakan token di URL yang ditampilkan.

$data = Invoke-RestMethod -Uri $restUri -Method GET -Headers @{ Authorization = "Bearer $tok" }

Autentikasi menggunakan Identitas Terkelola: Pengguna dapat menggunakan sumber daya yang mendukung Identitas Terkelola untuk melakukan panggilan ke Rest API Pekerjaan. Untuk detail selengkapnya, lihat dokumentasi Identitas Terkelola.

DAFTAR API dan Parameter

Pekerjaan Baru: Rest API untuk mengirimkan pekerjaan baru ke Flink.

Opsi	Nilai
Metode	POST
URL	`https://management.azure.com/subscriptions/{{USER_SUBSCRIPTION}}/resourceGroups/{{USER_RESOURCE_GROUP}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSER_POOL}}/clusters/{{FLINK_CLUSTER}}/runJob?api-version={{API_VERSION}}`
Header	Otorisasi = "$token Pembawa"

Isi Permintaan:

{ 
    "properties": { 
        "jobType": "FlinkJob", 
        "jobName": "<JOB_NAME>", 
        "action": "NEW", 
        "jobJarDirectory": "<JOB_JAR_STORAGE_PATH>", 
        "jarName": "<JOB_JAR_NAME>", 
        "entryClass": "<JOB_ENTRY_CLASS>", 
        “args”: ”<JOB_JVM_ARGUMENT>”
        "flinkConfiguration": { 
            "parallelism": "<JOB_PARALLELISM>", 
            "savepoint.directory": "<JOB_SAVEPOINT_DIRECTORY_STORAGE_PATH>" 
        } 
     } 
}

Detail properti untuk isi JSON:

Properti	Deskripsi	Nilai Default	Wajib
jobType	Jenis Pekerjaan. Seharusnya "FlinkJob"		Ya
jobName	Nama unik untuk pekerjaan. Ini ditampilkan di portal. Nama pekerjaan harus dalam huruf kecil terakhir.		Ya
tindakan	Ini menunjukkan jenis operasi pada pekerjaan. Ini harus "BARU" selalu untuk peluncuran pekerjaan baru.		Ya
jobJarDirectory	Jalur penyimpanan untuk direktori jar pekerjaan. Pengguna harus membuat direktori di penyimpanan kluster dan mengunggah jar pekerjaan.	Ya
jarName	Nama jar pekerjaan.		Ya
entryClass	Kelas entri untuk pekerjaan dari mana eksekusi pekerjaan dimulai.		Ya
argumen	Argumen untuk program utama pekerjaan. Pisahkan argumen dengan spasi.		No
Paralelisme	Paralelisme Flink Pekerjaan.	2	Ya
savepoint.directory	Direktori savepoint untuk pekerjaan. Disarankan agar pengguna harus membuat direktori baru untuk titik penyimpanan pekerjaan di akun penyimpanan.	`abfs://<container>@<account>/<deployment-ID>/savepoints`	No

Contoh:

Invoke-RestMethod -Uri $restUri -Method POST -Headers @{ Authorization = "Bearer $tok" } -Body $jsonString -ContentType "application/json"

Hentikan pekerjaan: Rest API untuk menghentikan pekerjaan yang sedang berjalan saat ini.

Opsi	Nilai
Metode	POST
URL	`https://management.azure.com/subscriptions/{{USER_SUBSCRIPTION}}/resourceGroups/{{USER_RESOURCE_GROUP}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSER_POOL}}/clusters/{{FLINK_CLUSTER}}/runJob?api-version={{API_VERSION}}`
Header	Otorisasi = "$token Pembawa"

Isi Permintaan

   {
      "properties": {
        "jobType": "FlinkJob",
        "jobName": "<JOB_NAME>",
        "action": "STOP"
      }
    }

Detail properti untuk isi JSON:

Properti	Deskripsi	Nilai Default
jobType	Jenis Pekerjaan. Seharusnya "FlinkJob"	Ya
jobName	Nama Pekerjaan, yang digunakan untuk meluncurkan pekerjaan	Ya
tindakan	Seharusnya "STOP"	Ya

Contoh:

Invoke-RestMethod -Uri $restUri -Method POST -Headers @{ Authorization = "Bearer $tok" } -Body $jsonString -ContentType "application/json"

Mulai pekerjaan: Rest API untuk memulai pekerjaan STOP.

Opsi	Nilai
Metode	POST
URL	`https://management.azure.com/subscriptions/{{USER_SUBSCRIPTION}}/resourceGroups/{{USER_RESOURCE_GROUP}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSER_POOL}}/clusters/{{FLINK_CLUSTER}}/runJob?api-version={{API_VERSION}}`
Header	Otorisasi = "$token Pembawa"

Isi Permintaan

   {
      "properties": {
         "jobType": "FlinkJob",
         "jobName": "<JOB_NAME>",
         "action": "START",
         "savePointName": "<SAVEPOINT_NAME>"
      }
    }

Detail properti untuk isi JSON:

Properti	Deskripsi	Nilai Default
jobType	Jenis Pekerjaan. Seharusnya "FlinkJob"	Ya
jobName	Nama Pekerjaan yang digunakan untuk meluncurkan pekerjaan.	Ya
tindakan	Ini harus "MULAI"	Ya
savePointName	Simpan nama titik untuk memulai pekerjaan. Ini adalah properti opsional, secara default operasi mulai mengambil titik penyimpanan terakhir yang berhasil.	No

Contoh:

Invoke-RestMethod -Uri $restUri -Method POST -Headers @{ Authorization = "Bearer $tok" } -Body $jsonString -ContentType "application/json"

Perbarui pekerjaan: Rest API untuk memperbarui pekerjaan yang sedang berjalan saat ini.

Opsi	Nilai
Metode	POST
URL	`https://management.azure.com/subscriptions/{{USER_SUBSCRIPTION}}/resourceGroups/{{USER_RESOURCE_GROUP}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSER_POOL}}/clusters/{{FLINK_CLUSTER}}/runJob?api-version={{API_VERSION}}`
Header	Otorisasi = "$token Pembawa"

Isi Permintaan

  {
      "properties": {
          "jobType": "FlinkJob",
          "jobName": "<JOB_NAME>",
          "action": "UPDATE",
          “args” : “<JOB_JVM_ARGUMENT>”,
          "savePointName": "<SAVEPOINT_NAME>"
      }
  }

Detail properti untuk isi JSON:

Properti	Deskripsi	Wajib
jobType	Jenis Pekerjaan. Seharusnya "FlinkJob"	Ya
jobName	Nama Pekerjaan yang digunakan untuk meluncurkan pekerjaan.	Ya
tindakan	Ini harus "UPDATE" selalu untuk peluncuran pekerjaan baru.	Ya
argumen	Argumen JVM pekerjaan	No
savePointName	Simpan nama titik untuk memulai pekerjaan. Ini adalah properti opsional, secara default operasi mulai akan mengambil titik penyimpanan terakhir yang berhasil.	No

Contoh:

Invoke-RestMethod -Uri $restUri -Method POST -Headers @{ Authorization = "Bearer $tok" } -Body $jsonString -ContentType "application/json"

Pekerjaan pembaruan stateless: Rest API untuk pembaruan stateless.

Opsi	Nilai
Metode	POST
URL	`https://management.azure.com/subscriptions/{{USER_SUBSCRIPTION}}/resourceGroups/{{USER_RESOURCE_GROUP}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSER_POOL}}/clusters/{{FLINK_CLUSTER}}/runJob?api-version={{API_VERSION}}`
Header	Otorisasi = "$token Pembawa"

Isi Permintaan

  {
      "properties": {
          "jobType": "FlinkJob",
          "jobName": "<JOB_NAME>",
          "action": "STATELESS_UPDATE",
          “args” : “<JOB_JVM_ARGUMENT>”
      }
  }

Detail properti untuk isi JSON:

Properti	Deskripsi	Wajib
jobType	Jenis Pekerjaan. Seharusnya "FlinkJob"	Ya
jobName	Nama Pekerjaan yang digunakan untuk meluncurkan pekerjaan.	Ya
tindakan	Ini harus "STATELESS_UPDATE" selalu untuk peluncuran pekerjaan baru.	Ya
argumen	Argumen JVM pekerjaan	No

Contoh:

Invoke-RestMethod -Uri $restUri -Method POST -Headers @{ Authorization = "Bearer $tok" } -Body $jsonString -ContentType "application/json"

Savepoint: Rest API untuk memicu titik penyimpanan untuk pekerjaan.

Opsi	Nilai
Metode	POST
URL	`https://management.azure.com/subscriptions/{{USER_SUBSCRIPTION}}/resourceGroups/{{USER_RESOURCE_GROUP}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSER_POOL}}/clusters/{{FLINK_CLUSTER}}/runJob?api-version={{API_VERSION}}`
Header	Otorisasi = "$token Pembawa"

Isi Permintaan

  {
      "properties": {
          "jobType": "FlinkJob",
          "jobName": "<JOB_NAME>",
          "action": "SAVEPOINT"
      }
  }

Detail properti untuk isi JSON:

Properti	Deskripsi	Wajib
jobType	Jenis Pekerjaan. Seharusnya "FlinkJob"	Ya
jobName	Nama Pekerjaan yang digunakan untuk meluncurkan pekerjaan.	Ya
tindakan	Ini harus "SAVEPOINT" selalu untuk peluncuran pekerjaan baru.	Ya

Contoh:

Invoke-RestMethod -Uri $restUri -Method POST -Headers @{ Authorization = "Bearer $tok" } -Body $jsonString -ContentType "application/json"

Cantumkan titik simpan: Rest API untuk mencantumkan semua titik simpan dari direktori titik simpan.

Opsi	Nilai
Metode	POST
URL	`https://management.azure.com/subscriptions/{{USER_SUBSCRIPTION}}/resourceGroups/{{USER_RESOURCE_GROUP}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSER_POOL}}/clusters/{{FLINK_CLUSTER}}/runJob?api-version={{API_VERSION}}`
Header	Otorisasi = "$token Pembawa"

Isi Permintaan

  {
      "properties": {
          "jobType": "FlinkJob",
          "jobName": "<JOB_NAME>",
          "action": "LIST_SAVEPOINT"
      }
  }

Detail properti untuk isi JSON:

Properti	Deskripsi	Wajib
jobType	Jenis Pekerjaan. Seharusnya "FlinkJob"	Ya
jobName	Nama Pekerjaan yang digunakan untuk meluncurkan pekerjaan	Ya
tindakan	Seharusnya "LIST_SAVEPOINT"	Ya

Contoh:

Invoke-RestMethod -Uri $restUri -Method POST -Headers @{ Authorization = "Bearer $tok" } -Body $jsonString -ContentType "application/json"

Batal: Rest API untuk membatalkan pekerjaan.

Opsi	Nilai
Metode	POST
URL	`https://management.azure.com/subscriptions/{{USER_SUBSCRIPTION}}/resourceGroups/{{USER_RESOURCE_GROUP}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSER_POOL}}/clusters/{{FLINK_CLUSTER}}/runJob?api-version={{API_VERSION}}`
Header	Otorisasi = "$token Pembawa"

Isi Permintaan

  {
      "properties": {
          "jobType": "FlinkJob",
          "jobName": "<JOB_NAME>",
          "action": "CANCEL"
      }
  }

Detail properti untuk isi JSON:

Properti	Deskripsi	Wajib
jobType	Jenis Pekerjaan. Seharusnya `FlinkJob`	Ya
jobName	Nama Pekerjaan yang digunakan untuk meluncurkan pekerjaan.	Ya
tindakan	Ini harus BATAL.	Ya

Contoh:

Invoke-RestMethod -Uri $restUri -Method POST -Headers @{ Authorization = "Bearer $tok" } -Body $jsonString -ContentType "application/json"

Hapus: Rest API untuk menghapus pekerjaan.

Opsi	Nilai
Metode	POST
URL	`https://management.azure.com/subscriptions/{{USER_SUBSCRIPTION}}/resourceGroups/{{USER_RESOURCE_GROUP}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSER_POOL}}/clusters/{{FLINK_CLUSTER}}/runJob?api-version={{API_VERSION}}`
Header	Otorisasi = "$token Pembawa"

Isi Permintaan

  {
      "properties": {
          "jobType": "FlinkJob",
          "jobName": "<JOB_NAME>",
          "action": "DELETE"
      }
  }

Detail properti untuk isi JSON:

Properti	Deskripsi	Wajib
jobType	Jenis Pekerjaan. Seharusnya "FlinkJob"	Ya
jobName	Nama Pekerjaan yang digunakan untuk meluncurkan pekerjaan.	Ya
tindakan	Ini harus DIHAPUS.	Ya

Contoh:

Invoke-RestMethod -Uri $restUri -Method POST -Headers @{ Authorization = "Bearer $tok" } -Body $jsonString -ContentType "application/json"

Daftar Pekerjaan: Rest API untuk mencantumkan semua pekerjaan dan status tindakan saat ini.

Opsi	Nilai
Metode	GET
URL	`https://management.azure.com/subscriptions/{{USER_SUBSCRIPTION}}/resourceGroups/{{USER_RESOURCE_GROUP}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSER_POOL}}/clusters/{{FLINK_CLUSTER}}/jobs?api-version={{API_VERSION}}`
Header	Otorisasi = "$token Pembawa"

Output:

{ 
  "value": [ 
      { 
          "id": "/subscriptions/{{USER_SUBSCRIPTION}}/resourceGroups/{{USER_RESOURCE_GROUP}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSER_POOL}}/clusters/{{FLINK_CLUSTER}}/jobs/job1", 
          "properties": { 
              "jobType": "FlinkJob", 
              "jobName": "job1", 
              "jobJarDirectory": "<JOB_JAR_STORAGE_PATH>", 
              "jarName": "<JOB_JAR_NAME>", 
              "action": "STOP", 
              "entryClass": "<JOB_ENTRY_CLASS>", 
              "flinkConfiguration": { 
                  "parallelism": "2", 
                  "savepoint.directory": "<JOB_SAVEPOINT_DIRECTORY_STORAGE_PATH>s" 
              }, 
              "jobId": "20e9e907eb360b1c69510507f88cdb7b", 
              "status": "STOPPED", 
              "jobOutput": "Savepoint completed. Path: <JOB_SAVEPOINT_DIRECTORY_STORAGE_PATH>s/savepoint-20e9e9-8a48c6b905e5", 
              "actionResult": "SUCCESS", 
              "lastSavePoint": "<JOB_SAVEPOINT_DIRECTORY_STORAGE_PATH>s/savepoint-20e9e9-8a48c6b905e5" 
      } 
   }
  ]
}

Catatan

Ketika tindakan apa pun sedang berlangsung, actionResult akan menunjukkannya dengan nilai 'IN_PROGRESS' Pada penyelesaian yang berhasil, tindakan akan menampilkan 'SUCCESS', dan jika terjadi kegagalan, itu akan menjadi 'GAGAL'.

Referensi

Penjadwalan Pekerjaan Apache Flink
Nama proyek Apache, Apache Flink, Flink, dan sumber terbuka terkait adalah merek dagang dari Apache Software Foundation (ASF).

Bagikan melalui

Manajemen pekerjaan Apache Flink® di HDInsight pada kluster AKS

Keuntungan

Prasyarat

Fitur dan operasi utama

Opsi untuk mengelola pekerjaan di HDInsight di AKS

Manajemen Pekerjaan dari portal Azure

Manajemen Pekerjaan Menggunakan Rest API

Format URL Dasar untuk Rest API

Autentikasi Rest API

DAFTAR API dan Parameter

Referensi

Saran dan Komentar

Saran dan Komentar

Sumber Daya Tambahan: