Plugin Python

Berlaku untuk: ✅Microsoft Fabric✅Azure Data Explorer

Plugin Python menjalankan fungsi yang ditentukan pengguna (UDF) menggunakan skrip Python. Skrip mendapat data tabular sebagai inputnya, dan menghasilkan output tabular.

Sintaks

T | evaluate [hint.distribution = (single | per_node)] [hint.remote = (autolocal | )] python(skrip output_schema, [, script_parameters] [, spill_to_disk])

Pelajari selengkapnya tentang konvensi sintaksis.

Parameter

Nama	Tipe	Wajib	Deskripsi
output_schema	string	✔️	Literal type yang menentukan skema output data tabular, dikembalikan oleh kode Python. Formatnya adalah: typeof(ColumnName: ColumnType[, ...]). Misalnya, typeof(col1:string, col2:long). Untuk memperpanjang skema input, gunakan sintaksis berikut: typeof(*, col1:string, col2:long).
skrip	string	✔️	Skrip Python yang valid untuk dijalankan. Untuk menghasilkan string multibaris, lihat Tips penggunaan.
script_parameters	dynamic		Tas properti pasangan nilai nama yang akan diteruskan ke skrip Python sebagai kamus yang dipesan kargs . Untuk informasi selengkapnya, lihat Variabel Phyton yang dicadangkan.
hint.distribution	string		Petunjuk untuk eksekusi plugin didistribusikan di beberapa node kluster. Nilai defaultnya adalah single. single berarti satu instans skrip akan berjalan di seluruh data kueri. per_node berarti bahwa jika kueri sebelum blok Python didistribusikan, instans skrip akan berjalan pada setiap simpul, pada data yang dikandungnya.
hint.remote	string		Petunjuk ini hanya relevan untuk kueri lintas kluster. Nilai defaultnya adalah auto. auto berarti server memutuskan secara otomatis di kluster mana kode Python dijalankan. Mengatur nilai untuk local memaksa menjalankan kode Python pada kluster lokal. Gunakan jika plugin Python dinonaktifkan pada kluster jarak jauh.
spill_to_disk	bool		Menentukan metode alternatif untuk menserialisasikan tabel input ke kotak pasir Python. Untuk serialisasi, tabel besar mengaturnya ke true untuk mempercepat serialisasi dan secara signifikan mengurangi konsumsi memori kotak pasir. Defaultnya adalah true.

Variabel Python yang dicadangkan

Variabel berikut dicadangkan untuk interaksi antara Bahasa Kueri Kusto dan kode Phyton.

• df: Data tabular input (nilai T di atas), sebagai DataFrame pandas.
• kargs: Nilai argumen script_parameters, sebagai kamus Phyton.
• result: DataFrame pandas yang dibuat oleh skrip Python, yang nilainya menjadi data tabular yang dikirim ke operator kueri Kusto yang mengikuti plugin.

Mengaktifkan plugin

Plugin dinonaktifkan secara default. Sebelum memulai, aktifkan plugin Python di database KQL Anda.

Gambar kotak pasir Python

Untuk melihat daftar paket untuk gambar Python yang berbeda, lihat Referensi paket Python.

Catatan

• Secara default, plugin mengimpor numpy sebagai np dan panda sebagai pd. Secara opsional, Anda dapat mengimpor modul lain sesuai kebutuhan.
• Beberapa paket mungkin tidak kompatibel dengan batasan yang diberlakukan oleh kotak pasir tempat plugin dijalankan.

Menggunakan penyerapan dari kueri dan memperbarui kebijakan

• Gunakan plugin dalam kueri yaitu:
  • Ditentukan sebagai bagian dari kebijakan pembaruan, yang tabel sumbernya diserap untuk menggunakan penyerapan non-streaming.
  • Jalankan sebagai bagian dari perintah yang menelan dari kueri, seperti .set-or-append.
• Anda tidak dapat menggunakan plugin dalam kueri yang didefinisikan sebagai bagian dari kebijakan pembaruan, yang tabel sumbernya diserap menggunakan penyerapan streaming.

Contoh

range x from 1 to 360 step 1
| evaluate python(
//
typeof(*, fx:double),               //  Output schema: append a new fx column to original table 
```
result = df
n = df.shape[0]
g = kargs["gain"]
f = kargs["cycles"]
result["fx"] = g * np.sin(df["x"]/n*2*np.pi*f)
```
, bag_pack('gain', 100, 'cycles', 4)    //  dictionary of parameters
)
| render linechart 

Tips performa

• Kurangi himpunan data input plugin ke jumlah minimum yang diperlukan (kolom/baris).
  • Gunakan filter pada himpunan data sumber, jika memungkinkan, dengan bahasa kueri Kusto.
  • Untuk membuat perhitungan pada subset kolom sumber, proyeksikan hanya kolom tersebut sebelum memanggil plugin.
• Gunakan hint.distribution = per_node setiap kali logika dalam skrip Anda dapat didistribusikan.
  • Anda juga dapat menggunakan operator partisi untuk mempartisi himpunan data input.
• Gunakan bahasa kueri Kusto bila memungkinkan, untuk menerapkan logika skrip Python Anda.

Tips penggunaan

• Untuk menghasilkan string multibaris yang berisi skrip Python di editor kueri Anda, salin skrip Python Anda dari editor Python favorit Anda (Jupyter, Visual Studio Code, PyCharm, dan sebagainya), tempelkan di editor kueri Anda, lalu sertakan skrip lengkap di antara baris yang berisi tiga backtick berturut-turut. Contohnya:

  ```
python code
```

• Gunakan externaldata operator untuk mendapatkan konten skrip yang telah Anda simpan di lokasi eksternal, seperti penyimpanan Azure Blob.

Contoh

    let script = 
        externaldata(script:string)
        [h'https://kustoscriptsamples.blob.core.windows.net/samples/python/sample_script.py']
        with(format = raw);
    range x from 1 to 360 step 1
    | evaluate python(
        typeof(*, fx:double),
        toscalar(script), 
        bag_pack('gain', 100, 'cycles', 4))
    | render linechart 

Konten terkait

Untuk contoh fungsi UDF lainnya yang menggunakan plugin Python, lihat pustaka Functions.