Modul plug-in Pythonu

Platí pro: ✅Microsoft Fabric✅Azure Data Explorer

Modul plug-in Pythonu spouští uživatelem definovanou funkci (UDF) pomocí skriptu Pythonu. Skript Pythonu získá jako vstup tabulková data a vytvoří tabulkový výstup.

Syntaxe

T evaluate | [hint.distribution = (single | per_node)] [hint.remote = (auto | local)] python(output_schema , skript [, script_parameters] [, spill_to_disk])

Přečtěte si další informace o konvencích syntaxe.

Parametry

Název	Type	Požadováno	Popis
output_schema	string	✔️	Literál type , který definuje výstupní schéma tabulkových dat vrácených kódem Pythonu. Formát je: typeof(ColumnName: ColumnType[, ...]). Například typeof(col1:string, col2:long). Chcete-li rozšířit vstupní schéma, použijte následující syntaxi: typeof(*, col1:string, col2:long).
skript	string	✔️	Platný skript Pythonu, který se má spustit. Pokud chcete generovat víceřádkové řetězce, přečtěte si tipy k používání.
script_parameters	dynamic		Sada vlastností párů hodnot názvů, které se mají předat skriptu Pythonu jako vyhrazený kargs slovník. Další informace najdete v tématu Rezervované proměnné Pythonu.
hint.distribution	string		Tip pro spuštění modulu plug-in, který se má distribuovat napříč několika uzly clusteru. Výchozí hodnota je single. single znamená, že jedna instance skriptu se spustí přes celá data dotazu. per_node znamená, že pokud je dotaz před distribuovaným blokem Pythonu, instance skriptu se spustí na každém uzlu na datech, která obsahuje.
hint.remote	string		Tento tip je relevantní pouze pro dotazy napříč clustery. Výchozí hodnota je auto. auto znamená, že se server rozhodne automaticky v clusteru, ve kterém se kód Pythonu spustí. Nastavení hodnoty pro local vynutí spuštění kódu Pythonu v místním clusteru. Použijte ho v případě, že je modul plug-in Pythonu ve vzdáleném clusteru zakázaný.
spill_to_disk	bool		Určuje alternativní metodu serializace vstupní tabulky do sandboxu Pythonu. Pro serializaci velkých tabulek je nastavena na true zrychlení serializace a výrazně snížit spotřebu paměti sandboxu. Výchozí hodnota je true.

Rezervované proměnné Pythonu

Následující proměnné jsou vyhrazené pro interakci mezi dotazovací jazyk Kusto a kódem Pythonu.

• df: Vstupní tabulková data (hodnoty T výše) jako pandas datový rámec.
• kargs: Hodnota argumentu script_parameters jako slovník Pythonu.
• resultpandas: Datový rámec vytvořený skriptem Pythonu, jehož hodnota se stane tabulkovými daty, která se odešlou do operátoru dotazu Kusto, který následuje za modulem plug-in.

Povolení modulu plug-in

Modul plug-in je ve výchozím nastavení zakázaný. Než začnete, povolte modul plug-in Pythonu v databázi KQL.

Obrázek sandboxu Pythonu

Seznam balíčků pro různé image Pythonu najdete v referenčních informacích k balíčkům Pythonu.

Poznámka:

• Ve výchozím nastavení modul plug-in importuje numpy jako np a pandas jako pd. Volitelně můžete podle potřeby importovat další moduly.
• Některé balíčky můžou být nekompatibilní s omezeními vynucenými sandboxem, ve kterém je modul plug-in spuštěný.

Použití příjmu dat z dotazů a zásad aktualizací

• Modul plug-in použijte v dotazech, které jsou:
  • Definuje se jako součást zásady aktualizace, jejíž zdrojová tabulka se ingestuje na příjem dat bez streamování .
  • Spusťte jako součást příkazu, který ingestuje z dotazu, například .set-or-append.
• Modul plug-in nemůžete použít v dotazu definovaném jako součást zásad aktualizace, jejichž zdrojová tabulka se ingestuje pomocí příjmu streamu.

Příklady

range x from 1 to 360 step 1
| evaluate python(
//
typeof(*, fx:double),               //  Output schema: append a new fx column to original table 
```
result = df
n = df.shape[0]
g = kargs["gain"]
f = kargs["cycles"]
result["fx"] = g * np.sin(df["x"]/n*2*np.pi*f)
```
, bag_pack('gain', 100, 'cycles', 4)    //  dictionary of parameters
)
| render linechart 

Tipy týkající se výkonu

• Snižte vstupní datovou sadu modulu plug-in na minimální požadované množství (sloupce nebo řádky).
  • Pokud je to možné, použijte filtry u zdrojové datové sady s dotazovacím jazykem Kusto.
  • Pokud chcete provést výpočet pro podmnožinu zdrojových sloupců, projektujte před vyvoláním modulu plug-in pouze tyto sloupce.
• Použijte hint.distribution = per_node pokaždé, když je logika ve vašem skriptu distribuovatelná.
  • K dělení vstupní datové sady můžete použít také operátor oddílu.
• Pokud je to možné, použijte dotazovací jazyk Kusto k implementaci logiky skriptu Pythonu.

Tipy k používání

• Pokud chcete vygenerovat víceřádkové řetězce obsahující skript Pythonu v editoru dotazů, zkopírujte skript Pythonu z oblíbeného editoru Pythonu (Jupyter, Visual Studio Code, PyCharm atd.), vložte ho do editoru dotazů a pak celý skript uzavřete mezi řádky obsahující tři po sobě jdoucí backticky. Příklad:

  ```
python code
```

• externaldata Operátor slouží k získání obsahu skriptu, který jste uložili do externího umístění, jako je azure Blob Storage.

Příklad

    let script = 
        externaldata(script:string)
        [h'https://kustoscriptsamples.blob.core.windows.net/samples/python/sample_script.py']
        with(format = raw);
    range x from 1 to 360 step 1
    | evaluate python(
        typeof(*, fx:double),
        toscalar(script), 
        bag_pack('gain', 100, 'cycles', 4))
    | render linechart 

Související obsah

Další příklady funkcí definované uživatelem, které používají modul plug-in Pythonu, najdete v knihovně Functions.