Complemento de Python

Se aplica a: ✅Microsoft Fabric✅Azure Data Explorer

El complemento de Python ejecuta una función definida por el usuario (UDF) mediante un script de Python. El script de Python obtiene datos tabulares como entrada y genera una salida tabular.

Sintaxis

T evaluate | [hint.distribution = (single | per_node)] [hint.remote = (auto | local)] python(output_schema , script [, script_parameters] [, spill_to_disk])

Obtenga más información sobre las convenciones de sintaxis.

Parámetros

Nombre	Type	Obligatorio	Descripción
output_schema	string	✔️	Literal type que define el esquema de salida de los datos tabulares devueltos por el código de Python. El formato es: typeof(ColumnName: ColumnType[, ...]). Por ejemplo, typeof(col1:string, col2:long). Para ampliar el esquema de entrada, use la sintaxis siguiente: typeof(*, col1:string, col2:long).
Script	string	✔️	Script de Python válido que se va a ejecutar. Para generar cadenas de varias líneas, consulte Sugerencias de uso.
script_parameters	dynamic		Contenedor de propiedades de pares de valor de nombre que se van a pasar al script de Python como diccionario reservado kargs . Para más información, consulte Variables reservadas de Python.
hint.distribution	string		Sugerencia para que la ejecución del complemento se distribuya entre varios nodos de clúster. El valor predeterminado es single. single significa que una sola instancia del script se ejecutará en todos los datos de consulta. per_node significa que si la consulta anterior al bloque de Python se distribuye, una instancia del script se ejecutará en cada nodo, en los datos que contiene.
hint.remote	string		Esta sugerencia solo es relevante para las consultas entre clústeres. El valor predeterminado es auto. auto significa que el servidor decide automáticamente en qué clúster se ejecuta el código de Python. Establecer el valor en fuerza a local ejecutar el código de Python en el clúster local. Úselo en caso de que el complemento de Python esté deshabilitado en el clúster remoto.
spill_to_disk	bool		Especifica un método alternativo para serializar la tabla de entrada en el espacio aislado de Python. Para serializar tablas grandes, establézcala para true acelerar la serialización y reducir significativamente el consumo de memoria del espacio aislado. El valor predeterminado es true.

Variables reservadas de Python

Las siguientes variables están reservadas para la interacción entre Lenguaje de consulta Kusto y el código de Python.

• df: los datos tabulares de entrada (los valores anteriores T ), como dataframe pandas .
• kargs: valor del argumento script_parameters , como diccionario de Python.
• result: DataFrame pandas creado por el script de Python, cuyo valor se convierte en los datos tabulares que se envían al operador de consulta kusto que sigue al complemento.

Habilitación del complemento

El complemento está deshabilitado de forma predeterminada. Antes de empezar, habilite el complemento de Python en la base de datos de KQL.

Imagen de espacio aislado de Python

Para ver la lista de paquetes de las distintas imágenes de Python, consulte Referencia de paquetes de Python.

Nota:

• De forma predeterminada, el complemento importa numpy como np y pandas como pd. Opcionalmente, puede importar otros módulos según sea necesario.
• Algunos paquetes pueden ser incompatibles con las limitaciones que aplica el espacio aislado en el que se ejecuta el complemento.

Uso de la ingesta desde la consulta y la directiva de actualización

• Use el complemento en las consultas que son:
  • Se define como parte de una directiva de actualización, cuya tabla de origen se ingiere para usar la ingesta sin streaming .
  • Ejecute como parte de un comando que ingiere desde una consulta, como .set-or-append.
• No puede usar el complemento en una consulta definida como parte de una directiva de actualización, cuya tabla de origen se ingiere mediante la ingesta de streaming.

Ejemplos

range x from 1 to 360 step 1
| evaluate python(
//
typeof(*, fx:double),               //  Output schema: append a new fx column to original table 
```
result = df
n = df.shape[0]
g = kargs["gain"]
f = kargs["cycles"]
result["fx"] = g * np.sin(df["x"]/n*2*np.pi*f)
```
, bag_pack('gain', 100, 'cycles', 4)    //  dictionary of parameters
)
| render linechart 

Consejos de rendimiento

• Reduzca el conjunto de datos de entrada del complemento a la cantidad mínima necesaria (columnas o filas).
  • Use filtros en el conjunto de datos de origen, siempre que sea posible, con el lenguaje de consulta de Kusto.
  • Para realizar un cálculo en un subconjunto de las columnas de origen, proyecta solo esas columnas antes de invocar el complemento.
• Use hint.distribution = per_node siempre que la lógica del script sea distribuible.
  • También puede usar el operador de partición para crear particiones en el conjunto de datos de entrada.
• Use el lenguaje de consulta de Kusto siempre que sea posible para implementar la lógica del script de Python.

Consejos de uso

• Para generar cadenas de varias líneas que contengan el script de Python en el editor de consultas, copie el script de Python del editor de Python favorito (Jupyter, Visual Studio Code, PyCharm, etc.), péguelo en el editor de consultas y, a continuación, incluya el script completo entre líneas que contienen tres acentos posteriores consecutivos. Por ejemplo:

  ```
python code
```

• Use el externaldata operador para obtener el contenido de un script que ha almacenado en una ubicación externa, como Azure Blob Storage.

Ejemplo

    let script = 
        externaldata(script:string)
        [h'https://kustoscriptsamples.blob.core.windows.net/samples/python/sample_script.py']
        with(format = raw);
    range x from 1 to 360 step 1
    | evaluate python(
        typeof(*, fx:double),
        toscalar(script), 
        bag_pack('gain', 100, 'cycles', 4))
    | render linechart 

Contenido relacionado

Para obtener más ejemplos de funciones de UDF que usan el complemento de Python, consulte la biblioteca de Functions.