Plug-in do Python

Aplica-se a: ✅Microsoft Fabric✅Azure Data Explorer

O plug-in do Python executa uma UDF (função definida pelo usuário) usando um script Python. O script Python obtém dados tabulares como sua entrada e produz a saída tabular.

Sintaxe

T | evaluate [hint.distribution = ( | singleper_node)] [hint.remote = (auto | local)] python(output_schema , script [, script_parameters] [, spill_to_disk])

Saiba mais sobre as convenções de sintaxe.

Parâmetros

Nome	Digitar	Obrigatória	Descrição
output_schema	string	✔️	Um type literal que define o esquema de saída dos dados tabulares, retornados pelo código Python. O formato é: typeof(ColumnName :ColumnType[, ...]). Por exemplo, typeof(col1:string, col2:long). Para estender o esquema de entrada, use a seguinte sintaxe: typeof(*, col1:string, col2:long).
script	string	✔️	O script Python válido a ser executado. Para gerar cadeias de caracteres de várias linhas, consulte Dicas de uso.
script_parameters	dynamic		Um recipiente de propriedades de pares de valores de nome a serem passados para o script Python como o dicionário reservado kargs . Para obter mais informações, consulte Variáveis reservadas do Python.
hint.distribution	string		Uma dica para que a execução do plug-in seja distribuída em vários nós de cluster. O valor padrão é single. single significa que uma única instância do script será executada em todos os dados da consulta. per_node significa que, se a consulta antes do bloco Python for distribuída, uma instância do script será executada em cada nó, nos dados que ele contém.
dica.remoto	string		Essa dica só é relevante para consultas entre clusters. O valor padrão é auto. auto significa que o servidor decide automaticamente em qual cluster o código Python é executado. Definir o valor para local forçar a execução do código Python no cluster local. Use-o caso o plug-in Python esteja desabilitado no cluster remoto.
spill_to_disk	bool		Especifica um método alternativo para serializar a tabela de entrada para a área restrita do Python. Para serializar tabelas grandes, defina-o para true acelerar a serialização e reduzir significativamente o consumo de memória da área restrita. O padrão é true.

Variáveis reservadas do Python

As variáveis a seguir são reservadas para interação entre a Linguagem de Consulta Kusto e o código Python.

• df: Os dados tabulares de entrada (os valores acima T ), como um pandas DataFrame.
• kargs: O valor do argumento script_parameters , como um dicionário Python.
• result: Um pandas DataFrame criado pelo script Python, cujo valor se torna os dados tabulares que são enviados para o operador de consulta Kusto que segue o plug-in.

Habilitar o plug-in

O plug-in está desabilitado por padrão. Antes de começar, habilite o plug-in do Python no banco de dados KQL.

Imagem de sandbox Python

Para ver a lista de pacotes para as diferentes imagens do Python, consulte Referência de pacote do Python.

Observação

• Por padrão, o plug-in importa numpy como np e pandas como pd. Opcionalmente, você pode importar outros módulos conforme necessário.
• Alguns pacotes podem ser incompatíveis com as limitações impostas pela sandbox onde o plug-in é executado.

Usar a ingestão da política de consulta e atualização

• Use o plug-in em consultas que são:
  • Definido como parte de uma política de atualização, cuja tabela de origem é ingerida usando a ingestão de não streaming .
  • Execute como parte de um comando que ingere de uma consulta, como .set-or-append.
• Você não pode usar o plug-in em uma consulta definida como parte de uma política de atualização, cuja tabela de origem é ingerida usando a ingestão de streaming.

Exemplos

range x from 1 to 360 step 1
| evaluate python(
//
typeof(*, fx:double),               //  Output schema: append a new fx column to original table 
```
result = df
n = df.shape[0]
g = kargs["gain"]
f = kargs["cycles"]
result["fx"] = g * np.sin(df["x"]/n*2*np.pi*f)
```
, bag_pack('gain', 100, 'cycles', 4)    //  dictionary of parameters
)
| render linechart 

Dicas de desempenho

• Reduza o conjunto de dados de entrada do plug-in para a quantidade mínima necessária (colunas/linhas).
  • Use filtros no conjunto de dados de origem, quando possível, com a linguagem de consulta do Kusto.
  • Para fazer um cálculo em um subconjunto das colunas de origem, projete apenas essas colunas antes de invocar o plug-in.
• Use hint.distribution = per_node sempre que a lógica em seu script for distribuível.
  • Você também pode usar o operador de partição para particionar o conjunto de dados de entrada.
• Use a linguagem de consulta do Kusto sempre que possível, para implementar a lógica do seu script Python.

Dicas de uso

• Para gerar cadeias de caracteres de várias linhas contendo o script Python no editor de consultas, copie o script Python do editor Python favorito (Jupyter, Visual Studio Code, PyCharm e assim por diante), cole-o no editor de consultas e coloque o script completo entre as linhas que contêm três acentos graves consecutivos. Por exemplo:

  ```
python code
```

• Use o operador para obter o conteúdo de um script que você armazenou em um local externo, como o externaldata Armazenamento de Blobs do Azure.

Exemplo

    let script = 
        externaldata(script:string)
        [h'https://kustoscriptsamples.blob.core.windows.net/samples/python/sample_script.py']
        with(format = raw);
    range x from 1 to 360 step 1
    | evaluate python(
        typeof(*, fx:double),
        toscalar(script), 
        bag_pack('gain', 100, 'cycles', 4))
    | render linechart 

Conteúdo relacionado

Para obter mais exemplos de funções UDF que usam o plug-in Python, consulte a biblioteca de funções.