Подключаемый модуль Python

Область применения: ✅Microsoft Fabric✅Azure Data Explorer

Подключаемый модуль Python запускает определяемую пользователем функцию (UDF) с помощью скрипта Python. Скрипт Python получает табличные данные в качестве входных данных и создает табличные выходные данные.

Синтаксис

T | evaluate [ ()] [hint.remote = =hint.distribution (autoper_node | local | single)] скрипт output_schema, [, script_parameters]python( [, spill_to_disk])

Дополнительные сведения о соглашениях синтаксиса.

Параметры

Имя (название)	Type	Обязательно	Описание
output_schema	string	✔️	Литерал type , определяющий выходную схему табличных данных, возвращаемый кодом Python. Формат: typeof(ColumnName: ColumnType[, ...]). Например, typeof(col1:string, col2:long). Чтобы расширить входную схему, используйте следующий синтаксис: typeof(*, col1:string, col2:long)
script	string	✔️	Допустимый скрипт Python для выполнения. Сведения о создании многостроковых строк см . в советах по использованию.
script_parameters	dynamic		Контейнер свойств пар значений имени, передаваемых в скрипт Python в качестве зарезервированного kargs словаря. Дополнительные сведения см. в разделе "Зарезервированные переменные Python".
hint.distribution	string		Указание для выполнения подключаемого модуля распределено по нескольким узлам кластера. Значение по умолчанию — single. single означает, что один экземпляр скрипта будет выполняться по всем данным запроса. per_node Означает, что если запрос перед распространением блока Python, экземпляр скрипта будет выполняться на каждом узле в данных, содержащихся в нем.
hint.remote	string		Это указание относится только к запросам между кластерами. Значение по умолчанию — auto. auto означает, что сервер автоматически решает, в каком кластере выполняется код Python. Установка значения для local принудительного выполнения кода Python в локальном кластере. Используйте его, если подключаемый модуль Python отключен в удаленном кластере.
spill_to_disk	bool		Задает альтернативный метод сериализации входной таблицы в песочницу Python. Для сериализации больших таблиц он позволяет true ускорить сериализацию и значительно сократить потребление памяти песочницы. По умолчанию — true.

Зарезервированные переменные Python

Следующие переменные зарезервированы для взаимодействия между язык запросов Kusto и кодом Python.

• df: входные табличные данные (значения T выше) в виде кадра pandas данных.
• kargs: значение аргумента script_parameters в качестве словаря Python.
• resultpandas: Кадр данных, созданный скриптом Python, значение которого становится табличными данными, которые отправляются оператору запроса Kusto, который следует подключаемого модуля.

Включение подключаемого модуля

Подключаемый модуль отключен по умолчанию. Прежде чем начать, включите подключаемый модуль Python в базе данных KQL.

Изображение песочницы Python

Список пакетов для различных образов Python см . в справочнике по пакету Python.

Примечание.

• По умолчанию подключаемый модуль импортирует число как np и pandas в виде pd. При необходимости можно импортировать другие модули.
• Некоторые пакеты могут быть несовместимы с ограничениями, применяемыми песочницей, в которой выполняется подключаемый модуль.

Использование приема из политики запроса и обновления

• Используйте подключаемый модуль в запросах, которые:
  • Определяется как часть политики обновления, исходная таблица которой используется для приема непотоковых потоков.
  • Запустите как часть команды, которая выполняет прием из запроса, например .set-or-append.
• Вы не можете использовать подключаемый модуль в запросе, который определяется как часть политики обновления, исходная таблица которой выполняется с помощью приема потоковой передачи.

Примеры

range x from 1 to 360 step 1
| evaluate python(
//
typeof(*, fx:double),               //  Output schema: append a new fx column to original table 
```
result = df
n = df.shape[0]
g = kargs["gain"]
f = kargs["cycles"]
result["fx"] = g * np.sin(df["x"]/n*2*np.pi*f)
```
, bag_pack('gain', 100, 'cycles', 4)    //  dictionary of parameters
)
| render linechart 

Советы по производительности

• Уменьшите входной набор данных подключаемого модуля до минимального количества обязательных (столбцов и строк).
  • Используйте фильтры в исходном наборе данных, когда это возможно, с языком запросов Kusto.
  • Для вычисления подмножества исходных столбцов проектировать только эти столбцы перед вызовом подключаемого модуля.
• Используйте hint.distribution = per_node всякий раз, когда логика в скрипте распространяется.
  • Можно также использовать оператор секционирования для секционирования входного набора данных.
• Используйте язык запросов Kusto всякий раз, чтобы реализовать логику скрипта Python.

Советы по использованию

• Чтобы создать многострочные строки, содержащие скрипт Python в редакторе запросов, скопируйте скрипт Python из избранного редактора Python (Jupyter, Visual Studio Code, PyCharm и т. д.), вставьте его в редактор запросов, а затем заключите полный скрипт между строками, содержащими три последовательных обратных выражения. Например:

  ```
python code
```

• externaldata Используйте оператор, чтобы получить содержимое скрипта, который вы сохранили во внешнем расположении, например хранилище BLOB-объектов Azure.

Пример

    let script = 
        externaldata(script:string)
        [h'https://kustoscriptsamples.blob.core.windows.net/samples/python/sample_script.py']
        with(format = raw);
    range x from 1 to 360 step 1
    | evaluate python(
        typeof(*, fx:double),
        toscalar(script), 
        bag_pack('gain', 100, 'cycles', 4))
    | render linechart 

Связанный контент

Дополнительные примеры функций UDF, использующих подключаемый модуль Python, см. в библиотеке функций.