microsoftml (пакет Python в Службах машинного обучения SQL Server)
Область применения: 
SQL Server 2017 (14.x) и более поздних версий
microsoftml — это пакет Python от Майкрософт, предоставляющий высокопроизводительные алгоритмы машинного обучения. Он включает в себя функции для обучения и преобразований, оценки, анализа текста и изображений, а также извлечения компонентов для получения значений из существующих данных. Пакет входит в состав Служб машинного обучения SQL Server и поддерживает высокую производительность при работе с большими данными, используя многоядерную обработку и быструю потоковую передачу данных.
| Сведения о пакете | Информация |
|---|---|
| Текущая версия: | 9,4 |
| Создано на основе: | Дистрибутив Anaconda 4.2 для Python 3.7.1 |
| Распространение пакета: | Службы машинного обучения SQL Server версии 2017 или 2019. |
Как использовать microsoftml
Модуль microsoftml устанавливается в составе служб машинного обучения SQL Server при добавлении Python к вашей установке. Вы получаете полный набор защищаемых пакетов и дистрибутив Python с его модулями и интерпретаторами. Для написания функций, вызывающих скрипты Python в модуле microsoftml, можно использовать любую интегрированную среду разработки Python, однако для выполнения скрипта необходимо иметь компьютер, на котором установлены службы машинного обучения SQL Server с Python.
Модули microsoftml и revoscalepy тесно связаны. Источники данных, используемые в microsoftml, определяются как объекты revoscalepy. Ограничения контекста вычислений в revoscalepy распространяются на microsoftml. То есть для локальных операций доступны все функции, но для переключения на удаленный контекст вычислений требуется RxSpark или RxInSQLServer.
Версии и платформы
Модуль microsoftml доступен только при установке одного из следующих продуктов или скачиваемых файлов Майкрософт:
- Службы машинного обучения SQL Server
- Клиентские библиотеки Python для клиента обработки и анализа данных
Примечание.
В SQL Server 2017 полные версии выпусков продуктов доступны только для Windows. В SQL Server 2019 библиотека microsoftml поддерживает Windows и Linux.
Зависимости пакетов
Алгоритмы в microsoftml используют revoscalepy для следующего:
- Объекты источников данных: данные, потребляемые функциями microsoftml, создаются с помощью функций revoscalepy.
- Удаленные вычисления (смена выполнения функции на удаленный экземпляр SQL Server) — пакет revoscalepy предоставляет функции для создания и активации удаленного контекста вычислений для SQL Server.
В большинстве случаев при использовании microsoftml пакеты будут загружаться вместе.
Функции по категориям
Чтобы можно было понять, как использовать каждую функцию, в этом разделе приводится описание функций по категориям. Для поиска функций в алфавитном порядке можно воспользоваться оглавлением.
1. Функции обучения
| Function | Description |
|---|---|
| microsoftml.rx_ensemble | Обучение ансамбля моделей. |
| microsoftml.rx_fast_forest | Случайный лес. |
| microsoftml.rx_fast_linear | Линейная модель. Метод стохастической оптимизации с двойными координатами. |
| microsoftml.rx_fast_trees | Повышенные деревья. |
| microsoftml.rx_logistic_regression | Логистическая регрессия. |
| microsoftml.rx_neural_network | Нейронная сеть. |
| microsoftml.rx_oneclass_svm | Обнаружение аномалий. |
2. Функции преобразования
Обработка категориальных переменных
| Function | Description |
|---|---|
| microsoftml.categorical | Преобразует текстовый столбец в категории. |
| microsoftml.categorical_hash | Хэширует и преобразует текстовый столбец в категории. |
Управление схемой
| Function | Description |
|---|---|
| microsoftml.concat | Сцепляет несколько столбцов в один вектор. |
| microsoftml.drop_columns | Удаляет столбцы из набора данных. |
| microsoftml.select_columns | Сохраняет столбцы из набора данных. |
переменные, выбор
| Function | Description |
|---|---|
| microsoftml.count_select | Выбор признаков на основе количества. |
| microsoftml.mutualinformation_select | Выбор признаков на основе взаимной информации. |
Аналитика текста
| Function | Description |
|---|---|
| microsoftml.featurize_text | Преобразует текстовые столбцы в числовые признаки. |
| microsoftml.get_sentiment | Анализ тональности. |
Аналитика изображений
| Function | Description |
|---|---|
| microsoftml.load_image | Загружает изображение. |
| microsoftml.resize_image | Изменяет размеры изображения. |
| microsoftml.extract_pixels | Извлекает пиксели из изображения. |
| microsoftml.featurize_image | Преобразует изображение в признаки. |
Функции добавления признаков
| Function | Description |
|---|---|
| microsoftml.rx_featurize | Преобразование данных для источников данных. |
Функции оценки
| Function | Description |
|---|---|
| microsoftml.rx_predict | Производит оценку с помощью модели машинного обучения Майкрософт. |
Вызов microsoftml
Функции в microsoftml вызываются в коде Python, инкапсулированном в хранимые процедуры. Большинство разработчиков создают решения microsoftml локально, а затем переносят готовый код Python в хранимые процедуры, отрабатывая, таким образом, процедуру развертывания.
Пакет microsoftml для Python устанавливается по умолчанию, но, в отличие от revoscalepy, он не загружается по умолчанию при запуске сеанса Python с использованием исполняемых файлов Python, устанавливаемых с SQL Server.
В качестве первого шага импортируйте пакет microsoftml, а затем импортируйте revoscalepy, если необходимо использовать удаленные контексты вычисления либо связанные объекты подключения и источники данных. Затем можно сослаться на нужные вам функции.
from microsoftml.modules.logistic_regression.rx_logistic_regression import rx_logistic_regression
from revoscalepy.functions.RxSummary import rx_summary
from revoscalepy.etl.RxImport import rx_import_datasource