microsoftml (pacote de Python nos Serviços de Machine Learning do SQL Server)

  • Artigo

Aplica-se a: SQL Server 2017 (14.x) e versões posteriores

O microsoftml é um pacote de Python da Microsoft que fornece algoritmos de machine learning de alto desempenho. Ele inclui funções para treinamento e transformações, pontuação, análise de texto e imagem e extração de recursos para obtenção de valores dos dados existentes. O pacote está incluído nos Serviços de Machine Learning do SQL Server e dá suporte ao alto desempenho em Big Data usando o processamento de vários núcleos e o streaming de dados rápido.

Detalhes do pacote Informações
Versão atual: 9,4
Com base em: Distribuição Anaconda 4.2 do Python 3.7.1
Distribuição de pacote: Serviços de Machine Learning do SQL Server versão 2017 ou 2019.

Como usar o microsoftml

O módulo microsoftml é instalado como parte dos Serviços de Machine Learning do SQL Server quando você adiciona o Python à instalação. Você obtém a coleção completa de pacotes proprietários, além de uma distribuição do Python com os respectivos módulos e intérpretes. É possível usar qualquer IDE Python para escrever funções de chamada de script Python no microsoftml, mas o script precisa ser executado em um computador que tenha os Serviços de Machine Learning do SQL Server com Python.

O microsoftml e o revoscalepy são fortemente acoplados. As fontes de dados usadas no microsoftml são definidas como objetos do revoscalepy. Limitações do contexto de computação na transferência do revoscalepy para o microsoftml. Todas as funcionalidades estão disponíveis para operações locais, mas a mudança para um contexto de computação remota exige o RxSpark ou o RxInSQLServer.

Versões e plataformas

O módulo microsoftml está disponível somente quando você instala um dos seguintes produtos ou downloads da Microsoft:

Observação

As versões completas do produto são somente Windows no SQL Server 2017. Há suporte no Windows e no Linux para o microsoftml no SQL Server 2019.

Dependências do pacote

Os algoritmos do microsoftml dependem do revoscalepy para:

  • Objetos de fonte de dados – Os dados consumidos pelas funções do microsoftml são criados usando as funções do revoscalepy.
  • Computação remota (mudança da execução da função para uma instância remota do SQL Server) – O pacote revoscalepy fornece funções para criar e ativar um contexto de computação remota para o SQL Server.

Na maioria dos casos, você carregará os pacotes juntos sempre que estiver usando o microsoftml.

Funções por categoria

Esta seção lista as funções por categoria para dar uma ideia de como cada uma é usada. Use também o sumário para localizar as funções em ordem alfabética.

1 – Funções de treinamento

Função Descrição
microsoftml.rx_ensemble Treine um ensemble de modelos.
microsoftml.rx_fast_forest Floresta aleatória.
microsoftml.rx_fast_linear Modelo linear. com o Ascendente de Coordenada Dupla Alheatória.
microsoftml.rx_fast_trees Árvores aumentadas.
microsoftml.rx_logistic_regression Regressão logística.
microsoftml.rx_neural_network Rede neural.
microsoftml.rx_oneclass_svm Detecção de anomalias.

2 – Funções de transformação

Tratamento de variável categórica

Função Descrição
microsoftml.categorical Converte uma coluna de texto em categorias.
microsoftml.categorical_hash Realiza hash e converte uma coluna de texto em categorias.

Manipulação de esquema

Função Descrição
microsoftml.concat Concatena várias colunas em um único vetor.
microsoftml.drop_columns Remove colunas de um conjunto de dados.
microsoftml.select_columns Retém colunas de um conjunto de dados.

Seleção de variáveis

Função Descrição
microsoftml.count_select Seleção de recursos com base em contagens.
microsoftml.mutualinformation_select Seleção de recursos com base em informações mútuas.

Análise de Texto

Função Descrição
microsoftml.featurize_text Converte as colunas de texto em recursos numéricos.
microsoftml.get_sentiment Análise de sentimento.

Análise de imagem

Função Descrição
microsoftml.load_image Carrega uma imagem.
microsoftml.resize_image Redimensiona uma imagem.
microsoftml.extract_pixels Extrai os pixels de uma imagem.
microsoftml.featurize_image Converte uma imagem em recursos.

Funções de personalização

Função Descrição
microsoftml.rx_featurize Transformação de dados para fontes de dados

Funções de pontuação

Função Descrição
microsoftml.rx_predict Pontuações usando um modelo de machine learning da Microsoft

Como chamar o microsoftml

As funções do microsoftml podem ser chamadas no código Python encapsulado em procedimentos armazenados. A maioria dos desenvolvedores cria soluções do microsoftml localmente e, em seguida, migra o código do Python concluído para procedimentos armazenados como um exercício de implantação.

O pacote microsoftml para o Python está instalado por padrão, mas, ao contrário do revoscalepy, ele não é carregado por padrão quando você inicia uma sessão do Python usando os executáveis do Python instalados com o SQL Server.

Como uma primeira etapa, importe o pacote microsoftml e importe o revoscalepy caso precise usar contextos de computação remota ou objetos de fonte de dados ou conectividade relacionados. Em seguida, faça referência às funções individuais de que você precisa.

from microsoftml.modules.logistic_regression.rx_logistic_regression import rx_logistic_regression
from revoscalepy.functions.RxSummary import rx_summary
from revoscalepy.etl.RxImport import rx_import_datasource

Confira também