Tutorial: Assistente de classificação de modelos de machine learning para conjuntos de SQL dedicados

Artigo
06/01/2023

Saiba como enriquecer facilmente os seus dados em conjuntos de SQL dedicados com modelos preditivos de machine learning. Os modelos que os seus cientistas de dados criam estão agora facilmente acessíveis aos profissionais de dados para análise preditiva. Um profissional de dados no Azure Synapse Analytics pode simplesmente selecionar um modelo do registo de modelos do Azure Machine Learning para implementação no Azure Synapse conjuntos de SQL e iniciar predições para enriquecer os dados.

Neste tutorial, irá aprender a:

Prepare um modelo preditivo de machine learning e registe o modelo no registo de modelos do Azure Machine Learning.
Utilize o assistente de classificação do SQL para iniciar predições num conjunto de SQL dedicado.

Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.

Pré-requisitos

Azure Synapse Analytics com uma conta de armazenamento Azure Data Lake Storage Gen2 configurada como o armazenamento predefinido. Tem de ser o Contribuidor de Dados do Blob de Armazenamento do sistema de ficheiros Data Lake Storage Gen2 com o qual trabalha.
Conjunto de SQL dedicado na área de trabalho do Azure Synapse Analytics. Para obter detalhes, veja Criar um conjunto de SQL dedicado.
Serviço ligado do Azure Machine Learning na área de trabalho do Azure Synapse Analytics. Para obter detalhes, veja Criar um serviço ligado do Azure Machine Learning no Azure Synapse.

Inicie sessão no Portal do Azure.

Preparar um modelo no Azure Machine Learning

Antes de começar, verifique se a sua versão do sklearn é a 0.20.3.

Antes de executar todas as células no bloco de notas, verifique se a instância de computação está em execução.

Captura de ecrã que mostra a verificação da computação do Azure Machine Learning.

Aceda à sua área de trabalho do Azure Machine Learning.
Transfira Predict NYC Taxi Tips.ipynb.
Abra a área de trabalho do Azure Machine Learning no Azure Machine Learning Studio.
Aceda a Blocos de Notas>Carregar ficheiros. Em seguida, selecione o ficheiro Predict NYC Taxi Tips.ipynb que transferiu e carregue-o.
Depois de o bloco de notas ser carregado e aberto, selecione Executar todas as células.

Uma das células pode falhar e pedir-lhe para se autenticar no Azure. Tenha em atenção os resultados das células e autentique-se no browser ao seguir a ligação e ao introduzir o código. Em seguida, execute novamente o bloco de notas.
O bloco de notas irá preparar um modelo ONNX e registá-lo com o MLflow. Aceda a Modelos para verificar se o novo modelo está registado corretamente.
A execução do bloco de notas também exportará os dados de teste para um ficheiro CSV. Transfira o ficheiro CSV para o seu sistema local. Mais tarde, irá importar o ficheiro CSV para um conjunto de SQL dedicado e utilizar os dados para testar o modelo.

O ficheiro CSV é criado na mesma pasta que o seu ficheiro de bloco de notas. Selecione Atualizar no Explorador de Ficheiros se não o vir imediatamente.

Iniciar predições com o assistente de classificação do SQL

Abra a área de trabalho Azure Synapse com Synapse Studio.
Aceda aContas de ArmazenamentoAssociadas> a Dados>. Carregar test_data.csv para a conta de armazenamento predefinida.

Aceda a Desenvolver>scripts SQL. Crie um novo script SQL para carregar test_data.csv para o conjunto de SQL dedicado.

Nota

Atualize o URL de ficheiro neste script antes de o executar.

IF NOT EXISTS (SELECT * FROM sys.objects WHERE NAME = 'nyc_taxi' AND TYPE = 'U')
CREATE TABLE dbo.nyc_taxi
(
    tipped int,
    fareAmount float,
    paymentType int,
    passengerCount int,
    tripDistance float,
    tripTimeSecs bigint,
    pickupTimeBin nvarchar(30)
)
WITH
(
    DISTRIBUTION = ROUND_ROBIN,
    CLUSTERED COLUMNSTORE INDEX
)
GO

COPY INTO dbo.nyc_taxi
(tipped 1, fareAmount 2, paymentType 3, passengerCount 4, tripDistance 5, tripTimeSecs 6, pickupTimeBin 7)
FROM '<URL to linked storage account>/test_data.csv'
WITH
(
    FILE_TYPE = 'CSV',
    ROWTERMINATOR='0x0A',
    FIELDQUOTE = '"',
    FIELDTERMINATOR = ',',
    FIRSTROW = 2
)
GO

SELECT TOP 100 * FROM nyc_taxi
GO

Carregar dados para o conjunto de SQL dedicado

Aceda aÁrea de Trabalho deDados>. Abra o assistente de classificação do SQL ao clicar com o botão direito do rato na tabela do conjunto de SQL dedicada. Selecione Machine Learning>Prever com um modelo.

Nota

A opção de machine learning não é apresentada, a menos que tenha um serviço ligado criado para o Azure Machine Learning. (Veja Pré-requisitos no início deste tutorial.)
Selecione uma área de trabalho do Azure Machine Learning ligada na caixa pendente. Este passo carrega uma lista de modelos de machine learning a partir do registo de modelos da área de trabalho do Azure Machine Learning escolhida. Atualmente, apenas os modelos ONNX são suportados, pelo que este passo irá apresentar apenas modelos ONNX.
Selecione o modelo que acabou de preparar e, em seguida, selecione Continuar.
Mapeie as colunas da tabela para as entradas do modelo e especifique as saídas do modelo. Se o modelo for guardado no formato MLflow e a assinatura do modelo for preenchida, o mapeamento será feito automaticamente através de uma lógica com base na semelhança de nomes. A interface também suporta o mapeamento manual.

Selecione Continuar.
O código T-SQL gerado é moldado dentro de um procedimento armazenado. É por este motivo que tem de fornecer um nome de procedimento armazenado. O binário do modelo, incluindo metadados (versão, descrição e outras informações), será copiado fisicamente do Azure Machine Learning para uma tabela de conjunto de SQL dedicada. Por isso, tem de especificar em que tabela guardar o modelo.

Pode escolher Tabela existente ou Criar nova. Quando terminar, selecione Implementar modelo + abrir script para implementar o modelo e gerar um script de predição T-SQL.
Depois de o script ser gerado, selecione Executar para executar a classificação e obter predições.