Поделиться через

Создание модели с помощью SynapseML

В этой статье показано, как создать модель машинного обучения с помощью SynapseML и упростить сложные задачи машинного обучения. Используйте SynapseML для создания конвейера обучения с этапом признаков и этапом регрессии LightGBM. Конвейер прогнозирует оценки из текста рецензирования книги. Вот как использовать предварительно созданные модели с SynapseML для решения проблем машинного обучения.

Необходимые компоненты

Подготовка ресурсов

Настройте средства и ресурсы, необходимые для создания модели и конвейера.

  1. Создание записной книжки
  2. Подключите записную книжку к lakehouse. В обозревателе разверните Lakehouses и нажмите кнопку "Добавить".
  3. Получите ключ служб ИИ Azure, следуя инструкциям в кратком руководстве. Создание ресурса с несколькими службами для служб ИИ Azure.
  4. Создайте экземпляр Azure Key Vault и добавьте ключ служб ИИ Azure в хранилище ключей в качестве секрета.
  5. Запишите имя хранилища ключей и имя секрета. Эти сведения потребуются для выполнения одного шага преобразования далее в этой статье.

Настройка среды

В записной книжке импортируйте библиотеки SynapseML и инициализировать сеанс Spark.

from pyspark.sql import SparkSession
from synapse.ml.core.platform import *

spark = SparkSession.builder.getOrCreate()

Загрузка набора данных

Загрузите набор данных и разделите его на наборы обучения и тестирования.

train, test = (
    spark.read.parquet(
        "wasbs://publicwasb@mmlspark.blob.core.windows.net/BookReviewsFromAmazon10K.parquet"
    )
    .limit(1000)
    .cache()
    .randomSplit([0.8, 0.2])
)

display(train)

Создание конвейера обучения

Создайте конвейер, который содержит данные из TextFeaturizersynapse.ml.featurize.text библиотеки и получает оценку с помощью LightGBMRegressor функции.

from pyspark.ml import Pipeline
from synapse.ml.featurize.text import TextFeaturizer
from synapse.ml.lightgbm import LightGBMRegressor

model = Pipeline(
    stages=[
        TextFeaturizer(inputCol="text", outputCol="features"),
        LightGBMRegressor(featuresCol="features", labelCol="rating", dataTransferMode="bulk")
    ]
).fit(train)

Прогнозирование выходных данных теста

transform Вызовите функцию модели для прогнозирования и отображения выходных данных теста в виде кадра данных.

display(model.transform(test))

Использование служб ИИ Azure для преобразования данных на одном шаге

Кроме того, для таких задач, которые имеют предварительно созданное решение, можно использовать интеграцию SynapseML со службами ИИ Azure для преобразования данных на одном шаге. Выполните следующий код с этими заменами:

  • Замените <secret-name> именем секрета ключа Служб ИСКУССТВЕННОго интеллекта Azure.
  • Замените <key-vault-name> именем своего хранилища ключей.
from synapse.ml.services import TextSentiment
from synapse.ml.core.platform import find_secret

model = TextSentiment(
    textCol="text",
    outputCol="sentiment",
    subscriptionKey=find_secret("<secret-name>", "<key-vault-name>")
).setLocation("eastus")

display(model.transform(test))

Связанный контент

  • Last updated on