Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В этом руководстве вы узнаете, как легко дополнить данные в Azure Synapse Analytics с помощью средств Foundry. Вы будете использовать Детектор аномалий Azure AI для поиска аномалий. Чтобы обнаруживать аномалии, пользователь в Azure Synapse может просто выбрать таблицу для обогащения.
Темы, рассматриваемые в этом руководстве:
- Шаги для получения набора данных таблицы Spark, содержащего данные временных рядов.
- Использование мастера настройки в Azure Synapse для обогащения данных с помощью детектора аномалий.
Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.
Предварительные условия
- Рабочая область Azure Synapse Analytics с учетной записью хранения Azure Data Lake Storage 2-го поколения, настроенной в качестве хранилища по умолчанию. Вам необходимо обладать ролью участника данных в хранилище Blob для работы с файловой системой Data Lake Storage 2-го поколения.
- Пул Spark в рабочей области Azure Synapse Analytics. Дополнительные сведения см. в статье Создание пула Spark в Azure Synapse.
- Завершение предварительных действий по настройке в руководстве по настройке средств Foundry в Azure Synapse .
Войдите на портал Azure
Войдите на портал Azure.
Создание таблицы Spark
Для работы с этим руководством вам потребуется таблица Spark.
Создайте записную книжку PySpark и запустите следующий код.
from pyspark.sql.functions import lit
df = spark.createDataFrame([
("1972-01-01T00:00:00Z", 826.0),
("1972-02-01T00:00:00Z", 799.0),
("1972-03-01T00:00:00Z", 890.0),
("1972-04-01T00:00:00Z", 900.0),
("1972-05-01T00:00:00Z", 766.0),
("1972-06-01T00:00:00Z", 805.0),
("1972-07-01T00:00:00Z", 821.0),
("1972-08-01T00:00:00Z", 20000.0),
("1972-09-01T00:00:00Z", 883.0),
("1972-10-01T00:00:00Z", 898.0),
("1972-11-01T00:00:00Z", 957.0),
("1972-12-01T00:00:00Z", 924.0),
("1973-01-01T00:00:00Z", 881.0),
("1973-02-01T00:00:00Z", 837.0),
("1973-03-01T00:00:00Z", 9000.0)
], ["timestamp", "value"]).withColumn("group", lit("series1"))
df.write.mode("overwrite").saveAsTable("anomaly_detector_testing_data")
Таблица Spark с именем anomaly_detector_testing_data теперь должна отображаться в базе данных Spark по умолчанию.
Откройте мастер инструментов Foundry
Щелкните правой кнопкой мыши таблицу Spark, созданную на предыдущем шаге. Чтобы открыть мастер, выберите Машинное обучение>Прогнозирование с помощью модели.
Появится панель конфигурации, и вам будет предложено выбрать предварительно обученную модель. Выберите Детектор аномалий.
Настройка Детектора аномалий
Чтобы настроить Детектор аномалий, укажите следующие сведения:
Связанная служба Azure Cognitive Services: В рамках необходимых действий вы создали связанную службу для вашего инструмента Foundry. Выберите это здесь.
Степень детализации: скорость выборки данных. Выберите ежемесячно.
Столбец метки времени: столбец, отображающий время серии. Выберите метку времени (строка).
Столбец значений временного ряда. Столбец, представляющий значение ряда в момент времени, указанный в столбце "Метка времени". Выберите значение (двойной).
Столбец группировки: Столбец, который группирует серии. То есть все строки, имеющие одно и то же значение в этом столбце, должны формировать один временной ряд. Выберите группа (строка).
Когда все будет готово, выберите Открыть записную книжку. Это создаст записную книжку для вас с кодом PySpark, который использует средства Foundry для обнаружения аномалий.
Запустите записную книжку
Только что открываемая записная книжка использует библиотеку SynapseML для подключения к Средствам Foundry. Связанная служба Foundry Tools, которую вы предоставили, позволяет безопасно ссылаться на средство Foundry в этом опыте без раскрытия каких-либо секретов.
Теперь можно выполнить все ячейки, чтобы запустить обнаружение аномалий. Выберите Запустить все. Узнайте больше о детекторе аномалий в инструментах Foundry.
