Копировать данные и отправлять уведомления по электронной почте при успехе и сбое.

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В этом руководстве вы создаете пакет Data Factory, который демонстрирует некоторые функции управления потоком. Эта потоковая линия просто копирует данные из контейнера в Azure Blob Storage в другой контейнер в пределах той же учетной записи хранения. Если действие копирования завершается успешно, конвейер отправляет по электронной почте подробную информацию об успешной операции копирования (например, количество записанных данных). Если происходит сбой действия копирования, конвейер отправляет по электронной почте данные об ошибке копирования (например, текст сообщения об ошибке). В этом руководстве вы научитесь передавать параметры.

Общий обзор сценария: На схеме показано, что служба

В этом руководстве вы выполните следующие шаги:

Создали фабрику данных.
Создайте связанную службу хранилища Azure.
Создание набора данных Blob в Azure
Создайте конвейер, содержащий действие копирования и веб-действие.
Отправка результатов действий для последующих действий.
Использование передачи параметров и системных переменных.
Запуск конвейера.
Следите за процессами конвейера и активностями.

В этом руководстве используется портал Azure. Вы можете использовать другие механизмы для взаимодействия с фабрикой данных Azure (см. раздел "Быстрое начало работы" в оглавлении).

Предварительные условия

Подписка Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.
Учетная запись хранения Azure. Blob-хранилище используется как источник данных. Если у вас нет учетной записи хранения Azure, ознакомьтесь с разделом Создание учетной записи хранения.
База данных SQL Azure. Вы используете базу данных как хранилище данных приемник. Если у вас нет базы данных в службе "База данных SQL Azure", вы можете создать ее, выполнив инструкции из статьи Создание отдельной базы данных в Базе данных SQL Azure.

Создать таблицу больших двоичных объектов

Запустите Блокнот. Скопируйте следующий текст и сохраните его в файл input.txt на диске.
```
John,Doe
Jane,Doe
```
Используйте специальные инструменты, например Обозреватель службы хранилища Azure, чтобы выполнить следующие действия.
1. Создайте контейнер adfv2branch.
2. Создайте папку input в контейнере adfv2branch.
3. Передайте файл input.txt в этот контейнер.

Создание конечных точек рабочего процесса электронной почты

Чтобы активировать отправку сообщения электронной почты из конвейера, используйте Azure Logic Apps для определения рабочего процесса. Дополнительные сведения о создании рабочего процесса приложения логики см. в статье "Создание примера рабочего процесса приложения логики потребления".

Рабочий процесс успешной отправки сообщения электронной почты

Создайте рабочий процесс приложения логики потребления с именем CopySuccessEmail. Добавьте триггер запроса с именем "При получении HTTP-запроса" и добавьте действие Outlook Office 365 с именем "Отправить сообщение электронной почты". При появлении запроса войдите в свою учетную запись Office 365 Outlook.

Снимок экрана рабочего процесса обработки успешных электронных писем.

Для триггера запроса заполните схему тела запроса JSON следующим кодом JSON:

{
    "properties": {
        "dataFactoryName": {
            "type": "string"
        },
        "message": {
            "type": "string"
        },
        "pipelineName": {
            "type": "string"
        },
        "receiver": {
            "type": "string"
        }
    },
    "type": "object"
}

Триггер запроса в конструкторе рабочих процессов должен выглядеть следующим образом:

Снимок экрана конструктора рабочих процессов с триггером запроса.

Для действия отправки электронной почты настройте способ форматирования электронной почты, используя свойства, переданные в схеме JSON текста запроса. Рассмотрим пример:

Снимок экрана конструктора рабочих процессов с действием с именем

Сохраните рабочий процесс. Запишите URL-адрес запроса HTTP Post для рабочего процесса успешной электронной почты.

//Success Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Рабочий процесс сбоя отправки сообщения электронной почты

Выполните те же действия, чтобы создать другой рабочий процесс приложения логики с именем CopyFailEmail. В триггере «Запрос» значение схемы JSON тела запроса такое же. Измените формат вашего электронного письма, как Subject, чтобы адаптировать его на случай неудачи. Рассмотрим пример:

Снимок экрана конструктора рабочих процессов с рабочим процессом обработки ошибок электронной почты.

Сохраните рабочий процесс. Запишите URL-адрес запроса HTTP Post для вашего рабочего процесса отправки электронной почты при ошибке.

//Fail Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Теперь у вас будут два URL-адреса рабочих процессов.

//Success Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

//Fail Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Создание фабрики данных

Запустите веб-браузер Microsoft Edge или Google Chrome. В настоящее время пользовательский интерфейс Фабрики данных поддерживается только в веб-браузерах Microsoft Edge и Google Chrome.
Разверните меню в левом верхнем углу и выберите "Создать ресурс". Затем выберите Аналитика>фабрика данных:
На странице Новая фабрика данных введите ADFTutorialDataFactory в поле Имя.

Имя фабрики данных Azure должно быть глобально уникальным. При возникновении указанной ниже ошибки измените имя фабрики данных (например, на ваше_имя_ADFTutorialDataFactory) и попробуйте создать фабрику данных снова. Ознакомьтесь со статьей Фабрика данных — правила именования, чтобы узнать правила именования для артефактов "Фабрики данных".

Имя фабрики данных ADFTutorialDataFactory недоступно.
Выберите подписку Azure, в рамках которой вы хотите создать фабрику данных.
Для группы ресурсов выполните одно из следующих действий.
- Выберите Использовать существующуюи укажите существующую группу ресурсов в раскрывающемся списке.
- Выберите Создать новуюи укажите имя группы ресурсов.
  
  Сведения о группах ресурсов см. в статье, где описывается использование групп ресурсов для управления ресурсами Azure.
Укажите V2 при выборе версии.
Укажите расположение фабрики данных. В раскрывающемся списке отображаются только поддерживаемые местоположения. Хранилища данных (служба хранилища Azure, база данных SQL Azure и т. д.) и вычисления (HDInsight и т. д.), используемые фабрикой данных, могут располагаться в других регионах.
Выберите Закрепить на панели управления.
Нажмите кнопку Создать.
Когда завершится создание, откроется страница Фабрика данных, как показано на рисунке ниже.
Нажмите кнопку "Открыть Фабрика данных Azure Studio", чтобы запустить пользовательский интерфейс Фабрика данных Azure на отдельной вкладке.

Создание конвейера

На этом этапе вы создадите конвейер с одним действием копирования и двумя веб-действиями. Вы используете следующие функции для создания пайплайна:

параметры конвейера, к которым осуществляется доступ с помощью наборов данных.
Веб-действие для запуска рабочих процессов логических приложений с целью отправки электронных писем о завершении — успешном или неудачном.
Соединение одной активности с другой (в случае успеха и неудачи)
использование выходных данных действия в качестве входных данных для последующего действия.

На главной странице пользовательского интерфейса Data Factory выберите плитку Orchestrate (Оркестрация).
В окне свойств для конвейера перейдите на вкладку Параметры и нажмите кнопку Создать, чтобы добавить три строковых параметра sourceBlobContainer, sinkBlobContainer и receiver.
- Параметр sourceBlobContainer в конвейере используется исходным набором данных BLOB-объекта.
- sinkBlobContainer — параметр в конвейере, используемый набором данных контейнера приемника
- получатель — этот параметр используется двумя веб-действиями в конвейере, отправляющим сообщения об успешном выполнении или сбое получателю, адрес электронной почты которого указан этим параметром.
На панели элементов "Действия" найдите действие "Копировать" и перетащите действие копирования в область конструктора конвейеров.
Выберите операцию копирования, которую вы перетаскивали на рабочую поверхность конструктора конвейера. В окне Свойства для действия Копирование в нижней части окна перейдите на вкладку Источник и щелкните + Новый. На этом шаге вы создаете исходный набор данных для действия копирования.
В окне "Создать набор данных" выберите вкладку Azure в верхней части экрана, а затем выберите Хранилище BLOB-объектов Azure и нажмите кнопку "Продолжить".
В окне "Выбор формата" выберите "Текст с разделителями" и нажмите кнопку "Продолжить".

Показан снимок экрана окна «Выбор формата» с выделенным форматом текст с разделителями.
Вы увидите новую вкладку, названную Задать свойства. Измените имя этого набора данных на SourceBlobDataset. Выберите раскрывающийся список связанной службы и нажмите кнопку +Создать, чтобы создать связанную службу в исходном наборе данных.
Откроется окно новой связанной службы , в котором можно заполнить необходимые свойства для связанной службы.
В окне New Linked Service (Новая связанная служба) сделайте следующее:
1. Введите AzureStorageLinkedService в поле Имени.
2. Выберите учетную запись хранения Azure в списке Имя учетной записи хранения.
3. Нажмите кнопку Создать.
В следующем окне Задать свойства выберите Открыть этот набор данных, чтобы ввести параметризованное значение для имени файла.
Введите @pipeline().parameters.sourceBlobContainer в качестве имени папки и emp.txt в качестве имени файла.
Вернитесь на вкладку конвейера (или щелкните конвейер на дереве просмотра слева) и выберите действие копирования в дизайнере. Убедитесь, что для исходного набора данных выбран новый набор данных.
В окне свойств перейдите на вкладку Приемник и нажмите кнопку + Создать в поле Sink Dataset (Целевой набор данных). На этом этапе вы создаете приемный набор данных для копирования, так же, как вы создали исходный набор данных.
В окне "Новый набор данных" выберите "Хранилище BLOB-объектов Azure" и нажмите "Продолжить", затем снова выберите "DelimitedText" в окне "Выбор формата" и снова нажмите "Продолжить".
На странице свойств для набора данных, введите SinkBlobDataset для Имени и выберите AzureStorageLinkedService для LinkedService.
Разверните раздел "Дополнительно" страницы свойств и выберите "Открыть этот набор данных".
На вкладке Подключение измените путь к файлу. Введите @pipeline().parameters.sinkBlobContainer папку и @concat(pipeline().RunId, '.txt') имя файла. Это выражение использует идентификатор текущего запуска конвейера для создания имени файла. Списки поддерживаемых системных переменных и выражений вы найдете в статьях Системные переменные, поддерживаемые в фабрике данных Azure и Выражения и функции в фабрике данных Azure.
Переключитесь обратно на вкладку конвейера в верхней части. Найдите Web в строке поиска и перетащите Web действие на поверхность конструктора конвейера. Присвойте этому действию имя SendSuccessEmailActivity. Веб-действие разрешает выполнять запрос к любой конечной точке REST. Дополнительные сведения о деятельности см. в разделе Веб-активность. Этот конвейер использует веб-активность для активации рабочего процесса электронной почты Logic Apps.
Перейдите на вкладку Настройки из вкладки Общие и выполните следующие действия:
1. В поле URL-адрес укажите URL-адрес для рабочего процесса приложений логики, который отправляет сообщение электронной почты об успешном выполнении.
2. Выберите POST в поле Метод.
3. Щелкните ссылку + Добавить заголовок в разделе Заголовки.
4. Добавьте заголовок с именем Content-Type и значением application/json.
5. Внесите следующий код JSON в поле Текст.
```
{
    "message": "@{activity('Copy1').output.dataWritten}",
    "dataFactoryName": "@{pipeline().DataFactory}",
    "pipelineName": "@{pipeline().Pipeline}",
    "receiver": "@pipeline().parameters.receiver"
}
```
  Текст сообщения содержит следующие свойства.
  - Сообщение — передача значения @{activity('Copy1').output.dataWritten. Обращается к свойству предыдущего действия копирования и передает значение dataWritten. В случае сбоя передайте выходные данные ошибки вместо @{activity('CopyBlobtoBlob').error.message.
  - Имя фабрики данных — передаваемое значение @{pipeline().DataFactory} — это системная переменная, позволяющая получить доступ к соответствующему имени фабрики данных. Список системных переменных см. в статье Системные переменные.
  - Имя конвейера — передаваемое @{pipeline().Pipeline}значение . Это системная переменная, которая позволяет обращаться к соответствующему имени конвейера.
  - Получатель — передача значения "@pipeline().parameters.receiver"). Доступ к параметрам конвейера.
Подключите действие копирования к веб-действию, перетащив зеленую кнопку флажка рядом с действием копирования и отпустив на веб-действии.
Перетащите ещё одно Веб-действие из панели элементов "Действия" в область конструктора конвейера и задайте для него имяSendFailureEmailActivity.
Перейдите на вкладку Настройки и выполните здесь следующие действия:
1. Укажите URL-адрес для рабочего процесса в Logic Apps, который отправляет электронное письмо об ошибке.
2. Выберите POST в поле Метод.
3. Щелкните ссылку + Добавить заголовок в разделе Заголовки.
4. Добавьте заголовок с именем Content-Type и значением application/json.
5. Внесите следующий код JSON в поле Текст.
```
{
    "message": "@{activity('Copy1').error.message}",
    "dataFactoryName": "@{pipeline().DataFactory}",
    "pipelineName": "@{pipeline().Pipeline}",
    "receiver": "@pipeline().parameters.receiver"
}
```
Выберите красную кнопку X справа от активности Copy в pipeline designer и перетащите ее на только что созданную активность SendFailureEmailActivity.
Чтобы проверить работу конвейера, нажмите кнопку Проверка на панели инструментов. Закройте окно Pipeline Validation Output, нажав кнопку >>.
Чтобы опубликовать сущности (наборы данных, конвейеры и т. д.) в службу фабрики данных, щелкните Опубликовать все. Дождитесь, пока не увидите сообщение Успешно опубликовано.

Запустите выполнение конвейера, которое завершится успешно

Чтобы запустить конвейер, щелкните Триггер на панели инструментов, а затем Trigger Now (Запустить сейчас).
В окне Запуск конвейера выполните следующие действия.
1. Введите adftutorial/adfv2branch/input в качестве значения для параметра sourceBlobContainer.
2. Введите adftutorial/adfv2branch/output в качестве значения для параметра sinkBlobContainer.
3. Введите адрес электронной почты для получателя.
4. Нажмите кнопку Готово.

Следите за успешным выполнением конвейера

Чтобы отследить выполнение конвейера, перейдите на вкладку Мониторинг слева. Вы видите, что запуск конвейера был инициирован вручную вами. Нажмите кнопку Обновить, чтобы обновить этот список.
Чтобы просмотреть запуски действий, связанные с этим запуском конвейера, щелкните первую ссылку в столбце Действия. Вы можете переключиться к предыдущему представлению, щелкнув раздел Конвейеры вверху страницы. Нажмите кнопку Обновить, чтобы обновить этот список.

Запуск конвейера, который завершится сбоем

Перейдите на вкладку Правка слева.
Чтобы запустить конвейер, щелкните Триггер на панели инструментов, а затем Trigger Now (Запустить сейчас).
В окне Запуск конвейера выполните следующие действия.
1. Введите adftutorial/dummy/input в качестве значения для параметра sourceBlobContainer. Убедитесь, что папка dummy не существует в контейнере adftutorial.
2. Введите adftutorial/dummy/output в качестве значения для параметра sinkBlobContainer.
3. Введите адрес электронной почты для получателя.
4. Нажмите кнопку Готово.

Отследите неудачный запуск конвейера.

Чтобы отследить выполнение конвейера, перейдите на вкладку Мониторинг слева. Вы видите, что запуск конвейера был инициирован вручную вами. Нажмите кнопку Обновить, чтобы обновить этот список.
Щелкните ссылку Ошибка рядом с запуском конвейера, чтобы просмотреть сведения об этой ошибке.
Чтобы просмотреть запуски действий, связанные с этим запуском конвейера, щелкните первую ссылку в столбце Действия. Нажмите кнопку Обновить, чтобы обновить этот список. Обратите внимание, что операция копирования в конвейерном процессе завершилась сбоем. Веб-действию удалось отправить сообщение об ошибке указанному получателю.
Щелкните ссылку Ошибка в столбце Действия, чтобы просмотреть сведения об этой ошибке.

В этом руководстве вы выполнили следующие шаги:

Создали фабрику данных.
Создайте связанную службу хранилища Azure.
Создание набора данных Blob в Azure
Создайте конвейер, который содержит действие копирования и веб-действие.
Отправка результатов действий для последующих действий.
Использование передачи параметров и системных переменных.
Запуск конвейера.
Следите за процессами конвейера и активностями.

Теперь вы можете перейти к разделу ключевых концепций, чтобы получить дополнительные сведения о фабрике данных Azure.

Конвейеры и действия

Обратная связь

Были ли сведения на этой странице полезными?

Last updated on 2024-10-03