Прием данных в Azure Data Lake Storage 2-го поколения

В этой статье вы узнаете, как перенести данные из одного расположения в другое в учетной записи хранения Azure Data Lake 2-го поколения с помощью Azure Synapse Analytics.

Предпосылки

• Подписка Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись Azure перед началом работы.
• Учетная запись хранения Azure: Вы используете Azure Data Lake второго поколения в качестве источника данных. Если у вас нет учетной записи для хранения, см. раздел Создание учетной записи хранения в Azure для получения информации о действиях по ее созданию.

Создание связанных служб

В Azure Synapse Analytics связанная служба — это место, где определяется информация о подключении к другим службам. В этом разделе вы добавите Azure Synapse Analytics и Azure Data Lake 2-го поколения в качестве связанных служб.

1. Откройте интерфейс пользователя Azure Synapse Analytics и перейдите на вкладку "Управление".
2. В разделе Внешние подключения выберите Связанные службы.
3. Чтобы добавить связанную службу, выберите Создать.
4. Выберите плитку Azure Data Lake Storage 2-го поколения в списке и щелкните Продолжить.
5. Введите учетные данные для проверки подлинности. В настоящее время поддерживаемые типы проверки подлинности: ключ учетной записи, служебный принципал и управляемое удостоверение. Выберите тестовое подключение, чтобы проверить правильность учетных данных.
6. По завершении нажмите кнопку Создать.

Создание конвейера

Конвейер содержит логический поток для выполнения набора действий. В этом разделе вы создадите конвейер, содержащий действие копирования, которое отправляет данные из Azure Data Lake 2-го поколения в выделенный пул SQL.

1. Перейдите на вкладку Orchestrate. Нажмите на значок плюса рядом с заголовком конвейеров и выберите Конвейер.
2. В разделе Перемещение и преобразование в области действий перетащите Копирование данных на полотно конвейера.
3. Выберите действие копирования и перейдите на вкладку Источника. Выберите Создать, чтобы создать новый исходный набор данных.
4. Выберите Azure Data Lake Storage 2-го поколения в качестве хранилища данных и нажмите кнопку "Продолжить".
5. Выберите DelimitedText в качестве формата и нажмите "Продолжить".
6. В области параметров набора выберите созданную службу, связанную с ADLS. Укажите путь к файлу исходных данных и укажите, имеет ли первая строка заголовок. Схему можно импортировать из хранилища файлов или примера файла. Закончив, выберите OK.
7. Перейдите на вкладку Слив. Выберите Новый, чтобы создать новый набор данных.
8. Выберите Azure Data Lake Storage 2-го поколения в качестве хранилища данных и нажмите кнопку "Продолжить".
9. Выберите DelimitedText в качестве формата и нажмите "Продолжить".
10. В области параметров набора выберите созданную службу, связанную с ADLS. Укажите путь к папке, в которой требуется записать данные. Закончив, выберите OK.

Отладка и публикация конвейера

После завершения настройки конвейера можно выполнить отладку перед публикацией артефактов, чтобы убедиться, что все правильно.

1. Чтобы выполнить отладку конвейера, на панели инструментов щелкните Отладка. Состояние выполнения конвейера вы можете найти на вкладке Выходные данные в нижней части окна.
2. После успешного запуска конвейера на верхней панели инструментов выберите Опубликовать все. Это действие публикует сущности (наборы данных и конвейеры), созданные в службе Synapse Analytics.
3. Дождитесь сообщения Успешно опубликовано. Чтобы просмотреть уведомления, нажмите кнопку колокольчика в правом верхнем углу.

Активация и мониторинг конвейера

На этом шаге вы вручную активируете конвейер, опубликованный на предыдущем шаге.

1. Выберите Добавить триггер на панели инструментов, а затем Trigger Now (Запустить сейчас). На странице Запуск конвейера выберите Готово.
2. Перейдите на вкладку Монитор, расположенную на левой панели. Вы видите выполнение конвейера, инициированное вручную. Ссылки в столбце Действия позволят вам просмотреть подробные сведения о активности и повторно выполнить поток обработки.
3. Чтобы увидеть запуски действий, связанные с выполнением конвейера, выберите ссылку Просмотреть запуски действий в столбце Действия. В этом примере существует только одно действие, поэтому в списке отображается только одна запись. Для получения сведений об операции копирования выберите ссылку Сведения (значок в виде очков) в столбце Действия. Выберите Запуски конвейера в верхней части экрана, чтобы вернуться к представлению "Запуски конвейера". Чтобы обновить список, нажмите кнопку Обновить.
4. Убедитесь, что данные правильно записаны в выделенном пуле SQL.

Дальнейшие действия

Дополнительные сведения об интеграции данных для Azure Synapse Analytics см. в статье «Загрузка данных в выделенный пул SQL».