Краткое руководство по загрузке данных в выделенный пул SQL с помощью действия копирования

Azure Synapse Analytics предлагает различные аналитические механизмы, которые помогут вам поглощать, преобразовывать, моделировать и анализировать ваши данные. Выделенный пул SQL предоставляет возможности вычислений и хранилища на основе T-SQL. После создания выделенного пула SQL в рабочей области Synapse данные можно загружать, моделировать, обрабатывать и доставлять для ускорения анализа.

Из этого краткого руководства вы узнаете, как загрузить данные из базы данных SQL Azure в Azure Synapse Analytics. Чтобы копировать данные из других типов хранилищ, необходимо выполнить аналогичные шаги. Этот аналогичный процесс также применяется к копированию данных для других источников и приемников.

Предпосылки

• Подписка Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись Azure перед началом работы.
• Рабочая область Azure Synapse: Создайте рабочую область Synapse с помощью портала Azure, следуя инструкциям в кратком руководстве: Создание рабочей области Synapse.
• База данных SQL Azure. В этом руководстве данные из примера набора данных Adventure Works LT копируются в База данных SQL Azure. Этот пример базы данных можно создать в Базе данных SQL, следуя инструкциям в кратком руководстве Создание отдельной базы данных в Базе данных SQL Azure. Кроме того, можно использовать другие хранилища данных, выполнив аналогичные действия.
• Учетная запись хранения Azure: служба хранилища Azure используется в качестве промежуточной области в операции копирования. Если у вас нет учетной записи хранения Azure, см. инструкции по ее созданию.
• Azure Synapse Analytics: вы используете выделенный пул SQL в качестве хранилища данных приемника. Если у вас нет экземпляра Azure Synapse Analytics, см. статью Создание выделенного пула SQL, чтобы узнать, как его создать.

Перейдите в Synapse Studio

После создания рабочей области Synapse у вас есть два способа открыть Synapse Studio:

• Откройте рабочую область Synapse на портале Azure. Выберите "Открыть" на карте Open Synapse Studio в разделе "Начало работы".
• Откройте Azure Synapse Analytics и войдите в рабочую область.

В этом кратком руководстве мы используем рабочее пространство с именем adftest2020 в качестве примера. Он автоматически перейдет на домашнюю страницу Synapse Studio.

Создание связанных служб

В Azure Synapse Analytics связанная служба — это место, где вы определяете сведения о подключении к другим службам. В этом разделе описано, как создать следующие два типа связанных служб: База данных SQL Azure и связанные службы Azure Data Lake Storage 2-го поколения (ADLS 2-го поколения).

1. На домашней странице Synapse Studio выберите вкладку "Управление " в области навигации слева.

2. В разделе "Внешние подключения" выберите связанные службы.

   

3. Чтобы добавить связанную службу, нажмите кнопку "Создать".

4. В галерее выберите Базу данных SQL Azure, а затем выберите Продолжить. Вы можете ввести "sql" в поле поиска, чтобы отфильтровать соединители.

   

5. На странице "Новая связанная служба" выберите имя сервера и имя базы данных из раскрывающегося списка и укажите имя пользователя и пароль. Нажмите кнопку "Проверить подключение" , чтобы проверить параметры, а затем нажмите кнопку "Создать".

   

6. Повторите шаги 3-4, но выберите Azure Data Lake Storage Gen2 из галереи. На странице "Новая связанная служба" выберите имя учетной записи хранения в раскрывающемся списке. Нажмите кнопку "Проверить подключение" , чтобы проверить параметры, а затем нажмите кнопку "Создать".

   

Создание конвейера

Конвейер содержит логический поток для выполнения набора действий. В этом разделе вы создадите конвейер, содержащий действие копирования, которое отправляет данные из базы данных SQL Azure в выделенный пул SQL.

1. Перейдите на вкладку "Интеграция ". Щелкните значок плюса рядом с заголовком конвейеров и выберите "Конвейер".

   

2. В разделе Перемещение и преобразование в области Действия перетащите Копировать данные на холст конвейера.

3. Выберите действие копирования и перейдите на вкладку "Источник". Выберите "Создать" , чтобы создать новый исходный набор данных.

   

4. Выберите базу данных SQL Azure в качестве хранилища данных и нажмите кнопку "Продолжить".

5. В области "Задание свойств" выберите связанную службу базы данных Azure SQL, созданную на более раннем этапе.

6. В разделе "Имя таблицы" выберите пример таблицы для использования в следующем действии копирования. В этом кратком руководстве мы используем таблицу SalesLT.Customer в качестве примера.

   

7. Закончив, выберите OK.

8. Выберите действие копирования и перейдите на вкладку "Приемник". Выберите "Создать" , чтобы создать новый набор данных приемника.

9. Выберите выделенный пул SQL Azure Synapse в качестве хранилища данных и нажмите кнопку "Продолжить".

10. В области «Задание свойств» выберите пул SQL Analytics, созданный на предыдущих шагах. Если вы записываете в существующую таблицу, в разделе "Имя таблицы " выберите ее в раскрывающемся списке. В противном случае установите флажок "Изменить" и введите новое имя таблицы. Закончив, выберите OK.

11. Для параметров набора данных приемника включите функцию автоматического создания таблицы в поле параметра "Таблица".

    

12. На странице "Параметры" установите флажок для включения промежуточного этапа. Этот параметр применяется, если исходные данные несовместимы с PolyBase. В разделе промежуточных параметров выберите связанную службу Azure Data Lake Storage 2-го поколения, созданную на предыдущем шаге в качестве промежуточного хранилища.

    Это хранилище используется для промежуточного хранения данных перед их загрузкой в Azure Synapse Analytics с помощью PolyBase. После завершения копирования промежуточные данные в Azure Data Lake Storage 2-го поколения автоматически очищаются.

    

13. Чтобы проверить конвейер, выберите "Проверить " на панели инструментов. Результат проверки вывода конвейера отображается на правой стороне страницы.

Отладка и публикация конвейера

После завершения настройки конвейера можно выполнить отладку перед публикацией артефактов, чтобы убедиться, что все правильно.

1. Чтобы выполнить отладку конвейера, на панели инструментов щелкните Отладка. Состояние выполнения конвейера вы можете найти на вкладке Выходные данные в нижней части окна.

   

2. После успешного выполнения конвейера в верхней панели инструментов выберите кнопку Опубликовать все. Это действие публикует сущности (наборы данных и конвейеры), созданные в службе Synapse Analytics.

3. Подождите, пока не увидите сообщение "Успешно опубликовано ". Чтобы просмотреть уведомления, нажмите кнопку колокольчика в правом верхнем углу.

Активация и мониторинг конвейера

В этом разделе вы вручную активируете конвейер, опубликованный на предыдущем шаге.

1. Выберите Добавить триггер на панели инструментов, а затем Trigger Now (Запустить сейчас). На странице Запуск конвейера щелкните ОК.

2. Перейдите на вкладку "Монитор ", расположенную на левой боковой панели. Вы увидите выполнение конвейера, которое вы только что активировали вручную.

3. После успешного выполнения конвейера выберите ссылку в столбце имени конвейера, чтобы просмотреть сведения о выполнении действия или повторно запустить конвейер. В нашем примере определено только одно действие, поэтому в списке вы увидите только одну запись.

4. Чтобы увидеть сведения об операции копирования, щелкните ссылку Сведения (значок очков) в столбце Название действия. Вы можете отслеживать такие сведения, как объем данных, копируемых из источника в приемник, пропускная способность данных, шаги выполнения с длительностью и используемые параметры.

   

5. Чтобы вернуться к представлению "Запуски конвейера", выберите ссылку Все запуски конвейеров в верхней части окна. Щелкните Обновить, чтобы обновить список.

6. Убедитесь, что данные правильно записаны в выделенном пуле SQL.

Дальнейшие шаги

Перейдите к следующей статье, чтобы узнать о поддержке Azure Synapse Analytics:

Общие сведения о соединителеконвейеры и действиядействие копирования