Копирование данных из хранилища BLOB-объектов Azure в базу данных SQL Azure с помощью средства копирования данных

Статья
11/08/2023

Область применения:Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В этом руководстве вы создадите фабрику данных с помощью портала Azure. После этого вы с помощью Копирования данных создадите конвейер, который копирует данные из хранилища BLOB-объектов Azure в базу данных SQL.

Примечание.

Если вы еще не работали с фабрикой данных Azure, ознакомьтесь со статьей Введение в фабрику данных Azure.

Вот какие шаги выполняются в этом учебнике:

Создали фабрику данных.
Создание конвейера с помощью средства копирования данных.
Мониторинг конвейера и выполнения действий.

Необходимые компоненты

Подписка Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем начинать работу.
учетная запись служба хранилища Azure. Используйте хранилище BLOB-объектов в качестве исходного хранилища данных. Если у вас нет учетной записи хранения Azure, см. инструкции по ее созданию.
База данных SQL Azure. Используйте База данных SQL в качестве хранилища данных приемника. Если у вас нет Базы данных SQL, см. инструкции по ее созданию.

Подготовка базы данных SQL

Разрешить службам Azure доступ к логическому SQL Server База данных SQL Azure.

Убедитесь, что для Базы данных SQL включен параметр Разрешить доступ к серверу службам и ресурсам Azure. Этот параметр позволяет фабрике данных записывать данные в экземпляр базы данных. Чтобы проверить и при необходимости включить этот параметр, перейдите к логическому серверу SQL Server, выберите "Безопасность > Брандмауэры и виртуальные сети" и задайте для параметра Разрешить доступ к серверу службам и ресурсам Azure состояние ВКЛ.

Примечание.

Параметр Разрешить доступ к серверу службам и ресурсам Azure разрешает доступ к SQL Server по сети любому ресурсу Azure, а не только ресурсам из вашей подписки. Она может быть не подходит для всех сред, но подходит для этого ограниченного руководства. Дополнительные сведения см. в статье Правила брандмауэра Azure SQL Server. В качестве альтернативы используйте частные конечные точки для подключения к службам Azure PaaS без использования общедоступных IP-адресов.

Создание большого двоичного объекта и таблицы SQL

Подготовьте хранилище BLOB-объектов и Базу данных SQL к изучению этого руководства, выполнив следующие действия.

Создание исходного большого двоичного объекта

Запустите Блокнот. Скопируйте следующий текст и сохраните его в файл с именем inputEmp.txt на диске.
```
FirstName|LastName
John|Doe
Jane|Doe
```
Создайте контейнер adfv2tutorial и отправьте в него файл inputEmp.txt. Это можно сделать с помощью портала Azure или разных средств, включая Обозреватель службы хранилища Azure.

Создание таблицы-приемника SQL

Чтобы создать таблицу с именем dbo.emp в База данных SQL, используйте следующий скрипт SQL:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO
CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Создание фабрики данных

В меню слева выберите Создать ресурс>Интеграция>Фабрика данных:
На странице Новая фабрика данных в поле Имя введите ADFTutorialDataFactory.

Имя фабрики данных должно быть глобально уникальным. Вы можете получить следующее сообщение об ошибке.

Если вы увидите следующую ошибку касательно значения имени, введите другое имя фабрики данных. Например,ваше_имяADFTutorialDataFactory. Правила именования артефактов службы "Фабрика данных" см. в этой статье.
Выберите подписку Azure, в которой нужно создать фабрику данных.
Для группы ресурсов выполните одно из следующих действий:

a. Выберите Использовать существующуюи укажите существующую группу ресурсов в раскрывающемся списке.

b. Выберите Создать новуюи укажите имя группы ресурсов.

Сведения о группах ресурсов см. в статье Общие сведения об Azure Resource Manager.
В качестве версии выберите V2.
В качестве расположения выберите расположение фабрики данных. В раскрывающемся списке отображаются только поддерживаемые расположения. Хранилища данных (например, служба хранилища Azure и база данных SQL) и вычислительные ресурсы (например, Azure HDInsight), используемые фабрикой данных, могут располагаться в других регионах или расположениях.
Выберите Создать.
Когда создание завершится, откроется домашняя страница Фабрика данных.
Чтобы запустить пользовательский интерфейс Фабрики данных Azure на отдельной вкладке, нажмите кнопку Открыть на элементе Open Azure Data Factory Studio (Открыть студию Фабрики данных Azure).

Создание конвейера с помощью средства копирования данных

На домашней странице Фабрики данных Azure выберите команду Принять, чтобы запустить средство копирования данных.
На странице Свойства средства копирования данных в разделе Тип задачи выберите Встроенная задача копирования, а затем нажмите кнопку Далее.
На странице Исходное хранилище данных сделайте следующее:

a. Выберите + Создать подключение, чтобы добавить подключение.

b. В коллекции выберите Хранилище BLOB-объектов Azure и щелкните Продолжить.

c. На странице Новое подключение (Хранилище BLOB-объектов Azure) выберите свою подписку Azure в списке Подписка Azure, а также учетную запись хранения в списке Имя учетной записи хранения. Проверьте подключение и выберите Создать.

d. В блоке Подключение выберите созданную связанную службу в качестве источника.

д) В разделе Файл или папка нажмите кнопку Обзор, чтобы перейти к папке adfv2tutorial, выберите файл inputEmp.txt и нажмите кнопку OK.

е) Чтобы перейти к следующему шагу, нажмите кнопку Далее.
На странице File format settings (Параметры формата файла) установите флажок First row as heade (Первая строка в качестве заголовка). Обратите внимание, что средство автоматически обнаруживает разделители столбцов и строк, а также позволяет просмотреть данные и схему входных данных, нажав кнопку Просмотр данных на этой странице. Затем выберите Далее.
На странице Целевое хранилище данных сделайте следующее:

a. Выберите + Создать подключение, чтобы добавить подключение.

b. В коллекции выберите База данных SQL Azure и щелкните Продолжить.

c. На странице Новое подключение (База данных SQL Azure) выберите подписку Azure, имя сервера и имя базы данных из раскрывающегося списка. Затем в разделе Тип проверки подлинности выберите Проверка подлинности SQL, укажите имя пользователя и пароль. Проверьте подключение и нажмите кнопку Создать.

d. Выберите созданную связанную службу в качестве приемника, а затем нажмите кнопку Далее.
На странице "Целевое хранилище данных" выберите "Использовать существующую таблицу " и выберите таблицу dbo.emp . Затем выберите Далее.
На странице Сопоставление столбцов вы можете увидеть, что второй и третий столбцы файла входных данных сопоставлены со столбцами FirstName и LastName в таблице EMP. Измените сопоставление, чтобы убедиться в отсутствии ошибок, а затем выберите Далее.
На странице Параметры в разделе Имя задачи введите имя CopyFromBlobToSqlPipeline, а затем нажмите кнопку Далее.
Просмотрите параметры на странице Сводка, а затем нажмите кнопку Далее.
На странице Развертывание выберите Мониторинг, чтобы отслеживать созданный конвейер (задачу).
На странице "Запуски конвейера" выберите Обновить, чтобы обновить список. Щелкните ссылку в разделе Имя конвейера, чтобы просмотреть сведения о выполнении действия или перезапустить конвейер.
На странице "Запуски операции" выберите ссылку Сведения (значок очков) в столбце Имя активности, чтобы получить дополнительные сведения об операции копирования. Чтобы вернуться к представлению "Запуски конвейера", в меню навигации щелкните ссылку Все запуски конвейеров. Чтобы обновить список, нажмите кнопку Обновить.
Убедитесь, что данные вставлены в таблицу dbo.emp в Базе данных SQL.
Выберите вкладку Автор слева, чтобы переключиться в режим правки. В этом редакторе вы можете обновлять параметры связанных служб, наборов данных и конвейеров, созданных с помощью средства. Дополнительные сведения о редактировании этих сущностей с помощью пользовательского интерфейса фабрики данных вы найдете в версии этого руководства для портала Azure.