Копирование данных из базы данных SQL Server в хранилище BLOB-объектов Azure с помощью средства копирования данных

ПРИМЕНИМО К: Azure Data Factory Azure Synapse Analytics

Совет

Data Factory в Microsoft Fabric — это следующее поколение Azure Data Factory с более простой архитектурой, встроенным ИИ и новыми функциями. Если вы не знакомы с интеграцией данных, начните с Fabric Data Factory. Существующие рабочие нагрузки ADF могут обновляться до Fabric для доступа к новым возможностям в области обработки и анализа данных, аналитики в режиме реального времени и отчетов.

• Start a Fabric бесплатная пробная версия.
• Переход с Azure Data Factory на Data Factory в Microsoft Fabric

В этом руководстве вы используете портал Azure для создания фабрики данных. Затем вы используете средство копирования данных для создания конвейера, который копирует данные из базы данных SQL Server в хранилище BLOB-объектов Azure.

Примечание.

• Если вы не знакомы с Azure Data Factory, см. раздел Introduction to Data Factory.

В этом учебнике вы выполните следующие шаги:

• Создали фабрику данных.
• Используйте средство копирования данных для создания конвейера.
• Мониторинг конвейера и выполнения действий.

Предварительные требования

подписка Azure

Прежде чем начать, если у вас еще нет подписки Azure, создайте бесплатную учетную запись.

роли Azure

Чтобы создать экземпляры фабрики данных, учетная запись пользователя, используемая для входа в Azure, должна быть назначена роль Contributor или Owner или должна быть administrator подписки Azure.

Чтобы просмотреть разрешения, которые у вас есть в подписке, перейдите на портал Azure. В верхнем правом углу выберите имя пользователя, а затем Разрешения. Если у вас есть доступ к нескольким подпискам, выберите соответствующую подписку. Примеры инструкций по добавлению пользователя в роль см. в разделе Назначение ролей Azure с помощью портала Azure.

SQL Server 2014, 2016 и 2017

В этом руководстве используется база данных SQL Server в качестве хранилища данных source. Конвейер в данной фабрике данных, создаваемой в этом руководстве, копирует данные из данной базы данных SQL Server (источник) в BLOB-хранилище (приемник). Затем вы создадите таблицу с именем emp в базе данных SQL Server и вставьте в таблицу несколько примеров записей.

1. Запустите SQL Server Management Studio. Если он еще не установлен на компьютере, перейдите к Download SQL Server Management Studio.

2. Подключитесь к экземпляру SQL Server с помощью учетных данных.

3. Создайте пример базы данных. В представлении в виде дерева щелкните правой кнопкой мыши элемент Базы данных и выберите пункт Новая база данных.

4. В окне Новая база данных введите имя базы данных и нажмите кнопку ОК.

5. Чтобы создать таблицу emp и вставить в нее примеры данных, запустите приведенный ниже сценарий запроса к базе данных. В представлении в виде дерева щелкните правой кнопкой мыши созданную базу данных и выберите пункт Новый запрос.

   CREATE TABLE dbo.emp
   (
       ID int IDENTITY(1,1) NOT NULL,
       FirstName varchar(50),
       LastName varchar(50)
   )
   GO
   
   INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
   INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
   GO
   

учетная запись хранения Azure

В этом руководстве вы используете учетную запись хранения общего назначения Azure (в частности хранилище BLOB-объектов) в качестве хранилища данных назначения или приемника. Если у вас нет учетной записи хранения общего назначения, изучите инструкции по созданию учетной записи хранения. Конвейер, который вы создаете в этом руководстве по работе с фабрикой данных, копирует данные из базы данных SQL Server (источника) в это хранилище объектов BLOB (приемник).

Получение имени и ключа учетной записи хранения

В этом руководстве вы будете использовать имя и ключ своей учетной записи хранения. Чтобы получить имя и ключ учетной записи хранения, сделайте следующее:

1. Войдите на портал Azure с помощью имени пользователя и пароля Azure.

2. На панели слева выберите Все службы. Отфильтруйте содержимое по ключевому слову хранение, а затем выберите Учетные записи хранения.

   

3. В списке учетных записей хранения найдите с помощью фильтра свою учетную запись хранения (при необходимости). Затем выберите свою учетную запись хранения.

4. В окне Учетная запись хранения выберите параметр Ключи доступа.

5. Скопируйте значения полей Имя учетной записи хранения и key1. Затем вставьте их в Блокнот или другой редактор для дальнейшего использования в руководстве.

Создание фабрики данных

1. В верхнем меню выберите Создать ресурс>Аналитика>Фабрика данных :

   

2. На странице Новая фабрика данных в поле Имя введите ADFTutorialDataFactory.

   Имя фабрики данных должно быть глобально уникальным. Если вы увидите следующее сообщение об ошибке для поля имени, измените название фабрики данных (например, ваше_имя_ADFTutorialDataFactory). Правила именования артефактов в фабрике данных см. в разделе Правила именования для Data Factory.

   

3. Выберите подписку Azure, в которой требуется создать фабрику данных.

4. Для группы ресурсов выполните одно из следующих действий:

   • Выберите Использовать существующуюи укажите существующую группу ресурсов в раскрывающемся списке.

   • Выберите Создать новуюи укажите имя группы ресурсов.

     Дополнительные сведения о группах ресурсов см. в статье Использовать группы ресурсов для управления ресурсами Azure.

5. В качестве версии выберите V2.

6. В качестве расположения выберите расположение фабрики данных. В раскрывающемся списке отображаются только поддерживаемые локации. Хранилища данных (например, Azure Storage и база данных SQL) и вычислительные ресурсы (например, Azure HDInsight), используемые фабрикой данных, могут находиться в других расположениях или регионах.

7. Нажмите кнопку создания.

8. Когда завершится создание, откроется страница Фабрика данных, как показано на рисунке ниже.

   Главная страница для Azure Data Factory с плиткой Open Azure Data Factory Studio.

9. Выберите Open на плитке Open Azure Data Factory Studio, чтобы запустить пользовательский интерфейс фабрики данных на отдельной вкладке.

Используйте средство копирования данных для создания конвейера

1. На домашней странице Azure Data Factory выберите Ingest, чтобы запустить средство копирования данных.

   

2. На странице Properties (Свойства) инструмента копирования данных в разделе Task type (Тип задачи) выберите Built-in copy task (Встроенная задача копирования). Затем в разделе Task cadence or task schedule (Периодичность или расписание задач) выберите Run once now (Запустить сейчас один раз), после чего щелкните Next (Далее).

3. На странице Source data store (Исходное хранилище данных) нажмите кнопку + Create new connection (+Создать новое подключение).

4. В разделе ПодключениеNew найдите SQL Server и выберите Continue.

5. В диалоговом окне New connection (SQL server) (Новое подключение (SQL Server)) в поле Name (Имя) введите SqlServerLinkedService. В разделе Connect via integration runtime (Подключение через среду выполнения интеграции) выберите Создать. Вам следует создать локальную среду выполнения интеграции, скачать ее на локальный компьютер и зарегистрировать с использованием фабрики данных. Локальная среда выполнения интеграции копирует данные из локальной среды в облако и обратно.

6. В диалоговом окне Настройка среды выполнения интеграции выберите вариант Локальная среда. Затем выберите Continue (Продолжить).

   

7. В диалоговом окне Integration Runtime Setup (Настройка среды выполнения интеграции) в поле Name (Имя) введите TutorialIntegrationRuntime. Затем выберите Создать.

8. В диалоговом окне Integration Runtime Setup (Настройка среды выполнения интеграции) выберите Click here to launch the express setup for this computer (Щелкните здесь, чтобы запустить экспресс-установку для этого компьютера). Это действие устанавливает среду выполнения интеграции на вашем компьютере и регистрирует её в Data Factory. Кроме того, вы можете использовать режим установки вручную: скачайте файл установки, запустите его и примените ключ для регистрации среды выполнения интеграции.

9. Запустите загруженное приложение. В окне будет отображаться "текущее состояние" экспресс-установки.

   

10. В диалоговом окне New Connection (SQL Server) убедитесь, что TutorialIntegrationRuntime выбран в разделе Connect через среду выполнения интеграции. Затем выполните следующие действия:

    a. В поле Имя введите SqlServerLinkedService.

    б. В поле Server name введите имя экземпляра SQL Server.

    с. В поле Имя базы данных введите имя локальной базы данных.

    д. В поле Тип проверки подлинности выберите нужный вариант аутентификации.

    д) В разделе введите имя пользователя с доступом к SQL Server.

    е) Введите пароль для этого пользователя.

    ж. Проверьте подключение и нажмите кнопку Создать.

    

11. На странице Хранилище исходных данных убедитесь, что в блоке Соединение выбрано только что созданное подключение SQL Server. В разделе Source tables (Исходные таблицы) выберите EXISTING TABLES (Существующие таблицы), выберите из списка таблицу dbo.emp и щелкните Next (Далее). Можно выбрать любую другую таблицу в зависимости от базы данных.

12. На странице Apply filter (Применение фильтра) можно просмотреть данные и схему входных данных, нажав кнопку Preview data (Предварительный просмотр данных). Затем выберите Далее.

13. На странице Destination data store (Целевое хранилище данных) выберите Create new connection (Создать подключение).

14. В Новом подключении выполните поиск и выберите Azure Blob Storage, а затем выберите Продолжить.

    

15. В диалоговом окне New connection (Azure Blob Storage) выполните следующие действия:

    a. В поле Имя введите AzureStorageLinkedService.

    б. В разделе Connect via integration runtime (Подключение через среду выполнения интеграции) выберите TutorialIntegrationRuntime, затем в разделе Authentication method (Способ проверки подлинности) выберите Account key (Ключ учетной записи).

    с. В разделе Azure подписка выберите подписку Azure в раскрывающемся списке.

    д. В раскрывающемся списке Имя учетной записи хранения выберите учетную запись хранения.

    д) Проверьте подключение и нажмите кнопку Создать.

16. В диалоговом окне Destination data store убедитесь, что только что созданное подключение Azure Blob Storage выбрано в блоке Connection. Затем в поле Folder path (Путь к папке) введите adftutorial/fromonprem. Вы создали контейнер adftutorial в качестве части предварительных требований. Если указанной папки выходных данных (в этом случае fromonprem) не существует, Фабрика данных создаст ее автоматически. Вы также можете нажать кнопку Обзор, чтобы открыть хранилище BLOB-объектов и просмотреть в нем контейнеры и папки. Если не указать значение в поле имени файла, по умолчанию будет использоваться имя источника (в этом случае dbo.emp).

    

17. В диалоговом окне File format settings (Параметры формата файла) выберите Далее.

18. В диалоговом окне Settings (Параметры) в поле Task name (Имя задачи) введите CopyFromOnPremSqlToAzureBlobPipeline и щелкните Next (Далее). Инструмент копирования данных создаст конвейер с именем, которое вы указали в этом поле.

19. В диалоговом окне Сводка проверьте значения всех параметров и нажмите кнопку Далее.

20. На странице Развертывание выберите Мониторинг, чтобы отслеживать созданный конвейер (задачу).

21. Когда выполнение конвейера завершится, вы сможете просмотреть состояние конвейера, который вы создали.

22. На странице "Запуски конвейера" выберите Refresh, чтобы обновить список. Щелкните ссылку в разделе Имя конвейера, чтобы просмотреть сведения о выполнении действия или перезапустить конвейер.

    

23. На странице "Activity runs" (Запуски действия) щелкните ссылку Details (Сведения) (значок очков) в столбце Activity name (Имя действия), чтобы получить дополнительные сведения об операции копирования. Чтобы вернуться на страницу "Запуски конвейера", выберите ссылку Все запуски конвейера в меню навигации. Чтобы обновить список, нажмите кнопку Обновить.

    

24. Убедитесь, что выходной файл появился в папке fromonprem контейнера adftutorial.

25. Выберите вкладку Автор слева, чтобы переключиться в режим правки. В этом редакторе вы можете изменять параметры связанных служб, наборов данных и конвейеров, созданных с помощью средства. Выберите Код, чтобы просмотреть код JSON для сущности, открытой в редакторе. Дополнительные сведения об изменении этих сущностей в пользовательском интерфейсе фабрики данных см. в версии портала Azure этого руководства.

    

Связанный контент

Конвейер в этом примере копирует данные из базы данных SQL Server в хранилище объектов Blob. Вы научились выполнять следующие задачи:

• Создали фабрику данных.
• Используйте средство копирования данных для создания конвейера.
• Мониторинг конвейера и выполнения действий.

Список хранилищ данных, поддерживаемых фабрикой данных, см. в разделе Поддерживаемые хранилища данных и форматы.

Информацию о копировании данных в пакетном режиме из источника в место назначения см. в следующем руководстве:

Копировать данные оптом