Модуль 1. Создание конвейера с помощью фабрики данных

  • Статья

Этот модуль занимает 10 минут, принимая необработанные данные из исходного хранилища в бронзовую таблицу data Lakehouse с помощью действие Copy в конвейере.

Высокоуровневые шаги в модуле 1 приведены следующим образом:

  1. Создайте конвейер данных.
  2. Используйте действие копирования в конвейере для загрузки примеров данных в Data Lakehouse.

Создание конвейера данных

  1. Требуется учетная запись клиента Microsoft Fabric с активной подпиской. Создайте бесплатную учетную запись.

  2. Убедитесь, что у вас есть рабочая область с поддержкой Microsoft Fabric: создайте рабочую область.

  3. Войдите в Power BI.

  4. Щелкните значок Power BI по умолчанию в левом нижнем углу экрана и переключитесь на интерфейс Фабрики данных.

    Screenshot showing the selection of the Data Factory experience.

  5. Выберите конвейер данных и укажите имя конвейера. Затем выберите Создать.

    Screenshot of the Data Factory start page with the button to create a new data pipeline selected.

    Screenshot showing the dialog to give the new pipeline a name.

Использование действие Copy в конвейере для загрузки примеров данных в Data Lakehouse

Шаг 1. Используйте помощник копирования для настройки действия копирования.

Выберите "Копировать данные", чтобы открыть средство копирования помощник.

Screenshot showing the selection of the Copy data activity from the new pipeline start page.

Шаг 2. Настройка параметров в помощник копирования.

  1. Диалоговое окно "Копирование данных " отображается с первым шагом,выберите источник данных, выделенный. Прокрутите вниз, если требуется, в раздел источников данных и выберите тип источника данных Хранилище BLOB-объектов Azure. Затем выберите Далее.

    Screenshot showing the selection of the Azure Blob Storage data source type in the copy assistant on the Choose data source tab.

  2. На следующем шаге выберите "Создать новое подключение", а затем укажите URL-адрес для хранилища BLOB-объектов, в котором приведены примеры данных, предоставленные для этого руководства.https://nyctaxisample.blob.core.windows.net/sample Тип проверки подлинности является анонимным. Нажмите кнопку "Далее" после предоставления URL-адреса.

    Screenshot showing the creation of a new Azure Blob Storage connection with the URL for the sample data in the tutorial.

  3. Появится шаг Подключение к источнику данных, и изначально отображается сообщение об ошибке "Не удается перечислить файлы", так как разрешения были предоставлены только образцу папки в хранилище BLOB-объектов. Укажите имя папки, пример и выберите команду "Повторить".

    Screenshot showing the Unable to list files error with the folder name Sample provided.

    Примечание.

    Папка хранилища BLOB-объектов учитывает регистр и должна быть в любом нижнем регистре.

  4. Откроется браузер хранилища BLOB-объектов. Выберите файл NYC-Taxi-Green-2015-01.parquet и дождитесь появления предварительного просмотра данных. Затем выберите Далее.

    Screenshot showing the preview data for the NYC-Taxi-Green-2015-01.parquet file.

  5. На шаге "Выбор назначения данных" помощник копирования выберите Lakehouse и далее.

    Screenshot showing the selection of the Lakehouse destination on the Choose data destination tab of the Copy data assistant.

  6. Выберите создать Lakehouse на появившемся экране конфигурации назначения данных и введите имя нового Lakehouse. Затем снова нажмите кнопку "Далее ".

    Screenshot showing the data destination configuration page of the Copy assistant, choosing the Create new Lakehouse option and providing a Lakehouse name.

  7. Теперь настройте сведения о назначении Lakehouse на странице выбора и сопоставления с пути к папке или таблице. Выберите таблицы для корневой папки, укажите имя таблицы и выберите действие Перезаписи. Не проверка поле "Включить раздел проверка", которое отображается после выбора действия "Перезаписать таблицу".

    Screenshot showing the Connect to data destination tab of the Copy data assistant, on the Select and map to folder path or table step.

  8. Наконец, на странице проверки и сохранения данных копирования помощник просмотрите конфигурацию. В этом руководстве не проверка сразу же проверка поле "Запуск передачи данных", так как действие выполняется вручную на следующем шаге. Затем выберите OK.

    Screenshot showing the Copy data assistant on the Review + save page.

Шаг 3. Запустите и просмотрите результаты действие Copy.

  1. Выберите вкладку "Запуск" в редакторе конвейера. Затем нажмите кнопку "Выполнить", а затем сохраните и запустите запрос, чтобы запустить действие Copy.

    Screenshot showing the pipeline Run tab with the Run button highlighted.

    Screenshot showing the Save and run dialog with the Save and run button highlighted.

  2. Вы можете отслеживать выполнение и проверка результаты на вкладке "Выходные данные" под холстом конвейера. Нажмите кнопку сведений о выполнении (значок "очки", который отображается при наведении указателя мыши на запуск конвейера), чтобы просмотреть сведения о выполнении.

    Screenshot showing the run details button in the pipeline Output tab.

  3. Сведения о выполнении показывают 1 508 501 строк считывания и записи.

    Screenshot of the Copy data details for the pipeline run.

  4. Разверните раздел разбивки по длительности, чтобы просмотреть длительность каждого этапа действие Copy. После просмотра сведений о копировании нажмите кнопку "Закрыть".

    Screenshot showing the duration breakdown of the Copy activity run.

Связанный контент

В этом первом модуле мы ознакомились с нашим комплексным руководством по первой интеграции данных с помощью Фабрики данных в Microsoft Fabric, вы узнали, как:

  • Создайте конвейер данных.
  • Добавьте в конвейер действие Copy.
  • Используйте примеры данных и создайте data Lakehouse для хранения данных в новой таблице.
  • Запустите конвейер и просмотрите его сведения и разбивку по длительности.

Перейдите к следующему разделу, чтобы создать поток данных.

Модуль 2. Преобразование данных с помощью потока данных в фабрике данных