Руководство по Lakehouse: прием данных в lakehouse

  • Статья

В этом руководстве вы используете более мерные и фактические таблицы из широкой мировой импортеров (WWI) в лейкхаус.

Необходимые компоненты

Прием данных

В этом разделе описано, как использовать действие копирования данных конвейера Фабрики данных для приема примеров данных из учетной записи хранения Azure в раздел "Файлы " созданного ранее озера.

  1. Выберите рабочие области в области навигации слева и выберите новую рабочую область в меню "Рабочие области". Откроется представление элементов рабочей области.

  2. На ленте рабочей области выберите "+Создать" в конвейере данных.

    Снимок экрана: создание конвейера данных.

  3. В диалоговом окне "Создать конвейер" укажите имя в качестве IngestDataFromSourceToLakehouse и нажмите кнопку "Создать". Создается и открывается новый конвейер фабрики данных.

  4. В созданном конвейере фабрики данных выберите действие Конвейера, чтобы добавить действие в конвейер и выбрать " Копировать данные". Это действие добавляет действие копирования данных на холст конвейера.

    Снимок экрана: выбор действия конвейера и копирование данных.

  5. Выберите только что добавленное действие копирования данных на холсте. Свойства действия отображаются на панели под холстом (возможно, потребуется развернуть область вверх, перетаскивая верхний край). На вкладке "Общие " в области свойств введите "Копирование данных" в Lakehouse в поле "Имя ".

    Снимок экрана: добавление имени действия копирования на вкладке

  6. На вкладке "Источник" выбранного действия копирования выберите внешний тип хранилища данных и нажмите кнопку "Создать", чтобы создать новое подключение к источнику данных.

    Снимок экрана, показывающий, где выбрать внешний и + Создать на вкладке

  7. В этом руководстве все примеры данных доступны в общедоступном контейнере хранилища BLOB-объектов Azure. Вы подключаетесь к этому контейнеру для копирования данных из него. На первом экране "Создать подключение" выберите Хранилище BLOB-объектов Azure и нажмите кнопку "Продолжить".

    Снимок экрана мастера создания подключения, показывающий, где выбрать Хранилище BLOB-объектов Azure.

  8. На экране параметров Подключение введите следующие сведения и нажмите кнопку "Создать", чтобы создать подключение к источнику данных.

    Свойство Значение
    Имя учетной записи или URL-адрес https://azuresynapsestorage.blob.core.windows.net/sampledata
    Connection Создание подключения
    Имя подключения wwisampledata
    Тип проверки подлинности Анонимные

    Снимок экрана: экран параметров Подключение ion, показывающий, где введите сведения и нажмите кнопку

  9. После создания нового подключения вернитесь на вкладку "Источник " действия копирования данных и по умолчанию выбрано только что созданное соединение. Перед перемещением в параметры назначения укажите следующие свойства.

    Свойство Значение
    Тип хранилища данных Внешняя.
    Connection wwisampledata
    Тип пути к файлу Путь к файлу
    Путь к файлу Имя контейнера (первое текстовое поле): sampledata
    Имя каталога (второе текстовое поле): WideWorldImportersDW/parquet
    Рекурсивно Флажок установлен
    File format Binary

    Снимок экрана: вкладка источника, на которой показано, где ввести конкретные сведения.

  10. На вкладке "Назначение " выбранного действия копирования данных укажите следующие свойства:

    Свойство Значение
    Тип хранилища данных Рабочая область
    Тип хранилища данных рабочей области Гибридное решение "хранилище и озеро данных"
    Гибридное решение "хранилище и озеро данных" wwilakehouse
    Корневая папка Файлы
    Путь к файлу Имя каталога (первое текстовое поле): wwi-raw-data
    File format Binary

    Снимок экрана: вкладка

  11. Вы настроили действие копирования данных. Щелкните значок сохранения на верхней ленте (под домашней), чтобы сохранить изменения, и нажмите кнопку "Выполнить", чтобы выполнить конвейер и его действие. Вы также можете запланировать конвейеры для обновления данных в определенных интервалах в соответствии с вашими бизнес-требованиями. В этом руководстве мы запускаем конвейер только один раз, нажав кнопку "Выполнить".

    Это действие активирует копирование данных из базового источника данных в указанный lakehouse и может занять до минуты. Вы можете отслеживать выполнение конвейера и его действия на вкладке "Вывод ", которая отображается при щелчке в любом месте на холсте. При необходимости можно выбрать значок очков, который отображается при наведении указателя мыши на имя, чтобы просмотреть сведения о передаче данных.

    Снимок экрана: место сохранения и запуска, а также место поиска сведений о выполнении и значке очков на вкладке

  12. После копирования данных перейдите в представление элементов рабочей области и выберите новый lakehouse (wwilakehouse), чтобы запустить представление Обозреватель.

    Снимок экрана, показывающий, где выбрать lakehouse, чтобы запустить представление Обозреватель.

  13. Убедитесь, что в представлении Обозреватель отображается новая папка wwi-raw-data, а данные для всех таблиц копируются там.

    Снимок экрана: исходные данные копируются в обозреватель Lakehouse.

Чтобы загрузить добавочные данные в lakehouse, см . сведения о добавочной загрузке данных из хранилища данных в lakehouse.

Следующий шаг

Подготовка и преобразование данных