Параметры для получения данных в Fabric Lakehouse
Интерфейс получения данных охватывает все пользовательские сценарии для переноса данных в lakehouse, например:
- Подключение к существующей SQL Server и копирование данных в разностную таблицу в lakehouse.
- Отправка файлов с компьютера.
- Копирование и слияние нескольких таблиц из других lakehouses в новую разностную таблицу.
- Подключение к источнику потоковой передачи для отправки данных в lakehouse.
- Ссылки на данные без копирования из других внутренних озерных домов или внешних источников.
Важно!
Microsoft Fabric находится в предварительной версии.
Различные способы загрузки данных в Lakehouse
В Microsoft Fabric существует несколько способов получения данных в lakehouse.
- Отправка файлов с локального компьютера.
- Запустите средство копирования в конвейерах.
- Настройка потока данных.
- Библиотеки Apache Spark в коде записной книжки
Отправка локального файла
Вы также можете отправлять данные, хранящиеся на локальном компьютере. Вы можете сделать это непосредственно в lakehouse explorer.
Средство копирования в конвейерах
Средство копирования — это высокомасштабируемое решение Интеграция данных, которое позволяет подключаться к разным источникам данных и загружать данные в исходном формате или преобразовывать их в разностную таблицу. Средство копирования является частью действий конвейеров, которые можно оркестрировать несколькими способами, такими как планирование или активация на основе события. См. раздел Копирование данных с помощью действия копирования.
Потоки данных
Для пользователей, знакомых с потоками данных Power BI, доступно одно и то же средство для получения данных в Lakehouse. Вы можете быстро получить к нему доступ из обозревателя Lakehouse "Получить данные" и данные о земле из более чем 200 соединителей. См. статью Создание первого потока данных для получения и преобразования данных.
Код записной книжки
Доступные библиотеки Spark можно использовать для прямого подключения к источнику данных, загрузки данных в кадр данных, а затем их сохранения в lakehouse. Это самый открытый способ загрузки данных в lakehouse, которыми полностью управляет пользовательский код.
Примечание
Внешние разностные таблицы, созданные с помощью кода Spark, не будут видны конечной точке SQL. Используйте сочетания клавиш в пространстве таблиц, чтобы внешние разностные таблицы отображались для конечной точки SQL.
Рекомендации при выборе подхода к загрузке данных
| Вариант использования | Рекомендация |
|---|---|
| Отправка небольших файлов с локального компьютера | Использование отправки локальных файлов |
| Небольшие данные или определенный соединитель | Использование потоков данных |
| Большой источник данных | Использование средства копирования в конвейерах |
| Сложные преобразования данных | Использование кода записной книжки |
Дальнейшие действия
- Общие сведения: как использовать записную книжку вместе с Lakehouse
- Краткое руководство. Создание первого конвейера для копирования данных.
- Практическое руководство. Копирование данных с помощью действие Copy в конвейере данных.
- Руководство. Перемещение данных в lakehouse с помощью помощника по копированию.