Копирование данных с помощью действия копирования

Статья
11/15/2023

В конвейере данных можно использовать действие Copy для копирования данных между хранилищами данных, расположенными в облаке.

После копирования данных можно использовать другие действия для дальнейшего преобразования и анализа. С помощью действия копирования можно также публиковать результаты преобразования и анализа для бизнес-аналитики и использования приложения.

Чтобы скопировать данные из источника в место назначения, служба, которая запускает действие Copy выполняет следующие действия:

Считывает данные из источника данных.
Выполняет сериализацию или десериализацию, сжатие или распаковку, сопоставление столбцов и т. д. Он выполняет эти операции на основе конфигурации.
Записывает данные в целевое хранилище данных.

Необходимые компоненты

Чтобы приступить к работе, необходимо выполнить следующие предварительные требования:

Учетная запись клиента Microsoft Fabric с активной подпиской. Создайте учетную запись бесплатно .
Убедитесь, что у вас есть рабочая область с поддержкой Microsoft Fabric.

Добавление действия копирования с помощью помощник копирования

Выполните следующие действия, чтобы настроить действие копирования с помощью помощник копирования.

Начните с копирования помощник

Откройте существующий конвейер данных или создайте новый конвейер данных.
Выберите " Копировать данные на холсте", чтобы открыть средство помощника по копированию, чтобы приступить к работе. Или выберите "Использовать копию помощник" в раскрывающемся списке "Копирование данных" на вкладке "Действия" на ленте.

Настройка источника

Выберите тип источника данных из категории. Вы будете использовать Хранилище BLOB-объектов Azure в качестве примера. Выберите Хранилище BLOB-объектов Azure и нажмите кнопку "Далее".
Создайте подключение к источнику данных, выбрав "Создать новое подключение".

После нажатия кнопки "Создать новое подключение" введите необходимые сведения о подключении и нажмите кнопку "Далее". Сведения о создании подключения для каждого типа источника данных см. в каждой статье соединителя.

Если у вас есть подключения, можно выбрать существующее подключение и выбрать подключение в раскрывающемся списке.
Выберите файл или папку, скопированные на этом шаге конфигурации источника, и нажмите кнопку "Далее".

Настройка назначения

Выберите тип источника данных из категории. Вы будете использовать Хранилище BLOB-объектов Azure в качестве примера. Выберите Хранилище BLOB-объектов Azure и нажмите кнопку "Далее".
Вы можете создать новое подключение, которое ссылается на новую учетную запись Хранилище BLOB-объектов Azure, выполнив действия, описанные в предыдущем разделе, или используйте существующее подключение из раскрывающегося списка подключений. Возможности тестового подключения и редактирования доступны для каждого выбранного подключения.
Настройте и сопоставите исходные данные с назначением. Затем нажмите кнопку "Далее", чтобы завершить конфигурации назначения.

Просмотр и создание действия копирования

Просмотрите параметры действия копирования на предыдущих шагах и нажмите кнопку "ОК ", чтобы завершить работу. Вы также можете вернуться к предыдущим шагам, чтобы изменить параметры при необходимости в средстве.

После завершения действие копирования будет добавлено на холст конвейера данных. Все параметры, включая дополнительные параметры для этого действия копирования, доступны на вкладках при выборе.

Теперь можно сохранить конвейер данных с помощью этого действия копирования или продолжить разработку конвейера данных.

Добавление действия копирования напрямую

Выполните следующие действия, чтобы напрямую добавить действие копирования.

Добавление действия копирования

Откройте существующий конвейер данных или создайте новый конвейер данных.
Добавьте действие копирования, выбрав "Добавить действие> конвейера действие Copy или выбрав "Копировать данные>" на холсте на вкладке "Действия".

Настройка общих параметров на вкладке "Общие"

Сведения о настройке общих параметров см. в разделе "Общие".

Настройка источника на вкладке "Источник"

Выберите +Создать рядом с Подключение, чтобы создать подключение к источнику данных.
1. Выберите тип источника данных в всплывающем окне. Вы будете использовать База данных SQL Azure в качестве примера. Выберите База данных SQL Azure и нажмите кнопку Продолжить.
2. Он переходит на страницу создания подключения. Введите необходимые сведения о подключении на панели и нажмите кнопку "Создать". Сведения о создании подключения для каждого типа источника данных см. в каждой статье соединителя.
3. После успешного создания подключения вы вернеесь на страницу конвейера данных. Затем выберите "Обновить" , чтобы получить подключение, созданное из раскрывающегося списка. Вы также можете выбрать существующее База данных SQL Azure подключение непосредственно в раскрывающемся списке, если вы уже создали его. Возможности тестового подключения и редактирования доступны для каждого выбранного подключения. Затем выберите База данных SQL Azure в типе Подключение ion.
Укажите таблицу для копирования. Выберите предварительный просмотр данных , чтобы просмотреть исходную таблицу. Вы также можете использовать хранимую процедуру запроса и хранимой процедуры для чтения данных из источника.
Разверните " Дополнительно" для более сложных параметров.

Настройка назначения на вкладке назначения

Выберите тип назначения. Это может быть внутреннее хранилище данных первого класса из рабочей области, например Lakehouse или внешние хранилища данных. Вы будете использовать Lakehouse в качестве примера.
Выберите использовать Lakehouse в типе хранилища данных рабочей области. Нажмите кнопку +Создать, а затем перейдите на страницу создания Lakehouse. Укажите имя Lakehouse и нажмите кнопку "Создать".
После успешного создания подключения вы вернеесь на страницу конвейера данных. Затем выберите "Обновить" , чтобы получить подключение, созданное из раскрывающегося списка. Вы также можете выбрать существующее подключение Lakehouse непосредственно в раскрывающемся списке, если вы уже создали его раньше.
Укажите таблицу или настройте путь к файлу, чтобы определить файл или папку в качестве назначения. Здесь выберите таблицы и укажите таблицу для записи данных.
Разверните " Дополнительно" для более сложных параметров.

Настройка сопоставлений на вкладке сопоставления

Если соединитель, который вы применяете, поддерживает сопоставление, перейдите на вкладку "Сопоставление ", чтобы настроить сопоставление.

Выберите "Импорт схем" , чтобы импортировать схему данных.
Отображается автоматическое сопоставление. Укажите исходный столбец и столбец назначения. Если вы создаете новую таблицу в назначении, вы можете настроить имя столбца назначения здесь. Если вы хотите записать данные в существующую целевую таблицу, нельзя изменить существующее имя столбца назначения . Вы также можете просмотреть тип исходных и целевых столбцов.

Кроме того, можно выбрать +Создать сопоставление, чтобы добавить новое сопоставление, удалить все параметры сопоставления и сбросить все столбцы источника сопоставления.

Настройка преобразования типов

Разверните параметры преобразования типов, чтобы настроить преобразование типов при необходимости.

Сведения о параметрах см. в следующей таблице.

Параметр	Description
Разрешить усечение данных	Разрешить усечение данных при преобразовании исходных данных в назначение с другим типом во время копирования. Например, от десятичного до целого числа, от DatetimeOffset до Datetime.
Обрабатывать логическое значение как число	Обрабатывать логическое значение как число. Например, следует рассматривать значение true как 1.
Формат DateTime	Форматирование строки при преобразовании между датами без смещения часового пояса и строк. Например, "гггг-ММ-дд HH:mm:ss.fff".
Формат DateTimeOffset	Форматирование строки при преобразовании между датами с смещением часового пояса и строками. Например, "гггг-ММ-дд HH:mm:ss.fff zzz".
Формат TimeSpan	Форматирование строки при преобразовании между периодами времени и строками. Например, "dd.hh:mm:ss".
Язык и региональные параметры	Сведения о языке и региональных параметрах, используемые при преобразовании типов. Например, "en-us", "fr-fr".

Настройка других параметров на вкладке "Параметры"

Вкладка Параметры содержит параметры производительности, промежуточного хранения и т. д.

Описание каждого параметра см. в следующей таблице.

Параметр	Description
Интеллектуальная оптимизация пропускной способности	Укажите для оптимизации пропускной способности. Вы можете выбрать один из вариантов: • Авто • Стандартный • Сбалансированный • Максимальное При выборе авто оптимальный параметр динамически применяется на основе пары назначения источника и шаблона данных. Вы также можете настроить пропускную способность, а настраиваемое значение может быть 2–256, а более высокое значение подразумевает больше прибыли.
Степень параллелизма копирования	Укажите степень параллелизма, которую будет использовать загрузка данных.
Отказоустойчивость	При выборе этого параметра можно игнорировать некоторые ошибки, возникшие в середине процесса копирования. Например, несовместимые строки между исходным и целевым хранилищем, удаление файла во время перемещения данных и т. д.
Включение ведения журналов	При выборе этого параметра можно записывать скопированные файлы, пропускать файлы и строки.
Включение промежуточного хранения	Укажите, следует ли копировать данные через промежуточное хранилище промежуточного хранения. Включите промежуточное хранение только для полезных сценариев.
Подключение промежуточной учетной записи	При выборе параметра "Включить промежуточное" укажите подключение источника данных хранилища Azure в качестве промежуточного хранилища. Нажмите кнопку +Создать , чтобы создать промежуточное подключение, если у вас его нет.

Настройка параметров в действии копирования

Параметры можно использовать для управления поведением конвейера и его действиями. Вы можете использовать добавление динамического содержимого для указания параметров свойств действия копирования. Давайте рассмотрим, как указать Lakehouse, Хранилище данных или базу данных KQL, чтобы узнать, как использовать ее.

В исходном или целевом расположении после выбора рабочей области в качестве типа хранилища данных и спецификации Базы данных KQL Хранилища/данных Lakehouse/В качестве типа хранилища данных рабочей области выберите "Добавить динамическое содержимое" в раскрывающемся списке "Lakehouse" или "Хранилище данных" или "База данных KQL".
В всплывающей области "Добавить динамическое содержимое " на вкладке "Параметры " выберите +.
Укажите имя параметра и при необходимости присвойте ему значение по умолчанию или укажите значение параметра после выбора запуска в конвейере.

Обратите внимание, что значение параметра должно быть идентификатором объекта Lakehouse/Data Warehouse/KQL Database. Чтобы получить идентификатор объекта Lakehouse/Data Warehouse/KQL Database, откройте свою базу данных Lakehouse/Хранилище данных/KQL в рабочей области, а идентификатор находится после /lakehouses/или /datawarehouses//databases/ в URL-адресе.
- Идентификатор объекта Lakehouse:
- Идентификатор объекта хранилища данных:
- Идентификатор объекта базы данных KQL:
Нажмите кнопку "Сохранить", чтобы вернуться в область "Добавить динамическое содержимое". Затем выберите параметр, чтобы он появился в поле выражения. Затем выберите OK. Вы вернетесь на страницу конвейера и увидите, что выражение параметра указано после идентификатора объекта Data Warehouse объекта Lakehouse ИД//объекта KQL Database.

Копирование данных с помощью действия копирования

Необходимые компоненты