Копирование данных с помощью действия копирования

Статья
05/23/2023

В конвейере данных можно использовать действие Copy для копирования данных между хранилищами данных, расположенными в облаке.

Важно!

Microsoft Fabric в настоящее время находится на этапе предварительной версии. Эта информация относится к предварительной версии продукта, который может быть существенно изменен перед выпуском. Корпорация Майкрософт не дает никаких гарантий, явных или подразумеваемых, в отношении информации, представленной здесь. См. Фабрика данных Azure документацию по службе в Azure.

После копирования данных можно использовать другие действия для дальнейшего преобразования и анализа. С помощью действия копирования можно также публиковать результаты преобразования и анализа для бизнес-аналитики и использования приложения.

Чтобы скопировать данные из источника в место назначения, служба, запускающая действие Copy, выполняет следующие действия:

Считывает данные из источника данных.
Выполняет сериализацию или десериализацию, сжатие или распаковку, сопоставление столбцов и т. д. Эти операции выполняются на основе конфигурации.
Записывает данные в целевое хранилище данных.

Предварительные требования

Чтобы приступить к работе, необходимо выполнить следующие предварительные требования:

Учетная запись клиента Microsoft Fabric с активной подпиской. Создайте учетную запись бесплатно.
Убедитесь, что у вас есть рабочая область с поддержкой Microsoft Fabric.

Добавление действия копирования с помощью помощника по копированию

Выполните следующие действия, чтобы настроить действие копирования с помощью помощника по копированию.

Начало работы с помощником по копированию

Откройте существующий конвейер данных или создайте новый конвейер данных.
Выберите Копировать данные на холсте, чтобы открыть помощник по копированию для начала работы. Или выберите Использовать помощник по копированию в раскрывающемся списке Копировать данные на вкладке Действия на ленте.

Настройка источника

Выберите тип источника данных из категории. В качестве примера вы будете использовать Хранилище BLOB-объектов Azure. Выберите Хранилище BLOB-объектов Azure и нажмите кнопку Далее.
Создайте подключение к источнику данных, выбрав Создать подключение.

Выбрав Создать подключение, введите необходимые сведения о подключении и нажмите кнопку Далее. Дополнительные сведения о создании подключения для каждого типа источника данных см. в статье о каждом соединителе.

Если у вас есть существующие подключения, можно выбрать Существующее подключение и выбрать подключение в раскрывающемся списке.
Выберите файл или папку для копирования на этом шаге настройки источника, а затем нажмите кнопку Далее.

Настройка назначения

Выберите тип источника данных из категории. В качестве примера вы будете использовать Хранилище BLOB-объектов Azure. Выберите Хранилище BLOB-объектов Azure, а затем нажмите кнопку Далее.
Вы можете создать новое подключение, которое ссылается на новую учетную запись Хранилище BLOB-объектов Azure, выполнив действия, описанные в предыдущем разделе, или использовать существующее подключение из раскрывающегося списка подключений. Для каждого выбранного подключения доступны возможности Test connection (Проверить подключение ) и Edit (Изменить ).
Настройте и сопоставьте исходные данные с назначением. Затем нажмите кнопку Далее , чтобы завершить настройку назначения.

Просмотр и создание действия копирования

Просмотрите параметры действия копирования на предыдущих шагах и нажмите кнопку ОК , чтобы завершить. Вы также можете вернуться к предыдущим шагам, чтобы при необходимости изменить параметры в средстве.

После завершения действия копирования будет добавлено на холст конвейера данных. Все параметры, включая дополнительные параметры для этого действия копирования, доступны на вкладках при его выборе.

Теперь вы можете сохранить конвейер данных с помощью этого однократного действия копирования или продолжить проектирование конвейера данных.

Добавление действия копирования напрямую

Выполните следующие действия, чтобы добавить действие копирования напрямую.

Добавление действия копирования

Откройте существующий конвейер данных или создайте новый конвейер данных.
Добавьте действие копирования, выбрав Добавить действие>конвейера действие Copy или выбрав Копировать данные>Добавить на холст на вкладке Действия.

Настройка общих параметров на вкладке "Общие"

Сведения о настройке общих параметров см. в разделе Общие.

Настройка источника на вкладке "Источник"

Выберите + Создать рядом с элементом Подключение , чтобы создать подключение к источнику данных.
1. Выберите тип источника данных во всплывающем окне. В качестве примера вы будете использовать базу данных Azure SQL. Выберите База данных SQL Azure и нажмите кнопку Продолжить.
2. Он перейдет на страницу создания подключения. Введите необходимые сведения о подключении на панели и нажмите кнопку Создать. Дополнительные сведения о создании подключения для каждого типа источника данных см. в статье о каждом соединителе.
3. После успешного создания подключения вы вернелись на страницу конвейера данных. Затем выберите Обновить , чтобы получить созданное подключение из раскрывающегося списка. Вы также можете выбрать существующее подключение к базе данных Azure SQL в раскрывающемся списке, если вы уже создали его ранее. Для каждого выбранного подключения доступны возможности Test connection (Проверить подключение ) и Edit (Изменить ). Затем выберите Azure SQL База данных в поле Тип подключения.
Укажите таблицу для копирования. Выберите Предварительный просмотр данных , чтобы просмотреть исходную таблицу. Вы также можете использовать запрос и хранимую процедуру для чтения данных из источника.
Разверните раздел Дополнительно , чтобы получить дополнительные параметры.

Настройка назначения на вкладке назначения

Выберите тип назначения. Это может быть внутреннее хранилище данных первого класса из рабочей области, например Lakehouse, или внешние хранилища данных. В качестве примера вы будете использовать Lakehouse.
Выберите использование Lakehouse в типе хранилища данных рабочей области. Выберите + Создать, и вы перейдете на страницу создания Lakehouse. Укажите имя Lakehouse и нажмите кнопку Создать.
После успешного создания подключения вы вернееесь на страницу конвейера данных. Затем выберите Обновить , чтобы получить подключение, созданное из раскрывающегося списка. Вы также можете выбрать существующее подключение Lakehouse непосредственно из раскрывающегося списка, если вы уже создали его ранее.
Укажите таблицу или настройте путь к файлу, чтобы определить файл или папку в качестве места назначения. Здесь выберите Таблицы и укажите таблицу для записи данных.
Разверните раздел Дополнительно , чтобы получить дополнительные параметры.

Теперь вы можете сохранить конвейер данных с помощью одного действия копирования или продолжить проектирование конвейера данных.

Настройка сопоставлений на вкладке "Сопоставление"

Если применяемый соединитель поддерживает сопоставление, перейдите на вкладку Сопоставление , чтобы настроить сопоставление.

Выберите Импорт схем, чтобы импортировать схему данных.
Вы увидите, что отображается автоматическое сопоставление. Укажите исходный столбец и целевой столбец. Если вы создаете новую таблицу в назначении, вы можете настроить имя столбца назначения здесь. Если вы хотите записать данные в существующую целевую таблицу, изменить имя существующего целевого столбца нельзя. Вы также можете просмотреть тип исходных и целевых столбцов.

Кроме того, можно выбрать + Новое сопоставление , чтобы добавить новое сопоставление, выбрать Очистить , чтобы очистить все параметры сопоставления, и сбросить , чтобы сбросить все исходные столбцы сопоставления.

Настройка преобразования типов

Разверните раздел Параметры преобразования типов , чтобы при необходимости настроить преобразование типов.

Сведения о параметрах см. в следующей таблице.

Параметр	Описание
Разрешить усечение данных	Разрешить усечение данных при преобразовании исходных данных в место назначения с другим типом во время копирования. Например, от десятичного до целого числа, от DatetimeOffset до Datetime.
Рассматривать логическое значение как число	Рассматривайте логическое значение как число. Например, сработайте значение true как 1.
Формат даты и времени	Форматирование строки при преобразовании между датами без смещения часового пояса и строк. Например, "гггг-ММ-дд ЧЧ:мм:сс.fff".
Формат DateTimeOffset	Форматирование строки при преобразовании между датами со смещением часового пояса и строками. Например, "гггг-ММ-дд ЧЧ:мм:сс.fff zzz".
Формат TimeSpan	Форматирование строки при преобразовании между периодами времени и строками. Например, "dd.hh:mm:ss".
Язык и региональные параметры	Сведения о языке и региональных параметрах, используемые при преобразовании типов. Например, "en-us", "fr-fr".

Настройка других параметров на вкладке "Параметры"

Вкладка Параметры содержит параметры производительности, промежуточного хранения и т. д.

Описание каждого параметра см. в следующей таблице.

Параметр	Описание
Интеллектуальная оптимизация пропускной способности	Укажите для оптимизации пропускной способности. Можно выбрать одно из следующих значений. • Авто • Стандартный • Сбалансированный • Максимальное значение При выборе параметра Автоматически оптимальный параметр применяется динамически в зависимости от пары "источник-назначение" и шаблона данных. Вы также можете настроить пропускную способность, а пользовательское значение может быть от 2 до 256, в то время как большее значение подразумевает большую выгоду.
Степень параллелизма копирования	Укажите степень параллелизма, которую будет использовать загрузка данных.
Отказоустойчивость	При выборе этого параметра можно игнорировать некоторые ошибки, возникшие в процессе копирования. Например, несовместимые строки между исходным и целевым хранилищем, удаление файла во время перемещения данных и т. д.
Включение ведения журналов	При выборе этого параметра можно записывать скопированные файлы, пропущенные файлы и строки.
Включить промежуточный режим	Укажите, следует ли копировать данные через промежуточное хранилище. Включите промежуточное хранение только для полезных сценариев.
Подключение к промежуточной учетной записи	При выборе параметра Включить промежуточное хранение укажите подключение к источнику данных службы хранилища Azure в качестве промежуточного хранилища. Выберите + Создать , чтобы создать промежуточное подключение, если у вас его нет.