Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Первым шагом в миграции данных и конвейера является определение данных, которые требуется сделать доступными в OneLake, и конвейеры, которые вы планируете переместить.
Существует два варианта миграции данных:
- Вариант 1. Azure Data Lake Storage (ADLS) 2-го поколения в качестве хранилища по умолчанию. Если вы используете ADLS 2-го поколения и хотите избежать копирования данных, рекомендуется использовать сочетания клавиш OneLake.
- Вариант 2. OneLake в качестве хранилища по умолчанию. Если вы хотите перейти из ADLS 2-го поколения в OneLake в качестве уровня хранилища, рассмотрите возможность чтения и записи из OneLake из записных книжек и определений заданий Spark.
Перенос данных
Вариант 1. ADLS 2-го поколения в качестве хранилища (ярлыки)
Если вы взаимодействуете с ADLS 2-го поколения и хотите избежать дублирования данных, можно создать ярлык для пути к источнику ADLS 2-го поколения в OneLake. Вы можете создать ярлыки в разделах "Файлы и таблицы " в lakehouse в Fabric с помощью следующих рекомендаций:
- Раздел "Файлы" — это неуправляемая область озера. Если данные имеют формат CSV, JSON или Parquet, рекомендуется создать ярлык для этой области.
- Раздел "Таблицы " — это управляемая область озера. Все таблицы, управляемые Spark и неуправляемые таблицы, регистрируются здесь. Если данные имеют разностный формат, вы можете создать ярлык в этой области, а процесс автоматического обнаружения автоматически регистрирует эти таблицы Delta в хранилище метаданных Lakehouse.
Дополнительные сведения о создании ярлыка ADLS 2-го поколения.
Вариант 2. OneLake в качестве хранилища
Чтобы использовать OneLake в качестве уровня хранилища и перемещать данные из ADLS 2-го поколения, сначала следует указать элементы, связанные с Azure Synapse Spark, в OneLake, а затем передать существующие данные в OneLake. Ранее см . сведения об интеграции OneLake с Azure Synapse Spark.
Чтобы переместить существующие данные в OneLake, у вас есть несколько вариантов:
- mssparkutils fastcp: библиотека mssparkutils предоставляет API fastcp, который позволяет копировать данные между ADLS 2-го поколения в OneLake.
- AzCopy: с помощью служебной программы командной строки AzCopy можно скопировать данные из ADLS 2-го поколения в OneLake.
- Фабрика данных Azure, Azure Synapse Analytics и Фабрика данных в Fabric: используйте действие копирования для копирования данных в lakehouse.
- Используйте сочетания клавиш: вы можете включить исторические данные ADLS 2-го поколения в OneLake с помощью сочетаний клавиш. Копирование данных не требуется.
- обозреватель служба хранилища Azure. Вы можете переместить файлы из расположения ADLS 2-го поколения в OneLake с помощью обозревателя служба хранилища Azure. Узнайте, как интегрировать OneLake с служба хранилища Azure Explorer.
Миграция конвейеров (действия, связанные с Spark)
Если конвейеры Azure Synapse включают действия записных книжек и определения заданий Spark, необходимо переместить эти конвейеры из Azure Synapse в конвейеры Azure Data Factory в платформе Fabric и ссылаться на соответствующие записные книжки. Операция записной книжки доступна в конвейерах Azure Data Factory. См. все поддерживаемые действия конвейера в Fabric здесь.
- Для рассмотрения вопросов, связанных с деятельностью конвейера Spark, обратитесь к материалу о различиях между Azure Synapse Spark и Fabric.
- Для миграции записных книжек см. сведения о переносе записных книжек из Azure Synapse в Fabric.
- Сведения о миграции конвейера см. в разделе "Миграция в фабрику данных" в Fabric.