Объединяйте данные с помощью ярлыков и зеркалирования OneLake

OneLake предоставляет вам один вид данных между облаками, доменами и аккаунтами. Объединение данных в OneLake не требует хранения всех данных в одном месте. Данные могут оставаться в своём источнике или быть реплицированы в OneLake, где службы Fabric получают к ним доступ через общее пространство имён.

Ярлыки и зеркалирование являются дополняющими возможностями OneLake для создания единого представления без создания и эксплуатации конвейеров перемещения данных. Ярлыки добавляют выбранные данные в пространство имён OneLake. Зеркалирование добавляет внешнюю базу данных или каталог и определяет, можно ли получить доступ к её данным на месте или их нужно воспроизводить. В этой статье объясняется, как работает каждая функция и когда её следует использовать. Для более широкого спектра способов поглощения, преобразования или перемещения данных в Fabric см. разделы «Получить данные в Microsoft Fabric» или «Выбрать стратегию перемещения данных».

Сочетания клавиш и зеркалирование: краткий обзор

Ярлыки и зеркалирование работают на разных уровнях детализации и поддерживают разные форматы исходного кода.

Capability Что делает Исходные форматы Типичный сценарий
Ярлыки Добавьте ссылку на выбранные таблицы, папки или файлы в OneLake или на внешнем хранилище. Данные остаются в своём источнике. Только открытые форматы Перенесите одну таблицу, папку или схему в Lakehouse или включите шаблоны сетки данных между рабочими пространствами или арендаторами.
Зеркальное отражение Добавьте внешнюю базу данных или каталог в Fabric. В зависимости от источника, зеркалирование получает доступ к существующим данным или непрерывно реплицирует их в OneLake. Открытые и проприетарные форматы Используйте целую внешнюю базу данных или каталог, такие как Snowflake, Azure Databricks или База данных SQL Azure.

Если ваш исходник хранит данные в проприетарном формате, зеркалирование — единственный вариант.

Когда использовать сочетания клавиш

Используйте ярлыки, когда хотите включить определённые данные в единый вид OneLake без копирования. Выбирайте короткие пути, когда вы:

  • Делитесь одной таблицей, папкой или файлом между рабочими пространствами или арендаторами.
  • Объедините данные из нескольких озёр или облачных аккаунтов в единое представление.
  • Создайте шаблоны сетки данных, где каждый домен владеет своими данными, а другие домены обнаруживают их через OneLake.
  • Сделайте данные в открытых форматах, таких как Delta или Iceberg, доступными через Azure Data Lake Storage, Amazon S3, Google Cloud Storage или Dataverse.

Ярлыки работают на уровне стола, папки или файла. Вы решаете, какие данные предоставлять и где они отображаются в OneLake. Дополнительные сведения см. в разделе "Сочетания клавиш OneLake".

Трансформируйте данные по мере их унификации

Преобразования ярлыков преобразуют данные, лежащие за ярлыком, в запрошиваемую дельта-таблицу, которая синхронизируется с исходником, без создания ETL-конвейера. Подготовьте с их помощью ваши данные к аналитике:

  • Преобразования файлов преобразуют структурированные файлы, такие как CSV, Parquet, JSON или Excel, в таблицы Delta. Для получения дополнительной информации см. Преобразования ярлыков (файл).
  • Преобразования на базе ИИ применяют языковую обработку файлов .txt для резюмирования содержания, обнаружения настроений, перевода языков, удаления персонально идентифицируемой информации (PII) или извлечения именованных сущностей. Для получения дополнительной информации см. раздел «Преобразования с помощью ИИ» (Shortcuts).

Когда использовать зеркалирование

Используйте зеркалирование, когда хотите включить внешнюю базу данных или каталог, а также данные, лежащие за ней, в Fabric как единое целое. Зеркалирование — правильный выбор, когда вы:

  • Сделать целую внешнюю базу данных или каталог доступным в Fabric без отдельного процесса внедрения.
  • Храните готовую к аналитике копию операционной базы данных (например, База данных SQL Azure, PostgreSQL или Cosmos DB) в OneLake, которая синхронизируется с исходным кодом.
  • Подключите внешний lakehouse или хранилище данных (например, Databricks Unity Catalog или Snowflake) в Fabric, чтобы выполнять к нему запросы наряду с данными Fabric.

Зеркалирование всегда добавляет метаданные каталога, такие как базы данных, схемы и таблицы, в Fabric. То, как Fabric получает доступ к данным, зависит от источника, как описано в следующем разделе.

Как зеркалирование делает данные доступными в OneLake

Зеркалирование использует два основных механизма для интеграции внешних данных в унифицированное представление OneLake. Правильное сочетание зависит от того, как источник хранит свои данные.

  • Репликация. Зеркалирование копирует данные из источника в OneLake в формате Delta, готовом для аналитики. Зеркалирование использует репликацию, когда исходный код хранит данные в проприетарном формате.
  • Короткие пути. Зеркалирование справочных данных на месте через ярлыки OneLake. Зеркалирование использует ярлыки, когда исходный код хранит данные в открытом формате, который OneLake может читать напрямую.

Разные источники используют эти механизмы по-разному, как показано в следующей таблице.

Исходный шаблон Примеры Что делает зеркалирование
Зеркалирование базы данных (репликация) Azure Cosmos DB, База данных Azure для PostgreSQL, База данных Azure для MySQL (предварительная версия), База данных SQL Azure, SQL Server, Oracle, SAP Зеркалирование копирует метаданные каталога и непрерывно копирует данные в OneLake в виде таблиц Delta.
Зеркалирование метаданных (ярлыки) Azure Databricks, Snowflake, Dremio (preview) Зеркалирование добавляет метаданные каталога в Fabric и использует ярлыки для доступа к существующим данным.

Во всех случаях зеркалирование добавляет метаданные каталога в Fabric. Будет ли он копировать данные — зависит от источника.

Используйте сочетания клавиш и зеркалирование вместе

Ярлыки и зеркалирование не исключают друг друга. Их можно использовать вместе в разных ситуациях. Например, используйте зеркалирование, чтобы однократно добавить систему-источник в Fabric, а затем создать ярлыки, чтобы сделать выбранные данные из этой системы доступными в разных рабочих областях, доменах и клиентах. Если зеркалирование копирует исходные данные в OneLake, ярлыки к этим данным не создают новую копию и не увеличивают затраты на хранение.

Распространённые паттерны, объединяющие эти две возможности, включают:

  • Зеркало один раз, потребление везде. Центральное рабочее пространство отражает внешнюю базу данных или каталог, например, База данных SQL Azure или аккаунт Snowflake. В других рабочих пространствах в том же арендаторе есть ярлыки для зеркальных таблиц вместо того, чтобы повторно зеркалировать тот же источник. Один зеркальный элемент представляет источник, и каждый потребитель читает одни и те же актуальные данные.
  • Зеркалирование домена с потреблением меш-ресурсов. Команды доменов отражают свои исходные системы в своих доменных рабочих пространствах. Нижележащие лейкхаусы и хранилища в рабочих областях потребителей используют ярлыки для доступа только к тем таблицам из зеркальной базы данных, которые им необходимы. Каждый домен владеет своим соединением с источником, и потребители остаются отделёнными от исходной системы.
  • Один дом у озера, несколько точек данных. Один лейкхаус может содержать ярлыки для зеркальных таблиц наряду с ярлыками для открытых данных в Azure Data Lake Storage, Amazon S3 или другом филиале OneLake. Отчёты и блокноты обращаются к lakehouse как к единому хранилищу, независимо от того, остаются ли базовые данные в исходном источнике или реплицируются в OneLake.
  • Межарендный или межоблачный доступ. Один клиент зеркалирует источник в своём OneLake. Партнёрский арендатор создаёт ярлык к зеркальным данным вместо получения прямого доступа к исходной системе. Данные исходной системы никогда не покидают производственного арендатора.

Несколько моментов, которые нужно знать при их объединении:

  • Ярлыки к зеркальным таблицам наследуют модель безопасности зеркалируемого элемента. Разрешения для зеркальной базы данных, схемы или таблицы распространяются на любого, кто читает данные через этот ярлык. Дополнительные сведения см. в статье о безопасности ярлыков OneLake.
  • Ярлыки к зеркальных таблицам доступны только для чтения. Чтобы изменить данные, измените исходную систему и дайте зеркалированию распространять обновление.
  • Если зеркальный исходный код приостановлен, удаляется или возникает ошибка репликации, все ярлыки, указывающие на него, показывают то же состояние. Планируйте владение и мониторинг зеркального элемента соответственно.

Когда лучше использовать перемещение данных

Ярлыки и зеркалирование объединяют данные, делая их доступными через OneLake, а преобразования ярлыков позволяют преобразовать эти данные в таблицы Delta, готовые к аналитике. Они не заменяют полный набор инструментов для поглощения и перемещения данных от Fabric. Выберите пайплайн, поток данных, задание копирования или поток событий, когда нужно:

  • Применяйте сложную или многоисточниковую логику трансформации (например, объединение источников, применение бизнес-правил или изменение схем), выходящую за рамки того, что делают преобразования с помощью коротких путей.
  • Планируйте, организуйте или запускайте движение в соответствии с вашим собственным ритмом.
  • Переместите данные в пункт назначения вне OneLake.
  • Транслируйте события в Fabric для обработки в реальном времени.

Для таких сценариев требуется использовать инструменты Fabric для перемещения и интеграции данных, а не только унификацию в OneLake.

Связанные материалы

  • Last updated on