Поделиться через

Что такое зеркальное отображение в Fabric?

Зеркальное отображение в Fabric — это решение с низкой стоимостью и низкой задержкой для объединения данных из различных систем в одну платформу аналитики. Вы можете непрерывно реплицировать существующее хранилище данных непосредственно в OneLake Fabric из различных баз данных Azure и внешних источников данных.

С актуальными данными в запрашиваемом формате в OneLake теперь можно использовать все различные службы в Fabric, такие как выполнение аналитических задач с помощью Spark, выполнение ноутбуков, инжиниринг данных, визуализация данных через отчеты Power BI и многое другое.

Зеркальное отображение в Fabric позволяет пользователям использовать высоко интегрированный, комплексный и простой продукт, предназначенный для упрощения потребностей аналитики. Созданное для открытости и совместной работы между корпорацией Майкрософт и технологиями, которые могут читать формат таблицы Delta Lake с открытым кодом, зеркалирование — это недорогое решение с низкой задержкой, которое позволяет создавать реплику данных в OneLake для использования во всех ваших аналитических потребностях.

Затем таблицы Delta можно использовать везде в системе Fabric, что позволяет пользователям быстрее освоить Fabric.

Зачем использовать зеркальное отображение в Fabric?

Сегодня многие организации имеют критически важные операционные или аналитические данные, сидящие в силосах.

Чтобы получить доступ и работать с этими данными сегодня, требуются сложные конвейеры ETL (Извлечение, преобразование и загрузка), бизнес-процессы и силосы принятия решений.

  • Ограниченный и ограниченный доступ к важным, постоянно изменяющимся данным
  • Трение между людьми, процессами и технологиями
  • Длительное время ожидания для создания конвейеров и процессов для критически важных данных
  • Нет свободы использовать инструменты, необходимые для анализа и комфортного обмена результатами.
  • Отсутствие надлежащей основы для людей для совместного использования и совместной работы с данными
  • Нет общих форматов открытых данных для всех аналитических сценариев : BI, AI, Integration, Engineering и даже Apps

Отражение в Fabric обеспечивает простой способ ускорить получение пользы от аналитических данных и решений, а также устранить изоляцию данных между технологическими решениями.

  • Репликация данных и метаданных практически в режиме реального времени в озеро данных SaaS с встроенной аналитикой для бизнес-аналитики и искусственного интеллекта

Платформа Microsoft Fabric основана на программном обеспечении как услуга (SaaS), которая поднимает простоту и интеграцию на совершенно новый уровень. Дополнительные сведения о Microsoft Fabric см. в статье "Что такое Microsoft Fabric?"

Зеркальное отображение создает эти элементы в рабочей области Fabric:

  • Зеркальное отображение управляет репликацией данных и метаданных в OneLake и преобразованием в Parquet в формате, готовом к аналитике. Это позволяет такие возможности, как инженерия данных, наука о данных и другие в нижестоящих сценариях.
  • Конечная точка аналитики SQL

Помимо редактора запросов SQL существует широкая экосистема инструментов, включая SQL Server Management Studio (SSMS),расширение mssql с Visual Studio Code и даже GitHub Copilot.

Общий доступ позволяет упростить контроль и управление доступом, чтобы убедиться, что вы можете контролировать доступ к конфиденциальной информации. Общий доступ также обеспечивает безопасный и демократизированный процесс принятия решений в организации.

Типы зеркального отображения

Fabric предлагает три различных подхода к переносу данных в OneLake с помощью зеркального отображения.

  • Зеркальное отображение базы данных — зеркальное отображение базы данных в Microsoft Fabric позволяет выполнять репликацию всех баз данных и таблиц, позволяя объединять данные из различных систем в одну платформу аналитики.
  • Зеркальное отображение метаданных — зеркальное отображение метаданных в Fabric синхронизирует метаданные (например, имена каталогов, схемы и таблицы) вместо физического перемещения данных. Этот подход использует ярлыки, гарантируя, что данные остаются в источнике и по-прежнему легко доступны в Fabric.
  • Открытое зеркальное отображение в системе Fabric предназначено для расширения зеркального отображения на основе открытого формата таблиц Delta Lake. Эта возможность позволяет любому разработчику записывать данные об изменении приложения непосредственно в зеркальный элемент базы данных в Microsoft Fabric на основе открытого подхода зеркального отображения и общедоступных API.

В настоящее время доступны следующие внешние базы данных:

Platform Репликация практически в режиме реального времени Тип зеркального отображения Руководство от начала до конца
Зеркальные базы данных Microsoft Fabric из Azure Cosmos DB Да Зеркалирование базы данных Руководство по Azure Cosmos DB
Зеркальные базы данных Microsoft Fabric из Azure Databricks Да Зеркальное отображение метаданных Руководство по Azure Databricks
Зеркалированные базы данных Microsoft Fabric из гибкого сервера Azure Database для PostgreSQL Да Зеркалирование базы данных Руководство по гибкому серверу Базы данных Azure для PostgreSQL
Зеркалируемые базы данных из Azure SQL Database в Microsoft Fabric Да Зеркалирование базы данных Учебное пособие: база данных Azure SQL
Зеркальные базы данных Microsoft Fabric из Управляемого экземпляра SQL Azure Да Зеркалирование базы данных Руководство по Управляемому экземпляру SQL Azure
Зеркальные базы данных Microsoft Fabric из Google BigQuery (предварительная версия) Да Зеркалирование базы данных Руководство по Google BigQuery
Зеркальные базы данных Microsoft Fabric из Oracle (предварительная версия) Да Зеркалирование базы данных Учебник: Oracle
Зеркальные базы данных SAP в Microsoft Fabric (предварительная версия) Да Зеркалирование базы данных Руководство по SAP
Зеркальные базы данных в Microsoft Fabric, созданные на основе Snowflake Да Зеркалирование базы данных Руководство: Snowflake
Microsoft Fabric зеркальные базы данных из SQL Server Да Зеркалирование базы данных Руководство по SQL Server
Открытые зеркальные базы данных Да Открыть зеркальное отображение Руководство. Открытие зеркального отображения
Зеркальные базы данных Microsoft Fabric из базы данных SQL Fabric Да Зеркалирование базы данных Автоматическая настройка

Как работает репликация зеркального отображения базы данных практически в режиме реального времени?

Зеркальное отображение включается путем создания безопасного подключения к рабочему источнику данных. Вы выбираете, следует ли реплицировать всю базу данных или отдельные таблицы, а зеркальное отображение автоматически сохраняет данные в синхронизации. После настройки данные будут непрерывно реплицироваться в OneLake для потребления аналитики.

Ниже приведены основные основы зеркального отображения.

  • Включение зеркального отображения в Fabric является простым и интуитивно понятным без необходимости создавать сложные конвейеры ETL, выделять другие вычислительные ресурсы и управлять перемещением данных.

  • Зеркальное отображение в Fabric — это полностью управляемая служба, поэтому вам не нужно беспокоиться о размещении, обслуживании или управлении репликацией зеркального подключения.

Как работает зеркальное отображение метаданных?

Зеркальное отображение не только обеспечивает репликацию данных, но и может быть достигнуто с помощью сочетаний клавиш или зеркального отображения метаданных, а не полной репликации данных, что позволяет получить доступ к данным без физического перемещения или дублирования. Зеркальное отображение в этом контексте относится к репликации только метаданных, таких как имена каталогов, схемы и таблицы, а не фактические данные. Этот подход позволяет Fabric создавать данные из разных источников, не дублируя их, упрощая управление данными и минимизируя потребности в хранении.

Например, при доступе к данным, зарегистрированным в Unity Catalog, Fabric отражает только структуру каталога из Azure Databricks, что позволяет получить доступ к базовым данным через ссылки. Этот метод гарантирует, что любые изменения в исходных данных мгновенно отражаются в Fabric без необходимости перемещения данных, поддержания синхронизации в режиме реального времени и повышения эффективности доступа к данным up-to-date.

Как работает открытое зеркальное отображение?

Кроме зеркального отображения, которое позволяет репликацию данных через создание безопасного подключения к источнику данных, вы также можете выбрать существующего поставщика данных или написать собственное приложение для загрузки данных в зеркальную базу данных. После создания открытой зеркальной базы данных через общедоступный API или на портале Fabric вы сможете получить URL-адрес целевой зоны в OneLake, где можно размещать измененные данные в соответствии со спецификацией открытого зеркального отображения.

После того как данные окажутся в зоне приземления в соответствующем формате, начнется репликация, которая будет управлять сложностью интеграции изменений с обновлениями, вставками и удалениями для их отражения в дельта-таблицах. Этот метод гарантирует, что все данные, записанные в целевую зону, будут немедленно обновляться и поддерживаться в актуальном состоянии в системе Fabric.

Общий доступ

Общий доступ позволяет упростить управление доступом и управление ими, в то время как элементы управления безопасностью на уровне строк (RLS) и безопасностью уровня объектов (OLS), а также обеспечивают контроль доступа к конфиденциальной информации. Общий доступ также обеспечивает безопасный и демократизированный процесс принятия решений в организации.

Предоставляя общий доступ, пользователи предоставляют другим пользователям или группе пользователей доступ к зеркальной базе данных без предоставления доступа к рабочей области и остальным его элементам. Когда кто-то использует зеркальную базу данных, они также предоставляют доступ к конечной точке аналитики SQL.

Дополнительные сведения см. в статье "Общий доступ к зеркальной базе данных" и управление разрешениями.

Запросы между базами данных

Используя данные, хранящиеся в зеркальной базе данных в OneLake, вы можете выполнять кросс-базовые запросы, объединяя данные из зеркальных баз данных, хранилищ данных и SQL-аналитических конечных точек Лейкхаусов в одном T-SQL запросе. Дополнительные сведения см. в разделе "Создание кросс-базового запроса".

Например, можно ссылаться на таблицу из зеркальных баз данных и хранилищ с помощью трехкомпонентного именования. В следующем примере используйте трехкомпонентное имя для ссылки на ContosoSalesTable в хранилище ContosoWarehouse. Из других баз данных или хранилищ первая часть стандартного соглашения об именовании sql с тремя компонентами — это имя зеркальной базы данных.

SELECT * 
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;

Стоимость зеркального отображения

Для зеркального отображения базы данных и открытого зеркального отображения вычислительные ресурсы Fabric и хранилище OneLake предоставляются бесплатно до достижения ограничения на основе емкости.

  • Хранилище для реплик предоставляется бесплатно до определённого лимита, зависимого от объёма хранилища. Зеркалирование предлагает один терабайт репликационного хранилища бесплатно для каждой единицы емкости (CU), которую вы приобрели. Например, при покупке емкости F64 вы получаете 64 бесплатных терабайтов для хранения, которые используются исключительно для зеркального отображения. Плата за хранилище OneLake взимается, если превышено ограничение на бесплатное зеркалирование или когда емкость приостанавливается. Дополнительные сведения см. в разделе "Цены на Microsoft Fabric".
  • Вычисления Background Fabric, используемые для репликации данных в Fabric OneLake, бесплатны и не используют емкость. Запросы напрямую к OneLake для зеркальных данных потребляют вычислительные ресурсы аналогично обычному потреблению OneLake. Затраты на вычислительные ресурсы для запроса данных с помощью SQL, Power BI или Spark взимаются по стандартным тарифам.
  • Для первоначальной настройки системы зеркалирования требуется активная емкость Fabric.

Инжиниринг данных с данными зеркальной базы данных

Microsoft Fabric предоставляет различные возможности инженерии данных, чтобы обеспечить, что данные были легко доступны, хорошо организованы и обладали высоким качеством. С помощью Fabric Data Engineering можно:

  • Создавайте и управляйте данными с использованием Spark и lakehouse
  • Проектирование конвейеров для копирования данных в Lakehouse
  • Использование определений заданий Spark для отправки задания пакетной или потоковой передачи в кластер Spark
  • Использование записных книжек для записи кода для приема данных, подготовки и преобразования

Обработка и анализ данных с зеркальными данными базы данных

Microsoft Fabric предлагает обработку и анализ данных Fabric, чтобы предоставить пользователям возможность выполнять комплексные рабочие процессы обработки и анализа данных для обогащения данных и бизнес-аналитики. Вы можете выполнить широкий спектр действий в рамках всего процесса обработки и анализа данных, вплоть до изучения, подготовки и очистки данных до экспериментирования, моделирования, оценки моделей и обслуживания прогнозных аналитических сведений до отчетов бизнес-аналитики.

Пользователи Microsoft Fabric могут получить доступ к рабочим нагрузкам обработки и анализа данных. Оттуда они могут обнаруживать и получать доступ к различным соответствующим ресурсам. Например, они могут создавать эксперименты машинного обучения, модели и записные книжки. Они также могут импортировать существующие записные книжки на домашней странице обработки и анализа данных.

Direct Lake с зеркальными данными базы данных

Режим Direct Lake можно использовать с зеркальными базами данных в Microsoft Fabric, чтобы обеспечить высокую производительность запросов по зеркальным данным без необходимости перемещения или дублирования данных. При создании зеркальной базы данных его данные хранятся в формате Delta Lake в OneLake. Этот собственный формат позволяет Power BI и другим средствам аналитики подключаться через режим Direct Lake, предлагая аналитические сведения практически в режиме реального времени, позволяя напрямую получать доступ к базовым файлам. Эта интеграция объединяет простоту зеркального отражения со скоростью и масштабируемостью Direct Lake, обеспечивая быстрые и актуальные отчеты по операционным данным.

Хранение зеркальных данных

Зеркальное отображение в Fabric постоянно реплицирует существующее пространство данных в OneLake в формате таблицы Delta Lake. Чтобы зеркальные данные хранились эффективно и всегда были готовы для анализа, зеркальное хранение автоматически запускает вакуум для удаления старых файлов, на которые больше не ссылается Delta-журнал.

Вы можете настроить параметр хранения в соответствии с вашими требованиями. Например, можно выбрать более короткий период хранения, чтобы уменьшить потребление зеркального хранилища или продлить срок хранения, чтобы использовать возможности перемещения по времени Delta для аналитики.

Для зеркальных баз данных, созданных на портале Fabric после середины июня 2025 года, срок хранения по умолчанию составляет один день. Для старых зеркальных баз данных значение по умолчанию — семь дней. Чтобы проверить или обновить параметр хранения, на портале Fabric перейдите на вкладку ">Параметры> - Обслуживание" зеркальной базы данных и укажите пороговое значение хранения. Вы также можете настроить его с помощью общедоступногоretentionInDays API, указав свойство.

База данных SQL в Fabric

Вы также можете напрямую создать базу данных SQL в Microsoft Fabric и управлять ею на портале Fabric. На основе базы данных Azure SQL база данных SQL в Fabric автоматически дублируется для аналитических целей и позволяет легко создавать рабочую базу данных в Fabric. База данных SQL является основной средой в системе Fabric для OLTP задач и может интегрироваться с интеграцией системы управления версиями Fabric.

Связанный контент

  • Last updated on