Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Отражение данных в Fabric — это малозатратное и низкозадержное решение, которое объединяет данные из различных систем в единую аналитическую платформу. Вы можете непрерывно реплицировать существующее хранилище данных непосредственно в OneLake Fabric из различных баз данных Azure и внешних источников данных.
С самыми актуальными данными в формате данных, доступном для запросов в OneLake, вы можете использовать все различные службы в Fabric, такие как выполнение аналитики с помощью Spark, запуск блокнотов, инженерия данных, визуализация с помощью отчетов Power BI и многое другое.
Используя зеркальное отображение в Fabric, вы получаете высоко интегрированный, комплексный и простой продукт, упрощающий потребности аналитики. Зеркальное отображение предназначено для обеспечения открытости и совместной работы между Microsoft и технологическими решениями, которые могут читать формат таблицы Delta Lake с открытым исходным кодом. Это готовое к использованию решение с низкой стоимостью и низкой задержкой, которое создает реплику данных в OneLake для всех ваших нужд в области аналитики.
Вы можете использовать Delta tables в любой среде Fabric, что помогает ускорить внедрение в Fabric.
Вы можете включить зеркальное отображение, создав безопасное подключение к рабочему источнику данных. Вы выбираете, следует ли реплицировать всю базу данных или отдельные таблицы, а зеркальное отображение автоматически сохраняет данные в синхронизации. После настройки данные непрерывно реплицируются в OneLake для потребления аналитики.
Зачем использовать зеркальное отображение в Fabric?
Сегодня многие организации имеют критически важные операционные или аналитические данные, сидящие в силосах.
Для доступа к этим данным и работы с ними требуются сложные конвейеры ETL (извлечение, преобразование, загрузка), бизнес-процессы и сегментированные структуры для принятия решений, создавая:
- Ограниченный и ограниченный доступ к важным, постоянно изменяющимся данным
- Трение между людьми, процессами и технологиями
- Длительное время ожидания для создания конвейеров и процессов для критически важных данных
- Нет свободы использовать инструменты, необходимые для анализа и комфортного обмена результатами.
- Отсутствие надлежащей основы для людей для совместного использования и совместной работы с данными
- Нет общих форматов открытых данных для всех аналитических сценариев : BI, AI, Integration, Engineering и даже Apps
Отражение в Fabric обеспечивает простой способ ускорить получение пользы от аналитических данных и решений, а также устранить изоляцию данных между технологическими решениями.
- Репликация данных и метаданных почти в режиме реального времени в SaaS-озеро данных с встроенной аналитикой для BI и искусственного интеллекта
Платформа Microsoft Fabric построена на основе программного обеспечения как услуги (SaaS), выводя простоту и интеграцию на совершенно новый уровень. Дополнительные сведения о Microsoft Fabric см. в статье Что такое Microsoft Fabric?
Ниже приведены основные основы зеркального отображения.
Включение зеркального отображения в Fabric является простым и интуитивно понятным, без необходимости создавать сложные конвейеры ETL, выделять другие вычислительные ресурсы или управлять перемещением данных.
Зеркальное отображение в Fabric — это полностью управляемая служба, поэтому вам не нужно беспокоиться о размещении, обслуживании или управлении репликацией зеркального подключения.
Зеркальные объекты
Зеркальное отображение создает эти элементы в рабочей области Fabric:
- Процесс, который управляет репликацией данных и метаданных в OneLake и преобразованием в Parquet в формате, готовом к аналитике. Этот процесс обеспечивает последующие сценарии, такие как инжинирия данных, наука о данных и другие.
- Конечная точка аналитики SQL
Помимо редактора запросов SQL существует широкая экосистема инструментов, включая SQL Server Management Studio (SSMS),расширение MSSQL для Visual Studio Code и даже GitHub Copilot.
Общий доступ упрощает управление доступом и управлением разрешениями, поэтому вы можете защитить конфиденциальную информацию. Общий доступ также обеспечивает безопасный и демократизированный процесс принятия решений в организации.
Типы зеркального отображения
Microsoft Fabric предлагает три различных подхода для переноса данных в OneLake через зеркальное отображение.
- Зеркальное отображение базы данных . Зеркальное отображение базы данных в Fabric реплицирует все базы данных и таблицы, чтобы объединить данные из различных систем в одну платформу аналитики.
- Зеркальное отображение метаданных — зеркальное отображение метаданных в Fabric синхронизирует метаданные (например, имена каталогов, схемы и таблицы) вместо физического перемещения данных. Этот подход использует сочетания клавиш, гарантируя, что данные остаются в источнике и по-прежнему легко доступны в Fabric. Так как зеркальное отображение метаданных использует сочетания клавиш OneLake, оно также поддерживает совместное использование данных между клиентами. Организации могут использовать динамические, управляемые данные из других клиентов с помощью сочетаний клавиш, не копируя данные или создавая конвейеры ETL.
- Открытое зеркальное отображение в Fabric предназначено для расширения зеркального отображения на основе открытого формата таблицы Delta Lake. Эта возможность позволяет любому разработчику записывать данные об изменении приложения непосредственно в зеркальный элемент базы данных в Fabric на основе открытого подхода зеркального отображения и общедоступных API.
В настоящее время доступны следующие внешние базы данных:
Репликация практически в режиме реального времени
Для зеркального отображения базы данных и открытого зеркального отображения репликация практически в режиме реального времени может зависеть от различных факторов, в том числе:
- Расположение или регион источника
- Расположение или регион назначения
- Объем изменений
- Частота изменений
- Пропускная способность сети и задержка от источника
- Вычислительные ресурсы, выделенные локальному шлюзу данных
Замечание
Зеркальное отображение метаданных не реплицирует данные. Вместо этого он использует сочетания клавиш OneLake для ссылки на исходные данные. Задержка зеркального отображения метаданных отражает время доступа к исходной системе и производительность ярлыка, а не скорость репликации данных.
Как работает зеркальное отображение базы данных?
Дельта-файлы поступают инкрементально в Fabric из источника данных. Метод определения добавочных измененных данных зависит от каждого источника данных. Например, в SQL Server 2025 году SQL Database Engine сканирует журнал транзакций исходной базы данных с высокой частотой. SQL Server публикует изменения для каждой таблицы в соответствующих файлах в области назначения Fabric.
Внутри Fabric движок репликации всегда работает и с высокой частотой сканирует на наличие недавно опубликованных файлов. Структура немедленно объединяет входящие изменения в целевую разностную таблицу. Изменения можно публиковать так быстро, как каждые 15 секунд.
Логика отката, которая обнаруживает низкую активность, позволяет избежать чрезмерной нагрузки на подсистемы источников данных за пределами Структуры и снижает задержку, отвечая на частоту входящих изменений данных.
Как работает зеркальное отображение метаданных?
Зеркальное отображение метаданных ссылается на исходные данные с помощью сочетаний клавиш OneLake вместо репликации, сохраняя одну версию истины без дублирования и без ETL. Зеркальное отображение в этом контексте синхронизирует только метаданные (имена каталогов, схемы и таблицы), а не фактические данные. Этот подход позволяет Fabric создавать данные из разных источников, не копируя их, упрощая управление данными и минимизируя потребности в хранении.
Например, при доступе к данным, зарегистрированным в каталоге Unity, Fabric зеркально отражает только структуру каталога из Azure Databricks, позволяя доступ к базовым данным через ярлыки. Этот метод гарантирует, что любые изменения в исходных данных мгновенно отражаются в Fabric без необходимости перемещения данных, поддержания синхронизации в режиме реального времени и повышения эффективности доступа к данным up-to-date.
Как работает открытое зеркальное отображение?
Помимо включения репликации данных путем создания безопасного подключения к источнику данных, зеркалирование позволяет выбрать существующего поставщика данных или разработать собственное приложение для загрузки данных в зеркальную базу данных. При создании открытой зеркальной базы данных с помощью публичного API или портала Fabric вы получите URL-адрес целевой зоны в OneLake, где можно размещать измененные данные в соответствии с требованиями открытой зеркализации.
После того как данные находятся в посадочной зоне с соответствующим форматом, репликация запускается и управляет сложностью объединения изменений, включая обновления, вставки и удаления, которые будут отражены в дельта-таблицах. Этот метод гарантирует, что все данные, записанные в зону приземления, немедленно отображаются, поддерживая актуальность данных в Fabric.
Общий доступ
Совместное использование упрощает контроль и управление доступом. Элементы управления безопасностью, такие как безопасность на уровне строк (RLS), безопасность на уровне объектов (OLS) и многое другое гарантирует, что вы можете управлять доступом к конфиденциальной информации. Общий доступ также обеспечивает безопасный и демократизированный процесс принятия решений в организации.
Предоставляя общий доступ, пользователи предоставляют другим пользователям или группе пользователей доступ к зеркальной базе данных без предоставления доступа к рабочей области и остальным его элементам. Когда кто-то использует зеркальную базу данных, они также предоставляют доступ к конечной точке аналитики SQL.
Вы также можете совместно использовать зеркальные базы данных и данные, доступные с помощью сочетаний клавиш через границы клиента с помощью внешнего общего доступа к данным OneLake. Совместное использование между клиентами создает ярлык только для чтения в клиенте потребителя, поэтому обе организации работают с одинаковыми динамическими данными без дублирования.
Дополнительные сведения см. в статье "Общий доступ к зеркальной базе данных" и управление разрешениями.
Запросы между базами данных
Используя данные из зеркальной базы данных, хранящиеся в OneLake, можно создавать кросс-базовые запросы, объединяя данные из зеркальных баз данных, хранилищ и конечных точек аналитики SQL Lakehouses в одном запросе T-SQL. Дополнительные сведения см. в разделе "Создание кросс-базового запроса".
Например, можно ссылаться на таблицу из зеркальных баз данных и хранилищ с помощью трехкомпонентного именования. В следующем примере используйте трехкомпонентное имя для ссылки на ContosoSalesTable в хранилище ContosoWarehouse. Из других баз данных или хранилищ первая часть стандартного соглашения об именовании sql с тремя компонентами — это имя зеркальной базы данных.
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
Стоимость зеркального отображения
Для зеркального отображения базы данных и открытого зеркального отображения вычислительные ресурсы Fabric и хранилище OneLake предоставляются бесплатно до достижения ограничения на основе емкости.
- Хранилище для реплик предоставляется бесплатно до определённого лимита, зависимого от объёма хранилища. Зеркальное отображение предоставляет бесплатный терабайт хранилища зеркального отображения для каждой приобретенной единицы емкости (CU). Например, при покупке емкости F64 вы получаете 64 бесплатных терабайтов для хранения, которые используются исключительно для зеркального отображения. Вы платите за хранилище OneLake, если превышаете лимит бесплатного зеркального хранилища или когда его использование приостановлено. Для получения дополнительной информации см. Цены на Microsoft Fabric.
- Вычисления Background Fabric, используемые для репликации данных в Fabric OneLake, бесплатны и не используют емкость. Запросы напрямую к OneLake для зеркальных данных потребляют вычислительные ресурсы аналогично обычному потреблению OneLake. Расчеты для выполнения запросов данных с использованием SQL, Power BI или Spark оплачиваются по стандартным тарифам.
- Для начальной настройки зеркального отображения требуется только запущенная емкость Fabric.
Инженерия данных с данными вашей зеркальной базы данных
Microsoft Fabric предоставляет различные возможности проектирования данных, чтобы гарантировать, что данные легко доступны, хорошо организованы и высококачествены. С помощью Fabric Data Engineering можно:
- Создавайте и управляйте данными с использованием Spark и lakehouse
- Проектирование конвейеров для копирования данных в Lakehouse
- Использование определений заданий Spark для отправки пакетного или потокового задания в кластер Spark
- Использование записных книжек для записи кода для приема данных, подготовки и преобразования
Наука о данных с использованием зеркальных данных базы данных
Microsoft Fabric предлагает обработку и анализ данных Fabric, чтобы пользователи могли выполнять комплексные рабочие процессы обработки и анализа данных для обогащения данных и бизнес-аналитики. Вы можете выполнить широкий спектр действий по всему процессу обработки и анализа данных, начиная с изучения данных, подготовки и очистки до экспериментирования, моделирования, оценки модели и обслуживания прогнозных аналитических сведений в отчетах бизнес-аналитики.
Microsoft Fabric пользователи могут получить доступ к рабочим нагрузкам Data Science. Оттуда они могут обнаруживать и получать доступ к различным соответствующим ресурсам. Например, они могут создавать эксперименты машинного обучения, модели и записные книжки. Они также могут импортировать существующие записные книжки на домашней странице обработки и анализа данных.
Direct Lake с зеркальными данными базы данных
Режим Direct Lake можно использовать с зеркальными базами данных в Microsoft Fabric, чтобы обеспечить высокую производительность запросов по зеркальным данным без необходимости перемещения или дублирования данных. При создании зеркальной базы данных его данные хранятся в формате Delta Lake в OneLake. Этот собственный формат позволяет Power BI и другим средствам аналитики подключаться через режим Direct Lake, предоставляя практически аналитические сведения в режиме реального времени путем прямого доступа к базовым файлам. Эта интеграция объединяет простоту зеркального отражения со скоростью и масштабируемостью Direct Lake, обеспечивая быстрые и актуальные отчеты по операционным данным.
Хранение зеркальных данных
Зеркальное отображение в Fabric постоянно реплицирует существующее пространство данных в OneLake в формате таблицы Delta Lake. Чтобы зеркальные данные хранились эффективно и всегда были готовы для анализа, зеркальное хранение автоматически запускает вакуум для удаления старых файлов, на которые больше не ссылается Delta-журнал.
Вы можете настроить параметр хранения в соответствии с вашими требованиями. Например, можно выбрать более короткий период хранения, чтобы уменьшить потребление зеркального хранилища или продлить срок хранения, чтобы использовать возможности перемещения по времени Delta для аналитики.
Для зеркальных баз данных, созданных на портале Fabric после середины июня 2025 года, срок хранения по умолчанию составляет один день. Для старых зеркальных баз данных значение по умолчанию — семь дней. Чтобы проверить или обновить параметр хранения, на портале Fabric перейдите на вкладку управления зеркальной базой данных -> ->Delta table management и укажите порог хранения. Вы также можете настроить его с помощью общедоступногоretentionInDays API, указав свойство.
База данных SQL в Fabric
Вы также можете напрямую создать базу данных SQL в Microsoft Fabric на портале Fabric. На основе Azure SQL Database база данных SQL в Fabric автоматически реплицирует данные для анализа, и вы можете легко создать свою операционную базу данных в Fabric. База данных SQL является основной средой в Fabric для рабочих нагрузок OLTP, и она может интегрироваться с интеграцией системы управления версиями Fabric.