Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Mirroring в Fabric предоставляет простой способ избежать сложного процесса использования ETL (извлечение, преобразование, загрузка) и для интеграции существующих данных вашего хранилища Snowflake с остальными данными в Microsoft Fabric. Вы можете непрерывно реплицировать существующие данные Snowflake непосредственно в OneLake Fabric. В среде Fabric можно разблокировать мощные сценарии бизнес-аналитики, искусственного интеллекта, инженерии данных, науки о данных и обмена данными.
Руководство по настройке базы данных Snowflake для зеркального отображения в Fabric см. в разделе Tutorial: настройка зеркальных баз данных Microsoft Fabric из Snowflake.
Зачем использовать зеркальное отображение в Fabric?
При использовании зеркалирования в Fabric вам не нужно объединять различные службы от множества поставщиков. Вместо этого вы можете наслаждаться высоко интегрированным, комплексным и простым продуктом, который предназначен для упрощения потребностей аналитики, и построен для открытости и совместной работы между Корпорацией Майкрософт, Snowflake и 1000-ми технологическими решениями, которые могут читать формат таблицы Delta Lake с открытым исходным кодом.
Какие возможности аналитики встроены?
Зеркальные базы данных — это элемент в Fabric Data Warehousing, отличающийся от хранилища и конечной точки аналитики SQL.
Зеркальное отображение создает эти элементы в рабочей области Fabric:
- Элемент зеркальной базы данных. Это открывает возможности для таких сценариев, как инженерия данных, анализ данных и многое другое. Управление зеркальным отображением:
- Репликация данных управляемых таблиц и представлений в OneLake и преобразование в формат Parquet, готовый для аналитики.
- Репликация метаданных таблиц Iceberg в OneLake с использованием ярлыков на хранилище, содержащее ваши таблицы Iceberg, и преобразования в это хранилище. OneLake автоматически преобразует эти таблицы Iceberg в форматированные таблицы Delta Lake для использования в рабочих нагрузках Fabric.
- Конечная точка аналитики SQL
Это важно
Поддержка таблицы Айсберга: если вы решили зеркально отображать таблицы Айсберга, необходимо предоставить подключение к базовому хранилищу, содержащее данные таблицы Iceberg. Только таблицы Iceberg, доступные через одно и то же подключение к хранилищу, можно зеркалировать вместе. Чтобы найти расположение хранения для таблицы Айсберга, выполните системную функцию SYSTEM$GET_ICEBERG_TABLE_INFORMATION в Snowflake. Дополнительные сведения см. в Руководстве: настройка зеркальных баз данных Microsoft Fabric из Snowflake.
Каждая зеркальная база данных имеет автоматически созданную конечную точку аналитики SQL , которая обеспечивает широкий аналитический интерфейс поверх разностных таблиц, созданных процессом зеркального отображения. У пользователей есть доступ к знакомым командам T-SQL, которые могут определять и запрашивать объекты данных, но не управлять данными из конечной точки аналитики SQL, так как это копия только для чтения. В конечной точке аналитики SQL можно выполнить следующие действия:
- Изучите таблицы, ссылающиеся на данные в таблицах Delta Lake из Snowflake.
- Не создавайте запросы и представления кода и визуально просматривайте данные без написания строки кода.
- Разрабатывать представления SQL, встроенные ТВФ (табличные функции) и хранимые процедуры для инкапсуляции вашей семантики и бизнес-логики в T-SQL.
- Управление разрешениями для объектов.
- Выполняйте запросы данных в других хранилищах и Lakehouse в том же рабочем пространстве.
Помимо редактора запросов SQL, Существует широкая экосистема инструментов, которая может запрашивать конечную точку аналитики SQL, включая SQL Server Management Studio (SSMS), расширение MSSQL для Visual Studio Code и даже GitHub Copilot.
Поддерживаемые типы объектов Snowflake
В следующей таблице перечислены типы объектов Snowflake, поддерживаемые для зеркального отображения:
| Тип объекта | Поддерживается | Notes |
|---|---|---|
| Управляемые таблицы | Yes | Полностью поддерживается для репликации |
| Таблицы Айсберга | Yes | Требуется подключение к базовому хранилищу таблиц Iceberg. Вы можете зеркалировать только таблицы Iceberg, к которым можно получить доступ через то же подключение к хранилищу. |
| Views | Yes | Поддержка синхронизации каждые 12 часов |
| Материализованные представления | Yes | Поддержка синхронизации каждые 12 часов |
| Внешние таблицы | нет | Не поддерживаются |
| Временные таблицы | нет | Не поддерживаются |
| Временные таблицы | нет | Не поддерживаются |
| Динамические таблицы | нет | Не поддерживаются |
Вопросы безопасности
Чтобы включить зеркальное отображение Fabric, вам потребуются разрешения пользователя для базы данных Snowflake, содержащей следующие разрешения:
CREATE STREAMSELECT tableSHOW tablesDESCRIBE tables
Дополнительные сведения см. в документации по Snowflake о привилегиях управления доступом для потоковых таблиц и необходимых разрешениях для потоков.
Это важно
Все детализированные средства безопасности, установленные в исходном хранилище Snowflake, необходимо повторно настроить в зеркальной базе данных в Microsoft Fabric. Для получения дополнительной информации см. раздел SQL-гранулярные права в Fabric Data Warehouse.
Поддерживаемые методы проверки подлинности
В следующей таблице перечислено, какие методы аутентификации поддерживаются для зеркалирования в Snowflake:
| Метод аутентификации | Поддерживается | Notes |
|---|---|---|
| Имя пользователя и пароль | Yes | Собственная аутентификация Snowflake |
| Microsoft Entra ID (SSO) | Yes | Единый вход с помощью Entra ID |
| Проверка подлинности пары ключей | Yes | Пара ключей RSA для сценариев с использованием учетной записи службы |
| Идентичность рабочей области | нет | В настоящее время не поддерживается для Snowflake |
Зеркальное отображение Snowflake за брандмауэром
Проверьте требования к сети для доступа к источнику данных Snowflake. Если источник данных Snowflake не является общедоступным и находится в частной сети, создайте шлюз данных виртуальной сети или установите локальный шлюз данных для зеркального отображения данных. Сеть Azure Virtual Network или сеть шлюзового устройства должны подключаться к экземпляру Snowflake через частную конечную точку или могут быть разрешены правилом брандмауэра. Сведения о начале работы см. в статье Tutorial: настройка зеркальных баз данных Microsoft Fabric из Snowflake.
Приватный канал и идентичность рабочей области:
- Приватный канал. Прямое подключение Приватный канал между рабочей областью Fabric и Snowflake пока не поддерживается. В промежуточном режиме используйте шлюз данных виртуальной сети или локальный шлюз данных для частного подключения.
- Удостоверение личности рабочей области: аутентификация с использованием удостоверения личности рабочей области в настоящее время не поддерживается для зеркалирования Snowflake.
Учет затрат для зеркальной Snowflake
Вычисления Fabric, используемые для репликации данных в Fabric OneLake, бесплатны. Стоимость хранилища при зеркалировании предоставляется бесплатно до определенного предела, зависящего от емкости. Дополнительные сведения см. в разделе стоимость зеркального отображения и Цены на Microsoft Fabric. Вычисления для запроса данных с помощью SQL, Power BI или Spark взимаются по стандартным тарифам.
Fabric не взимает оплату за входящий сетевой трафик в OneLake для функции зеркального отображения.
Существуют затраты на вычисления Snowflake и на облачные запросы, когда данные зеркалируются: вычисления виртуального хранилища и вычисления облачных служб.
- Плата за вычислительные ресурсы виртуального хранилища Snowflake:
- Плата за вычислительные ресурсы взимается на стороне Snowflake, если имеются изменения в данных, которые считываются из Snowflake и, в свою очередь, реплицируются в Fabric.
- Все запросы метаданных выполняются в фоновом режиме для проверки изменений данных, и плата за вычислительные ресурсы Snowflake не взимается; однако запросы, которые создают такие данные, как
SELECT *, пробуждают хранилище Snowflake, и за вычисления взимается плата.
- Плата за вычислительные ресурсы служб Snowflake:
- Несмотря на то, что не взимается плата за вычисления для таких задач, как разработка, запросы метаданных, управление доступом, отображение изменений данных и даже запросов DDL, существуют облачные затраты, связанные с этими запросами.
- В зависимости от версии Snowflake, вам будут предъявляться счета за соответствующие кредиты за использование облачных сервисов.
На следующем снимке экрана вы увидите затраты на вычислительные ресурсы виртуального хранилища и облачные службы для связанной базы данных Snowflake, которая зеркально отображается в Fabric. В этом сценарии основная часть вычислительных затрат облачных служб (выделенные желтым) исходит из запросов на изменение данных, основанных на ранее упомянутых пунктах. Затраты на вычислительные ресурсы виртуального хранилища (на диаграмме выделены синим) обусловлены тем, что изменения данных считываются из Snowflake и зеркально отображаются в Fabric.
Рекомендации по оптимизации затрат
Чтобы свести к минимуму затраты на вычислительные ресурсы в Snowflake при зеркалировании, придерживайтесь следующих рекомендаций.
- Повторное использование существующего хранилища. Вместо создания отдельного хранилища для зеркального отображения настройте зеркальное отображение так, чтобы оно использовало то же хранилище, которое ваши приложения уже используют для обновления исходных таблиц. Этот подход позволяет избежать ненужных циклов пробуждения и автоматической приостановки хранилища. Когда приложение обновляет таблицу, репликатор зеркалирования почти сразу подхватывает изменения, пока хранилище остается активным, поэтому вам не нужно отдельно запускать другое хранилище. Некоторые организации могут предпочесть выделенное хранилище для изоляции бюджета. Это компромисс между экономией затрат и степенью детализации бюджета.
- Зеркалируйте только те таблицы, которые вам нужны. Зеркалирование всей базы данных может привести к неожиданно высокому потреблению ресурсов Snowflake и резким скачкам использования емкости Fabric. Начните с выбора только таблиц, необходимых для сценариев аналитики. Вы можете добавить таблицы позже.
- Отслеживайте непредвиденные изменения. Повторное заполнение (полная перезагрузка данных) обрабатывает всю таблицу и влечет за собой затраты на вычисления, пропорциональные размеру таблицы. Изменения схемы, включая те, которые активируются такими инструментами, как DBT, могут вызывать непрерывные изменения. Отслеживайте страницу состояния зеркального отображения для таблиц, демонстрирующих повторяющееся поведение первоначального копирования, и просмотрите раздел "Повторное отображение" ниже для триггеров и рекомендаций по устранению неполадок.
- Имейте в виду, что зеркалирование выполняется постоянно. Зеркалирование пока не поддерживает планирование и окна репликации. Репликатор постоянно проверяет наличие изменений, что приводит к постоянному потреблению вычислительных ресурсов Snowflake. Спланируйте бюджеты Snowflake соответствующим образом.
Дополнительные сведения о затратах на облачные запросы Snowflake см. в документации по Snowflake: общие сведения о затратах.