Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В этой статье представлены распространённые паттерны OneLake и возможности платформы, которые можно использовать для их реализации. Используйте информацию из этой статьи, чтобы подумать, как вы хотите организовать среду данных, а затем выберите шаблоны, которые соответствуют вашим бизнес-— техническим и управленческим потребностям.
Каждый шаблон описывает, как организовать данные и владение для достижения конкретной архитектурной цели. Чтобы реализовать паттерн, вы объединяете одну или несколько базовых возможностей OneLake — виртуализацию данных, совместимость открытых данных, централизованное управление, интегрированную аналитику и ИИ. Каждая функция, в свою очередь, опирается на конкретные функции продукта , такие как ярлыки, зеркалирование, безопасность OneLake и режим Direct Lake. Одни и те же возможности и особенности часто встречаются в нескольких узорах.
Note
Эта статья основана на закономерностях, выявленных в архитектурной белой книге OneLake.
Рассматривайте эти пять узоров как строительные элементы для вашего дизайна OneLake. Большинство локаций сочетают несколько элементов. Выбирайте выкройки, которые соответствуют вашим целям:
- Унифицированный доступ к данным с минимальной репликацией — используйте OneLake для предоставления данных из многих исходных систем без их копирования.
- Архитектура Medallion (бронза, серебро, золото) — организует данные так, чтобы они проходили через три уровня качества: от сырого поступления до сертифицированных бизнес-готовых данных.
- Доменно-ориентированная сетка данных на общей платформе — позволяет бизнес-доменам владеть и публиковать собственные продукты данных на единой управляемой основе.
- Консолидация платформ для аналитики и ИИ — настройте аналитику, науку о данных и ИИ для работы на одной копии данных.
- Внешний обмен данными между организациями — предоставить партнерам и клиентам доступ к данным OneLake без экспорта или дублирования копий.
Унифицированный доступ к данным с минимальной репликацией
Если ваши данные распределены по нескольким облакам, локальным системам или внешним озёрам, скопировать всё в одном месте может быть непрактично — или даже невозможно. Унифицированный доступ к данным с минимальным шаблоном репликации рассматривает OneLake как единый логический слой данных между этими источниками. Вместо того чтобы создавать конвейеры приема данных для каждого источника, вы используете ссылки, чтобы обращаться к данным там, где они хранятся, а зеркалирование — когда нужна синхронизированная копия, оптимизированная для запросов.
Используйте этот шаблон, когда:
- Ваши данные распределены по нескольким облакам, локальным системам или внешним озёрам.
- Репликация данных в централизованное хранилище привела бы к чрезмерным затратам на хранение, повышенной задержке или издержкам, связанным с соблюдением нормативных требований.
- Вам нужно быстро подключать новые источники без создания полноценных ETL-пайплайнов (извлечения, преобразования и загрузки данных).
- Вы хотите сохранить инвестиции в существующие базы данных, хранилища и операционные хранилища.
Применить унифицированный доступ к данным
Чтобы воплотить эту модель на практике, начните с двух основных подходов к доступу к данным, которые не требуют создания или управления процессами перемещения данных: виртуализация делает исходные данные доступными через OneLake без их копирования, а зеркалирование с нулевой ETL приводит управляемую платформой синхронизированную копию в OneLake в виде аналитических таблиц Delta. Используйте инструменты перемещения данных Fabric только тогда, когда эти подходы не поддерживают исходник или не соответствуют вашим требованиям. Для получения дополнительных рекомендаций по выбору и комбинированию этих подходов см. Унификация данных с помощью ярлыков OneLake и зеркалирования.
Проведите инвентаризацию ваших источников данных, чтобы определить, к какому из них OneLake может получить доступ с помощью виртуализации или зеркалирования без ETL: облачное хранилище объектов, внешние каталоги, операционные базы данных и Dataverse. Пометьте оставшиеся источники как требующие подхода к перемещению данных.
Выберите правильный способ доступа к данным для каждого поддерживаемого источника. Предпочитаю виртуализацию, если исходный код поддерживает доступ без копирования. Используйте зеркалирование с нулевой ETL, когда исходнику требуется синхронизированная копия, оптимизированная для запросов:
| Исходные данные | Как к нему получить доступ | Обработка данных |
|---|---|---|
| Облачное объектное хранилище (Azure Data Lake Storage 2-го поколения, Amazon S3, Google Cloud Storage) и совместимое с S3 локальное хранилище | Ярлыки | Виртуализация: делает исходные данные доступными без их копирования |
| Данные управляются во внешнем каталоге, который вы хотите сделать доступными без копирования (например, Azure Databricks Unity Catalog) | Зеркалирование метаданных — синхронизирует только метаданные каталога (схемы, таблицы) и получает доступ к исходным данным через ярлыки | Виртуализация: делает исходные данные доступными без их копирования |
| Операционные базы данных, которым требуется копирование с оптимизацией для запросов (База данных SQL Azure, Azure Cosmos DB, Snowflake, PostgreSQL, SQL Server 2025, Oracle Database, Google BigQuery) | Зеркалирование базы данных, или открытое зеркалирование для поддерживаемых индивидуальных и партнёрских решений | Zero-ETL зеркалирование: Создаёт синхронизированную дельта-копию |
| Dataverse (данные Dynamics 365 и Power Platform) | Ярлыки или Ссылка на Microsoft Fabric для доступа без копирования | Виртуализация: делает исходные данные доступными без их копирования |
При необходимости трансформируйте исходные данные. Преобразования ярлыков могут обрабатывать поддерживаемые файлы, открытые с помощью ярлыка, независимо от того, хранятся ли они внешне или уже в OneLake. Используйте файловые преобразования shortcut, чтобы преобразовывать структурированные файлы в таблицы Delta, или AI-преобразования shortcut, чтобы обрабатывать неструктурированный текст. Преобразования с использованием ярлыков создают преобразованный вывод Delta и поддерживают его синхронизацию с данными, на которые ссылается ярлык.
Используйте инструменты перемещения данных Fabric, если виртуализация и зеркалирование не поддерживают исходный код или когда нужны сложные преобразования, оркестрация, запланированная частота движения или потоковое внесение. Чтобы выбрать между конвейерами, потоками данных, заданиями копирования и потоками событий, см. статью «Выбор стратегии перемещения данных».
Если вы всё же выбираете перемещение данных, сохраняйте скопированные данные в открытом табличном формате, например Delta Parquet или Iceberg. Зеркалирование и преобразования сочетаний клавиш уже создают выходные данные Delta. Использование открытых форматов сохраняет виртуализированные данные, синхронизированные копии и преобразованный вывод Delta доступными для чтения движками Fabric и внешними платформами.
Указывайте причину каждый раз, когда создаёте синхронизированную копию, преобразованные выходные данные Delta или копию с помощью инструментов перемещения данных Fabric. Эта запись сохраняет возможность проверки решения. Создавайте копию только тогда, когда источнику нужен физический, оптимизированный для запросов макет или он не может виртуально соответствовать вашим требованиям по свежести, затратам на трансформацию, соответствию или обработке.
Примените безопасность OneLake к данным, доступным через OneLake, чтобы те же политики охватывали виртуализированные данные, синхронизированные копии и трансформированные выводы Delta.
Утвердите и опишите полученные объекты данных в каталоге OneLake, чтобы пользователи могли находить их и доверять им.
Возможности унифицированного доступа к данным
-
Виртуализация данных и зеркалирование с нулевой ETL — Показывайте данные, находящиеся в других системах и облаках, через ссылки без копирования или синхронизированные копии, готовые к аналитике. Функции:
- Ярлыки делают исходные данные доступны в OneLake без их копирования.
- Зеркалирование метаданных синхронизирует метаданные внешнего каталога и обеспечивает доступ к исходным данным с помощью ярлыков.
- Преобразования файлов с помощью ярлыков и ИИ-преобразования с помощью ярлыков преобразуют исходные данные в синхронизированные выходные данные Delta.
-
Централизованное управление — применяйте последовательную безопасность и обнаружение к виртуальным источникам, так же, как и к нативным данным OneLake. Функции:
- Безопасность OneLake и модель контроля доступа к данным применяют согласованные политики доступа к данным в OneLake.
- Каталог OneLake поддерживает поиск и сертификацию.
-
Совместимость открытых данных — Сохраняйте виртуализированные данные и копии, управляемые платформой, доступными для читаемости как движками Fabric, так и внешними платформами. Функции:
- Таблицы Iceberg в OneLake делают данные Iceberg доступными для Fabric и внешних движков.
- Delta Parquet — это открытый формат таблицы для хранения данных, готовых к аналитике.
- Доступ к OneLake и API позволяют внешним приложениям и инструментам получать доступ к данным OneLake.
Медальонная архитектура (бронза, серебро, золото)
Предоставление данных в OneLake — это только первый шаг. Исходные данные из исходных систем обычно небезопасны для прямого использования в аналитике или ИИ. Он часто содержит дублики, ошибки, несогласованные форматы или чувствительные поля. Когда несколько команд строят на одних и тех же исходных данных, им нужно иметь общее определение того, для чего доверяют каждому этапу данных.
Шаблон архитектуры медальона организует данные в OneLake в три уровня качества: бронзовый для необработанных неизменяемых исходных данных; серебро — за очищенные и согласованные данные; и золото — за сертифицированные, готовые для бизнеса таблицы и семантические модели. Каждый слой — это определённый этап, на который могут полагаться последующие потребители. Таблицы серебра и золота можно повторно использовать в BI, аналитике и ИИ, поэтому команды не восстанавливают ту же логику очистки или моделирования в отдельных инструментах.
Используйте этот шаблон, когда:
- Несколько команд работают с одними и теми же исходными данными и нуждаются в стабильно высоком качестве.
- Вам нужна прослеживаемая линия от исходных входов до сертифицированных выходов.
- Необходимо чёткое соглашение между командой дата-инжиниринга и потребителями аналитики или ИИ.
Для получения дополнительной информации об этой выкройке см. раздел «Понять архитектуру медальонов для Fabric с OneLake». В этой статье рассматриваются проектирование уровней, модели развертывания, форматы хранения, материализованные представления озера и оптимизация таблиц Delta.
Как её применять
Рабочий медальон строится на одной идее: каждый слой — это контракт с потребителями ниже по потоку, и данные переходят на следующий слой только после того, как соответствуют стандартам качества этого слоя.
Определите свои исходные источники и потребителей, которые зависят от сертифицированных данных.
Определите, что относится к каждому слою, и примените эти определения последовательно во всех областях:
Уровень Содержимое Типичные потребители Бронза Сырые, неизменные данные, полученные напрямую из источников без контроля схемы Инженеры по данным (ограниченный доступ) Серебро Очищено, удалены дубликаты и приведено в соответствие с общими бизнес-определениями Инженеры по данным и обученные аналитики Золото Тщательно подобранные, готовые для бизнеса таблицы и семантические модели Все потребители BI, аналитики и ИИ Каждый слой создавается с правильной нагрузкой Fabric — обычно Data Engineering (Spark) или Data Factory для бронзы и серебра, а также семантические модели Data Warehouse или Power BI для золота. Сохраняйте верность исходного кода в бронзе, используя оригинальный формат, ярлык для исходных данных, Parquet или Delta по мере необходимости. Используйте таблицы Delta для серебра и золота, чтобы рабочие нагрузки Fabric могли надёжно читать и записывать очищенные данные.
Применяйте политики доступа с учетом уровня. Используйте средства безопасности OneLake для поддерживаемых объектов и соответствующие разрешения Fabric и SQL для хранилищ. Ограничить доступ к бронзе, сделать серебро доступным аналитикам и предоставить доступ к золоту в зависимости от потребностей потребителей и стандартов наименьшей привилегии.
Используйте отобранные эталонные результаты для последующей аналитики. Постройте семантические модели золотого слоя в режиме Direct Lake, чтобы Power BI мог читать данные OneLake без создания импортированной копии и необходимости запланированных обновлений.
Подтвердите, что для каждого результата золотого слоя можно отследить происхождение через серебряный слой до его бронзовых источников. Затем поддержите таблицы с золотыми слоями и семантические модели, сертифицированные в каталоге OneLake. Эта валидация помогает потребителям определить, какие данные готовы к использованию в производстве.
Используйте эталонные семантические модели, чтобы ускорить создание онтологий Fabric IQ. Этот этап предоставляет агентам ИИ управляемый бизнес-контекст, основанный на сертифицированных данных.
Основные возможности
-
Интегрированная аналитика и искусственный интеллект — бронзовый, серебряный и золотой слои покрывают любую аналитическую и AI-нагрузку в OneLake без копий, специфичных для движка. Функции:
- Архитектура озёрного хранилища Medallion в OneLake содержит рекомендации по проектированию всех трёх слоёв.
- Режим Direct Lake позволяет семантическим моделям Power BI читать данные золотого слоя напрямую из OneLake.
- Рабочие нагрузки Fabric, такие как Проектирование данных и Хранилище данных, формируют и дорабатывают слои.
-
Централизованное управление — применяйте разные политики доступа и ограничения качества на каждом уровне, чтобы потребители видели только данные, соответствующие их роли. Функции:
- Безопасность OneLake обеспечивает соблюдение политик доступа с учетом уровней.
- Каталог OneLake поддерживает поиск и сертификацию с учетом уровней.
- Microsoft Purview применяет метки чувствительности и проводит аудит.
-
Совместимость открытых данных — храните слои в открытых форматах, чтобы внешние движки могли читать их вместе с Fabric. Функции:
- Delta Parquet — это формат открытой таблицы для хранения уточнённых данных слоёв.
- Таблицы айсбергов в OneLake делают слоевые данные доступными для совместимых с Iceberg движками.
- Доступ к OneLake и API позволяют внешним приложениям и инструментам получать доступ к данным уровня.
Доменно-ориентированная сетка данных на общей платформе
Если у вас несколько бизнес-команд, производящих и потребляющих данные, маршрутизация каждого запроса через одну центральную команду может замедлить доставку. Бизнес-команды часто лучше всего понимают свои данные и требования, но децентрализация владения без совместного управления может привести к непоследовательной безопасности, качеству и происхождению.
Доменно-ориентированный шаблон сетки данных даёт каждому бизнесу право владеть собственными продуктами данных, в то время как все домены следуют общим стандартам на основе OneLake. Каждый домен публикует собственные продукты данных, а другие домены получают к ним доступ через ярлыки и используют их в рабочих нагрузках аналитики и ИИ в Fabric. Централизованные политики идентификации, безопасности и управления применяются единообразно во всех сферах.
Используйте этот шаблон, когда:
- Единая центральная команда данных становится узким местом в процессе поставки.
- В разных бизнес-сферах есть разные данные, требования и частота релиза.
- Вам нужна чёткая ответственность за качество данных на уровне домена, не отказываясь от корпоративного управления.
Применить доменно-ориентированную сетку данных
Найдите правильный баланс между децентрализацией и последовательностью. Передайте право собственности на домен, который лучше всех знает данные, и сохраняйте централизацию идентичности, безопасности и родословной, чтобы продукты данных каждого домена соответствовали одинаковым стандартам.
Определите домены вашего бизнеса. Каждый домен должен представлять цельную область бизнеса с командой, которая может владеть и управлять его продуктами данных от конца до конца.
Создайте домен для каждой бизнес-области и назначьте ей рабочие пространства. Создать отдельный центральный домен для общей инфраструктуры и многоразовых корпоративных данных.
Определите стандарты продуктов данных, которым должен соответствовать каждый домен — например, требованиям к одобрению или сертификации, документированным схемам, метаданным владения, версиям и соглашениям об уровне обслуживания (SLA). Эти стандарты делают каждый продукт повторно используемым, обнаруживаемым контрактом, а не просто папкой рабочего пространства.
Используйте безопасность OneLake для применения ролевых контролей доступа к данным на уровне папки, таблицы, строки и столбцов, чтобы производители могли публиковать продукты данных, не раскрывая всё в своём рабочем пространстве.
Применяйте единое управление на уровне всего арендатора с каталогом OneLake для междоменного поиска и отслеживания происхождения данных, а также Microsoft Purview для меток конфиденциальности и аудита. Расширить ту же модель идентичности и политики на агентов ИИ, которые потребляют продукты доменных данных, чтобы доступ к агентам регулировался как у любого другого потребителя.
Пусть потребительские домены используют ярлыки для ссылок на продукты с данными производителя, а не копируют их. Затем потребители могут использовать указанные продукты данных в рабочей нагрузке Fabric, которые соответствуют их потребностям. Для семантических моделей Power BI используйте режим Direct Lake для чтения данных напрямую из OneLake. Используйте Fabric Data Agents или Fabric IQ для создания ИИ-опыта, основанного на продуктах управляемых доменных данных.
Если домены публикуются в каталогах вне Fabric, планируйте синхронизацию доступа и контроля, чтобы разрешения оставались единообразными между OneLake и внешним каталогом.
Tip
Открытый акселератор Microsoft Policy Weaver может автоматизировать эту синхронизацию для Azure Databricks (Unity Catalog), Snowflake и Dataverse. Она отражает политики доступа к данным в ролях безопасности OneLake, дополняя функцию зеркалирования (которая перемещает данные, но не разрешения доступа).
Возможности сетки данных
-
Централизованное управление — децентрализуйте владение доменами, сохраняя при этом идентичность, безопасность и родословную централизованными. Функции:
- Домены группируют рабочие пространства по бизнес-зонам.
- Безопасность OneLake обеспечивает управление доступом к папкам, таблицам, строкам и столбцам на основе ролей.
- Каталог OneLake позволяет обнаруживать и распознавать родословную между доменами.
- Microsoft Purview применяет метки чувствительности и проводит аудит.
-
Виртуализация данных — позволите потребительским доменам использовать продукты данных, принадлежащие производителям, через ссылки, а не копии. Функции:
- Сочетания клавиш обеспечивают обмен данными без копирования между доменами.
-
Интегрированная аналитика и искусственный интеллект — сделайте продукты данных каждой области универсальными для использования в рабочих нагрузках Fabric. Функции:
- Режим Direct Lake позволяет семантическим моделям Power BI читать продукты доменных данных напрямую из OneLake.
- Рабочие нагрузки Fabric, такие как Инженерия данных, Хранилище данных, Аналитика в реальном времени и Наука о данных, обрабатывают и анализируют продукты данных предметной области.
- Fabric Data Agents и Fabric IQ поддерживают опыт ИИ, основанный на продуктах доменных данных.
Консолидация платформ для аналитики и искусственного интеллекта
Если вы запускаете несколько аналитических платформ рядом — отдельные инструменты для хранения данных, бизнес-аналитики, науки о данных, аналитики в реальном времени и искусственного интеллекта — каждый инструмент имеет свои копии данных, конвейеры и модель управления. Эта фрагментация увеличивает затраты и затрудняет применение последовательной безопасности или получение единого ответа на бизнес-вопрос.
Схема консолидации платформы переносит эти рабочие нагрузки на Fabric, где OneLake предоставляет совместную, управляемую базу данных. Рабочие нагрузки Fabric получают доступ к данным, преобразуют, синхронизируют или анализируют их на основе этой общей основы вместо того, чтобы использовать отдельные модели данных и управления для каждого инструмента.
Используйте этот шаблон, когда:
- Вы используете несколько аналитических платформ с пересекающимися возможностями.
- Копии данных и конвейеры, зависящие от конкретного движка, ведут к дополнительным затратам и повышенным расходам на сопровождение.
- Вам нужна единая модель управления и безопасности для всех аналитических и ИИ-рабочих нагрузок.
Применить консолидацию платформы
Стремитесь к меньшему числу платформ, а не к большему числу интеграций. Консолидируйте рабочие нагрузки в Fabric вместо того, чтобы связывать между собой разные инструменты, и подключайте внешние движки только тогда, когда вы ещё не можете вывести их из эксплуатации.
Проведите инвентаризацию аналитики, хранилища данных, науки о данных, бизнес-аналитики (BI) и инструментов и конвейеров искусственного интеллекта, которые вы используете сегодня. Обратите внимание, какие нагрузки выполняет каждый инструмент и какие данные он копирует.
Сопоставьте каждую существующую нагрузку с нагрузкой Fabric, которая может её заменить:
Наследственная нагрузка Рабочая нагрузка Fabric Оркестрация данных и ETL Фабрика данных Блокноты Spark и обработка данных в Lakehouse Инжиниринг данных Хранилища данных SQL Хранилище данных Стриминг и аналитика KQL Аналитика в режиме реального времени Обучение моделей машинного обучения и отслеживание экспериментов наука о данных Операционные базы данных Базы данных (SQL база данных в Fabric и Cosmos DB в Fabric) Визуализация BI и семантические модели Power BI с режимом Direct Lake Разговорный ИИ, основанный на корпоративных данных Fabric Data Agents, Copilot for Fabric, Fabric IQ Создать единую модель управления и безопасности для всех рабочих нагрузок с помощью безопасности OneLake, Microsoft Purview и каталога OneLake. Настройка ключей, управляемых клиентом, когда поддерживаемые элементы Fabric требуют дополнительного уровня шифрования.
Консолидируйте аналитические данные в OneLake в формате Delta или Iceberg, чтобы рабочие процессы могли использовать общую управляемую основу данных. Включайте операционные рабочие нагрузки, объединяя их в базы данных Fabric, которые делают синхронизированные аналитические данные доступными в OneLake.
Создавайте ИИ на основе консолидированных данных. Создавайте онтологии (предварительная версия) поверх курируемого слоя данных и предоставляйте к ним доступ агентам через сервер Ontology MCP, чтобы Fabric Data Agents, Microsoft 365 Copilot и внешние инструменты могли работать в едином управляемом контексте. Вы можете генерировать определения онтологий из семантических моделей Power BI в режиме Import, Direct Lake или DirectQuery. Используйте режим Direct Lake , когда нужны сгенерированные привязки к поддерживаемым данным OneLake, и проверьте текущие ограничения онтологий.
Для внешних движков, которые пока нельзя вывести из эксплуатации, предоставляйте им данные OneLake через интеграцию Azure Databricks, совместимость Iceberg со Snowflake или доступ к OneLake и API.
Выведите из эксплуатации заменённые инструменты, копии данных и конвейеры после того, как вы проверите эквивалент в Fabric. Таким образом, консолидация убирает расходы, лицензии и передачу средств, а не добавляет ещё одну платформу в кучу.
Возможности консолидации платформ
-
Интегрированная аналитика и ИИ — объединяйте аналитику, науку о данных и ИИ на общей основе OneLake. Функции:
- Рабочие нагрузки Fabric, такие как Data Factory, Data Engineering, Data Warehouse, Real-Time Intelligence, Data Science, Databases и Power BI, получают доступ к данным, преобразуют, синхронизируют или анализируют их на основе общей платформы.
- Режим Direct Lake позволяет семантическим моделям Power BI читать данные OneLake напрямую.
- Fabric Data Agents, Copilot for Fabric и Fabric IQ поддерживают ИИ-опыт, основанный на данных OneLake.
- Ontologies и MCP-сервер Ontology предоставляют управляемый бизнес-контекст для AI-агентов.
- OneLake как источник знаний для Microsoft Foundry позволяет Foundry индексировать файлы OneLake для использования AI-агентами.
-
Интероперабельность открытых данных — позвольте внешним платформам, которые вы не выводите из эксплуатации, продолжать считывать те же данные. Функции:
- Таблицы айсбергов в OneLake и Delta Parquet хранят данные в формате открытых таблиц.
- Доступ к OneLake и API позволяют внешним приложениям и инструментам получать доступ к данным OneLake.
- Интеграция Azure Databricks и совместимость Iceberg со Snowflake позволяют внешним аналитическим платформам читать данные OneLake.
-
Централизованное управление — замените модели безопасности для каждого инструмента на одну модель управления и аудита, охватывающую все рабочие нагрузки. Функции:
- Fabric governance предоставляет общую структуру управления для всех рабочих нагрузок Fabric.
- Безопасность OneLake обеспечивает единообразные средства контроля доступа к данным.
- Каталог OneLake поддерживает поиск и отслеживание происхождения данных в разных рабочих нагрузках.
- Интеграция Microsoft Purview применяет метки чувствительности и аудит.
- Ключи, управляемые клиентом, добавляют ещё один уровень шифрования к поддерживаемым элементам Fabric.
Внешний обмен данными между организациями
Если вы регулярно обмениваетесь данными с партнёрами, поставщиками, клиентами или другими подразделениями, пакетный экспорт, передача файлов и дублированные системы на базе добавляют пробелы в задержках, стоимости и управлении. Внешний шаблон обмена данными предоставляет потребителям вне вашей организации или бизнес-подразделения прямой доступ к курируемым данным OneLake без повторяющихся экспортов. Потребители могут получать доступ к данным через межарендаторный обмен Fabric или с внешних аналитических платформ, таких как Snowflake и Azure Databricks, используя возможности совместимости OneLake.
Потребители видят обновления, когда вы их публикуете. Вы контролируете доступ к исходным данным через механизм обмена данными или обеспечения совместимости, поддерживающий платформу получателя.
Используйте этот шаблон, когда:
- Вы постоянно обмениваетесь данными с внешними организациями.
- Пакетный экспорт или передача файлов добавляет задержки, сложность или пробелы в управлении.
- Нужно централизованно отслеживать и отзывать внешний доступ.
Применить внешний обмен данными
Внешнее совместное использование лучше всего работает, когда используется виртуализация вместо экспорта данных. Сопоставьте метод доступа с тем, какие данные может читать каждый потребитель, и применяйте средства управления доступом, поддерживаемые этим механизмом совместного доступа или обеспечения совместимости.
Определите, какие продукты данных вы хотите поделиться внешне, и потребителей, которым они нужны (партнёры, поставщики, клиенты). Обычно вы делитесь тщательно подготовленными таблицами и файлами, которые чётко определены и документированы.
Выберите правильный подход к обмену для каждого потребителя:
Потребительский тип Рекомендуемый подход Пользователи Fabric в другом арендаторе Внешний обмен данными для виртуализированного кросс-арендаторского доступа только для чтения Пользователи Snowflake в Azure Совместимость Iceberg со Snowflake для чтения таблиц Fabric, представленных в формате Iceberg Пользователи Azure Databricks Федерация каталогов OneLake в Azure Databricks для выполнения запросов к таблицам OneLake через Unity Catalog без копирования данных Приложения или инструменты, поддерживающие ADLS Gen2 или Blob API Доступ к OneLake и API для доступа к данным OneLake через поддерживаемые API Чтобы внести данные Dataverse в OneLake перед их обменом, используйте унифицированный шаблон доступа к данным.
Ограничьте внешний доступ правами, поддерживаемыми выбранным механизмом общего доступа. Для внешнего обмена данными в Fabric предоставляемый общий доступ даёт любому пользователю в исходном клиенте приглашённого пользователя доступ только для чтения. Политики безопасности и управления на стороне поставщика, включая политики безопасности OneLake, метки конфиденциальности и политики предотвращения потери данных, не применяются в арендаторе потребителя. Потребитель должен регулировать доступ к нижнему потоку в своей среде.
Заранее договоритесь о условиях каждого совместного отношения — что делится с кем, с кем и на какое время. Для внешнего обмена данными Fabric отменить доступ со вкладки «Внешние совместные ресурсы» на странице «Управление правами». Для других способов отзовите доступ через выбранный способ общего доступа. Убедитесь, что потребитель теряет видимость.
Применяйте метки чувствительности, аудит и предотвращение потери данных с помощью Microsoft Purview в среде Fabric провайдера.
Подтверждайте и документируйте продукты исходных данных в каталоге OneLake , чтобы поставщики могли найти и контролировать их перед публикацией. Каталог OneLake не публикует продукты данных для внешних арендаторов или аналитических платформ.
Возможности внешнего обмена данными
-
Виртуализация данных — обмен данными через ссылки без копирования без управления экспортными конвейерами. Функции:
- Внешний обмен данными обеспечивает виртуализированный обмен между арендаторами Fabric.
- Ярлыки позволяют партнёрам потреблять опубликованные данные без их копирования.
-
Совместимость открытых данных — делитесь с потребителями, которые не используют Fabric, публикуя материалы в открытых форматах. Функции:
- Таблицы айсбергов в OneLake публикуют общие данные в открытом формате.
- Совместимость Iceberg с Snowflake позволяет потребителям Snowflake читать общие данные OneLake.
- OneLake catalog federation in Azure Databricks позволяет потребителям Azure Databricks запрашивать таблицы OneLake через Unity Catalog без копирования данных.
- Доступ к OneLake и API позволяют совместимым приложениям и инструментам получать доступ к данным OneLake.
-
Централизованное управление — управление исходными данными в Fabric и контроль внешнего доступа через каждый механизм обмена. Функции:
- Безопасность OneLake разграничивает доступ к исходным данным в Fabric.
- Microsoft Purview применяет метки чувствительности, аудит и предотвращение потери данных в среде Fabric провайдера.
- Каталог OneLake поддерживает поиск и одобрение со стороны поставщика перед тем, как поделиться.