Прочитать на английском

Поделиться через


Новые и запланированные возможности OneLake в Microsoft Fabric

Важно!

Планы выпуска описывают функциональные возможности, которые могут или не были выпущены. Временная шкала доставки и проецируемые функциональные возможности могут изменяться или не могут отправляться. Дополнительные сведения см. в политике Майкрософт.

OneLake — это единое, единое, логическое озеро данных для всей организации. Как и OneDrive, OneLake автоматически поставляется с каждым клиентом Microsoft Fabric и предназначен для единого места для всех данных аналитики. 

Все данные в OneLake работают с встроенным управлением, такими как происхождение данных, защита данных, сертификация, интеграция каталога и т. д. и в конечном счете находится под контролем администратора клиента. В клиенте рабочие области позволяют различным частям организации работать независимо, а также вносить свой вклад в одно и то же озеро данных.

OneLake открыт на каждом уровне. OneLake поддерживает те же API-интерфейсы ADLS 2-го поколения и пакеты SDK для обеспечения совместимости с существующими приложениями ADLS 2-го поколения и могут поддерживать любой тип файлов, структурированных или неструктурированных.

OneLake стремится предоставить максимальное значение из одной копии данных. С помощью сочетаний клавиш OneLake можно объединить данные между доменами, облаками и учетными записями, создав ссылку на данные, хранящиеся в других расположениях файлов, таких как другие расположения OneLake или ADLS или S3 без перемещения или дублирования данных. Вы также можете использовать одни и те же данные в нескольких аналитических модулях, так как подсистемы Fabric хранят все табличные данные в открытых форматах parquet. Больше нет необходимости копировать данные только для использования с другим механизмом.

Дополнительные сведения см. в документации.

Инвестиционные области

Сочетания клавиш в таблице OneLake для данных Айсберга

Предполагаемая временная шкала выпуска: Q4 2024

Тип выпуска: общедоступная предварительная версия

С помощью Microsoft OneLake вы сможете создавать ярлыки таблиц для данных Айсберга в других местах, и эти данные будут отображаться автоматически с форматом Delta Lake.

OneLake автоматически создает виртуализированные метаданные Delta Lake и делает его доступным через ярлык OneLake. Это означает, что данные Iceberg можно использовать со всеми рабочими нагрузками Fabric, работающими с отформатированными данными Delta Lake.

Модель безопасности OneLake

Предполагаемая временная шкала выпуска: Q1 2025

Тип выпуска: общедоступная предварительная версия

Управление безопасностью данных в нескольких аналитических модулях и копиях данных является сложной задачей. OneLake и Fabric упрощают это, позволяя использовать одну копию данных в нескольких аналитических модулях без перемещения или дублирования данных. Принимая концепцию "одна копия", OneLake также повышает безопасность с более точной моделью, позволяя доступ к таблицам и папкам в дополнение к безопасности на уровне строк и столбцов. Эти определения безопасности живут с данными и перемещают их по сочетаниям клавиш в то место, где используются данные. Безопасность, определенная в OneLake, состоит из нескольких аналитических подсистем Fabric.

Общедоступная доступность ролей доступа к данным OneLake

Предполагаемая временная шкала выпуска: Q1 2025

Тип выпуска: общая доступность

Роли доступа к данным OneLake опираются на существующие возможности модели безопасности OneLake, чтобы повысить степень детализации, при которой безопасность может применяться в элементе данных Fabric. Эта функция добавляет модель наследуемого RBAC (управление доступом на основе ролей), которая упрощает управление пользователями и разрешениями для данных в OneLake. Вы можете определить роли безопасности, предоставляющие доступ для чтения к определенным папкам в OneLake, и назначать их пользователям или группам. Разрешения доступа определяют, какие папки пользователи видят при доступе к представлению озера данных через интерфейс UX Lakehouse, записные книжки или API OneLake.

Поддержка кэша для локального шлюза данных в сочетаниях клавиш Onelake

Предполагаемая временная шкала выпуска: Q1 2025

Тип выпуска: общая доступность

Кэширование ярлыков можно использовать для снижения затрат на исходящий трафик, связанных с доступом к данным между облаками. Так как файлы считываются через внешний ярлык, файлы хранятся в кэше рабочей области Fabric. Последующие запросы на чтение обслуживаются из кэша, а не от поставщика удаленного хранилища. При внедрении поддержки кэша для локального шлюза данных эти возможности можно использовать при подключении к локальным данным или данным за брандмауэром.

Поддержка CI/CD для сочетаний клавиш Onelake

Предполагаемая временная шкала выпуска: Q1 2025

Тип выпуска: общедоступная предварительная версия

Средства управления жизненным циклом Microsoft Fabric предоставляют стандартизованную систему для обмена данными и совместной работы между всеми членами группы разработчиков на протяжении всей жизни продукта. Благодаря внедрению поддержки CI/CD для сочетаний клавиш Onelake вы можете легко управлять развертыванием, а также использовать сочетания клавиш Onelake в разных средах.

Простое управление потерянными ярлыками Onelake

Предполагаемая временная шкала выпуска: Q1 2025

Когда пользователи переключаются между командами, покидают организацию или теряют определенный доступ, ярлыки Onelkae могут стать непригодными для использования. С помощью новых возможностей управления этих потерянных ярлыков вы можете легко восстановить сочетания клавиш без влияния на бизнес.

Шифрование OneLake с помощью ключей, управляемых клиентом

Предполагаемая временная шкала выпуска: Q2 2025

Тип выпуска: общедоступная предварительная версия

В рамках стратегической стратегии повышения безопасности и соответствия данным мы планируем внедрить поддержку управляемых клиентом ключей (CMK) в OneLake. Это обеспечит организациям больший контроль над ключами шифрования данных. С помощью CMK пользователи смогут управлять собственными ключами шифрования, обеспечивая защиту своих данных в соответствии с конкретными политиками безопасности и нормативными требованиями. Если ключ клиента отозван, корпорация Майкрософт потеряет доступ к данным клиента в OneLake.

Отправленные функции

Каталог Fabric OneLake

Отправлено (Q4 2024)

Тип выпуска: общая доступность

Каталог OneLake — это полное решение для изучения, управления и управления всеми объектами данных Fabric. Каталог OneLake — это эволюция интерфейса центра данных OneLake с усовершенствованиями, которые помогут всем пользователям Fabric обнаруживать доверенные данные и управлять ими, а также обеспечивать управление владельцами данных с ценными аналитическими сведениями, рекомендуемыми действиями и инструментами. Каталог OneLake поставляется с двумя вкладками: изучение и управление. На вкладке "Изучение" пользователи могут просматривать и управлять всеми элементами Fabric, к которым у них есть доступ в одном центральном расположении с фильтрами для доменов, типа элементов, владельца, подтверждения, тегов и т. д. Пользователи могут дважды щелкнуть элемент Fabric для выполнения действий или изучения описания, происхождения данных, разрешений и действий. На вкладке "Управление" владельцы данных могут просматривать общие сведения о своих данных с аналитическими сведениями о подтверждениях, маркировке данных, типе данных и многое другое, а также получать рекомендуемые действия для улучшения качества и соответствия. Вкладка "Обзор" теперь общедоступна, и вкладка "Управление" будет доступна в ближайшее время в предварительной версии.

Поддержка каталога Databricks Unity для OneLake

Отправлено (Q3 2024)

Тип выпуска: общедоступная предварительная версия

Интеграция каталога Azure Databricks Unity с Microsoft Fabric

Вы сможете получить доступ к таблицам каталога Azure Databricks Unity непосредственно в Microsoft Fabric, что упрощает объединение Azure Databricks с Microsoft Fabric. На портале Fabric можно создать и настроить новый элемент каталога Azure Databricks Unity в Fabric с несколькими щелчками мыши. Вы можете добавить полный каталог, схему или даже отдельные таблицы, чтобы связать и управлять этим элементом Azure Databricks в OneLake — ярлыком, подключенным к каталогу Unity, автоматически заботится о вас. Эти данные действуют так же, как и любые другие данные в OneLake— вы можете писать SQL-запросы или использовать их с любыми другими рабочими нагрузками в Fabric, включая Power BI через режим Direct Lake. При изменении или добавлении, удалении или переименовании данных в Azure Databricks данные в Fabric будут оставаться в синхронизации. Эта новая интеграция упрощает объединение данных Azure Databricks в Fabric и простое использование их для каждой рабочей нагрузки Fabric.

Сочетания клавиш OneLake для локальных данных

Отправлено (Q2 2024)

Тип выпуска: общедоступная предварительная версия

Сочетания клавиш Microsoft OneLake расширяются для включения локальных и сетевых источников данных. Благодаря этой возможности можно объединить локальные и облачные данные в OneLake.

При создании ярлыков для AWS S3, Google Cloud Storage или S3 совместимых контейнеров вы сможете при необходимости выбрать локальный шлюз данных (OPDG), чтобы установить подключение.

Ярлыки облачного хранилища Google

Отправлено (Q1 2024)

Тип выпуска: общедоступная предварительная версия

OneLake расширит поддержку сочетаний клавиш в Google Cloud Storage, позволяя виртуализации данных без перемещения или дублирования. Это позволяет интегрировать данные Google Cloud Storage с службы Майкрософт например ADLS 2-го поколения, OneLake, Dataverse и Amazon S3. Данные будут отображаться и работать, как если бы он был в OneLake и предоставляет простое озеро данных, которое может охватывать облака.

API сочетаний клавиш

Отправлено (Q1 2024)

Тип выпуска: общедоступная предварительная версия

Общедоступный REST API для автоматизации создания и управления ярлыками сценариев.

Смарт-кэширование для сочетаний клавиш Amazon S3

Отправлено (Q4 2023)

Тип выпуска: общедоступная предварительная версия

Смарт-кэширование для сочетаний клавиш Amazon S3 снижает затраты на исходящий трафик и повышает производительность, приближая данные к вычислительному механизму. Интеллектуальное кэширование будет удалять данные из S3 один раз, кэшировать его локально в OneLake в течение определенного периода. Таким образом, он устраняет необходимость повторного получения данных из S3. Кэшированные данные можно повторно использовать для нескольких пользователей, аналитических подсистем и сценариев, которые оптимизируют значение одного исходящего трафика.