Сочетания клавиш OneLake

Сочетания клавиш в Microsoft OneLake объединяют данные между доменами, облаками и учетными записями, делая OneLake одним виртуальным озером данных для всей организации. Интерфейсы Fabric и аналитические подсистемы могут подключаться к существующим источникам данных, включая Azure, Amazon Web Services (AWS) и OneLake через единое пространство имен. OneLake управляет всеми разрешениями и учетными данными, поэтому вам не нужно отдельно настраивать каждую рабочую нагрузку Fabric для подключения к каждому источнику данных. Кроме того, можно использовать сочетания клавиш для устранения избыточных копий данных и уменьшения задержки процесса, связанной с копиями данных и их размещением.

Что такое сочетания клавиш?

Ярлыки — это объекты в OneLake, ссылающиеся на другие места хранения. Расположение может быть внутренним или внешним для OneLake. Расположение, на которое указывает ярлык, является целевым путем ярлыка. Расположение, в котором отображается ярлык, — это путь к ярлыку.

Ярлыки отображаются как папки в OneLake, и любая рабочая нагрузка или служба, имеющие доступ к OneLake, могут их использовать. Ярлыки ведут себя как символьные ссылки. Он является независимым объектом от целевого объекта. При удалении ярлыка объект остается неизменным. При перемещении, переименовании или удалении целевого пути ярлык может перестать работать.

Где можно создать ярлыки?

Создавать ярлыки можно в лейкхаусах и базах данных на языке запросов Kusto (KQL).

Портал Fabric можно использовать для интерактивного создания ярлыков и использовать REST API для программного создания ярлыков.

Лейкхаус

При создании ярлыков в Lakehouse необходимо понять структуру папок объекта. Lakehouses имеет две папки верхнего уровня: папку "Таблицы " и папку "Файлы ". Папка таблиц предназначена для структурированных наборов данных. Папка файлов предназначена для неструктурированных или частично структурированных данных.

В папке таблиц можно создавать ярлыки только на верхнем уровне. OneLake не поддерживает ярлыки в подкаталогах папки таблиц. Сочетания клавиш в разделе таблиц обычно указывают на внутренние источники в OneLake или ссылаются на другие ресурсы данных, соответствующие формату таблицы Delta. Если целевой объект ярлыка содержит данные в формате Delta Parquet, lakehouse автоматически синхронизирует метаданные и распознает папку как таблицу. Сочетания клавиш в разделе таблиц могут ссылаться на одну таблицу или схему, которая является родительской папкой для нескольких таблиц.

Примечание.

Формат Delta не поддерживает таблицы с пробелами в имени. OneLake не распознает любую ссылку, содержащую пробел в имени, как таблицу Delta в Lakehouse.

В папке файлов нет ограничений по месту создания ярлыков. Ярлыки можно создавать на любом уровне иерархии папок. Обнаружение таблиц не происходит в папке файлов. Сочетания клавиш здесь могут указывать на внутренние системы OneLake и внешние системы хранения с данными в любом формате.

База данных KQL

При создании ярлыка в базе данных KQL он отображается в папке "Ярлыки " базы данных. База данных KQL обрабатывает такие сочетания клавиш, как внешние таблицы. Чтобы запросить ярлык, используйте функцию external_table языка запросов Kusto.

Где можно получить доступ к ярлыкам?

Любые службы типа Fabric или другого типа, которые могут получить доступ к данным в OneLake, могут использовать ссылки. Ярлыки прозрачны для любой службы, обращаюющейся к данным через API OneLake. Ярлыки отображаются как ещё одна папка в озере. Apache Spark, SQL, Аналитика в режиме реального времени и службы Analysis Services могут использовать сочетания клавиш при запросе данных.

Apache Spark

Записные книжки Apache Spark и задания Apache Spark могут использовать сочетания клавиш, создаваемые в OneLake. Используйте относительные пути к файлам для чтения данных непосредственно из ярлыков. Кроме того, если вы создаете ссылку в разделе Таблицы озера и она находится в формате Delta, её можно прочитать как управляемую таблицу с помощью синтаксиса Apache Spark SQL.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

SQL

Ярлыки можно считывать в разделе "Таблицы " озера через конечную точку аналитики SQL для озера. Вы можете получить доступ к конечной точке аналитики SQL с помощью селектора режима Lakehouse или SQL Server Management Studio (SSMS).

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

Аналитика в режиме реального времени

Ярлыки в базах данных KQL распознаются как внешние таблицы. Чтобы запросить ярлык, используйте функцию external_table языка запросов Kusto.

external_table('MyShortcut')
| take 100

Службы анализа

Вы можете создавать семантические модели для lakehouse, содержащие ярлыки в разделе Таблицы lakehouse. При запуске семантической модели в режиме Direct Lake службы Analysis Services могут считывать данные непосредственно через кратчайший путь.

Службы, отличные от Fabric

Приложения и службы за пределами Fabric также могут получить доступ к ярлыкам через API OneLake. OneLake поддерживает подмножество API ADLS Gen2 и хранилища BLOB Storage. Дополнительные сведения об API OneLake см. в статье OneLake access with API.

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

Типы сочетаний клавиш

Сочетания клавиш OneLake поддерживают несколько источников данных файловой системы. К этим источникам относятся внутренние расположения OneLake и внешние или не microsoft-источники.

С помощью локального шлюза данных Microsoft Fabric (OPDG) вы также можете создавать ярлыки для локальных или ограниченных по сети расположений.

Внутренние сочетания клавиш OneLake

Используйте внутренние сочетания клавиш OneLake для ссылки на данные в существующих элементах Fabric, в том числе:

• Базы данных KQL
• Озерные домики
• Дублируемые каталоги Azure Databricks
• Зеркальные базы данных
• Семантические модели
• Базы данных SQL
• Склады

Инструкции по созданию внутреннего ярлыка см. в разделе "Создание внутреннего ярлыка OneLake".

Ярлык может указывать на расположение папки в одном элементе, между элементами в одной рабочей области или даже между элементами в разных рабочих областях. При создании ярлыка между элементами их типы могут не совпадать. Например, в лейкхаусе можно создать ярлык, который указывает на данные, расположенные в хранилище данных.

Когда пользователь обращается к данным из другого расположения OneLake с помощью ярлыка, OneLake использует удостоверение вызывающего пользователя для авторизации доступа к данным. Этот пользователь должен иметь разрешения в целевом расположении для чтения данных.

Внимание

Когда пользователи получают доступ к ярлыкам с помощью семантических моделей Power BI, используя DirectLake через движки SQL или T-SQL в режиме делегированного удостоверения, удостоверение вызывающего пользователя не передается в цель ярлыка. Вместо этого передается удостоверение владельца вызывающего элемента, которое предоставляет доступ вызывающему пользователю. Чтобы устранить это ограничение, используйте семантические модели Power BI в DirectLake в режиме OneLake или T-SQL в режиме удостоверения пользователя.

Сочетания клавиш External OneLake

Для получения подробных инструкций по созданию определенного типа ярлыка выберите статью из этого списка поддерживаемых внешних источников:

• Сочетания клавиш Amazon S3
• Сочетания клавиш, совместимые с Amazon S3
• Сочетания клавиш Azure Data Lake Storage (ADLS) 2-го поколения
• Сочетания клавиш Azure Blob Storage
• Сочетания клавиш Dataverse
• Сочетания клавиш google Cloud Storage
• Горячие клавиши Iceberg
• Ярлыки OneDrive и SharePoint

Кэширование

Кэширование сокращенного пути может снизить затраты на исходящий трафик, связанные с межоблачным доступом к данным. Когда OneLake считывает файлы с помощью внешней ссылки, служба сохраняет файлы в кэше рабочей области Fabric. OneLake отвечает на последующие запросы на чтение из кэша, а не поставщика удаленного хранилища. Срок хранения кэшированных файлов можно задать в диапазоне от 1 до 28 дней. Каждый раз, когда вы обращаетесь к файлу, период хранения сбрасывается. Если у удаленного хранилища есть более последняя версия файла, чем версия кэша, OneLake обслуживает запрос от поставщика удаленного хранилища и обновляет файл в кэше. Если вы не обращаетесь к файлу в течение выбранного периода хранения, он очищается из кэша. Отдельные файлы размером больше 1 ГБ не кэшируются.

Примечание.

Кэширование шорткатов в настоящее время поддерживает Google Cloud Storage (GCS), S3, совместимые с S3, и локальные ярлыки шлюза данных.

Чтобы включить кэширование для сочетаний клавиш, откройте панель параметров рабочей области . Выберите вкладку OneLake . Переключите параметр кэша на "Вкл ." и выберите период хранения.

Кэш можно очистить в любое время. На той же странице параметров нажмите кнопку "Сброс кэша ". Это действие удаляет все файлы из кэша ярлыков в этой рабочей области.

Как сочетания клавиш используют облачные подключения

Шорткаты ADLS и S3 делегируют авторизацию с использованием облачных подключений. При создании новой ссылки ADLS или S3 можно установить новое подключение или выбрать уже существующее для источника данных. Установление подключения для ярлыка — это операция привязки. Только пользователи с разрешением на подключение могут выполнять операцию привязки. Если у вас нет разрешений на подключение, вы не можете создать новые ярлыки с помощью этого подключения.

Дополнительные сведения о просмотре и обновлении облачных подключений см. в разделе "Управление подключениями для сочетаний клавиш".

Безопасность ярлыков или сочетаний клавиш

Сочетания клавиш требуют определенных разрешений для управления и использования. Безопасность ярлыков OneLake объясняет, какие разрешения необходимы для создания ярлыков и доступа к данным через них.

Как сочетания клавиш обрабатывают удаление?

Сочетания клавиш не поддерживают каскадные удаления. При удалении ярлыка удаляется только объект ярлыка. Данные в целевом объекте ярлыка остаются неизменными. Тем не менее, если удалить файл или папку в ярлыке, и у вас есть разрешения на выполнение операции удаления, вы также удалите файл или папку в целевом объекте.

Например, рассмотрим лейкхаус со следующим путем в нем: MyLakehouse\Files\MyShortcut\Foo\Bar. MyShortcut — это ярлык, указывающий на учетную запись ADLS 2-го поколения, содержащую каталоги Foo\Bar .

Если удалить MyLakehouse\Files\MyShortcut, то вы удалите ярлык MyShortcut из Lakehouse, но файлы и каталоги в учетной записи ADLS 2-го поколения Foo\Bar не изменяются.

При удалении MyLakehouse\Files\MyShortcut\Foo\Barи наличии разрешений на запись в учетной записи ADLS второго поколения, удаляется каталог Bar из учетной записи ADLS второго поколения.

Просмотр истории рабочей области

При создании ярлыков между несколькими элементами Fabric в рабочей области можно визуализировать их связи с помощью просмотра взаимосвязей в рабочей области. Нажмите кнопку Lineage view ( ) в правом верхнем углу обозревателя рабочей области.

Примечание.

Представление линии ограничивается одним рабочим пространством. Ярлыки для расположений вне выбранной рабочей области не отображаются.

Рекомендации и ограничения

• Каждый элемент Fabric поддерживает до 100 000 сочетаний клавиш. Термин «элемент» в этом контексте относится к приложениям, лакхаусам, складам, отчетам и т. д.
• Один путь OneLake поддерживает до 10 сочетаний клавиш.
• Максимальное количество прямых ярлыков для ссылок на ярлыки составляет 5.
• Ярлыки OneLake, родительские пути и целевые пути не могут содержать символы "%" или "+".
• Сочетания клавиш не поддерживают символы, отличные от латиниц.
• История ярлыков для хранилищ данных и семантических моделей в настоящее время недоступна.
• Ярлык Fabric синхронизируется с источником практически мгновенно, но время распространения может отличаться из-за производительности источника данных, кэшированных представлений или проблем с сетевым подключением.
• Для распознавания новых ярлыков API таблиц может потребоваться до минуты.

Связанный контент

• Создание ярлыка OneLake
• Используйте ярлыки OneLake REST API