Поделиться через

Журналы Delta Lake в хранилище в Microsoft Fabric

  • Статья

Область применения: хранилище в Microsoft Fabric

Хранилище в Microsoft Fabric строит открытые форматы файлов. Пользовательские таблицы хранятся в формате файла parquet, а журналы Delta Lake публикуются для всех пользовательских таблиц.

Журналы Delta Lake открывают прямой доступ к пользовательским таблицам хранилища для любого обработчика, который может читать таблицы Delta Lake. Этот доступ ограничен доступом только для чтения, чтобы гарантировать, что данные пользователя поддерживают соответствие транзакций ACID. Все вставки, обновления и удаления данных в таблицах должны выполняться через хранилище. После фиксации транзакции инициируется системный фоновый процесс для публикации обновленного журнала Delta Lake для затронутых таблиц.

Как получить путь OneLake

Ниже описано, как получить путь OneLake из таблицы в хранилище:

  1. Откройте хранилище в рабочей области Microsoft Fabric.

  2. В обозреватель объектов вы найдете дополнительные параметры (...) в выбранной таблице в папке "Таблицы". Выберите меню "Свойства".

    Снимок экрана: расположение параметра

  3. На выборе в области "Свойства " отображаются следующие сведения:

    1. Имя.
    2. Формат
    3. Тип
    4. URL
    5. Относительный путь
    6. Путь ABFS

    Снимок экрана: область

Как получить путь к журналам Delta Lake

Журналы Delta Lake можно найти с помощью следующих методов:

  • Журналы Delta Lake можно запрашивать с помощью ярлыков, созданных в озерном доме. Файлы можно просмотреть с помощью записной книжки Microsoft Fabric Spark или обозревателя Lakehouse в Synapse Инжиниринг данных на портале Microsoft Fabric.

  • Журналы Delta Lake можно найти через служба хранилища Azure Обозреватель, через подключения Spark, такие как режим Direct Lake Power BI или любую другую службу, которая может считывать разностные таблицы.

  • Журналы Delta Lake можно найти в _delta_log папке каждой таблицы через Обозреватель OneLake в Windows, как показано на следующем снимке экрана.

    Снимок экрана: Обозреватель Windows OneLake, показывающий путь к папке разностных журналов для таблицы call_center.

Ограничения

  • Имена таблиц можно использовать только в Spark и других системах, если они содержат только эти символы: A-Z a-z 0-9 и подчеркивания.
  • Имена столбцов, которые будут использоваться Spark и другими системами, не могут содержать:
    • Пространства
    • вкладки
    • возврат каретки
    • [
    • ,
    • ;
    • {
    • }
    • (
    • )
    • =
    • ]

Связанный контент