Что такое схемы Lakehouse (предварительная версия)?
Lakehouse поддерживает создание пользовательских схем. Схемы позволяют группировать таблицы вместе для улучшения обнаружения данных, управления доступом и многого другого.
Создание схемы Lakehouse
Чтобы включить поддержку схемы для lakehouse, установите флажок рядом со схемами Lakehouse (общедоступная предварительная версия) при создании.
Внимание
Имена рабочих областей должны содержать только буквенно-цифровые символы из-за ограничений предварительного просмотра. Если специальные символы используются в именах рабочих областей, некоторые функции Lakehouse не будут работать.
После создания lakehouse можно найти схему по умолчанию с именем dbo в таблицах. Эта схема всегда существует и не может быть изменена или удалена. Чтобы создать новую схему, наведите указатель мыши на таблицы, выберите ...и выберите "Создать схему". Введите имя схемы и нажмите кнопку "Создать". Вы увидите схему, указанную в разделе "Таблицы " в алфавитном порядке.
Хранение таблиц в схемах Lakehouse
Для хранения таблицы в схеме требуется имя схемы. В противном случае она переходит к схеме dbo по умолчанию.
df.write.mode("Overwrite").saveAsTable("contoso.sales")
Обозреватель Lakehouse можно использовать для упорядочивания таблиц и перетаскивания имен таблиц в разные схемы.
Внимание
При изменении таблицы необходимо также обновить связанные элементы, такие как код записной книжки или потоки данных, чтобы убедиться, что они соответствуют правильной схеме.
Добавление нескольких таблиц с ярлыком схемы
Чтобы ссылаться на несколько таблиц Delta из другого хранилища Fabric lakehouse или внешнего хранилища, используйте ярлык схемы, который отображает все таблицы в выбранной схеме или папке. Все изменения в таблицах в исходном расположении также отображаются в схеме. Чтобы создать ярлык схемы, наведите указатель мыши на таблицы, выберите ..., а затем нажмите кнопку "Создать ярлык схемы". Затем выберите схему в другом lakehouse или папку с таблицами Delta во внешнем хранилище, например Azure Data Lake Storage (ADLS) 2-го поколения. Это создает новую схему со ссылкой на таблицы.
Доступ к схемам Lakehouse для отчетов Power BI
Чтобы сделать семантику модели, просто выберите таблицы, которые вы хотите использовать. Таблицы могут находиться в разных схемах. Если таблицы из разных схем имеют одно и то же имя, вы увидите числа рядом с именами таблиц в представлении модели.
Схемы Lakehouse в записной книжке
При просмотре схемы в обозревателе объектов записной книжки в обозревателе объектов записной книжки отображаются таблицы в схемах. Вы можете перетащить таблицу в ячейку кода и получить фрагмент кода, ссылающийся на схему, в которой находится таблица. Используйте это пространство имен, чтобы ссылаться на таблицы в коде: workspace.lakehouse.schema.table. При выходе из любого из элементов исполнитель использует параметр по умолчанию. Например, если вы предоставляете только имя таблицы, она использует схему по умолчанию (dbo) из lakehouse по умолчанию для записной книжки.
Внимание
Если вы хотите использовать схемы в коде, убедитесь, что по умолчанию lakehouse для записной книжки включена схема.
Запросы SQL Spark между рабочими областями
Используйте пространство имен workspace.lakehouse.schema.table, чтобы ссылаться на таблицы в коде. Таким образом, можно присоединить таблицы из разных рабочих областей, если пользователь, выполняющий код, имеет разрешение на доступ к таблицам.
SELECT *
FROM operations.hr.hrm.employees as employees
INNER JOIN global.corporate.company.departments as departments
ON employees.deptno = departments.deptno;
Внимание
Убедитесь, что вы присоединяете таблицы только из lakehouses с включенными схемами. Присоединение таблиц из lakehouses, не имеющих включенных схем, не будет работать.
Ограничения общедоступной предварительной версии
Ниже перечислены неподдерживаемые функции и функции для текущего выпуска общедоступной предварительной версии. Они будут разрешены в ближайших выпусках до общедоступной доступности.
| Неподдерживаемые функции и функции | Примечания. |
|---|---|
| Общий озерный дом | Использование рабочей области в пространстве имен для общих озер не будет работать, например wokrkspace.sharedlakehouse.schema.table. Пользователь THe должен иметь роль рабочей области, чтобы использовать рабочую область в пространстве именования. |
| Не разностная схема таблицы | Схема получения управляемых, не разностных форматированных таблиц (например, CSV) не поддерживается. Расширение этих таблиц в обозревателе Lakehouse не отображает никакие сведения о схеме в пользовательском интерфейсе. |
| Внешние таблицы Spark | Операции внешней таблицы Spark (например, обнаружение, получение схемы и т. д.) не поддерживаются. Эти таблицы не определены в пользовательском интерфейсе. |
| Общедоступный API | Общедоступные API (таблицы списка, таблица загрузки, предоставление расширенного свойства defaultSchema и т. д.) не поддерживаются для включенных схем Lakehouse. Существующие общедоступные API, вызывающие схему, включено Lakehouse, приводят к ошибке. |
| Обслуживание таблиц | Не поддерживается. |
| Обновление свойств таблицы | Не поддерживается. |
| Имя рабочей области, содержащее специальные символы | Рабочая область со специальными символами (например, пробел, косая черта) не поддерживается. Отображается ошибка пользователя. |
| Представления Spark | Не поддерживается. |
| Специальные функции Hive | Не поддерживается. |
USE <schemaName> |
Не работает между рабочими областями, но поддерживается в одной рабочей области. |
| Миграция | Миграция существующих не-schema Lakehouses в схемы Lakehouses не поддерживается. |