Изучение представлений функций в каталоге Unity

Important

Эта функция доступна в общедоступной предварительной версии. Администраторы рабочей области могут управлять доступом к этой функции на странице "Предварительные версии ". См. статью "Управление предварительными версиями Azure Databricks".

Как описано в представлениях компонентов, представление функций можно зарегистрировать в каталоге Unity в качестве определения логического компонента, а затем материализовано для более эффективного обучения и вывода. После того как вы создадите и зарегистрируете определения представления компонентов в каталоге Unity, при необходимости их можно материализовать. Определения Feature View и состояние материализации можно просмотреть в Catalog Explorer для поиска и отладки.

Permissions

• Чтобы найти и открыть определение представления функций, вам потребуется READ FEATURE привилегия в представлении компонентов, а также USE CATALOGUSE SCHEMA в родительском каталоге и схеме.
• Для просмотра состояния материализованных функций требуется одна и та же READ FEATURE привилегия. Тем не менее, чтобы перейти по ссылке на базовый конвейер материализации, вам потребуется доступ к рабочей области, работающей в этом конвейере.

Использование обозревателя каталогов

Представления признаков отображаются в обозревателе каталогов Unity Catalog под заголовком Функции внутри каталога и схемы, наряду с другими имеющимися у вас функциями. Представления функций можно отличить от других функций по используемому значку. Представления функций также отображаются на вкладке "Функции " в представлении сведений о схеме. Дополнительные сведения о схемах в Unity Catalog см. в статье Что такое схемы в Azure Databricks?.

Изучите представления функций

Ниже приведен пример страницы сведений Feature View в Catalog Explorer. Он содержит раздел "Определение" и материализованные компоненты, как описано ниже.

Раздел определения

В разделе определения отображаются основные сведения о функции со ссылками на базовую исходную таблицу. Представление функций — это защищаемый объект каталога Unity, поэтому субъекты могут быть предоставлены разрешения на вкладке "Разрешения", как любой защищаемый каталог Unity. Дополнительные сведения об определениях представления функций см. в представлениях функций .

Раздел "Материализованные функции"

При материализации представления функций Databricks сохраняет значения вычисляемых функций в таблице, чтобы их можно было повторно использовать для обучения моделей, пакетной оценки и онлайн-обслуживания. В разделе "Материализованные функции" показано состояние этих таблиц:

• Каждый материализованный признак поддерживается таблицей, в которой хранятся данные этого признака. Автономные функции хранятся в таблице Delta, а сетевые функции хранятся в интернет-магазине компонентов. Можно перейти по ссылке и просмотреть базовую таблицу.
• Функции материализуются как группа, поэтому одна таблица содержит несколько функций, при этом каждая функция хранится как один столбец.
• Каждая резервная таблица является независимым объектом каталога Unity, поэтому вы управляете доступом к ней, как любая другая таблица каталога Unity.
• Последнее время материализации и его успешность или сбой отображаются для каждой материализованной функции.

Сбои материализации

Прежде чем вычислять какие-либо значения признаков, Databricks запускает задачу валидации для офлайн- и онлайн-материализованных признаков. Это задание отделяет ошибки, связанные с пользователем, например ошибки разрешений или конфигурации, от ошибок платформы. Ошибки проверки отображаются непосредственно в материализованном объекте, чтобы вы могли исправить первопричину проблемы.

Если базовый конвейер материализации завершается сбоем после прохождения проверки, это, вероятно, ошибка платформы, которую можно сообщить группе поддержки Databricks для расследования.

Способ материализации компонента зависит от его триггера:

• Функции, использующие CronSchedule или TableTrigger, материализуются пакетами. Результаты и все сообщения об ошибках отображаются в разделе материализованных функций.
• Возможности, использующие триггер StreamingMode, материализуются с помощью декларативного конвейера Lakeflow. После успешной проверки определения Feature View отображается ссылка на конвейер, чтобы вы могли просмотреть его.

Так как конвейеры материализации управляются системой, их нельзя изменять напрямую, но вы можете использовать REST API или пакет SDK для разработки компонентов для удаления этих материализованных функций и связанных с ними конвейеров.

Limitations

• Пакетная материализация представления функций в настоящее время не отображается на вкладке "Задания и конвейеры" в пользовательском интерфейсе. Однако конвейеры материализации представления функций для триггеров потоковой передачи отображаются на вкладке "Задания и конвейеры" на вкладке "Управляемые системой".
• Функции в настоящее время не доступны для поиска в обозревателе каталогов и не отображаются на вкладке "Последние ". Однако вы можете перейти к представлениям компонентов в обозревателе каталогов.
• В настоящее время нельзя настроить оповещения для конвейеров материализации.