Explorar exibições de recursos no catálogo do Unity

Importante

Esse recurso está em Visualização Pública. Os administradores do workspace podem controlar o acesso a esse recurso na página Visualizações . Consulte Gerenciar visualizações do Azure Databricks.

Conforme abordado em Feature Views, uma Feature View pode ser registrada no Unity Catalog como uma definição lógica de recurso e, em seguida, materializada para tornar o treinamento e a inferência mais eficientes. Depois de criar e registrar definições de Feature View no Unity Catalog, você pode materializá-las opcionalmente. As definições de Feature View e o status de materialização podem ser visualizados no Catalog Explorer para descoberta e depuração.

Permissions

• Para pesquisar e abrir uma definição de visualização de recurso, você precisa do privilégio READ FEATURE na visualização de recurso, juntamente com USE CATALOG e USE SCHEMA no catálogo e no esquema pai.
• Exibir o status dos recursos materializados requer o mesmo READ FEATURE privilégio. No entanto, para acessar um link para o pipeline de materialização subjacente, você precisa ter acesso ao espaço de trabalho onde esse pipeline está em execução.

Use o Explorador de Catálogo

As visualizações de recursos são mostradas no Unity Catalog Explorador de Catálogos, sob o cabeçalho Funções, dentro de um catálogo e de um esquema, ao lado de quaisquer outras funções que você possa ter. Você pode distinguir exibições de recursos de outras funções pelo ícone usado. As exibições de recursos também são visíveis dentro da guia Funções dentro da exibição de detalhes do esquema. Veja O que são esquemas em Azure Databricks? Para obter mais informações sobre esquemas do Catálogo do Unity.

Explorar visualizações de funcionalidades

Abaixo está um exemplo da página de detalhes da Feature View no Explorador de Catálogo. Ele contém uma seção Definição e uma seção de recursos materializados, conforme discutido abaixo.

Seção Definição

A seção de definição exibe informações básicas sobre o recurso com links para a tabela de origem subjacente. Uma visualização de recurso é um objeto protegível do Unity Catalog; portanto, os principais podem receber permissões na guia Permissões, como qualquer outro objeto protegível do Unity Catalog. Consulte Visualizações de Recursos para obter mais informações sobre as definições de Visualizações de Recursos.

Seção de funcionalidades materializadas

Quando você materializa um Modo de Exibição de Recursos, o Databricks armazena seus valores de recursos computados em uma tabela para que eles possam ser reutilizados para treinamento de modelo, pontuação em lote e serviço online. A seção de recursos materializados mostra o estado dessas tabelas:

• Cada funcionalidade materializada tem como base uma tabela que armazena os dados da funcionalidade. Os recursos offline são armazenados em uma tabela Delta, enquanto os recursos online são armazenados no Repositório de Recursos online. Você pode clicar para exibir a tabela de backup.
• Os recursos são materializados como um grupo, portanto, uma única tabela contém vários recursos, com cada recurso armazenado como uma coluna.
• Cada tabela de backup é um objeto independente do Catálogo do Unity, portanto, você controla o acesso a ele como qualquer outra tabela do Catálogo do Unity.
• O último tempo de materialização e seu êxito ou falha são mostrados para cada recurso materializado.

Falhas de materialização

Antes de calcular quaisquer valores dos atributos, a Databricks executa uma tarefa de validação para atributos materializados offline e online. Esse trabalho separa erros voltados para o usuário, como erros de permissão ou configuração, de erros de plataforma. Os erros de validação são exibidos diretamente no recurso materializado para que você possa corrigir o problema subjacente.

Se o pipeline de materialização subjacente falhar depois que a validação for concluída com sucesso, isso provavelmente é um erro da plataforma que você pode informar à equipe de suporte da Databricks para investigação.

A maneira como uma funcionalidade se materializa depende de seu gatilho:

• Recursos que usam um CronSchedule ou TableTrigger são materializados em lotes. Os resultados e quaisquer mensagens de erro são exibidos na seção de funcionalidades materializadas.
• Os recursos que usam um disparador StreamingMode são materializados por um pipeline declarativo do Lakeflow. Depois que a definição da Feature View passar pela validação, um link para o pipeline será exibido para que você possa visualizá-lo.

Como os pipelines de materialização são gerenciados pelo sistema, você não pode modificá-los diretamente, mas pode usar a API REST ou o SDK de engenharia de recursos para excluir esses recursos materializados e os pipelines associados a eles.

Limitations

• A materialização em lote do Feature View não está visível no momento na guia Jobs & Pipelines da interface do usuário. No entanto, os pipelines de materialização da Visualização de Recursos para gatilhos de streaming ficam visíveis na guia Jobs & Pipelines, sob a guia Gerenciado pelo sistema.
• Atualmente, os recursos não são pesquisáveis no Gerenciador de Catálogos e não aparecem na guia Recentes . No entanto, você pode navegar até Exibições de Recursos dentro do Gerenciador de Catálogos.
• No momento, não é possível definir alertas sobre pipelines de materialização.