Grupo de comandos feature-engineering

Observação

O uso da CLI do Databricks está sujeito à Licença do Databricks e ao Aviso de Privacidade do Databricks, incluindo quaisquer provisionamentos de Dados de Uso.

O feature-engineering grupo de comandos dentro da CLI do Databricks permite que você gerencie recursos em seu repositório de recursos do Databricks.

databricks engenharia de características criar característica

Crie um recurso.

databricks feature-engineering create-feature FULL_NAME SOURCE INPUTS FUNCTION TIME_WINDOW [flags]

Arguments

FULL_NAME

    O nome completo de três partes (catálogo, esquema, nome) do recurso.

SOURCE

    A fonte de dados do recurso.

INPUTS

    As colunas de entrada das quais a característica é computada.

FUNCTION

    A função pela qual o recurso é computado.

TIME_WINDOW

    A janela de tempo na qual o recurso é computado.

Opções

--description string

    A descrição do recurso.

--json JSON

    A cadeia de caracteres JSON inserida em linha ou o @path para o arquivo JSON com o corpo da solicitação.

Sinalizadores globais

Exemplos

O exemplo a seguir cria um recurso:

databricks feature-engineering create-feature my_catalog.my_schema.my_feature my_source my_inputs my_function my_time_window --description "My feature description"

Databricks Feature-Engineering create-kafka-config

Crie uma configuração do Kafka.

databricks feature-engineering create-kafka-config NAME BOOTSTRAP_SERVERS SUBSCRIPTION_MODE AUTH_CONFIG [flags]

Arguments

NAME

    Nome que identifique de forma única essa configuração Kafka dentro da metastore. Esse será o identificador usado do objeto Feature para referenciar essas configurações de uma funcionalidade. Pode ser distinto pelo nome do tópico.

BOOTSTRAP_SERVERS

    Uma lista separada por vírgulas de pares de host/porta apontando para o cluster do Kafka.

SUBSCRIPTION_MODE

    Opções para configurar de quais tópicos de Kafka extrair dados.

AUTH_CONFIG

    Configuração de autenticação para conexão com tópicos.

Opções

--json JSON

    A cadeia de caracteres JSON inserida em linha ou o @path para o arquivo JSON com o corpo da solicitação.

Sinalizadores globais

Databricks engenharia de recursos criar-materialização-característica

Crie uma funcionalidade materializada.

databricks feature-engineering create-materialized-feature FEATURE_NAME [flags]

Arguments

FEATURE_NAME

    O nome completo do recurso está no Catálogo Unity.

Opções

--cron-schedule string

    A expressão cron de quartzo que define o cronograma do pipeline de materialização.

--json JSON

    A cadeia de caracteres JSON inserida em linha ou o @path para o arquivo JSON com o corpo da solicitação.

--materialized-feature-id string

    Identificador único atribuído pelo servidor para a funcionalidade materializada.

--pipeline-schedule-state MaterializedFeaturePipelineScheduleState

    O estado do cronograma do pipeline de materialização. Valores com suporte: ACTIVE, PAUSED, SNAPSHOT.

Sinalizadores globais

Databricks engenharia de recursos criar-fluxo

Crie um stream.

databricks feature-engineering create-stream NAME SOURCE_CONFIG CONNECTION_CONFIG SCHEMA_CONFIG INGESTION_CONFIG [flags]

Arguments

NAME

    Nome completo em três partes (catalog.schema.stream) do fluxo.

SOURCE_CONFIG

    Configuração específica para a fonte. Determina a fonte da plataforma de streaming.

CONNECTION_CONFIG

    Especifica como conectar e autenticar à plataforma de stream.

SCHEMA_CONFIG

    Definições de esquema para o fluxo. Atualmente, apenas esquemas diretos são suportados. Em um marco futuro, apoiaremos registros de esquemas por meio de uma UC Connection.

INGESTION_CONFIG

    Configuração para ingestão de dados em streaming: a tabela gerenciada que armazena uma cópia offline dos dados de preenchimento direto e preenchimento histórico opcional.

Opções

--description string

    Descrição fornecida pelo usuário.

--json JSON

    A cadeia de caracteres JSON inserida em linha ou o @path para o arquivo JSON com o corpo da solicitação.

Sinalizadores globais

databricks feature-engineering excluir-função

Excluir um recurso.

databricks feature-engineering delete-feature FULL_NAME [flags]

Arguments

FULL_NAME

    Nome do recurso a ser excluído.

Sinalizadores globais

Exemplos

O exemplo a seguir exclui um recurso:

databricks feature-engineering delete-feature my_catalog.my_schema.my_feature

Databricks feature-engineering delete-kafka-config

Exclua uma configuração do Kafka.

databricks feature-engineering delete-kafka-config NAME [flags]

Arguments

NAME

    Nome da configuração do Kafka para deletar.

Sinalizadores globais

Databricks-engenharia-características-excluir-materialização-característica

Exclua uma característica materializada.

databricks feature-engineering delete-materialized-feature MATERIALIZED_FEATURE_ID [flags]

Arguments

MATERIALIZED_FEATURE_ID

    O ID do recurso materializado para deletar.

Sinalizadores globais

Databricks Engenharia de Recursos Delete-Stream

Exclua uma transmissão.

databricks feature-engineering delete-stream NAME [flags]

Arguments

NAME

    Nome completo em três partes (catalog.schema.stream) do Stream para excluir.

Sinalizadores globais

databricks engenharia de recursos obter-recurso

Obtenha uma funcionalidade.

databricks feature-engineering get-feature FULL_NAME [flags]

Arguments

FULL_NAME

    Nome do recurso a ser obtido.

Sinalizadores globais

Exemplos

O exemplo a seguir adquire uma funcionalidade:

databricks feature-engineering get-feature my_catalog.my_schema.my_feature

Databricks feature-engineering get-kafka-config

Compre uma configuração do Kafka.

databricks feature-engineering get-kafka-config NAME [flags]

Arguments

NAME

    Nome da configuração do Kafka para obter.

Sinalizadores globais

Databricks engenharia de características obtenha-materialização-característica

Adquira uma funcionalidade materializada.

databricks feature-engineering get-materialized-feature MATERIALIZED_FEATURE_ID [flags]

Arguments

MATERIALIZED_FEATURE_ID

    O ID da característica materializada.

Sinalizadores globais

Databricks Get-Stream de Engenharia de Recursos

Pega uma transmissão.

databricks feature-engineering get-stream NAME [flags]

Arguments

NAME

    Nome completo em três partes (catálogo.schema.stream) do Stream para obter.

Sinalizadores globais

If needed for clarification, one might include a note or ensure this terminology is explained elsewhere in the text. Otherwise, the translation remains as is: databricks feature-engineering list-features

Listar funcionalidades.

databricks feature-engineering list-features [flags]

Opções

--page-size int

    O número máximo de resultados a serem retornados.

--page-token string

    Token de paginação para ir para a próxima página com base em uma consulta anterior.

Sinalizadores globais

Exemplos

O exemplo a seguir lista todos os recursos:

databricks feature-engineering list-features

Databricks feature-engineering list-kafka-configs

Liste as configurações do Kafka.

databricks feature-engineering list-kafka-configs [flags]

Opções

--limit int

    Número máximo de resultados a serem retornados.

--page-size int

    O número máximo de resultados a serem retornados.

Sinalizadores globais

Databricks engenharia de características-lista-materialização-características

Liste as características materializadas.

databricks feature-engineering list-materialized-features [flags]

Opções

--feature-name string

    Filtre por nome de recurso.

--limit int

    Número máximo de resultados a serem retornados.

--page-size int

    O número máximo de resultados a serem retornados.

Sinalizadores globais

Databricks Fluxos de Listas de Engenharia de Características

Liste os Streams.

databricks feature-engineering list-streams [flags]

Opções

--limit int

    Número máximo de resultados a serem retornados.

--page-size int

    O número máximo de resultados a serem retornados.

--parent string

    Nome em duas partes (catalog.schema) do pai sob o qual listar os Fluxos.

Sinalizadores globais

databricks engenharia-de-recursos atualizar-recurso

Atualize a descrição de um recurso (todos os outros campos são imutáveis).

databricks feature-engineering update-feature FULL_NAME UPDATE_MASK SOURCE INPUTS FUNCTION TIME_WINDOW [flags]

Arguments

FULL_NAME

    O nome completo de três partes (catálogo, esquema, nome) do recurso.

UPDATE_MASK

    A lista de campos a serem atualizados.

SOURCE

    A fonte de dados do recurso.

INPUTS

    As colunas de entrada das quais a característica é computada.

FUNCTION

    A função pela qual o recurso é computado.

TIME_WINDOW

    A janela de tempo na qual o recurso é computado.

Opções

--description string

    A descrição do recurso.

--json JSON

    A cadeia de caracteres JSON inserida em linha ou o @path para o arquivo JSON com o corpo da solicitação.

Sinalizadores globais

Exemplos

O exemplo a seguir atualiza a descrição de um recurso:

databricks feature-engineering update-feature my_catalog.my_schema.my_feature description my_source my_inputs my_function my_time_window --description "Updated description"

Databricks feature-engineering update-kafka-config

Atualize uma configuração do Kafka.

databricks feature-engineering update-kafka-config NAME UPDATE_MASK BOOTSTRAP_SERVERS SUBSCRIPTION_MODE AUTH_CONFIG [flags]

Arguments

NAME

    Nome que identifique de forma única essa configuração Kafka dentro da metastore. Esse será o identificador usado do objeto Feature para referenciar essas configurações de uma funcionalidade. Pode ser distinto pelo nome do tópico.

UPDATE_MASK

    A lista de campos a serem atualizados.

BOOTSTRAP_SERVERS

    Uma lista separada por vírgulas de pares de host/porta apontando para o cluster do Kafka.

SUBSCRIPTION_MODE

    Opções para configurar de quais tópicos de Kafka extrair dados.

AUTH_CONFIG

    Configuração de autenticação para conexão com tópicos.

Opções

--json JSON

    A cadeia de caracteres JSON inserida em linha ou o @path para o arquivo JSON com o corpo da solicitação.

Sinalizadores globais

Databricks engenharia-de recursos atualização-materializado-recurso

Atualize uma funcionalidade materializada.

databricks feature-engineering update-materialized-feature MATERIALIZED_FEATURE_ID UPDATE_MASK FEATURE_NAME [flags]

Arguments

MATERIALIZED_FEATURE_ID

    Identificador único atribuído pelo servidor para a funcionalidade materializada.

UPDATE_MASK

    Forneça os campos de recursos de materialização que devem ser atualizados. Atualmente, apenas o campo pipeline_state pode ser atualizado.

FEATURE_NAME

    O nome completo do recurso está no Catálogo Unity.

Opções

--cron-schedule string

    A expressão cron de quartzo que define o cronograma do pipeline de materialização.

--json JSON

    A cadeia de caracteres JSON inserida em linha ou o @path para o arquivo JSON com o corpo da solicitação.

--materialized-feature-id string

    Identificador único atribuído pelo servidor para a funcionalidade materializada.

--pipeline-schedule-state MaterializedFeaturePipelineScheduleState

    O estado do cronograma do pipeline de materialização. Valores com suporte: ACTIVE, PAUSED, SNAPSHOT.

Sinalizadores globais

Databricks - Fluxo de Atualização de Engenharia de Recursos

Atualize um stream.

databricks feature-engineering update-stream NAME UPDATE_MASK SOURCE_CONFIG CONNECTION_CONFIG SCHEMA_CONFIG INGESTION_CONFIG [flags]

Arguments

NAME

    Nome completo em três partes (catalog.schema.stream) do fluxo.

UPDATE_MASK

    A lista de campos a serem atualizados.

SOURCE_CONFIG

    Configuração específica para a fonte. Determina a fonte da plataforma de streaming.

CONNECTION_CONFIG

    Especifica como conectar e autenticar à plataforma de stream.

SCHEMA_CONFIG

    Definições de esquema para o fluxo. Atualmente, apenas esquemas diretos são suportados. Em um marco futuro, apoiaremos registros de esquemas por meio de uma UC Connection.

INGESTION_CONFIG

    Configuração para ingestão de dados em streaming: a tabela gerenciada que armazena uma cópia offline dos dados de preenchimento direto e preenchimento histórico opcional.

Opções

--description string

    Descrição fornecida pelo usuário.

--json JSON

    A cadeia de caracteres JSON inserida em linha ou o @path para o arquivo JSON com o corpo da solicitação.

Sinalizadores globais

Sinalizadores globais

--debug

  Indica se deve habilitar o registro em log de depuração.

-h ou --help

    Exiba ajuda para a CLI do Databricks ou o grupo de comandos relacionado ou o comando relacionado.

--log-file corda

    Uma cadeia de caracteres que representa o arquivo onde serão gravados os logs de saída. Se esse sinalizador não for especificado, o padrão será gravar logs de saída no stderr.

--log-format formato

    O tipo de formato de log, text ou json. O valor padrão é text.

--log-level corda

    Uma cadeia de caracteres que representa o nível de formato de log. Se não for especificado, o nível de formato de log será desabilitado.

-o, --output tipo

    O tipo de saída do comando, text ou json. O valor padrão é text.

-p, --profile corda

    O nome do perfil no arquivo ~/.databrickscfg, que deverá ser usado para executar o comando. Se esse sinalizador não for especificado, se existir, o perfil nomeado DEFAULT será usado.

--progress-format formato

    O formato para exibir logs de progresso: default, append, inplace ou json

-t, --target corda

    Se aplicável, o destino do pacote a ser usado