feature-engineering группа команд

Замечание

Использование интерфейса командной строки Databricks подчиняется лицензии Databricks и уведомлению о конфиденциальности Databricks, включая любые положения о данных использования.

Группа feature-engineering команд в интерфейсе командной строки Databricks позволяет управлять функциями в хранилище функций Databricks.

databricks создание признаков создание признака

Создайте функцию.

databricks feature-engineering create-feature FULL_NAME SOURCE INPUTS FUNCTION TIME_WINDOW [flags]

Arguments

FULL_NAME

    Полное трехкомпонентное имя (каталог, схема, имя) компонента.

SOURCE

    Источник данных функции.

INPUTS

    Входные столбцы, из которых вычисляется функция.

FUNCTION

    Функция, с помощью которой вычисляется функция.

TIME_WINDOW

    Период времени, в котором вычисляется функция.

Options

--description string

    Описание функции.

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

Примеры

В следующем примере создается функция:

databricks feature-engineering create-feature my_catalog.my_schema.my_feature my_source my_inputs my_function my_time_window --description "My feature description"

databricks feature-engineering create-kafka-config

Создайте конфигурацию Kafka.

databricks feature-engineering create-kafka-config NAME BOOTSTRAP_SERVERS SUBSCRIPTION_MODE AUTH_CONFIG [flags]

Arguments

NAME

    Имя, которое уникально идентифицирует эту конфигурацию Kafka в метамагазине. Это будет идентификатор, используемый из объекта Feature для ссылки на эти конфигурации функции. Это может отличаться от названия темы.

BOOTSTRAP_SERVERS

    Список пар узлов и портов, разделенных запятыми, указывающих на кластер Kafka.

SUBSCRIPTION_MODE

    Опции для настройки, из каких тем Кафки брать данные.

AUTH_CONFIG

    Конфигурация аутентификации для подключения к темам.

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

Databricks Feature Engineering Create-Materialized-Feature

Создайте материализированную функцию.

databricks feature-engineering create-materialized-feature FEATURE_NAME [flags]

Arguments

FEATURE_NAME

    Полное название функции в каталоге Unity.

Options

--cron-schedule string

    Выражение кварцевого крона, определяющее график материализационного конвейера.

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

--materialized-feature-id string

    Уникальный идентификатор, назначенный сервером для материализированной функции.

--pipeline-schedule-state MaterializedFeaturePipelineScheduleState

    Расписание конвейера материализации. Поддерживаемые значения: ACTIVE, PAUSED, SNAPSHOT.

Глобальные флаги

Databricks — инженерия функций create-stream

Создайте поток.

databricks feature-engineering create-stream NAME SOURCE_CONFIG CONNECTION_CONFIG SCHEMA_CONFIG INGESTION_CONFIG [flags]

Arguments

NAME

    Полное трёхчастное название ручья (catalog.schema.stream).

SOURCE_CONFIG

    Конфигурация, специфичная для исходного дня. Определяет источник потоковой платформы.

CONNECTION_CONFIG

    Указывает, как подключиться и аутентифицироваться с платформой потока.

SCHEMA_CONFIG

    Определения схем для потока. В настоящее время поддерживаются только прямые схемы. В будущем мы будем поддерживать реестры схем через UC Connection.

INGESTION_CONFIG

    Конфигурация для потокового погружения данных: управляемая таблица, хранящая офлайн-копию прямого заполнения и опциональное историческое заполнение.

Options

--description string

    Описание предоставлено пользователем.

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

Databricks инженерия признаков удаление признака

Удалите функцию.

databricks feature-engineering delete-feature FULL_NAME [flags]

Arguments

FULL_NAME

    Имя функции для удаления.

Глобальные флаги

Примеры

В следующем примере удаляется функция:

databricks feature-engineering delete-feature my_catalog.my_schema.my_feature

databricks feature-engineering delete-kafka-config

Удалить конфигурацию Kafka.

databricks feature-engineering delete-kafka-config NAME [flags]

Arguments

NAME

    Название конфигурации Kafka для удаления.

Глобальные флаги

Databricks Feature-Engineering Delete-Materialized-Feature

Удалить материализованную функцию.

databricks feature-engineering delete-materialized-feature MATERIALIZED_FEATURE_ID [flags]

Arguments

MATERIALIZED_FEATURE_ID

    ID материализированной функции для удаления.

Глобальные флаги

Databricks — Feature-Engineering Delete-Stream

Удалить поток.

databricks feature-engineering delete-stream NAME [flags]

Arguments

NAME

    Полное трёхчастное название потока (catalog.schema.stream) для удаления.

Глобальные флаги

databricks инженерия-признаков получить-признак

Получить функциональную возможность.

databricks feature-engineering get-feature FULL_NAME [flags]

Arguments

FULL_NAME

    Имя функции для получения.

Глобальные флаги

Примеры

Следующий пример получает функцию:

databricks feature-engineering get-feature my_catalog.my_schema.my_feature

databricks feature-engineering get-kafka-config

Возьмите конфигурацию Kafka.

databricks feature-engineering get-kafka-config NAME [flags]

Arguments

NAME

    Название конфигурации Kafka, которую стоит получить.

Глобальные флаги

Databricks Feature-Engineering Get-Materialized-feature

Получите материализованную функцию.

databricks feature-engineering get-materialized-feature MATERIALIZED_FEATURE_ID [flags]

Arguments

MATERIALIZED_FEATURE_ID

    ID материализированного объекта.

Глобальные флаги

Databricks Feature-Engineering Get-Stream

Возьмите стрим.

databricks feature-engineering get-stream NAME [flags]

Arguments

NAME

    Полное трехчастное название потока (catalog.schema.stream) для получения.

Глобальные флаги

Databricks функция-инжиниринг список-функций

Список функций.

databricks feature-engineering list-features [flags]

Options

--page-size int

    Максимальное количество отображаемых результатов.

--page-token string

    Маркер разбиения на страницы для перехода на следующую страницу на основе предыдущего запроса.

Глобальные флаги

Примеры

В следующем примере перечислены все функции:

databricks feature-engineering list-features

databricks feature-engineering list-kafka-configs

Список конфигураций Kafka.

databricks feature-engineering list-kafka-configs [flags]

Options

--limit int

    Максимальное количество возвращаемых результатов.

--page-size int

    Максимальное количество отображаемых результатов.

Глобальные флаги

databricks feature-engineering list-materialized-features

Список материализованных функций.

databricks feature-engineering list-materialized-features [flags]

Options

--feature-name string

    Фильтруйте по названию функции.

--limit int

    Максимальное количество возвращаемых результатов.

--page-size int

    Максимальное количество отображаемых результатов.

Глобальные флаги

Потоки списков Databricks — инженерия особенностей

Список потоков.

databricks feature-engineering list-streams [flags]

Options

--limit int

    Максимальное количество возвращаемых результатов.

--page-size int

    Максимальное количество отображаемых результатов.

--parent string

    Двухчастное название (catalog.schema) материнского устройства, под которым можно перечислить потоки.

Глобальные флаги

Обновление признаков в Databricks: feature-engineering, update-feature

Обновите описание компонента (все остальные поля неизменяемы).

databricks feature-engineering update-feature FULL_NAME UPDATE_MASK SOURCE INPUTS FUNCTION TIME_WINDOW [flags]

Arguments

FULL_NAME

    Полное трехкомпонентное имя (каталог, схема, имя) компонента.

UPDATE_MASK

    Список полей для обновления.

SOURCE

    Источник данных функции.

INPUTS

    Входные столбцы, из которых вычисляется функция.

FUNCTION

    Функция, с помощью которой вычисляется функция.

TIME_WINDOW

    Период времени, в котором вычисляется функция.

Options

--description string

    Описание функции.

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

Примеры

В следующем примере обновляется описание функции:

databricks feature-engineering update-feature my_catalog.my_schema.my_feature description my_source my_inputs my_function my_time_window --description "Updated description"

databricks feature-engineering update-kafka-config

Обновите конфигурацию Kafka.

databricks feature-engineering update-kafka-config NAME UPDATE_MASK BOOTSTRAP_SERVERS SUBSCRIPTION_MODE AUTH_CONFIG [flags]

Arguments

NAME

    Имя, которое уникально идентифицирует эту конфигурацию Kafka в метамагазине. Это будет идентификатор, используемый из объекта Feature для ссылки на эти конфигурации функции. Это может отличаться от названия темы.

UPDATE_MASK

    Список полей для обновления.

BOOTSTRAP_SERVERS

    Список пар узлов и портов, разделенных запятыми, указывающих на кластер Kafka.

SUBSCRIPTION_MODE

    Опции для настройки, из каких тем Кафки брать данные.

AUTH_CONFIG

    Конфигурация аутентификации для подключения к темам.

Options

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

Databricks Feature-Engineering Update-Materialized-feature

Обновить материализованную функцию.

databricks feature-engineering update-materialized-feature MATERIALIZED_FEATURE_ID UPDATE_MASK FEATURE_NAME [flags]

Arguments

MATERIALIZED_FEATURE_ID

    Уникальный идентификатор, назначенный сервером для материализированной функции.

UPDATE_MASK

    Предоставьте поля признаков материализации, которые следует обновить. В настоящее время обновляется только поле pipeline_state.

FEATURE_NAME

    Полное название функции в каталоге Unity.

Options

--cron-schedule string

    Выражение кварцевого крона, определяющее график материализационного конвейера.

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

--materialized-feature-id string

    Уникальный идентификатор, назначенный сервером для материализированной функции.

--pipeline-schedule-state MaterializedFeaturePipelineScheduleState

    Расписание конвейера материализации. Поддерживаемые значения: ACTIVE, PAUSED, SNAPSHOT.

Глобальные флаги

Databricks — поток обновления особенностей

Обновить поток.

databricks feature-engineering update-stream NAME UPDATE_MASK SOURCE_CONFIG CONNECTION_CONFIG SCHEMA_CONFIG INGESTION_CONFIG [flags]

Arguments

NAME

    Полное трёхчастное название ручья (catalog.schema.stream).

UPDATE_MASK

    Список полей для обновления.

SOURCE_CONFIG

    Конфигурация, специфичная для исходного дня. Определяет источник потоковой платформы.

CONNECTION_CONFIG

    Указывает, как подключиться и аутентифицироваться с платформой потока.

SCHEMA_CONFIG

    Определения схем для потока. В настоящее время поддерживаются только прямые схемы. В будущем мы будем поддерживать реестры схем через UC Connection.

INGESTION_CONFIG

    Конфигурация для потокового погружения данных: управляемая таблица, хранящая офлайн-копию прямого заполнения и опциональное историческое заполнение.

Options

--description string

    Описание предоставлено пользователем.

--json JSON

    Строка JSON inline или @path к JSON-файлу с телом запроса.

Глобальные флаги

Глобальные флаги

--debug

  Следует ли включить ведение журнала отладки.

-h или --help

    Отобразить справку по интерфейсу командной строки Databricks, связанной группе команд или отдельной команде.

--log-file струна

    Строка, представляющая файл для записи журналов выходных данных. Если этот флаг не указан, по умолчанию используется запись журналов выходных данных в stderr.

--log-format формат

    Тип формата журнала: text или json. Значение по умолчанию — text.

--log-level струна

    Строка, представляющая уровень формата журнала. Если не указано, уровень формата журнала отключен.

типа -o, --output

    Тип выходных данных команды: text или json. Значение по умолчанию — text.

-p, --profile струна

    Имя профиля в ~/.databrickscfg файле, используемого для выполнения команды. Если этот флаг не указан, при наличии используется профиль с именем DEFAULT.

--progress-format формат

    Формат для отображения журналов хода выполнения: default, appendinplace, илиjson

-t, --target струна

    Если применимо, целевой объект пакета для использования

  • Last updated on