Заметки о выпуске для проектирования компонентов Databricks и устаревшего хранилища функций рабочей области

Статья
07/24/2024

На этой странице перечислены выпуски компонента Databricks в клиенте каталога Unity и клиенте Databricks Workspace Store. Оба клиента доступны в PyPI в качестве databricks-feature-engineering.

Библиотеки используются для:

создание, чтение и запись таблиц признаков;
Обучение моделей на основе данных признаков.
публикации таблиц признаков в интернет-магазинах для обслуживания в режиме реального времени;

Документацию по использованию см. в разделе Хранилище признаков Databricks. Документацию по API Python см. в статье API Python.

Проектирование компонентов в клиенте каталога Unity работает с функциями и таблицами компонентов в каталоге Unity. Клиент Хранилища компонентов рабочей области работает для функций и таблиц компонентов в Магазине компонентов рабочей области. Оба клиента предварительно установлены в Databricks Runtime для Машинное обучение. Они также могут работать в Databricks Runtime после установки databricks-feature-engineering из PyPI (pip install databricks-feature-engineering). Только для модульного тестирования оба клиента могут использоваться локально или в средах CI/CD.

Таблица, показывающая совместимость версий клиента с версиями Databricks Runtime и Databricks Runtime ML, см . в матрице совместимости компонентов. Более старые версии клиента Databricks Workspace Store доступны в PyPI как databricks-feature-store.

databricks-feature-engineering 0.6.0

Теперь поддерживаются соединения между точками во времени с собственным Spark, а также существующую поддержку с tempo. Огромная благодарность Семон Синченко за предложение идеи!
StructType теперь поддерживается как тип данных PySpark. StructType не поддерживается для онлайн-обслуживания.
write_table теперь поддерживает запись в таблицы с поддержкой отказоустойчивой кластеризации .
Параметр timeseries_columns для create_table этого был переименован timeseries_columnв . Существующие рабочие процессы могут продолжать использовать timeseries_columns этот параметр.
score_batch теперь поддерживает env_manager параметр. Дополнительные сведения см. в документации по MLflow.

databricks-feature-engineering 0.5.0

Новый API update_feature_spec , databricks-feature-engineering позволяющий пользователям обновлять владельца компонента FeatureSpec в каталоге Unity.

databricks-feature-engineering 0.4.0

Исправления и улучшения небольших ошибок.

databricks-feature-engineering 0.3.0

log_model теперь использует новый пакет PyPI databricks-feature-lookup , который включает улучшения производительности для обслуживания онлайн-моделей.

databricks-feature-store 0.17.0

databricks-feature-store не рекомендуется к использованию. Все существующие модули в этом пакете доступны в databricks-feature-engineering версии 0.2.0 и выше. Дополнительные сведения см. в разделе API Python.

databricks-feature-engineering 0.2.0

databricks-feature-engineering Теперь содержит все модули из databricks-feature-store. Дополнительные сведения см. в разделе API Python.

databricks-feature-store 0.16.3

Исправлена ошибка времени ожидания при использовании AutoML с таблицами компонентов.

databricks-feature-engineering 0.1.3

Небольшие улучшения в UpgradeClient.

databricks-feature-store 0.16.2

Теперь можно создать конечные точки службы функций и функций. Дополнительные сведения см. в разделе "Обслуживание функций и функций".

databricks-feature-store 0.16.1

Исправления и улучшения небольших ошибок.

databricks-feature-engineering 0.1.2 & databricks-feature-store 0.16.0

Исправления и улучшения небольших ошибок.
- Исправлены неправильные URL-адреса происхождения заданий, зарегистрированные с помощью определенных настроек рабочей области.

databricks-feature-engineering 0.1.1

Исправления и улучшения небольших ошибок.

databricks-feature-engineering 0.1.0

Выпуск общедоступной версии разработки компонентов в клиенте Python каталога Unity в PyPI

databricks-feature-store 0.15.1

Исправления и улучшения небольших ошибок.

databricks-feature-store 0.15.0

Теперь вы можете автоматически выводить и записывать входной пример при регистрации модели. Для этого установите значение infer_model_example True при вызове log_model. Пример основан на обучающих данных, указанных в параметре training_set .

databricks-feature-store 0.14.2

Исправлена ошибка при публикации в Aurora MySQL из Соединителя MariaDB/J >=2.7.5.

databricks-feature-store 0.14.1

Исправления и улучшения небольших ошибок.

databricks-feature-store 0.14.0

Начиная с версии 0.14.0, в аргументе необходимо указать ключевые столбцы метки primary_keys времени. Ключи метки времени являются частью "первичных ключей", которые однозначно определяют каждую строку в таблице признаков. Как и другие столбцы первичного ключа, ключевые столбцы метки времени не могут содержать значения NULL.

В следующем примере кадр данных user_features_df содержит следующие столбцы: user_id, , tspurchases_30dи is_free_trial_active.

0.14.0 и выше

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)

0.13.1 и ниже

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)

databricks-feature-store 0.13.1

Исправления и улучшения небольших ошибок.

databricks-feature-store 0.13.0

Минимальная требуемая mlflow-skinny версия теперь — 2.4.0.
Создание набора обучения завершается ошибкой, если указанный кадр данных не содержит все необходимые ключи подстановки.
При ведении журнала модели, используюющей таблицы компонентов в каталоге Unity, подпись MLflow автоматически регистрируется в модели.

databricks-feature-store 0.12.0

Теперь вы можете удалить интернет-магазин с помощью drop_online_table API.

databricks-feature-store 0.11.0

В рабочих областях с поддержкой каталога Unity теперь можно публиковать таблицы функций каталога Unity и рабочей области в интернет-магазинах Cosmos DB. Для этого требуется Databricks Runtime 13.0 ML или более поздней версии.

databricks-feature-store 0.10.0

Исправления и улучшения небольших ошибок.

databricks-feature-store 0.9.0

Исправления и улучшения небольших ошибок.

databricks-feature-store 0.8.0

Исправления и улучшения небольших ошибок.

databricks-feature-store 0.7.1

Добавьте flask в качестве зависимости, чтобы устранить недостающую проблему зависимостей при оценке моделей.score_batch

databricks-feature-store 0.7.0

Исправления и улучшения небольших ошибок.

databricks-feature-store 0.6.1

Первоначальный общедоступный выпуск клиента для хранения признаков Databricks в PyPI.

Поделиться через