API Python
Эта страница содержит ссылки на документацию по API Python для Databricks Feature Engineering и Databricks Workspace Store, а также сведения о клиентских пакетах databricks-feature-engineering и databricks-feature-store.
Примечание.
По состоянию на версию 0.17.0 не databricks-feature-store рекомендуется. Все существующие модули из этого пакета теперь доступны в databricks-feature-engineering версии 0.2.0 и более поздних версий. Дополнительные сведения о миграции см. в разделе "Миграция databricks-feature-engineeringна databricks-feature-engineering".
Матрица совместимости
Пакет и клиент, которые следует использовать, зависят от того, где находятся таблицы компонентов и какая версия машинного обучения databricks runtime, как показано в следующей таблице.
Сведения о том, как определить версию пакета, встроенную в версию машинного обучения среды выполнения Databricks, см . в таблице совместимости компонентов.
| Версия Databricks Runtime | Для таблиц компонентов в | Использование пакета | Использование клиента Python |
|---|---|---|---|
| Databricks Runtime 14.3 ML и более поздних версий | Каталог Unity | databricks-feature-engineering |
FeatureEngineeringClient |
| Databricks Runtime 14.3 ML и более поздних версий | Рабочая область | databricks-feature-engineering |
FeatureStoreClient |
| Databricks Runtime 14.2 ML и ниже | Каталог Unity | databricks-feature-engineering |
FeatureEngineeringClient |
| Databricks Runtime 14.2 ML и ниже | Рабочая область | databricks-feature-store |
FeatureStoreClient |
Заметки о выпуске
См . заметки о выпуске для проектирования компонентов Databricks и устаревшего хранилища функций рабочей области.
Справочник по API Python для разработки компонентов
См. справочные материалы по API Python для разработки компонентов.
Справочник по API Python для хранилища компонентов рабочей области (не рекомендуется)
Примечание.
- По состоянию на версию 0.17.0 не
databricks-feature-storeрекомендуется. Все существующие модули из этого пакета теперь доступны вdatabricks-feature-engineeringверсии 0.2.0 и более поздних версий.
Сведения databricks-feature-store о версии 0.17.0 см. в статье Databricks FeatureStoreClient в справочнике по API Python для разработки компонентов для последней версии API хранилища компонентов рабочей области.
Для версии 0.16.3 и ниже используйте ссылки в таблице, чтобы скачать или отобразить ссылку на API Python в Магазине компонентов. Чтобы определить предустановленную версию для версии машинного обучения Databricks Runtime, см . матрицу совместимости.
| Версия | Скачать PDF | Справочник по ОНЛАЙН-API |
|---|---|---|
| v0.3.5 до версии 0.16.3 | Справочник по API Python 0.16.3 в Магазине компонентов | Справочник по ОНЛАЙН-API |
| Версия 0.3.5 и более ранняя | Справочник по API Python для хранилища признаков 0.3.5 в формате PDF | Справочник по ВЕБ-API недоступен |
Пакет Python
В этом разделе описывается, как установить пакеты Python для использования Databricks Feature Engineering и Databricks Workspace Store.
Конструирование признаков
Примечание.
- Начиная с версии 0.2.0,
databricks-feature-engineeringсодержит модули для работы с таблицами компонентов в каталоге Unity и в хранилище компонентов рабочей области.databricks-feature-engineeringниже версия 0.2.0 работает только с таблицами компонентов в каталоге Unity.
API проектирования компонентов Databricks доступны через клиентский пакет databricks-feature-engineeringPython. Клиент доступен в PyPI и предварительно установлен в Databricks Runtime 13.3 LTS ML и выше.
Справочные сведения о том, какая версия клиента соответствует версии среды выполнения, см. в матрице совместимости.
Чтобы установить клиент в Databricks Runtime:
%pip install databricks-feature-engineering
Чтобы установить клиент в локальной среде Python:
pip install databricks-feature-engineering
Хранилище компонентов рабочей области (не рекомендуется)
Примечание.
- По состоянию на версию 0.17.0 не
databricks-feature-storeрекомендуется. Все существующие модули из этого пакета теперь доступны вdatabricks-feature-engineeringверсии 0.2.0 и более поздних версиях. - Дополнительные сведения см. в статье "Миграция на databricks-feature-engineering ".
API Хранилища компонентов Databricks доступны через клиентский пакет databricks-feature-storePython. Клиент доступен в PyPI и предварительно установлен в Databricks Runtime для машинного обучения. Справочные сведения о том, какая версия среды выполнения включает в себя версию клиента, см. в матрице совместимости.
Чтобы установить клиент в Databricks Runtime:
%pip install databricks-feature-store
Чтобы установить клиент в локальной среде Python:
pip install databricks-feature-store
Миграция в databricks-feature-engineering
Чтобы установить databricks-feature-engineering пакет, используйте pip install databricks-feature-engineering вместо pip install databricks-feature-storeнего. Все модули были перемещены databricks-feature-store databricks-feature-engineeringв, поэтому вам не нужно изменять код. Операторы импорта, такие как from databricks.feature_store import FeatureStoreClient будут продолжать работать после установки databricks-feature-engineering.
Чтобы работать с таблицами компонентов в каталоге Unity, используйте FeatureEngineeringClient. Чтобы использовать хранилище компонентов рабочей области, необходимо использовать FeatureStoreClient.
Поддерживаемые сценарии
В Databricks, включая Databricks Runtime и Databricks Runtime для машинного обучения, доступны следующие действия:
- создание, чтение и запись таблиц признаков;
- обучение и оценка моделей на основе данных признаков;
- публикации таблиц признаков в интернет-магазинах для обслуживания в режиме реального времени;
Из локальной среды или среды, внешней для Databricks, можно выполнять следующие действия:
- разработку кода с поддержкой локальной интегрированной среды разработки;
- модульный тест с использованием макетных платформ;
- написание тестов интеграции для выполнения в Databricks.
Ограничения
Клиентская библиотека может выполняться только в Databricks, включая Databricks Runtime и Databricks Runtime для машинного обучения. Он не поддерживает вызов инженерии компонентов в каталоге Unity или API Магазина компонентов из локальной среды или из среды, отличной от Databricks.
Использование клиентов для модульного тестирования
Вы можете установить инженерию компонентов в клиенте каталога Unity или клиенте Хранилища компонентов локально, чтобы помочь в выполнении модульных тестов.
Например, чтобы проверить правильность вызова FeatureEngineeringClient.write_table метода update_customer_features (или для хранилища FeatureStoreClient.write_tableкомпонентов рабочей области), можно написать следующее:
from unittest.mock import MagicMock, patch
from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient
@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
customer_features_df = MagicMock()
compute_customer_features.return_value = customer_features_df
update_customer_features() # Function being tested
mock_write_table.assert_called_once_with(
name='ml.recommender_system.customer_features',
df=customer_features_df,
mode='merge'
)
Использование клиентов для тестирования интеграции
Вы можете выполнять тесты интеграции с клиентом каталога Unity или клиентом Хранилища компонентов в Databricks. Дополнительные сведения см. в статье Средства для разработчиков и руководство: использование CI/CD.
Обратная связь
Ожидается в ближайшее время: в течение 2024 года мы постепенно откажемся от GitHub Issues как механизма обратной связи для контента и заменим его новой системой обратной связи. Дополнительные сведения см. в разделе https://aka.ms/ContentUserFeedback.
Отправить и просмотреть отзыв по