Python API

Ez a lap hivatkozásokat tartalmaz a Databricks szolgáltatásfejlesztés és a Databricks örökölt munkaterület funkciótárolójának Python API-dokumentációjára, valamint a databricks-feature-engineering és databricks-feature-storeügyfélcsomagokra vonatkozó információkra.

Feljegyzés

A 0.17.0 verziótól kezdve a databricks-feature-store elavult. A csomag összes meglévő modulja már elérhető a 0.2.0-s és újabb verziókban databricks-feature-engineering . További információ a migrálásról: Migrálás databricks-feature-engineeringa databricks-feature-engineering szolgáltatásba.

Kompatibilitási mátrix

A használni kívánt csomag és ügyfél attól függ, hogy hol találhatók a szolgáltatástáblák, és hogy milyen Databricks Runtime ML-verziót futtat, ahogyan az alábbi táblázatban látható.

A Databricks Runtime ML-verzióba beépített csomagverzió azonosításához tekintse meg a Szolgáltatásmérnöki kompatibilitási mátrixot.

Databricks Runtime verzió Jellemző táblázatok a következőben: Csomag használata Python-ügyfél használata
Databricks Runtime 14.3 ML vagy újabb Unity-katalógus databricks-feature-engineering FeatureEngineeringClient
Databricks Runtime 14.3 ML vagy újabb Munkaterület databricks-feature-engineering FeatureStoreClient
Databricks Runtime 14.2 ML és újabb Unity-katalógus databricks-feature-engineering FeatureEngineeringClient
Databricks Runtime 14.2 ML és újabb Munkaterület databricks-feature-store FeatureStoreClient

Feljegyzés

  • databricks-feature-engineering<=0.7.0 nem kompatibilis a mlflow>=2.18.0. A databricks-feature-engineering az MLflow 2.18.0-s vagy újabb verziójával való használatához frissítsen databricks-feature-engineering 0.8.0-s vagy újabb verzióra.

Kibocsátási megjegyzések

Lásd a Databricks Feature Store és a régi Workspace Feature Store kiadási megjegyzéseit.

Szolgáltatásfejlesztés – Python API-referencia

Tekintse meg a Feature Engineering Python API-referenciáját.

Munkaterületi funkciótár – Python API-referencia (elavult)

Feljegyzés

  • A 0.17.0 verziótól kezdve a databricks-feature-store elavult. A csomag összes meglévő modulja már elérhető a 0.2.0-s és újabb verziókban databricks-feature-engineering .

A 0.17.0-s verzióról databricks-feature-store a Databricks FeatureStoreClient in Feature Engineering Python API-referenciájában olvashat a Workspace Feature Store API legújabb referenciáiról .

A 0.16.3-s vagy újabb verzió esetén a táblázatban található hivatkozásokkal letöltheti vagy megjelenítheti a Feature Store Python API-referenciáját. A Databricks Runtime ML-verzió előre telepített verziójának meghatározásához tekintse meg a kompatibilitási mátrixot.

Verzió PDF letöltése Online API-referencia
v0.3.5–v0.16.3 Feature Store Python API 0.16.3 referencia PDF Online API-referencia
0.3.5-ös vagy újabb verzió Feature Store Python API 0.3.5 referencia PDF Online API-referencia nem érhető el

Python-csomag

Ez a szakasz bemutatja, hogyan telepíthetők a Python-csomagok a Databricks szolgáltatásfejlesztés és a Databricks-munkaterület funkciótárolójának használatára.

Jellemzőtervezés

Feljegyzés

  • A 0.2.0-s verziótól a databricks-feature-engineering a Unity Katalógusban és a Munkaterület funkciótárolójában is használható modulokat tartalmaz. databricks-feature-engineering 0.2.0-s verzió alatt csak a Unity Catalog szolgáltatástáblái működnek.

A Databricks szolgáltatásmérnöki API-k a Python-ügyfélcsomagon databricks-feature-engineeringkeresztül érhetők el. Az ügyfél a PyPI-n érhető el, és előre telepítve van a Databricks Runtime 13.3 LTS ML-ben és újabb verziókban.

Ha meg szeretné tudni, hogy melyik ügyfélverzió melyik futtatókörnyezeti verziónak felel meg, tekintse meg a kompatibilitási mátrixot.

Az ügyfél telepítése a Databricks Runtime-ban:

%pip install databricks-feature-engineering

Az ügyfél telepítése helyi Python-környezetben:

pip install databricks-feature-engineering

Munkaterület funkciótárolója (elavult)

Feljegyzés

A Databricks feature Store API-k a Python-ügyfélcsomagon databricks-feature-storekeresztül érhetők el. Az ügyfél elérhető a PyPI-n, és előre telepítve van a Databricks Runtime for Machine Learningben. Az egyes futtatókörnyezetekhez tartozó ügyfélverziók megtekintéséhez lásd a kompatibilitási mátrixot.

Az ügyfél telepítése a Databricks Runtime-ban:

%pip install databricks-feature-store

Az ügyfél telepítése helyi Python-környezetben:

pip install databricks-feature-store

Migrálás a(z) databricks-feature-engineering

A databricks-feature-engineering csomag telepítéséhez a pip install databricks-feature-engineering parancsot használja a pip install databricks-feature-store helyett. Az összes modul databricks-feature-store át lett helyezve databricks-feature-engineering, ezért nem kell módosítania a kódot. Az importálási utasítások, például from databricks.feature_store import FeatureStoreClient a telepítés databricks-feature-engineeringután is működni fognak.

Ha funkciótáblákkal szeretne dolgozni a Unity Catalogban, használja a FeatureEngineeringClient. A Munkaterület funkciótároló használatához a következőt kell használnia FeatureStoreClient: .

Támogatott esetek

A Databricksen, beleértve a Databricks Runtime-ot és a Databricks Runtime for Machine Learninget, a következőket teheti:

  • Funkciótáblák létrehozása, olvasása és írása.
  • A modellek betanítása és pontozása jellemző adatokon.
  • Szolgáltatástáblák közzététele online áruházakban valós idejű kiszolgálás céljából.

Helyi környezetből vagy a Databricksen kívüli környezetből a következőket teheti:

  • Kód fejlesztése helyi IDE-támogatással.
  • Egységteszt szimulált keretrendszerek használatával.
  • A Databricksen futtatandó integrációs tesztek írása.

Korlátozások

Az ügyfélkódtár csak a Databricksen futtatható, beleértve a Databricks Runtime-ot és a Databricks Runtime for Machine Learninget. Nem támogatja a Szolgáltatásfejlesztés meghívását a Unity Catalogban vagy a Feature Store API-kban helyi környezetből vagy a Databrickstől eltérő környezetből.

A kliensek használata egységteszteléshez

Az egységtesztek futtatásához helyileg telepítheti a szolgáltatásfejlesztést a Unity Catalog-ügyfélben vagy a Feature Store-ügyfélben.

Ha például ellenőrizni szeretné, hogy egy metódus update_customer_features helyesen hívja a FeatureEngineeringClient.write_table (vagy munkaterületi Szolgáltatástároló esetén a FeatureStoreClient.write_table), írhatja a következőt:

from unittest.mock import MagicMock, patch

from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient

@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
  customer_features_df = MagicMock()
  compute_customer_features.return_value = customer_features_df

  update_customer_features()  # Function being tested

  mock_write_table.assert_called_once_with(
    name='ml.recommender_system.customer_features',
    df=customer_features_df,
    mode='merge'
  )

Az ügyfelek használata integrációs teszteléshez

Integrációs teszteket futtathat a Unity Catalog-ügyfél szolgáltatásfejlesztésével vagy a Databricks Szolgáltatástár-ügyféllel. További információ: Fejlesztői eszközök és útmutató: CI/CD használata.

  • Last updated on