Poznámky k vydání systému Databricks Feature Store a starší verze systému pracovního prostoru Feature Store

Tato stránka obsahuje seznam verzí vývoje funkcí Databricks v klientu Unity Catalog a klientu úložiště funkcí pracovního prostoru Databricks. Oba klienti jsou k dispozici v PyPI: databricks-feature-engineering a databricks-feature-store.

Knihovny se používají k:

  • Vytváření, čtení a zápis tabulek funkcí
  • Trénovat modely na datech vlastností.
  • Publikujte tabulky funkcí do online obchodů pro poskytování v reálném čase.

Dokumentaci k použití najdete v úložišti funkcí Databricks. Dokumentaci k rozhraní Python API najdete v části Feature Engineering Python API.

Klient Unity Catalog pro navrhování funkcí pracuje s funkcemi a tabulkami vlastností v katalogu Unity. Klient Workspace Feature Store funguje pro funkce a tabulky funkcí v Workspace Feature Store. Oba klienti jsou předinstalováni v Databricks Runtime prostředí pro Machine Learning. Po instalaci databricks-feature-engineering z PyPI (pip install databricks-feature-engineering) mohou také běžet v prostředí Databricks Runtime. Pouze pro testování jednotek je možné oba klienty používat místně nebo v prostředí CI/CD.

Tabulku zobrazující kompatibilitu verzí klienta s verzemi Databricks Runtime a Databricks Runtime ML najdete v matici kompatibility inženýrství funkcí. Starší verze klienta Databricks Workspace Feature Store jsou k dispozici na PyPI jako databricks-feature-store.

databricks-feature-engineering 0.14.0

  • Deklarativní funkce batch (beta verze):
    • Rozhraní API deklarativních funkcí pro ukládání definic deklarativních funkcí jako funkcí katalogu Unity s agregacemi a časovými intervaly
    • Rozhraní API pro materializované funkce plánuje automatickou dávkovou materializaci funkcí na online obchody pomocí konfigurovatelných cron harmonogramů.
    • Materializované funkce lze použít v online obsluhě pro registrované modely v katalogu Unity.
    • Posuvná a rolovací okna s podporou tříd SlidingWindow a TumblingWindow pro korektní výpočet vlastností k určitému bodu v čase v create_training_set().
    • filter_condition parametr umožňuje filtrování zdrojových dat při výpočetních funkcích.
  • Další vylepšení:
    • Nové list_online_stores() rozhraní API obsahuje seznam všech online obchodů v katalogu nebo schématu.
    • usage_policy_id Podpora sledování fakturace při vytváření nebo aktualizaci online obchodů
    • Vylepšené chybové zprávy při odstranění nebo nedostupnosti online obchodů
    • Opravy chyb a vylepšení výkonu

databricks-feature-engineering 0.13.0

  • Rozhraní API pro správu online úložišť funkcí spravovaných službou Databricks
  • publish_table() nyní přijímá parametry source_table_name, online_table_namea publish_mode parametry pro jasnější specifikaci tabulky.
  • Podpora pro read_replica_count při vytváření nebo aktualizaci online obchodů pro lepší škálovatelnost čtení.
  • Opravy chyb a vylepšení

databricks-feature-engineering 0.12.1

  • Podpora výchozích hodnot pro vyhledávání funkcí.
  • Opravy chyb a vylepšení

databricks-feature-engineering 0.11.0

  • Přidání podpory pro mlflow verzi 3.0
  • Opravy chyb a vylepšení

Databricks-feature-engineering 0.10.2

  • Přidejte podporu pro mlflow verzi 2.20.0 a vyšší.
  • Přidání podpory pro numpy verzi 2.x
  • Opravy chyb a vylepšení

databricks-feature-engineering 0.9.0

  • Podpora použití prebuilt_env v score_batch volání.
  • Vylepšení výkonu při spojování funkcí v daném časovém okamžiku pomocí Photonu.
  • Opravy chyb a vylepšení

databricks-feature-engineering 0.8.0

  • Podpora použití params ve vyvoláních score_batch, což umožňuje předávat modelu další parametry pro inferenci.
  • Opravy chyb a vylepšení

databricks-feature-engineering 0.7.0

  • Některá zobrazení v katalogu Unity se teď dají použít jako tabulky funkcí pro trénování a vyhodnocení offline modelu. Viz Čtení z tabulky vlastností v katalogu Unity.
  • Trénovací sady je teď možné vytvořit pomocí vyhledávání funkcí nebo specifikace funkce. Viz referenční informace k sadě Python SDK.

databricks-feature-engineering 0.6.0

  • Provádění spojení k bodu v čase pomocí nativního Sparku je nyní podporováno vedle stávající podpory v rámci Tempo. Obrovské díky Semyonu Sinchenkovi za návrh nápadu!
  • StructType se teď podporuje jako datový typ PySpark. StructType není podporováno pro online poskytování služeb.
  • write_table nyní podporuje zápis do tabulek s liquid clusteringem povoleným.
  • Parametr timeseries_columns pro create_table byl přejmenován na timeseries_column. Existující pracovní postupy můžou parametr dál používat timeseries_columns .
  • score_batch teď podporuje env_manager parametr. Další informace najdete v dokumentaci k MLflow.

databricks-feature-engineering 0.5.0

  • Nové rozhraní API update_feature_spec , které databricks-feature-engineering uživatelům umožňuje aktualizovat vlastníka featureSpec v katalogu Unity.

Databricks-feature-engineering 0.4.0

  • Malé opravy chyb a vylepšení

Nástroj databricks pro vytváření funkcí verze 0.3.0

  • log_model teď používá nový PyPI balíček databricks-feature-lookup, který zahrnuje vylepšení výkonu pro online servisování modelů.

Databricks-feature-store 0.17.0

  • databricks-feature-store je zastaralý. Všechny existující moduly v tomto balíčku jsou k dispozici ve databricks-feature-engineering verzi 0.2.0 a vyšší. Podrobnosti najdete v rozhraní Python API.

databricks-feature-engineering 0.2.0

  • databricks-feature-engineering nyní obsahuje všechny moduly z databricks-feature-store. Podrobnosti najdete v rozhraní Python API.

databricks-feature-store 0.16.3

  • Opravuje chybu časového limitu při použití AutoML s tabulkami funkcí.

Databricks-feature-engineering 0.1.3

  • Malá vylepšení v UpgradeClient.

Úložiště funkcí databricks 0.16.2

  • Nyní můžete vytvářet koncové body pro funkce a poskytování funkcí. Podrobnosti najdete v tématu Funkce a obsluha funkcí.

Databricks-feature-store 0.16.1

  • Malé opravy chyb a vylepšení

databricks-feature-engineering 0.1.2 a databricks-feature-store 0.16.0

  • Malé opravy chyb a vylepšení
    • Opravili jsme nesprávné adresy URL rodokmenu úloh zaprotokolované s určitými nastaveními pracovního prostoru.

Databricks-feature-engineering 0.1.1

  • Malé opravy chyb a vylepšení

databricks-feature-engineering 0.1.0

  • Verze ga pro přípravu funkcí v klientovi Pythonu v katalogu Unity do PyPI

Úložiště funkcí databricks 0.15.1

  • Malé opravy chyb a vylepšení

Úložiště funkcí databricks 0.15.0

  • Při protokolování modelu teď můžete automaticky odvodit a protokolovat vstupní příklad. Chcete-li to provést, nastavte infer_model_example na True při volání log_model. Příklad je založený na trénovacích datech zadaných v parametru training_set .

databricks-feature-store 0.14.2

  • Oprava chyby při publikování na Aurora MySQL z konektoru MariaDB/J >=2.7.5

Úložiště funkcí databricks 0.14.1

  • Malé opravy chyb a vylepšení

databricks-feature-store 0.14.0

Počínaje verzí 0.14.0 musíte specifikovat sloupce klíčů časových razítek v argumentu primary_keys. Klíče časového razítka jsou součástí "primárních klíčů", které jednoznačně identifikují každý řádek v tabulce funkcí. Stejně jako u jiných sloupců primárního klíče nemohou sloupce s klíčem časového razítka obsahovat hodnoty NULL.

V následujícím příkladu datový rámec user_features_df obsahuje následující sloupce: user_id, ts, purchases_30da is_free_trial_active.

0.14.0 a vyšší

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)

0.13.1 a novější

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)

Databricks-feature-store 0.13.1

  • Malé opravy chyb a vylepšení

databricks-feature-store 0.13.0

  • Minimální požadovaná mlflow-skinny verze je teď 2.4.0.
  • Vytvoření trénovací sady selže, pokud zadaný datový rámec neobsahuje všechny požadované vyhledávací klíče.
  • Při protokolování modelu, který používá tabulky funkcí v katalogu Unity, se podpis MLflow automaticky zaprotokoluje s modelem.

databricks-feature-store 0.12.0

  • Teď můžete odstranit online obchod pomocí drop_online_table rozhraní API.

databricks-feature-store 0.11.0

  • V pracovních prostorech s podporou katalogu Unity teď můžete publikovat tabulky funkcí pracovního prostoru i katalogu Unity do online úložišť Cosmos DB. To vyžaduje Databricks Runtime 13.0 ML nebo vyšší.

databricks-feature-store 0.10.0

  • Malé opravy chyb a vylepšení

databricks-feature-store 0.9.0

  • Malé opravy chyb a vylepšení

databricks-feature-store 0.8.0

  • Malé opravy chyb a vylepšení

Úložiště funkcí databricks 0.7.1

  • Přidání flask jako závislosti pro opravu problému s chybějící závislostí při vyhodnocování modelů pomocí score_batch.

databricks-feature-store 0.7.0

  • Malé opravy chyb a vylepšení

databricks-feature-store 0.6.1

  • Počáteční veřejné uvolnění klienta Feature Store Databricks na PyPI.
  • Last updated on