Penyimpanan Fitur Databricks dan catatan rilis Penyimpanan Fitur Workspace versi lama

Halaman ini mencantumkan rilis Fitur Rekayasa Databricks di klien Unity Catalog dan klien Toko Fitur Ruang Kerja Databricks. Kedua klien tersedia di PyPI: databricks-feature-engineering dan databricks-feature-store.

Pustaka digunakan untuk:

  • Membuat, membaca, dan menulis tabel fitur.
  • Melatih model dengan data fitur.
  • Terbitkan tabel fitur ke toko online untuk penyajian waktu nyata.

Untuk dokumentasi penggunaan, silakan lihat Databricks Feature Store. Untuk dokumentasi Python API, lihat Python API.

Rekayasa Fitur di klien Katalog Unity berfungsi untuk fitur dan tabel fitur di Katalog Unity. Klien Feature Store Ruang Kerja berfungsi untuk mengelola fitur dan tabel fitur dalam Feature Store Ruang Kerja. Kedua klien telah diinstal sebelumnya di Databricks Runtime untuk Pembelajaran Mesin. Mereka juga dapat berjalan pada Databricks Runtime setelah menginstal databricks-feature-engineering dari PyPI (pip install databricks-feature-engineering). Hanya untuk pengujian unit, kedua klien dapat digunakan secara lokal atau di lingkungan CI/CD.

Untuk tabel yang memperlihatkan kompatibilitas versi klien dengan versi Databricks Runtime dan Databricks Runtime ML, lihat matriks kompatibilitas Rekayasa Fitur. Versi lama klien Penyimpanan Fitur Ruang Kerja Databricks tersedia di PyPI sebagai databricks-feature-store.

databricks-feature-engineering 0.14.0

  • Fitur Deklaratif Sekumpulan (Beta):
    • API fitur deklaratif untuk menyimpan definisi fitur deklaratif sebagai fungsi Unity Catalog dengan agregasi dan jendela waktu.
    • API fitur termaterialisasi menjadwalkan termaterialisasinya fitur secara batch otomatis ke toko online dengan cron schedule yang dapat dikonfigurasi.
    • Fitur materialisasi dapat digunakan dalam penyajian online untuk model terdaftar di Unity Catalog.
    • Dukungan jendela geser dan menurun menggunakan kelas SlidingWindow dan TumblingWindow untuk perhitungan fitur yang tepat waktu-tertentu di create_training_set().
    • filter_condition parameter memungkinkan pemfilteran data sumber saat menghitung fitur.
  • Peningkatan lainnya:
    • API baru list_online_stores() mencantumkan semua toko online dalam katalog atau skema.
    • Dukungan untuk usage_policy_id dalam pelacakan penagihan ketika membuat atau memperbarui toko online.
    • Pesan kesalahan yang disempurnakan ketika toko online dihapus atau tidak tersedia.
    • Perbaikan bug dan peningkatan performa.

databricks-feature-engineering 0.13.0

  • API untuk mengelola feature store online yang dikelola oleh Databricks.
  • publish_table() sekarang menerima source_table_nameparameter , online_table_name, dan publish_mode untuk spesifikasi tabel yang lebih jelas.
  • Dukungan untuk read_replica_count saat membuat atau memperbarui toko online untuk meningkatkan kemampuan skalabilitas baca.
  • Perbaikan bug dan peningkatan.

databricks-feature-engineering 0.12.1

  • Mendukung nilai default untuk pencarian fitur.
  • Perbaikan bug dan peningkatan.

databricks-feature-engineering 0.11.0

  • Tambahkan dukungan untuk mlflow versi 3.0.
  • Perbaikan bug dan peningkatan.

databricks-feature-engineering 0.10.2

  • Tambahkan dukungan untuk mlflow versi 2.20.0 ke atas.
  • Tambahkan dukungan untuk numpy versi 2.x.
  • Perbaikan bug dan peningkatan.

databricks-feature-engineering 0.9.0 (teknik untuk mengubah data mentah menjadi fitur input model)

  • Dukung penggunaan prebuilt_env dalam pemanggilan score_batch.
  • Fitur point-in-time menggabungkan peningkatan performa dengan Photon.
  • Perbaikan bug dan peningkatan.

databricks-feature-engineering 0.8.0

  • Dukungan menggunakan params dalam pemanggilan score_batch, yang memungkinkan parameter tambahan diteruskan ke model untuk inferensi.
  • Perbaikan bug dan peningkatan.

databricks-feature-engineering 0.7.0

  • Tampilan tertentu di Unity Catalog sekarang dapat digunakan sebagai tabel fitur untuk pelatihan dan evaluasi model offline. Lihat Baca dari tabel fitur dalam Katalog Unity.
  • Set pelatihan sekarang dapat dibuat dengan pencarian fitur atau spesifikasi fitur. Lihat referensi Python SDK.

databricks-feature-engineering 0.6.0

  • Menjalankan gabungan point-in-time dengan Spark bawaan sekarang didukung, selain dukungan yang sudah ada dengan Tempo. Terima kasih banyak kepada Semyon Sinchenko karena telah menyarankan idenya!
  • StructType sekarang didukung sebagai jenis data PySpark. StructType tidak didukung untuk layanan online.
  • write_table sekarang mendukung penulisan ke tabel yang mengaktifkan pengklusteran cairan .
  • Parameter timeseries_columns untuk create_table telah diganti namanya menjadi timeseries_column. Alur kerja yang ada dapat terus menggunakan timeseries_columns parameter .
  • score_batch sekarang mendukung env_manager parameter . Lihat dokumentasi MLflow untuk informasi selengkapnya.

databricks-feature-engineering 0.5.0

  • API update_feature_spec baru di databricks-feature-engineering yang memungkinkan pengguna memperbarui pemilik FeatureSpec di Unity Catalog.

databricks-feature-engineering 0.4.0

  • Perbaikan bug kecil dan peningkatan.

databricks-feature-engineering 0.3.0

  • log_modelsekarang menggunakan paket PyPI databricks-feature-lookup baru, yang mencakup peningkatan performa untuk penyajian model online.

databricks-feature-store 0.17.0

  • databricks-feature-store tidak digunakan lagi. Semua modul yang ada dalam paket ini tersedia dalam databricks-feature-engineering versi 0.2.0 ke atas. Untuk detailnya, lihat Python API.

databricks-feature-engineering 0.2.0

  • databricks-feature-engineering sekarang berisi semua modul dari databricks-feature-store. Untuk detailnya, lihat Python API.

databricks-feature-store 0.16.3

  • Memperbaiki bug batas waktu saat menggunakan AutoML dengan tabel fitur.

databricks-feature-engineering 0.1.3

  • Peningkatan kecil di UpgradeClient.

databricks-feature-store 0.16.2

databricks-feature-store 0.16.1

  • Perbaikan bug kecil dan peningkatan.

databricks-feature-engineering 0.1.2 dan databricks-feature-store 0.16.0

  • Perbaikan bug kecil dan peningkatan.
    • Memperbaiki URL silsilah tugas yang salah yang dicatatkan dalam penyiapan ruang kerja tertentu.

databricks-feature-engineering 0.1.1

  • Perbaikan bug kecil dan peningkatan.

databricks-feature-engineering 0.1.0

  • Rilis Umum Rekayasa Fitur untuk Klien Python untuk Unity Catalog menuju PyPI

databricks-feature-store 0.15.1

  • Perbaikan bug kecil dan peningkatan.

databricks-feature-store 0.15.0

  • Anda sekarang dapat secara otomatis menyimpulkan dan mencatat contoh input saat Anda mencatat model. Untuk melakukan ini, atur infer_model_example ke True saat Anda memanggil log_model. Contohnya didasarkan pada data pelatihan yang ditentukan dalam parameter training_set.

databricks-feature-store 0.14.2

  • Perbaiki bug dalam penerbitan ke Aurora MySQL dari MariaDB Connector/J >=2.7.5.

databricks-feature-store 0.14.1

  • Perbaikan bug kecil dan peningkatan.

databricks-feature-store 0.14.0

Dimulai dengan 0.14.0, Anda harus menentukan kolom kunci tanda waktu dalam primary_keys argumen. Kunci tanda waktu adalah bagian dari "kunci primer" yang secara unik mengidentifikasi setiap baris dalam tabel fitur. Seperti kolom kunci utama lainnya, kolom kunci tanda waktu tidak boleh berisi nilai NULL.

Dalam contoh berikut, DataFrame user_features_df berisi kolom berikut: user_id, , tspurchases_30d, dan is_free_trial_active.

0.14.0 ke atas

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)

0.13.1 ke bawah

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)

databricks-feature-store 0.13.1

  • Perbaikan bug kecil dan peningkatan.

databricks-feature-store 0.13.0

  • Versi minimum yang diperlukan mlflow-skinny sekarang adalah 2.4.0.
  • Membuat set pelatihan gagal jika DataFrame yang disediakan tidak berisi semua kunci pencarian yang diperlukan.
  • Saat mencatat model yang menggunakan tabel fitur di Unity Catalog, tanda tangan MLflow secara otomatis dicatat dengan model.

databricks-feature-store versi 0.12.0

  • Anda sekarang dapat menghapus toko online dengan menggunakan drop_online_table API.

databricks-feature-store 0.11.0

  • Di ruang kerja yang mendukung Katalog Unity, Anda sekarang dapat menerbitkan tabel fitur ruang kerja dan Katalog Unity ke toko online Cosmos DB. Ini memerlukan Databricks Runtime 13.0 ML atau lebih tinggi.

databricks-feature-store 0.10.0

  • Perbaikan bug kecil dan peningkatan.

databricks-feature-store 0.9.0

  • Perbaikan bug kecil dan peningkatan.

databricks-feature-store 0.8.0

  • Perbaikan bug kecil dan peningkatan.

databricks-feature-store 0.7.1

  • Tambahkan flask sebagai dependensi untuk memperbaiki masalah dependensi yang hilang saat menilai model dengan score_batch.

databricks-feature-store 0.7.0

  • Perbaikan bug kecil dan peningkatan.

databricks-feature-store 0.6.1

  • Peluncuran publik awal klien Feature Store Databricks ke PyPI.
  • Last updated on