Bagikan melalui

Fitur Rekayasa dan Fitur Ruang Kerja Store Python API

  • Artikel

Halaman ini menyediakan tautan ke dokumentasi API Python dari Rekayasa Fitur Databricks dan Penyimpanan Fitur Ruang Kerja Databricks, dan informasi tentang paket databricks-feature-engineering klien dan databricks-feature-store.

Catatan

Pada versi 0.17.0, databricks-feature-store telah ditolak. Semua modul yang ada dari paket ini sekarang tersedia di databricks-feature-engineering versi 0.2.0 dan yang lebih baru. Untuk informasi tentang migrasi ke databricks-feature-engineering, lihat Migrasi ke databricks-feature-engineering.

Matriks kompatibilitas

Paket dan klien yang harus Anda gunakan bergantung pada di mana tabel fitur Anda berada dan versi ML Runtime Databricks apa yang Anda jalankan, seperti yang ditunjukkan dalam tabel berikut.

Untuk mengidentifikasi versi paket yang disertakan dalam versi ML Runtime Databricks Anda, lihat matriks kompatibilitas Rekayasa Fitur.

Versi Runtime bahasa umum Databricks Untuk tabel fitur di Gunakan paket Menggunakan klien Python
Databricks Runtime 14.3 ML ke atas Katalog Unity databricks-feature-engineering FeatureEngineeringClient
Databricks Runtime 14.3 ML ke atas Ruang kerja databricks-feature-engineering FeatureStoreClient
Databricks Runtime 14.2 ML ke bawah Katalog Unity databricks-feature-engineering FeatureEngineeringClient
Databricks Runtime 14.2 ML ke bawah Ruang kerja databricks-feature-store FeatureStoreClient

Catatan rilis

Lihat Catatan rilis untuk rekayasa fitur Databricks dan penyimpanan fitur ruang kerja warisan.

Referensi API Python Rekayasa Fitur

Lihat referensi Api Python Rekayasa Fitur.

Referensi API Python Penyimpanan Fitur Ruang Kerja (tidak digunakan lagi)

Catatan

  • Pada versi 0.17.0, databricks-feature-store telah ditolak. Semua modul yang ada dari paket ini sekarang tersedia di databricks-feature-engineering versi 0.2.0 dan yang lebih baru.

Untuk databricks-feature-store v0.17.0, lihat Databricks FeatureStoreClient di Referensi API Python Rekayasa Fitur untuk referensi API Penyimpanan Fitur Ruang Kerja terbaru.

Untuk v0.16.3 ke bawah, gunakan tautan dalam tabel untuk mengunduh atau menampilkan referensi API Python Penyimpanan Fitur. Untuk menentukan versi yang telah diinstal sebelumnya untuk versi ML Databricks Runtime Anda, lihat matriks kompatibilitas.

Versi Unduh PDF Referensi API Online
v0.3.5 hingga v0.16.3 PDF referensi Python API Penyimpanan Fitur 0.16.3 Referensi API Online
v0.3.5 ke bawah Feature Store Python API 0.3.5 referensi PDF Referensi API online tidak tersedia

Paket Python

Bagian ini menjelaskan cara menginstal paket Python untuk menggunakan Rekayasa Fitur Databricks dan Penyimpanan Fitur Ruang Kerja Databricks.

Rekayasa Fitur

Catatan

  • Pada versi 0.2.0, databricks-feature-engineering berisi modul untuk bekerja dengan tabel fitur di Unity Catalog dan Workspace Feature Store. databricks-feature-engineering di bawah versi 0.2.0 hanya berfungsi dengan tabel fitur di Unity Catalog.

API Rekayasa Fitur Databricks tersedia melalui paket databricks-feature-engineeringklien Python . Klien tersedia di PyPI dan telah diinstal sebelumnya di Databricks Runtime 13.3 LTS ML ke atas.

Untuk referensi versi klien mana yang sesuai dengan versi runtime mana, lihat matriks kompatibilitas.

Untuk menginstal klien di Databricks Runtime:

%pip install databricks-feature-engineering

Untuk menginstal klien di lingkungan Python lokal:

pip install databricks-feature-engineering

Penyimpanan Fitur Ruang Kerja (tidak digunakan lagi)

Catatan

  • Pada versi 0.17.0, databricks-feature-store telah ditolak. Semua modul yang ada dari paket ini sekarang tersedia di databricks-feature-engineering, versi 0.2.0 dan yang lebih baru.
  • Lihat Migrasi ke databricks-feature-engineering untuk informasi selengkapnya.

API Penyimpanan Fitur Databricks tersedia melalui paket databricks-feature-storeklien Python . Klien tersedia di PyPI dan telah diinstal sebelumnya di Runtime Databricks untuk ML. Untuk referensi runtime mana yang mencakup versi klien mana, lihat matriks kompatibilitas.

Untuk menginstal klien di Databricks Runtime:

%pip install databricks-feature-store

Untuk menginstal klien di lingkungan Python lokal:

pip install databricks-feature-store

Migrasi ke databricks-feature-engineering

Untuk menginstal databricks-feature-engineering paket, gunakan pip install databricks-feature-engineering alih-alih pip install databricks-feature-store. Semua modul di databricks-feature-store telah dipindahkan ke databricks-feature-engineering, sehingga Anda tidak perlu mengubah kode apa pun. Pernyataan impor seperti from databricks.feature_store import FeatureStoreClient akan terus berfungsi setelah Anda menginstal databricks-feature-engineering.

Untuk bekerja dengan tabel fitur di Unity Catalog, gunakan FeatureEngineeringClient. Untuk menggunakan Penyimpanan Fitur Ruang Kerja, Anda harus menggunakan FeatureStoreClient.

Skenario yang didukung

Di Databricks, termasuk Runtime Databricks dan Runtime Databricks untuk Machine Learning, Anda dapat:

  • Membuat, membaca, dan menulis tabel fitur.
  • Melatih dan menilai model pada data fitur.
  • Menerbitkan tabel fitur ke penyimpanan online untuk penyajian secara real-time.

Dari lingkungan lokal atau lingkungan eksternal ke Databricks, Anda dapat:

  • Mengembangkan kode dengan dukungan IDE lokal.
  • Pengujian unit menggunakan kerangka kerja tiruan.
  • Menulis pengujian integrasi yang akan dijalankan pada Databricks.

Batasan

Pustaka klien hanya dapat dijalankan di Databricks, termasuk Runtime Databricks dan Runtime Databricks untuk ML. Ini tidak mendukung panggilan Rekayasa Fitur di Unity Catalog atau FEATURE Store API dari lingkungan lokal, atau dari lingkungan selain Databricks.

Menggunakan klien untuk pengujian unit

Anda dapat menginstal Rekayasa Fitur di klien Katalog Unity atau klien Penyimpanan Fitur secara lokal untuk membantu dalam menjalankan pengujian unit.

Misalnya, untuk memvalidasi bahwa metode update_customer_features memanggil FeatureEngineeringClient.write_table dengan benar (atau untuk Penyimpanan Fitur Ruang Kerja, FeatureStoreClient.write_table), Anda dapat menulis:

from unittest.mock import MagicMock, patch

from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient

@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
  customer_features_df = MagicMock()
  compute_customer_features.return_value = customer_features_df

  update_customer_features()  # Function being tested

  mock_write_table.assert_called_once_with(
    name='ml.recommender_system.customer_features',
    df=customer_features_df,
    mode='merge'
  )

Menggunakan klien untuk pengujian integrasi

Anda dapat menjalankan pengujian integrasi dengan Rekayasa Fitur di klien Unity Catalog atau klien Penyimpanan Fitur di Databricks. Untuk detailnya, lihat Alat dan Panduan Pengembang: Menggunakan CI/CD.