Python API

Halaman ini menyediakan tautan ke dokumentasi Python API dari Rekayasa Fitur Databricks dan Penyimpanan Fitur Ruang Kerja warisan Databricks, dan informasi tentang paket klien databricks-feature-engineering dan databricks-feature-store.

Catatan

Pada versi 0.17.0, databricks-feature-store telah ditolak. Semua modul yang ada dari paket ini sekarang tersedia di databricks-feature-engineering versi 0.2.0 dan yang lebih baru. Untuk informasi tentang migrasi ke databricks-feature-engineering, lihat Migrasi ke databricks-feature-engineering.

Kompatibilitas matriks

Paket dan klien yang harus Anda gunakan bergantung pada di mana tabel fitur Anda berada dan versi ML Runtime Databricks apa yang Anda jalankan, seperti yang ditunjukkan dalam tabel berikut.

Untuk mengidentifikasi versi paket yang disertakan dalam versi ML Runtime Databricks Anda, lihat matriks kompatibilitas Rekayasa Fitur.

Versi Runtime Databricks	Untuk tabel fitur di	Gunakan paket	Menggunakan klien Python
Databricks Runtime 14.3 ML ke atas	Katalog Unity	databricks-feature-engineering	FeatureEngineeringClient
Databricks Runtime 14.3 ML ke atas	Ruang kerja	databricks-feature-engineering	FeatureStoreClient
Databricks Runtime 14.2 ML dan ke bawah	Katalog Unity	databricks-feature-engineering	FeatureEngineeringClient
Databricks Runtime 14.2 ML dan ke bawah	Ruang kerja	databricks-feature-store	FeatureStoreClient

Catatan

• databricks-feature-engineering<=0.7.0 tidak kompatibel dengan mlflow>=2.18.0. Untuk menggunakan databricks-feature-engineering dengan MLflow 2.18.0 ke atas, tingkatkan ke databricks-feature-engineering versi 0.8.0 atau lebih tinggi.

Catatan rilis

Lihat Rekayasa fitur Databricks dan catatan rilis Penyimpanan Fitur Ruang Kerja versi lama.

Referensi API Python Rekayasa Fitur

Lihat referensi API Python rekayasa fitur.

Referensi API Python Penyimpanan Fitur Ruang Kerja (tidak digunakan lagi)

Catatan

• Pada versi 0.17.0, databricks-feature-store telah ditolak. Semua modul yang ada dari paket ini sekarang tersedia di databricks-feature-engineering versi 0.2.0 dan yang lebih baru.

Untuk databricks-feature-store v0.17.0, lihat referensi API Penyimpanan Fitur Ruang Kerja terbaru di FeatureStoreClient dari Databricks .

Untuk v0.16.3 ke bawah, gunakan tautan dalam tabel untuk mengunduh atau menampilkan referensi API Python Penyimpanan Fitur. Untuk menentukan versi yang sudah terpasang untuk versi ML Runtime Databricks Anda, lihat matriks kompatibilitas.

Versi	Unduh PDF	Referensi API Online
v0.3.5 hingga v0.16.3	PDF referensi Feature Store Python API 0.16.3	Referensi API Online
v0.3.5 ke bawah	Feature Store Python API 0.3.5 referensi PDF	Referensi API online tidak tersedia

Paket Python

Bagian ini menjelaskan bagaimana cara menginstal paket Python untuk menggunakan Pemrosesan Fitur Databricks dan Toko Fitur di Ruang Kerja Databricks.

Rekayasa Fitur

Catatan

• Pada versi 0.2.0, databricks-feature-engineering berisi modul untuk bekerja dengan tabel fitur di Unity Catalog dan Workspace Feature Store. databricks-feature-engineering di bawah versi 0.2.0 hanya berfungsi dengan tabel fitur di Unity Catalog.

API Rekayasa Fitur Databricks tersedia melalui paket databricks-feature-engineeringklien Python . Klien tersedia di PyPI dan telah diinstal sebelumnya di Databricks Runtime 13.3 LTS ML ke atas.

Untuk referensi versi klien mana yang sesuai dengan versi runtime mana, lihat matriks kompatibilitas.

Untuk menginstal klien di Databricks Runtime:

%pip install databricks-feature-engineering

Untuk menginstal klien di lingkungan Python lokal:

pip install databricks-feature-engineering

Penyimpanan Fitur Ruang Kerja (tidak digunakan lagi)

Catatan

• Pada versi 0.17.0, databricks-feature-store telah ditolak. Semua modul yang ada dari paket ini sekarang tersedia di databricks-feature-engineering, versi 0.2.0 dan yang lebih baru.
• Lihat Migrasi ke databricks-feature-engineering untuk informasi selengkapnya.

API Penyimpanan Fitur Databricks tersedia melalui paket databricks-feature-storeklien Python . Klien tersedia di PyPI dan telah diinstal sebelumnya di Runtime Databricks untuk ML. Untuk referensi runtime mana yang mencakup versi klien mana, lihat matriks kompatibilitas.

Untuk menginstal klien di Databricks Runtime:

%pip install databricks-feature-store

Untuk menginstal klien di lingkungan Python lokal:

pip install databricks-feature-store

Migrasi ke databricks-feature-engineering

Untuk menginstal databricks-feature-engineering paket, gunakan pip install databricks-feature-engineering alih-alih pip install databricks-feature-store. Semua modul di databricks-feature-store telah dipindahkan ke databricks-feature-engineering, sehingga Anda tidak perlu mengubah kode apa pun. Pernyataan impor seperti from databricks.feature_store import FeatureStoreClient akan terus berfungsi setelah Anda menginstal databricks-feature-engineering.

Untuk bekerja dengan tabel fitur di Unity Catalog, gunakan FeatureEngineeringClient. Untuk menggunakan Fitur Penyimpanan Ruang Kerja, Anda harus menggunakan FeatureStoreClient.

Skenario yang didukung

Di Databricks, termasuk Databricks Runtime dan Databricks Runtime for Machine Learning, Anda dapat:

• Membuat, membaca, dan menulis tabel fitur.
• Melatih dan mengevaluasi model pada data fitur.
• Terbitkan tabel fitur ke toko online untuk penyajian waktu nyata.

Dari lingkungan lokal atau lingkungan eksternal ke Databricks, Anda dapat:

• Mengembangkan kode dengan dukungan IDE lokal.
• Pengujian unit menggunakan kerangka kerja tiruan.
• Menulis pengujian integrasi yang akan dijalankan pada Databricks.

Batasan

Pustaka klien hanya dapat dijalankan di Databricks, termasuk Runtime Databricks dan Runtime Databricks untuk Pembelajaran Mesin. Ini tidak mendukung pemanggilan Feature Engineering di Unity Catalog atau Feature Store API dari lingkungan lokal, atau dari lingkungan selain Databricks.

Gunakan klien untuk menguji unit

Anda dapat menginstal Rekayasa Fitur di klien Katalog Unity atau klien Penyimpanan Fitur secara lokal untuk membantu dalam menjalankan pengujian unit.

Misalnya, untuk memvalidasi bahwa metode update_customer_features memanggil FeatureEngineeringClient.write_table dengan benar (atau untuk Penyimpanan Fitur Ruang Kerja, FeatureStoreClient.write_table), Anda dapat menulis:

from unittest.mock import MagicMock, patch

from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient

@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
  customer_features_df = MagicMock()
  compute_customer_features.return_value = customer_features_df

  update_customer_features()  # Function being tested

  mock_write_table.assert_called_once_with(
    name='ml.recommender_system.customer_features',
    df=customer_features_df,
    mode='merge'
  )

Menggunakan klien untuk pengujian integrasi

Anda dapat menjalankan pengujian integrasi dengan Rekayasa Fitur di klien Unity Catalog atau klien Penyimpanan Fitur di Databricks. Untuk detailnya, lihat Alat dan Panduan Pengembang: Menggunakan CI/CD.