Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Setelah membuat definisi Tampilan Fitur, yang disimpan di Katalog Unity, Anda dapat menghasilkan data fitur dari tabel sumber Anda menggunakan definisi fitur. Proses ini disebut mewujudkan fitur Anda. Azure Databricks membuat dan mengelola alur Lakeflow untuk mengisi tabel di Unity Catalog untuk pelatihan model dan penilaian batch atau penyajian online.
Untuk informasi tentang menyajikan Tampilan Fitur, lihat Menyajikan Tampilan Fitur.
Untuk menghitung ulang nilai yang dimaterialisasi setelah Anda memperbaiki atau menambahkan data sumber historis, lihat Backfill Feature Views.
Untuk menghapus nilai yang dimaterialisasi untuk entitas terpilih, lihat Bersihkan nilai fitur untuk entitas.
Untuk mendeklarasikan fitur termaterialisasi dalam bundel, lihat Kelola Tampilan Fitur menggunakan Bundel Otomatisasi Deklaratif.
Persyaratan
- Fitur harus dibuat sebagai Tampilan Fitur dan disimpan di Katalog Unity.
- Untuk persyaratan untuk versi, lihat Persyaratan.
Dukungan materialisasi berdasarkan tipe fitur
Apakah dan di mana sebuah fitur dapat dimaterialisasi tergantung pada jenisnya:
-
ColumnSelectionfitur dapat dimaterialisasi ke online store. Lihat Materialisasi Pilihan Kolom. - Fitur batch
Lastdengan aRollingWindowdapat diwujudkan ke toko online. Lihat Materialize nilai terbaru dengan batas kesegaran. -
RequestSource,FeatureViewSource, danCustomUDFfitur tidak dapat dimaterialisasikan. Lihat Fitur dan materialisasi sesuai permintaan. -
SdpSourcefitur dimaterialisasi dengan cara yang sama sepertiDeltaTableSourcefitur, setelah setiap run memperbarui pipeline sumber. Lihat Gunakan pipeline Lakeflow sebagai sumber fitur.
Fitur yang hanya muncul di toko online masih dapat digunakan secara offline: create_training_set dan compute_features menghitung nilai titik waktu langsung dari sumbernya, sehingga tidak diperlukan materialisasi offline.
Materialisasi ColumnSelection
ColumnSelection Fitur ini memilih nilai terbaru dari satu kolom per kunci entitas tanpa agregasi. Mereka hanya dapat diwujudkan di toko online. Untuk kasus penggunaan offline (pelatihan dan pemodelan batch), ColumnSelection fitur diambil langsung dari sumber data saat permintaan data, sehingga materialisasi offline tidak diperlukan.
Perilaku materialisasi
- Alur menulis baris terbaru per kunci entitas ke tabel online, tanpa jendela agregasi.
- Materialisasi online mengisi tabel online dengan nilai terbaru saat ini per kunci entitas.
Example
from databricks.feature_engineering import FeatureEngineeringClient
from databricks.feature_engineering.entities import (
DeltaTableSource, Feature, ColumnSelection, TableTrigger, OnlineStoreConfig,
)
fe = FeatureEngineeringClient()
delta_source = DeltaTableSource(
catalog_name="catalog",
schema_name="schema",
table_name="transactions",
)
amount_feature = Feature(
source=delta_source,
function=ColumnSelection("amount"),
entity=["user_id"],
timeseries_column="transaction_time",
name="latest_transaction_amount",
)
# Register before materializing
amount_feature = fe.register_feature(
feature=amount_feature,
catalog_name="catalog",
schema_name="schema",
)
mfs = fe.materialize_features(
features=[amount_feature],
online_config=OnlineStoreConfig(
catalog_name="catalog",
schema_name="feats_online",
table_name_prefix="txn_",
online_store_name="lb_usw2"
),
trigger=TableTrigger(),
)
ColumnSelection fitur menggunakan TableTrigger, yang menjalankan pipeline setiap kali tabel Delta sumber menerima commit baru.
offline_config tidak diperlukan karena fitur ColumnSelection dibaca langsung dari sumber untuk kasus penggunaan offline (pelatihan dan inferensi batch).
Nota
RequestSource fitur tidak dapat dimaterialisasi karena mereka mewakili data yang disediakan oleh pemanggil pada waktu inferensi (atau diekstrak dari DataFrame yang diberi label saat pelatihan). Tidak ada tabel sumber untuk dibaca. Nilai-nilai tersebut hanya ada dalam payload permintaan atau DataFrame pelatihan.
Materialisasikan nilai terbaru dengan batas kesegaran
Agregasi batch Last dengan RollingWindow memberikan masa aktif (TTL) pada fitur online: nilainya akan kedaluwarsa dari penyimpanan online ketika tidak ada nilai sumber yang berada dalam jendela waktu tersebut. Ini berguna ketika usia suatu nilai menentukan apakah nilai tersebut aman untuk dilayani. Misalnya, status perangkat dari satu jam terakhir dapat dikembalikan, sedangkan status yang lebih lama akan menghasilkan null alih-alih tetap tersedia selamanya.
A RollingWindow mendefinisikan durasi eksplisit yang memberikan fitur perilaku mirip TTL. Misalnya, jika sumber mempublikasikan nilai setiap hari dan Anda ingin hanya mempertahankan nilai dari tujuh hari terakhir, gunakan a RollingWindow dengan durasi tujuh hari. Pada setiap trigger, materialisasi melakukan penggantian penuh tabel online, sehingga nilai yang berada di luar jendela akan dihapus sesuai jadwal yang dapat diprediksi. Ini menghasilkan hasil yang sama seperti streaming Last dengan , RollingWindowtetapi biayanya lebih murah karena tidak menjalankan komputasi secara kontinu.
Pola publikasi ini mirip dengan tabel fitur dengan TTL yang dipublikasikan dalam mode snapshot. Jika Anda memelihara sekumpulan tabel fitur dan ingin menggunakannya bersama dengan Tampilan Fitur lainnya, Anda dapat menyesuaikannya dengan kerangka pembuat Tampilan Fitur. Gunakan batch Last dengan RollingWindow dan TableTrigger.
Kombinasi ini memiliki mode materialisasi khusus yang hanya online dengan persyaratan berikut:
- Sumber harus berupa
DeltaTableSource. - Fungsi agregasi harus merupakan
Last, dan jendelanya harus merupakanRollingWindow. - Materialisasi harus menyediakan
OnlineStoreConfig, menghilangkanOfflineStoreConfig, dan menggunakanTableTrigger.
Dalam contoh berikut, latest_device_state_1h adalah Fitur terdaftar yang memenuhi persyaratan ini:
from databricks.feature_engineering import FeatureEngineeringClient
from databricks.feature_engineering.entities import OnlineStoreConfig, TableTrigger
fe = FeatureEngineeringClient()
materialized = fe.materialize_features(
features=[latest_device_state_1h],
online_config=OnlineStoreConfig(
catalog_name="main",
schema_name="feature_store",
table_name_prefix="latest_device_state_serving",
online_store_name="device_state_store",
),
trigger=TableTrigger(),
)
Untuk pelatihan offline dan penilaian batch, klien rekayasa fitur menghitung nilai pada titik waktu tertentu secara langsung dari sumber data. Fitur ini tidak membaca materialisasi offline.
Considerations
- Masa berlaku hanya akan bertambah saat dipicu. Nilai online dan waktu kedaluwarsanya ikut maju ketika komit pada tabel sumber memicu penyegaran materialisasi. Waktu yang berlalu saja tidak memicu penyegaran. Jika sumber berhenti dipublikasikan, nilai terakhir yang termaterialisasi tetap berada di toko online sampai commit berikutnya memicu penyegaran.
- Selaraskan kolom seri waktu dengan waktu publikasi sumber. Kolom seri waktu harus mencerminkan kapan sumber mempublikasikan data. Jika tidak, nilai online dan offline akan berbeda, karena toko online bergabung pada waktu pemicu sementara pembacaan offline bergabung pada waktu seri waktu.
- Atur durasi jendela ke kelipatan dari ritme publikasi. Jika durasi
RollingWindowbukan kelipatan dari interval publikasi sumber, beberapa nilai dianggap sudah kedaluwarsa selama pelatihan offline, padahal nilai tersebut masih terlihat secara online.
Fitur on-demand dan materialisasi
RequestSource nilai-nilai berasal dari DataFrame pelatihan atau permintaan inferensi, sehingga tidak ada tabel sumber yang dapat dimaterialisasikan.
FeatureViewSource fitur menerapkan CustomUDF pada nilai fitur hulu selama pelatihan atau penyajian. Mereka tidak menyimpan hasil yang sudah dihitung sebelumnya. Materialisasi juga tidak didukung untuk fitur CustomUDF yang didukung tabel Delta.
Untuk graf dependensi seperti revenue_sum_7d dan cost_sum_7d yang memasok fitur margin:
- Untuk pelatihan offline, panggil
create_training_setdenganmargin. Ini menentukan fitur upstream dan menghitung nilai pada suatu titik waktu, menggunakan materialisasi offline yang kompatibel jika tersedia. - Untuk penyajian online, wujudkan fitur pendapatan dan biaya yang didukung ke toko online. Endpoint tersebut mencari data tersebut dan menghitung
marginuntuk setiap permintaan. - Teruskan hanya fitur upstream yang didukung ke
materialize_features, bukan kemarginatau fitur apa pun yang didukung oleh permintaan. Materialisasi tidak secara rekursif mematerialisasi ketergantungan pada fitur turunan.
Grafik yang hanya menggunakan fitur yang didukung permintaan tidak memerlukan toko online. Lihat Melatih dengan fitur FeatureViewSource dan Menyajikan fitur turunan.
Permissions
Materialisasi membutuhkan hak istimewa pada fitur serta sumber daya sumber dan tujuan. Untuk deskripsi lengkap hak istimewa Unity Catalog, lihat referensi hak istimewa Unity Catalog.
Mewujudkan fitur memerlukan
MANAGE. Pemanggilanmaterialize_featuresmembuat dan mengelola pipeline Lakeflow dan tabel Unity Catalog yang didukung, jadi ini adalah operasi manajemen. Anda harus memilikiMANAGEpada fitur tersebut, sertaREAD FEATUREuntuk membaca definisi fitur yang dimaterialisasi.Menghapus fitur yang termaterialisasi dibatasi hanya untuk pembuatnya. Hanya pengguna yang membuat fitur materialized yang dapat menghapusnya dengan
delete_materialized_feature. Pembatasan ini independen dari hak istimewa Unity Catalog:MANAGEpada fitur atau skema induknya tidak mengizinkan pengguna lain menghapusnya.Membaca data sumber membutuhkan
SELECT. Untuk fitur yang menggunakan sumber tabel Delta, Anda harus memilikiSELECTdi tabel sumber. Untuk fitur yang menggunakan sumber Stream, Anda harus memilikiSELECTpada tabel ingestion Stream.Untuk izin lain yang diperlukan oleh konfigurasi otentikasi Stream, lihat autentikasi Kafka.
Membuat tabel tujuan membutuhkan
CREATE TABLE. Anda harus memilikiCREATE TABLEpada setiap skema yang ditentukan olehOfflineStoreConfigatauOnlineStoreConfig. Destinasi offline dan online dapat berada dalam skema atau katalog yang berbeda, dan materialisasi memerlukan hak istimewa pada setiap destinasi.Mewujudkan toko online membutuhkan
CAN USE. Anda harus memilikiCAN USEpada instans atau project Lakebase yang digunakan oleh toko online. Untuk informasi tentang izin Lakebase, lihat Berikan izin proyek.Mencantumkan fitur termaterialisasi memerlukan
READ FEATUREpada fitur induk. Untuk menggunakanlist_materialized_features, Anda harus memilikiREAD FEATUREpada fitur yang telah dimaterialisasi.Membaca data termaterialisasi memerlukan
SELECT. Anda harus memilikiSELECTdi setiap tabel output offline atau online yang Anda akses.READ FEATUREpada fitur induk tidak memberikan akses ke tabel-tabel ini.
Untuk setiap sumber daya Unity Catalog yang terlibat dalam materialisasi, Anda juga perlu USE CATALOG pada katalog induknya dan USE SCHEMA pada skema induknya. Persyaratan ini berlaku untuk fitur tersebut, setiap tabel penyerapan sumber atau Stream, dan setiap tujuan yang dikonfigurasi.
READ FEATURE dan MANAGE diberikan pada skema atau katalog berlaku untuk semua fitur saat ini dan masa depan yang terkandung di dalamnya.
Struktur data API
OfflineStoreConfig
Konfigurasi untuk penyimpanan offline tempat fitur materialisasi akan ditulis. Ketika materialize_features dipanggil, backend penyimpanan fitur membuat tabel menggunakan awalan ini. Setiap eksekusi alur mewujudkan nilai fitur terbaru ke tabel sesuai dengan jadwal materialisasi.
OfflineStoreConfig(
catalog_name: str, # Catalog name for the offline table where materialized features will be stored
schema_name: str, # Schema name for the offline table
table_name_prefix: str # Table name prefix for the offline table. The pipeline may create multiple tables with this prefix, each updated at different cadences
)
from databricks.feature_engineering.entities import OfflineStoreConfig
offline_store = OfflineStoreConfig(
catalog_name="main",
schema_name="feature_store",
table_name_prefix="customer_features"
)
OnlineStoreConfig
Konfigurasi untuk toko online, yang menyimpan fitur yang digunakan oleh penyajian model. Materialisasi membuat tabel Delta dengan catalog.schema.table_name_prefix, dan menyalurkan tabel ke Penyimpanan Fitur Online dengan nama yang sama.
from databricks.feature_engineering.entities import OnlineStoreConfig
online_store = OnlineStoreConfig(
catalog_name="main",
schema_name="feature_store",
table_name_prefix="customer_features_serving",
online_store_name="customer_features_store"
)
MaterializedFeature
Mewakili Tampilan Fitur yang telah dimaterialisasi, yaitu memiliki representasi yang telah diprakomputasi dan tersedia di Unity Catalog. Ada fitur materialisasi terpisah untuk tabel offline dan tabel online. Biasanya, Anda tidak langsung menginstansiasi MaterializedFeature.
Bidang latest_backfill_operation tersebut memuat nama pengisian ulang terbaru dari fitur yang dimaterialisasi. Lihat Backfill Feature Views.
Panggilan fungsi API
materialize_features()
Mematerialisasikan daftar Feature View menjadi tabel Delta offline atau ke Feature Store online. Fitur harus terdaftar di Katalog Unity sebelum memanggil fungsi ini (misalnya, menggunakan create_feature atau register_feature). Fitur yang dibangun secara lokal yang belum terdaftar tidak akan berfungsi.
FeatureEngineeringClient.materialize_features(
*, # Arguments are keyword-only
features: List[Feature], # List of Feature Views to materialize
offline_config: Optional[OfflineStoreConfig] = None, # Offline store config (aggregation features only)
online_config: Optional[OnlineStoreConfig] = None, # Online store config
trigger: Union[CronSchedule, TableTrigger, StreamingMode], # Materialization trigger
tags: Optional[Dict[str, str]] = None, # Custom tags for cost attribution
budget_policy_id: Optional[str] = None, # Serverless usage policy for cost attribution
) -> List[MaterializedFeature]:
Metode ini mengembalikan daftar fitur yang diwujudkan, yang berisi metadata tentang waktu pembaruan nilai fitur dan tabel dalam Unity Catalog tempat fitur diwujudkan.
Jika sebuah OnlineStoreConfig dan sebuah OfflineStoreConfig disediakan, maka dua fitur yang terwujud akan dikembalikan untuk setiap fitur yang disediakan, satu untuk setiap jenis penyimpanan.
Parameter trigger mengontrol kapan alur materialisasi berjalan:
-
CronSchedule: Berjalan dengan jadwal yang berasal dari waktu fitur atau pada jadwal cron Quartz yang disediakan pemanggil. Didukung untuk fitur agregasi batch (AggregationFunctiondariDeltaTableSource). -
TableTrigger: Berjalan saat tabel Delta hulu menerima commit. Didukung pada fiturColumnSelectiondan fitur agregasi (AggregationFunction) yang didukung oleh sumber dataDeltaTableSource. Untuk fitur agregasi, pipeline dibatasi agar berjalan paling banyak sekali per setengah granularitas fitur (durasi slide untuk jendela geser, atau panjang jendela untuk jendela berguling), dibatasi 1 jam dan tidak pernah lebih sering dari setiap 5 menit. Misalnya, paling banyak sekali setiap 30 menit untuk granularitas 1 jam, atau paling banyak sekali per jam untuk granularitas 2 jam atau lebih. Interval diukur sejak eksekusi sebelumnya, sehingga commit yang tiba setelah interval tersebut berakhir tetap segera memicu eksekusi. -
StreamingMode: Berjalan sebagai pipeline streaming yang berkelanjutan. Diperlukan untuk fitur yang didukung olehStreamSource. Juga didukung untuk fiturColumnSelectiondan fitur agregasiRollingWindowyang didukung olehDeltaTableSource, di mana pipeline membaca feed data perubahan tabel dalam mode micro-batch, bukan berjalan sesuai jadwal. Lihat Stream dariDeltaTableSource.
Satu materialize_features panggilan dapat mencakup fitur batch dengan pemicu, sumber, dan pipeline yang berbeda. Setiap sumber, pipeline, dan jadwal memiliki tugasnya sendiri. Fitur streaming membutuhkan panggilan terpisah.
Untuk mengatributkan biaya materialisasi, luluskan tags, budget_policy_id, atau keduanya. Azure Databricks menerapkannya pada job atau pipeline yang dibuatnya, sehingga biayanya mencantumkan atribusi Anda dalam tabel sistem penggunaan yang dapat ditagihkan. Keduanya diterapkan saat penciptaan, jadi mengatributkan materialisasi yang sudah ada secara berbeda berarti menciptakan materialisasi baru.
budget_policy_id menerima ID kebijakan penggunaan serverless. Untuk membuat dan mendapatkan ID-nya, lihat Buat kebijakan penggunaan tanpa server. Untuk batasan tag, sumber daya yang dicakup oleh setiap nilai, dan cara membuat kueri atas pengeluaran yang diatribusikan, lihat manajemen biaya Feature Store.
Materialisasi ke penyimpanan offline
from databricks.feature_engineering import FeatureEngineeringClient
from databricks.feature_engineering.entities import (
CronSchedule, OfflineStoreConfig,
)
fe = FeatureEngineeringClient()
materialized = fe.materialize_features(
features=features,
offline_config=OfflineStoreConfig(
catalog_name="main",
schema_name="feature_store",
table_name_prefix="customer_features"
),
trigger=CronSchedule(
quartz_cron_expression="0 0 * * * ?", # Hourly
timezone_id="UTC",
),
)
Mengimplementasikan menjadi toko online
Nota
Untuk mematerialisasikan sebagian besar fitur agregasi ke penyimpanan online, Anda juga harus mematerialisasikannya ke penyimpanan offline. Keduanya offline_config dan online_config diperlukan.
online_store_name harus merujuk kepada Toko Fitur Online yang sudah ada. Untuk petunjuk untuk membuat satu, lihat Penyimpanan Fitur Online Databricks.
ColumnSelection fitur tidak memerlukan OfflineStoreConfig. Lihat Materialisasi Pilihan Kolom.
Batch Last dengan RollingWindow case khusus juga hanya tersedia secara online. Lihat Materialize nilai terbaru dengan batas kesegaran.
from databricks.feature_engineering import FeatureEngineeringClient
from databricks.feature_engineering.entities import (
CronSchedule, OfflineStoreConfig, OnlineStoreConfig,
)
fe = FeatureEngineeringClient()
materialized = fe.materialize_features(
features=features,
offline_config=OfflineStoreConfig(
catalog_name="main",
schema_name="feature_store",
table_name_prefix="customer_features"
),
online_config=OnlineStoreConfig(
catalog_name="main",
schema_name="feature_store",
table_name_prefix="customer_features_serving",
online_store_name="customer_features_store"
),
trigger=CronSchedule(
quartz_cron_expression="0 0 * * * ?", # Hourly
timezone_id="UTC",
),
)
Mewujudkan fitur streaming
Fitur streaming hanya dapat diwujudkan ke toko online; offline_config parameter tidak didukung. Materialisasi offline tidak didukung karena fitur streaming memerlukan pipeline real-time untuk memastikan kesegaran data dalam hitungan kurang dari satu detik. Untuk pelatihan atau evaluasi offline, klien rekayasa fitur akan mengolah ulang nilai fitur berdasarkan setiap titik data yang dievaluasi.
Fitur streaming tidak dapat dicampur dengan fitur batch dalam panggilan yang sama materialize_features .
from databricks.feature_engineering import FeatureEngineeringClient
from databricks.feature_engineering.entities import (
OnlineStoreConfig, StreamingMode,
)
fe = FeatureEngineeringClient()
materialized = fe.materialize_features(
features=[streaming_feature],
online_config=OnlineStoreConfig(
catalog_name="my_catalog",
schema_name="my_schema",
table_name_prefix="streaming_features_serving",
online_store_name="feature_store_online"
),
trigger=StreamingMode(),
)
list_materialized_features()
Mengembalikan materialisasi dari satu fitur, yang diidentifikasi berdasarkan nama lengkapnya.
feature_name wajib dan hanya dapat digunakan sebagai argumen kata kunci. Untuk meninjau materialisasi di banyak fitur, pertama-tama cantumkan fitur dalam katalog atau skema, lalu panggil list_materialized_features pada setiap fitur yang dikembalikan.
Secara default, maksimum 100 materialisasi dikembalikan. Anda dapat mengubah batas ini menggunakan max_results parameter .
FeatureEngineeringClient.list_materialized_features(
*, # Arguments are keyword-only
feature_name: str, # Required: full name of the feature whose materializations to list
max_results: int = 100, # Maximum number of materializations to return
) -> List[MaterializedFeature]:
delete_materialized_feature()
Sebelum menghapus fitur yang dimaterialisasikan, hapus atau perbarui model atau spesifikasi fitur apa pun yang merujuk pada fitur tersebut.
Menghapus fitur materialisasi. Fitur yang akan diteruskan tergantung pada jenis fitur:
-
Fitur agregasi: Gunakan fitur materialisasi offline. Jika ada fitur yang dilaksanakan secara online untuk fitur tersebut, maka keduanya akan dihapus. Untuk fitur
Lastbatch yang hanya online denganRollingWindow, gunakan fitur online yang termaterialisasi. -
ColumnSelectionfitur: Gunakan fitur yang dimaterialisasi secara online.ColumnSelectionfitur hanya dimaterialisasi ke toko online (lihat materialisasi ColumnSelection), sehingga tidak ada fitur offline yang dipasangkan.
Sebagai bagian dari materialisasi, fitur dikelompokkan bersama berdasarkan sumber data dan jendela agregasi untuk efisiensi.
ColumnSelection Fitur tidak memiliki jendela agregasi, sehingga hanya dikelompokkan berdasarkan sumber data. Alur materialisasi, tabel offline, dan tabel online tidak dihapus hingga semua fitur yang dikelompokkan telah dihapus. Ketika fitur yang dimaterialisasi terakhir dalam suatu grup dihapus, feature store menjadwalkan pembersihan otomatis sumber daya terkait melalui proses latar belakang. Lihat Pembersihan sumber daya latar belakang.
Untuk menghapus fitur yang terwujud, lihat tabel yang terkait dengan fitur tersebut. Setiap fitur dalam tabel (satu per kolom) harus dihapus sebelum sumber daya tabel komputasi dan Delta dibersihkan.
Gunakan list_materialized_features() untuk mendapatkan materialized_feature argumen.
FeatureEngineeringClient.delete_materialized_feature(
materialized_feature: MaterializedFeature, # Required: The materialized feature to delete
) -> None
from databricks.feature_engineering import FeatureEngineeringClient
fe = FeatureEngineeringClient()
feature_names = [
"main.feature_store.amount_sum_sliding_7d_1d",
"main.feature_store.amount_sum_sliding_30d_1d",
"main.feature_store.transaction_count_sliding_7d_1d",
"main.feature_store.latest_transaction_amount",
"main.feature_store.latest_user_tier",
]
for name in feature_names:
mfs = fe.list_materialized_features(feature_name=name) # required, keyword-only
offline = [mf for mf in mfs if not mf.is_online]
for mf in (offline or mfs):
fe.delete_materialized_feature(materialized_feature=mf)
fe.delete_feature(full_name=name)
Pembersihan sumber daya latar belakang
Saat Anda menghapus fitur termaterialisasi, Databricks segera menghapus metadata fitur tersebut. Infrastruktur terkait (tabel, alur, dan pekerjaan) dibersihkan secara asinkron oleh proses latar belakang.
Karena beberapa fitur termaterialisasi dapat berbagi tabel dan pipeline yang sama, sumber daya bersama ini tidak akan dihapus sampai semua fitur termaterialisasi yang merujuk ke sumber daya tersebut telah dihapus. Saat fitur terwujud terakhir yang berbagi sekumpulan tabel dihapus, proses latar belakang secara otomatis menghapus sumber daya berikut:
- Tabel Delta offline yang berisi data fitur yang dimaterialisasi
- Tabel online, jika fitur diwujudkan ke toko online
- Alur materialisasi
- Pekerjaan orkestrasi
Proses latar belakang ini menggunakan perwakilan layanan sistem yang dikelola Databricks untuk melakukan tindakan pembersihan ini atas nama Anda, termasuk menghapus tabel, alur, dan pekerjaan di ruang kerja Anda. Anda tidak perlu melakukan tindakan apa pun. Pembersihan sepenuhnya dikelola oleh feature store.
Nota
Mungkin ada penundaan singkat antara menghapus fitur terwujud terakhir dalam grup dan penghapusan tabel terkait dan sumber daya lainnya.
Lihat status materialisasi
Untuk melihat status materialisasi Feature Views Anda di Azure Databricks UI dan debug kesalahan materialisasi, lihat Explore Feature Views di Unity Catalog.
Validasi kesegaran end-to-end RollingWindow
Nota
Validasi kesegaran menggunakan Lakebase Change Data Feed (CDF), yang berada dalam Public Preview. Admin workspace harus mengaktifkan pratinjau Lakebase Change Data Feed sebelum Anda dapat mengaktifkan CDF.
Bagian ini hanya berlaku untuk RollingWindow agregasi. Fitur batch tidak menampilkan metadata kesegaran streaming yang dijelaskan di sini.
Fitur streaming RollingWindow yang dimaterialisasikan ke online store Lakebase membawa metadata kesegaran per baris. Dengan CDF, Anda merekam setiap pembaruan pada tabel online ke tabel riwayat Delta di Unity Catalog dan mengukur kesegaran end-to-end tanpa menjalankan pipeline tambahan. Kebaruan data end-to-end adalah jeda antara saat suatu peristiwa terjadi dan saat nilai agregatnya tersedia untuk disajikan.
Bagaimana fitur RollingWindow mengeluarkan baris
Untuk sebuah RollingWindow fitur, nilai untuk setiap entitas merangkum peristiwa dalam jendela waktu tetap (misalnya, jumlah transaksi dalam satu jam terakhir). Jendela akan terus bergeser maju, sehingga sebuah baris ditulis ke penyimpanan online dalam dua situasi:
-
Pembaruan berbasis data (
is_timer=false): sebuah event baru tiba dan memperbarui agregat. Baris tersebut mencerminkan peristiwa terbaru dalam rentang waktu tersebut. -
Kedaluwarsa jendela (
is_timer=true): tidak ada acara baru yang tiba, tetapi waktu berlanjut dan peristiwa tertua berada di luar jendela, atau sudah usia. Karena peristiwa tersebut tidak lagi dihitung untuk agregat, nilainya berubah (misalnya, hitungan menurun), sehingga fitur tersebut mengeluarkan baris yang diperbarui pada timer. Baris tersebut mencerminkan momen saat peristiwa tertua keluar dari jendelanya, yaitu akhir jendela peristiwa tersebut.
Dalam kedua kasus, event_time adalah saat perubahan yang menghasilkan baris terjadi: peristiwa baru datang, atau peristiwa tertua keluar dari jendela. Jadi, commit_time - event_time adalah kesegaran baris tersebut terlepas dari bagaimana baris itu dipancarkan.
Metadata kesegaran
Setiap baris streaming online membawa kolom-kolom berikut:
| Column | Description |
|---|---|
event_time |
Ketika perubahan yang menghasilkan baris terjadi. Pada pembaruan berbasis data (is_timer = false), waktu peristiwa terbaru (maksimum) di jendela. Pada pembaruan kedaluwarsa jendela (is_timer = true), waktu event tertua kedaluwarsa: waktu event tersebut ditambah durasi window. Jika tabel online berisi fitur dengan durasi jendela yang berbeda, jendela yang kedaluwarsa akan digunakan. |
output_time |
Frontier jendela streaming (watermark) pada emit. |
is_timer |
Bagaimana baris dikirimkan: false = event yang baru tiba memajukan agregat (berbasis data); true = jendela maju dengan timer dan data tertua keluar dari jendela (kedaluwarsa jendela). |
commit_time |
Baris data tersebut ditulis ke toko online Lakebase. |
Ketika CDF diaktifkan, setiap perubahan akan ditambahkan ke lb_<online_table>_history tabel Delta dengan kolom metadata CDF. Kolom _pg_change_type (insert, update_preimage, update_postimage, atau delete) mengidentifikasi setiap jenis perubahan.
Aktifkan CDF di tabel online
Warning
Gunakan CDF untuk memvalidasi kesegaran end-to-end, misalnya saat Anda menguji pipeline atau menyetel konfigurasinya, daripada memantau kesegaran secara terus-menerus di toko online produksi. CDF dan REPLICA IDENTITY FULL menambah beban ke instance Lakebase, terutama CPU untuk mendekode perubahan dan menambah volume log write-ahead. Overhead bertambah dengan jumlah tabel yang disinkronkan dan dengan nilai kolom besar seperti array atau peta. Jika Anda mengaktifkan CDF di toko online yang melayani lalu lintas produksi, tingkatkan satuan komputasi maksimum (CU) agar autoscaling memiliki cadangan kapasitas, dan pantau latensi CPU serta latensi penyajian online.
Lakebase CDF mengharuskan identitas replika disetel ke
FULLpada setiap tabel sumber sehingga pembaruan dapat ditangkap dengan gambar baris penuh sebelum dan sesudah. Letakkan di tabel online:ALTER TABLE <schema>.<online_table> REPLICA IDENTITY FULL;Mulai Lakebase CDF untuk toko online, pilih skema sumber serta katalog dan skema Unity Catalog tujuan. Untuk detail pengaturan, lihat Lakebase Change Data Feed.
CDF membuat lb_<online_table>_history di skema tujuan.
Untuk menghentikan pengambilan perubahan, lihat Nonaktifkan CDF Lakebase. Menonaktifkan CDF menghentikan feed untuk semua skema dalam proyek. Setelah Anda menonaktifkan CDF, Anda dapat mengatur ulang identitas replika tabel online untuk menghapus volume log write-ahead ekstra:
ALTER TABLE <schema>.<online_table> REPLICA IDENTITY DEFAULT;
Komputasi kesegaran
Kesegaran berlaku commit_time - event_time untuk baris berbasis data maupun baris dengan kedaluwarsa jendela. Sertakan is_timer agar Anda dapat membandingkan kedua tipe emit, dan ikat kueri ke periode yang ingin Anda ukur.
SELECT
event_time,
commit_time,
is_timer,
(unix_micros(commit_time) - unix_micros(event_time)) / 1000 AS feature_freshness_ms
FROM <dest_catalog>.<dest_schema>.lb_<online_table>_history
WHERE _pg_change_type IN ('insert', 'update_postimage')
AND commit_time >= (
SELECT max(commit_time) - INTERVAL 1 DAY
FROM <dest_catalog>.<dest_schema>.lb_<online_table>_history
);
feature_freshness_ms adalah jeda, dalam milidetik, dari waktu peristiwa hingga operasi tulis ke online store. Inilah kemutakhiran nilai yang tersedia untuk disajikan.
Nota
Ketika Anda mengaktifkan CDF pada tabel online yang sudah memiliki baris, snapshot awal menyalin setiap baris yang ada ke dalam tabel riwayat sebagai an insert. Setiap baris yang disalin menyimpan event_time dan commit_time dari operasi tulis terakhir entitas tersebut, sehingga nilai kesegarannya akurat, tetapi snapshot memberikan tepat satu sampel per entitas. Untuk mengukur hanya penulisan yang ditangkap oleh feed, tunggu hingga status tabel di tab Lakebase CDF berubah dari Snapshotting ke Streaming, catat waktunya, dan gunakan sebagai batas bawah alih-alih max(commit_time) - INTERVAL 1 DAY. Perubahan skema pada tabel online memicu snapshot penuh lain, yang mengulang penulisan yang sudah ditangkap oleh feed. Jangan filter semua insert baris, karena penulisan pertama untuk setiap entitas baru juga merupakan insert.
Menginterpretasikan hasil
- Lacak p50 maupun p99 dari
feature_freshness_ms, dan bandingkan baris berbasis data (is_timer = false) dengan baris berbasis kedaluwarsa jendela (is_timer = true). - Perkirakan adanya lonjakan kecil secara berkala di batas batch mode real-time (5 menit secara default), ketika pipeline sejenak berhenti untuk checkpoint dan commit. Ini biasanya dapat diabaikan pada interval default.
- Perhatikan long tail langka (max, di atas p99). Ini mencerminkan pengejaran ketertinggalan pipeline daripada steady state, terutama setelah restart, seperti restart pemeliharaan, ketika pipeline memproses event yang di-buffer. Ukur kesegaran steady-state pada jendela yang tidak termasuk restart, dan evaluasi lonjakan restart secara terpisah.
Keterbatasan
Fitur pemrosesan batch
- Alur materialisasi batch berjalan sebagai alur Lakeflow tanpa server.
- Fitur jendela bergulir batch tidak dapat dimaterialisasikan, kecuali untuk kasus khusus yang hanya berlaku untuk online
Lastyang dijelaskan dalam Materialisasikan nilai terbaru yang dibatasi kesegarannya. Untuk pelatihan offline atau inferensi batch, fitur jendela bergulir dihitung berdasarkan data sumber untuk setiap pencarian point-in-time. -
ColumnSelectionfeatures hanya dapat dimaterialisasi ke penyimpanan online. -
RequestSource,FeatureViewSource, danCustomUDFfitur tidak dapat dimaterialisasikan. Lihat Fitur dan materialisasi sesuai permintaan. - Jika pembaruan pipeline sumber untuk suatu
SdpSourcefitur gagal, proses materialisasi akan gagal. Lihat Gunakan pipeline Lakeflow sebagai sumber fitur. - Fitur materialisasi hanya dapat dihapus di ruang kerja tempat fitur tersebut dibuat.
- Hanya pengguna yang membuat fitur materialized yang dapat menghapusnya, terlepas dari hak istimewa Unity Catalog pada fitur atau skema induknya.
- Untuk fitur agregasi yang dimaterialisasi, fitur online yang dimaterialisasi tidak bisa dihapus langsung. Hapus fitur materialisasi offline yang dipasangkan, dan perubahan disebarkan ke keduanya.
- Untuk fitur agregasi yang dimaterialisasi yang dibuat sebelum 20 April 2026, pemrosesan materialisasi terus menghasilkan nilai fitur yang baru sampai semua fitur yang dimaterialisasi dalam pemrosesan tersebut telah dihapus, yang memicu pembersihan sumber daya. Untuk membuat alur yang diperbarui yang mendukung penghapusan per fitur, hapus dan buat ulang fitur.
- Untuk fitur materialisasi
ColumnSelection, alur materialisasi terus menghasilkan nilai fitur baru sampai semua fitur materialisasi dalam alur telah dihapus, yang memicu pembersihan sumber daya.
Fitur streaming
- Fitur streaming hanya dapat diwujudkan ke toko online. Materialisasi offline tidak diperlukan karena fitur streaming selama pelatihan dirancang untuk dihitung ulang dari peristiwa historis untuk setiap titik data guna memberikan akurasi tingkat milidetik.
- Fitur streaming tidak dapat dicampur dengan fitur batch dalam satu
materialize_featurespanggilan. -
compute_featurestidak mendukung fitur streaming. - Ruang kerja harus berada di wilayah yang mendukung instans Lakebase.
- Pesan Kafka dapat menggunakan JSON, Avro, atau Protobuf. Untuk persyaratan skema dan batasan registri skema, lihat Registri skema.
- Hanya
RollingWindowdanSawtoothWindowdidukung untuk fitur agregasi streaming.TumblingWindowdanSlidingWindowharus digunakan dengan fitur batch. Lihat jendela waktu untuk fitur streaming. - Hanya fungsi agregasi
Count,Avg,Sum,Max,StddevPop,Min,Last,LastDistinct,First,FirstN,LastN, danFirstDistinctyang didukung untuk fitur streaming. - Fitur pemilihan kolom dari sumber streaming tidak menangani pesan yang tidak berurutan. Peristiwa terbaru pada aliran Kafka ditampilkan, bahkan jika nilai kolom timeseries lebih awal dari peristiwa yang diterima sebelumnya.
- Alur streaming dimulai ulang dua kali seminggu. Setiap mulai ulang dapat menyebabkan penundaan pemrosesan dan waktu mulai hingga 1 menit. Tidak termasuk menghidupkan ulang, kesegaran p99 adalah 200ms.
- Fitur streaming tidak bisa diisi secara retroaktif dengan
backfill_features. Untuk menambahkan data historis ke Stream untuk pelatihan, konfigurasikan sumber backfill pada Stream. - Fitur
RollingWindowdi toko online hanya mencakup peristiwa yang tiba setelah materialisasi dimulai, sehingga nilainya hanya lengkap setelah seluruhwindow_duration-nya berlalu. SebuahSawtoothWindowfitur menghitung nilai historisnya dari tabel ingestion Stream saat materialisasi dimulai. Materialisasi tidak menghitung ulang nilai-nilai tersebut jika Anda kemudian mengoreksi data di tabel ingestion. - Hanya Databricks Online Feature Store yang didukung.
- Alur materialisasi streaming berjalan sebagai alur Lakeflow tanpa server.