Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Important
Fitur ini ada di Pratinjau Privat. Untuk mencobanya, hubungi kontak Azure Databricks Anda.
Bundle Otomatisasi Deklaratif (sebelumnya dikenal sebagai Databricks Asset Bundles) memungkinkan Anda memvalidasi, menyebarkan, dan menjalankan sumber daya Azure Databricks seperti Feature View dan pipeline yang mewujudkannya. Lihat Apa itu Bundel Otomatisasi Deklaratif?.
Tutorial ini membuat bundel yang mendeklarasikan empat Feature Views dan mematerialisasikannya dengan tiga cara: dua fitur batch yang ditulis baik ke store offline maupun online, satu fitur streaming yang ditulis secara terus-menerus ke store online, dan satu fitur streaming dengan jendela sawtooth, yang dimaterialisasi ke store offline dan online dalam mode batch, serta ke store online dalam mode streaming. Kemudian Anda mengubah konfigurasi, melakukan redeploy, dan membongkar semuanya.
Mendeklarasikan fitur dalam bundel memberikan definisi yang sama di setiap workspace tempat Anda menyebarkan, ditinjau dalam bentuk source code bersama dengan bagian lain dari proyek Anda. Ini adalah alternatif deklaratif untuk memanggil create_feature dan materialize_features dari notebook. Lihat Tampilan Fitur.
Setiap langkah menampilkan konfigurasi di YAML dan Python. Pilih bahasa dan halaman mengikuti pilihan Anda.
Requirements
- Databricks CLI versi 1.24.0 atau lebih tinggi. Jalankan
databricks --versionuntuk memeriksa. Lihat Menginstal atau memperbarui Databricks CLI. - Mesin deployment langsung. Sumber daya
featuresdanmaterialization_setstidak didukung oleh mesin deployment Terraform. Lihat Kompatibilitas Sumber Daya. - Ruang kerja yang diaktifkan Katalog Unity. Lihat Persyaratan.
- Izin untuk membuat fitur dan mematerialisasikannya. Lihat Izin.
- Toko online yang sudah ada. Lihat Buat toko online.
- Tabel Delta yang sudah ada dengan kolom entitas dan kolom timestamp, untuk materialisasi batch. Lihat tabel Azure Databricks.
- Stream yang sudah ada, untuk materialisasi aliran. Lihat Buat stream.
Tabel sumber dan Stream masing-masing memiliki siklus hidup sendiri dan keduanya bukan sumber daya bundel. Buat terlebih dahulu dan referensikan berdasarkan nama di bundle, seperti yang dilakukan Langkah 3 untuk tabel dan Langkah 4 untuk Stream.
Sumber daya Toko Fitur dalam satu bundel
Sebuah bundel mendeklarasikan dua tipe sumber daya Feature Store, dan perbedaan di antara keduanya menentukan berapa biaya penyebaran.
- Feature View: definisi sebuah fitur, mencakup sumbernya, agregasi, dan kuncinya. Ini adalah metadata yang ringan. Lihat Tampilan Fitur, dan untuk referensi konfigurasi, fitur.
- Set materialisasi: sekelompok fitur yang termaterialisasi. Fitur termaterialisasi adalah satu Feature View yang dihitung ke dalam tabel melalui pipeline atau job, jadi ini adalah bagian yang paling berat. Mengelompokkan fitur yang dimaterialisasi dalam satu set memberi tahu Azure Databricks bahwa fitur-fitur tersebut dapat dihitung bersama, sehingga Azure Databricks mengemasnya ke dalam sesedikit mungkin tabel dan pipeline Lakeflow yang menampungnya. Lihat Materialize Feature Views, dan untuk referensi konfigurasi, materialization_set dan materialization_set.materialized_features.
Langkah-langkah berikut adalah deklarasi fitur batch, fitur streaming, dan fitur streaming dengan jendela sawtooth. Deklarasikan hanya fitur yang dibutuhkan proyek Anda. Untuk cara kerja materialisasi, lihat Materialize Feature Views.
Langkah 1: Menyiapkan autentikasi
Pertama, atur autentikasi antara Databricks CLI pada mesin pengembangan Anda dan ruang kerja Azure Databricks Anda. Halaman ini mengasumsikan bahwa Anda ingin menggunakan autentikasi pengguna-ke-mesin (U2M) OAuth dan profil konfigurasi Azure Databricks terkait bernama DEFAULT untuk autentikasi.
Note
Autentikasi U2M sesuai untuk mencoba langkah-langkah ini secara real time. Untuk alur kerja yang sepenuhnya otomatis, Databricks menyarankan agar Anda menggunakan autentikasi mesin-ke-mesin (M2M) OAuth sebagai gantinya. Lihat instruksi penyiapan autentikasi M2M di Mengotorisasi akses perwakilan layanan ke Azure Databricks dengan OAuth.
Gunakan Databricks CLI untuk memulai manajemen token OAuth secara lokal dengan menjalankan perintah berikut untuk setiap ruang kerja target.
Dalam perintah berikut, ganti
<workspace-url>dengan URL per ruang kerja Azure Databricks Anda, misalnyahttps://adb-1234567890123456.7.azuredatabricks.net.databricks auth login --host <workspace-url>Databricks CLI meminta Anda untuk menyimpan informasi yang Anda masukkan sebagai profil konfigurasi Azure Databricks. Tekan
Enteruntuk menerima nama profil yang disarankan, atau masukkan nama profil baru atau yang sudah ada. Profil yang sudah ada dengan nama yang sama akan digantikan dengan informasi yang Anda masukkan. Anda dapat menggunakan profil untuk mengalihkan konteks autentikasi dengan cepat di beberapa ruang kerja.Untuk mendapatkan daftar profil yang ada, di terminal atau prompt perintah terpisah, gunakan Databricks CLI untuk menjalankan perintah
databricks auth profiles. Untuk melihat pengaturan profil tertentu yang sudah ada, jalankan perintahdatabricks auth env --profile <profile-name>.Di browser web Anda, selesaikan instruksi di layar untuk masuk ke ruang kerja Azure Databricks Anda.
Untuk melihat nilai token OAuth profil saat ini dan tanda waktu kedaluwarsa token yang akan datang, jalankan salah satu perintah berikut:
databricks auth token --host <workspace-url>databricks auth token -p <profile-name>databricks auth token --host <workspace-url> -p <profile-name>
Jika Anda memiliki beberapa profil dengan nilai yang sama
--host, Anda mungkin perlu menentukan--hostopsi dan-pbersama-sama untuk membantu Databricks CLI menemukan informasi token OAuth yang cocok dengan benar.
Langkah 2: Buat bundel
Buat direktori kosong untuk bundle, dengan file databricks.yml di akar dan direktori resources di sampingnya.
YAML
Setiap langkah berikut menambahkan satu file di bawah resources/ untuk mendeklarasikan sumber daya bundel:
databricks.yml
resources/
batch_feature.yml
streaming_feature.yml
streaming_feature_sawtooth.yml
databricks.yml Mengandung tiga hal:
- Nama bundel.
- Entri
include, yang menentukan dari file mana bundle memuat sumber dayanya. - Variabel yang berisi nilai yang dapat dirujuk oleh sumber daya, seperti katalog, skema, dan nama sumber.
bundle:
name: feature-store-quickstart
include:
- resources/*.yml
variables:
catalog:
description: The catalog that features are written to.
default: main
schema:
description: The schema that features are written to.
default: features_demo
source_table:
description: The three-level name of the source Delta table.
default: main.features_demo.transactions
stream:
description: The three-level name of a Stream registered in Unity Catalog.
default: main.features_demo.events
online_store:
description: The online store that serves the features.
default: my_online_store
Mendeklarasikan semuanya di databricks.yml juga berfungsi. Hilangkan include dan kumpulkan deklarasi setiap langkah di bawah satu resources pemetaan:
bundle:
name: feature-store-quickstart
variables:
# The variables above.
resources:
features:
# The Feature Views from the following steps.
materialization_sets:
# The materialization sets from the following steps.
Python
Sumber daya yang dinyatakan dalam Python hanya ditemukan melalui pemetaan python di databricks.yml. Tanpanya, bundle berhasil divalidasi dan dideploy tetapi tidak mengandung sumber daya, jadi tambahkan sekarang:
bundle:
name: feature-store-quickstart
python:
venv_path: .venv
resources:
- 'resources:load_resources'
variables:
catalog:
description: The catalog that features are written to.
default: main
schema:
description: The schema that features are written to.
default: features_demo
source_table:
description: The three-level name of the source Delta table.
default: main.features_demo.transactions
stream:
description: The three-level name of a Stream registered in Unity Catalog.
default: main.features_demo.events
online_store:
description: The online store that serves the features.
default: my_online_store
venv_path adalah lingkungan virtual tempat CLI Databricks menjalankan kode ini. Setiap entri di bawah resources menamai fungsi sebagai <module>:<function>, yang dipanggil oleh CLI Databricks untuk mengumpulkan sumber daya bundel. Jika lebih dari satu <module>:<function> entri dideklarasikan di bawah resources, Databricks CLI memanggil setiap fungsi dan mengumpulkan sumber daya yang dikembalikan masing-masing.
Kemudian buat proyek dan lingkungan virtualnya, lalu tambahkan paket:
uv init --bare
uv venv .venv
uv add databricks-bundles
Buat resources/__init__.py dengan fungsi bernama databricks.yml:
from databricks.bundles.core import Bundle, Resources
def load_resources(bundle: Bundle) -> Resources:
resources = Resources()
# The following steps add resources here.
return resources
Untuk informasi lebih lanjut tentang pembuatan bundle di Python, termasuk template proyek dan mutator, lihat Konfigurasi bundle di Python.
Langkah 3: Tambahkan fitur batch
Kedua Tampilan Fitur ini menghitung transaksi per pengguna selama tujuh hari terakhir dan 30 hari berikutnya, keduanya dihitung ulang setiap hari, dan diwujudkan bersama menjadi toko offline dan online.
Feature View sendiri hanyalah sebuah definisi. Set materialisasi menghasilkan data darinya.
Setiap sumber daya memiliki dua nama.
transaction_count adalah kunci sumber daya: nama yang Anda pilih, unik dalam bundel, yang digunakan oleh perintah databricks bundle untuk mengakses sumber daya dan yang dirujuk oleh referensi konfigurasi lainnya. Misalnya, dua fitur materialisasi dari transaction_count dalam himpunan transactions merujuk pada nama Tampilan Fitur sebagai ${resources.features.transaction_count.full_name}, yang memberi tahu bundel bahwa himpunan bergantung pada Tampilan transaction_countFitur .
Karena ketergantungan ini, transaction_count dibuat sebelum himpunan transactions saat keduanya dibuat, dan dihapus setelahnya ketika keduanya dihancurkan. Nama yang dikodekan keras seperti main.features_demo.transaction_count_7d, yang ditulis tanpa ${}, menghilangkan ketergantungan tersebut dan di-deploy dalam urutan yang tidak dapat diprediksi.
full_name adalah nama tiga tingkat yang Anda pilih untuk Tampilan Fitur yang akan didaftarkan di bawah Unity Catalog, dan nama yang Anda query nanti. Kedua nama tersebut terpisah.
Durasi adalah hitungan detik dengan s akhiran, yaitu 604800s selama tujuh hari. Lihat Menentukan durasi untuk jendela, sumber, atau fungsi.
Setiap entri di bawah materialized_features adalah satu anggota fitur yang termaterialisasi: satu Tampilan Fitur yang dimaterialisasi ke satu tujuan. Masing-masing Feature View ini diwujudkan ke tujuan offline dan online, sehingga masing-masing menyumbang dua anggota fitur yang termaterialisasi, dan setiap anggota membawa pemicu sendiri. Kedua Tampilan Fitur menulis ke tujuan offline dan online yang sama, karena satu set memiliki satu tujuan offline dan paling banyak satu tujuan online.
YAML
Buat resources/batch_feature.yml:
resources:
features:
transaction_count:
full_name: ${var.catalog}.${var.schema}.transaction_count_7d
description: Transactions per user over a trailing seven days
source:
delta_table_source:
full_name: ${var.source_table}
function:
aggregation_function:
count_function:
input: transaction_id
time_window:
sliding:
window_duration: 604800s
slide_duration: 86400s
entities:
- name: user_id
timeseries_column:
name: transaction_time
transaction_count_30d:
full_name: ${var.catalog}.${var.schema}.transaction_count_30d
description: Transactions per user over a trailing 30 days
source:
delta_table_source:
full_name: ${var.source_table}
function:
aggregation_function:
count_function:
input: transaction_id
time_window:
sliding:
window_duration: 2592000s
slide_duration: 86400s
entities:
- name: user_id
timeseries_column:
name: transaction_time
materialization_sets:
transactions:
materialized_features:
# Batch offline materialized feature of transaction_count.
- feature_name: ${resources.features.transaction_count.full_name}
offline_store_config:
catalog_name: ${var.catalog}
schema_name: ${var.schema}
table_name_prefix: transactions_offline
cron_schedule_trigger:
mode: DERIVED
# Batch online materialized feature of transaction_count.
- feature_name: ${resources.features.transaction_count.full_name}
online_store_config:
online_store_name: ${var.online_store}
catalog_name: ${var.catalog}
schema_name: ${var.schema}
table_name_prefix: transactions_online
cron_schedule_trigger:
mode: DERIVED
# Batch offline materialized feature of transaction_count_30d.
- feature_name: ${resources.features.transaction_count_30d.full_name}
offline_store_config:
catalog_name: ${var.catalog}
schema_name: ${var.schema}
table_name_prefix: transactions_offline
cron_schedule_trigger:
mode: DERIVED
# Batch online materialized feature of transaction_count_30d.
- feature_name: ${resources.features.transaction_count_30d.full_name}
online_store_config:
online_store_name: ${var.online_store}
catalog_name: ${var.catalog}
schema_name: ${var.schema}
table_name_prefix: transactions_online
cron_schedule_trigger:
mode: DERIVED
Python
Tambahkan impor ke resources/__init__.py:
from databricks.bundles.features import (
AggregationFunction,
CountFunction,
DataSource,
DeltaTableSource,
EntityColumn,
Feature,
Function,
SlidingWindow,
TimeWindow,
TimeseriesColumn,
)
from databricks.bundles.materialization_sets import (
CronSchedule,
CronScheduleMode,
MaterializationSet,
MaterializedFeature,
OfflineStoreConfig,
OnlineStoreConfig,
)
Kemudian tambahkan ini ke isi load_resources:
resources.add_feature(
'transaction_count',
Feature(
full_name='${var.catalog}.${var.schema}.transaction_count_7d',
description='Transactions per user over a trailing seven days',
source=DataSource(delta_table_source=DeltaTableSource(full_name='${var.source_table}')),
function=Function(
aggregation_function=AggregationFunction(
count_function=CountFunction(input='transaction_id'),
time_window=TimeWindow(
sliding=SlidingWindow(window_duration='604800s', slide_duration='86400s')
),
)
),
entities=[EntityColumn(name='user_id')],
timeseries_column=TimeseriesColumn(name='transaction_time'),
),
)
resources.add_feature(
'transaction_count_30d',
Feature(
full_name='${var.catalog}.${var.schema}.transaction_count_30d',
description='Transactions per user over a trailing 30 days',
source=DataSource(delta_table_source=DeltaTableSource(full_name='${var.source_table}')),
function=Function(
aggregation_function=AggregationFunction(
count_function=CountFunction(input='transaction_id'),
time_window=TimeWindow(
sliding=SlidingWindow(window_duration='2592000s', slide_duration='86400s')
),
)
),
entities=[EntityColumn(name='user_id')],
timeseries_column=TimeseriesColumn(name='transaction_time'),
),
)
resources.add_materialization_set(
'transactions',
MaterializationSet(
materialized_features=[
# Batch offline materialized feature of transaction_count.
MaterializedFeature(
feature_name='${resources.features.transaction_count.full_name}',
offline_store_config=OfflineStoreConfig(
catalog_name='${var.catalog}',
schema_name='${var.schema}',
table_name_prefix='transactions_offline',
),
cron_schedule_trigger=CronSchedule(mode=CronScheduleMode.DERIVED),
),
# Batch online materialized feature of transaction_count.
MaterializedFeature(
feature_name='${resources.features.transaction_count.full_name}',
online_store_config=OnlineStoreConfig(
online_store_name='${var.online_store}',
catalog_name='${var.catalog}',
schema_name='${var.schema}',
table_name_prefix='transactions_online',
),
cron_schedule_trigger=CronSchedule(mode=CronScheduleMode.DERIVED),
),
# Batch offline materialized feature of transaction_count_30d.
MaterializedFeature(
feature_name='${resources.features.transaction_count_30d.full_name}',
offline_store_config=OfflineStoreConfig(
catalog_name='${var.catalog}',
schema_name='${var.schema}',
table_name_prefix='transactions_offline',
),
cron_schedule_trigger=CronSchedule(mode=CronScheduleMode.DERIVED),
),
# Batch online materialized feature of transaction_count_30d.
MaterializedFeature(
feature_name='${resources.features.transaction_count_30d.full_name}',
online_store_config=OnlineStoreConfig(
online_store_name='${var.online_store}',
catalog_name='${var.catalog}',
schema_name='${var.schema}',
table_name_prefix='transactions_online',
),
cron_schedule_trigger=CronSchedule(mode=CronScheduleMode.DERIVED),
),
]
),
)
Langkah 4: Tambahkan fitur streaming
Tampilan Fitur ini menghitung event per kunci selama 90 menit terakhir dan terus dimaterialisasikan ke toko online. Ini menulis ke satu tujuan, sehingga himpunannya menyatakan satu anggota.
Anggota fitur yang direalisasi secara streaming membawa streaming_mode dan tidak memiliki cron_schedule_trigger. Untuk mode dan makna masing-masing, lihat materialization_set.materialized_features.streaming_mode.
Ini adalah set materialisasi kedua, bukan fitur materialisasi yang ditambahkan ke set yang didefinisikan pada Langkah 3, karena set materialisasi tidak dapat mencampur Tampilan Fitur yang dimaterialisasi dalam mode streaming dengan Tampilan Fitur yang dimaterialisasi secara batch. Feature View streaming dengan jendela berbentuk gergaji adalah pengecualian. Fitur batch dan streaming-nya yang dimaterialisasi seharusnya berada dalam set yang sama, seperti pada Langkah 5.
Tampilan Fitur membaca Stream berdasarkan nama. Sebuah Stream dibuat dan diversi secara mandiri, di luar bundle, dengan cara yang sama seperti tabel Delta yang dibaca oleh fitur batch. Untuk membuat satu, lihat Buat aliran.
Tampilan Fitur streaming merujuk kolom input sebagai jalur ke dalam catatan stream, bukan sebagai nama kolom biasa, jadi ganti nama yang digunakan skema Stream Anda di mana pun contoh menunjukkan value.*.
YAML
Buat resources/streaming_feature.yml:
resources:
features:
event_count_90m:
full_name: ${var.catalog}.${var.schema}.event_count_90m
description: Events per key over a trailing 90 minutes
source:
stream_source:
full_name: ${var.stream}
function:
aggregation_function:
count_function:
input: value.amount
time_window:
rolling:
window_duration: 5400s
entities:
- name: value.key
timeseries_column:
name: value.event_timestamp
materialization_sets:
events_online:
materialized_features:
- feature_name: ${resources.features.event_count_90m.full_name}
online_store_config:
online_store_name: ${var.online_store}
catalog_name: ${var.catalog}
schema_name: ${var.schema}
table_name_prefix: event_count_90m_online
streaming_mode:
mode: STREAMING_MODE_TYPE_RTM
Python
Tambahkan RollingWindow dan StreamSource ke impor dari databricks.bundles.features, dan StreamingMode dan StreamingModeStreamingModeType ke impor dari databricks.bundles.materialization_sets, lalu tambahkan ini ke load_resources:
resources.add_feature(
'event_count_90m',
Feature(
full_name='${var.catalog}.${var.schema}.event_count_90m',
description='Events per key over a trailing 90 minutes',
source=DataSource(stream_source=StreamSource(full_name='${var.stream}')),
function=Function(
aggregation_function=AggregationFunction(
count_function=CountFunction(input='value.amount'),
time_window=TimeWindow(rolling=RollingWindow(window_duration='5400s')),
)
),
entities=[EntityColumn(name='value.key')],
timeseries_column=TimeseriesColumn(name='value.event_timestamp'),
),
)
resources.add_materialization_set(
'events_online',
MaterializationSet(
materialized_features=[
MaterializedFeature(
feature_name='${resources.features.event_count_90m.full_name}',
online_store_config=OnlineStoreConfig(
online_store_name='${var.online_store}',
catalog_name='${var.catalog}',
schema_name='${var.schema}',
table_name_prefix='event_count_90m_online',
),
streaming_mode=StreamingMode(
mode=StreamingModeStreamingModeType.STREAMING_MODE_TYPE_RTM
),
)
]
),
)
Langkah 5: Tambahkan fitur streaming dengan jendela sawtooth
Materialisasi Tampilan Fitur streaming yang aggregasinya menggunakan jendela sawtooth menghasilkan tiga fitur materialisasi: fitur materialisasi batch offline, fitur materialisasi batch online, dan fitur materialisasi streaming online. Server membutuhkan ketiganya, dan mendeklarasikan sebagian fitur yang dimaterialisasi ditolak. Dua fitur batch materialized harus menggunakan DERIVED sebagai cron_schedule_trigger, sehingga Azure Databricks memilih jadwal dari definisi fitur. Fitur batch online materialized dan fitur streaming online materialized harus memiliki konfigurasi toko online yang sama. Set materialisasi yang tidak memenuhi persyaratan ini ditolak saat deployment. Untuk daftar lengkap, lihat Aturan yang harus dipenuhi oleh himpunan materialisasi.
YAML
Buat resources/streaming_feature_sawtooth.yml:
resources:
features:
amount_sum:
full_name: ${var.catalog}.${var.schema}.amount_sum_3d
description: Sum of amount per key over a sawtooth window
source:
stream_source:
full_name: ${var.stream}
function:
aggregation_function:
sum:
input: value.amount
time_window:
sawtooth:
window_duration: 259200s
entities:
- name: value.key
timeseries_column:
name: value.event_timestamp
materialization_sets:
amounts:
materialized_features:
# Batch offline materialized feature.
- feature_name: ${resources.features.amount_sum.full_name}
offline_store_config:
catalog_name: ${var.catalog}
schema_name: ${var.schema}
table_name_prefix: amount_sum_offline
cron_schedule_trigger:
mode: DERIVED
# Batch online materialized feature.
- feature_name: ${resources.features.amount_sum.full_name}
online_store_config:
online_store_name: ${var.online_store}
catalog_name: ${var.catalog}
schema_name: ${var.schema}
table_name_prefix: amount_sum_online
cron_schedule_trigger:
mode: DERIVED
# Streaming online materialized feature.
- feature_name: ${resources.features.amount_sum.full_name}
online_store_config:
online_store_name: ${var.online_store}
catalog_name: ${var.catalog}
schema_name: ${var.schema}
table_name_prefix: amount_sum_online
streaming_mode:
mode: STREAMING_MODE_TYPE_RTM
Python
Tambahkan SawtoothWindow dan SumFunction ke impor dari databricks.bundles.features, lalu tambahkan ini ke load_resources:
resources.add_feature(
'amount_sum',
Feature(
full_name='${var.catalog}.${var.schema}.amount_sum_3d',
description='Sum of amount per key over a sawtooth window',
source=DataSource(stream_source=StreamSource(full_name='${var.stream}')),
function=Function(
aggregation_function=AggregationFunction(
sum=SumFunction(input='value.amount'),
time_window=TimeWindow(sawtooth=SawtoothWindow(window_duration='259200s')),
)
),
entities=[EntityColumn(name='value.key')],
timeseries_column=TimeseriesColumn(name='value.event_timestamp'),
),
)
resources.add_materialization_set(
'amounts',
MaterializationSet(
materialized_features=[
# Batch offline materialized feature.
MaterializedFeature(
feature_name='${resources.features.amount_sum.full_name}',
offline_store_config=OfflineStoreConfig(
catalog_name='${var.catalog}',
schema_name='${var.schema}',
table_name_prefix='amount_sum_offline',
),
cron_schedule_trigger=CronSchedule(mode=CronScheduleMode.DERIVED),
),
# Batch online materialized feature.
MaterializedFeature(
feature_name='${resources.features.amount_sum.full_name}',
online_store_config=OnlineStoreConfig(
online_store_name='${var.online_store}',
catalog_name='${var.catalog}',
schema_name='${var.schema}',
table_name_prefix='amount_sum_online',
),
cron_schedule_trigger=CronSchedule(mode=CronScheduleMode.DERIVED),
),
# Streaming online materialized feature.
MaterializedFeature(
feature_name='${resources.features.amount_sum.full_name}',
online_store_config=OnlineStoreConfig(
online_store_name='${var.online_store}',
catalog_name='${var.catalog}',
schema_name='${var.schema}',
table_name_prefix='amount_sum_online',
),
streaming_mode=StreamingMode(
mode=StreamingModeStreamingModeType.STREAMING_MODE_TYPE_RTM
),
),
]
),
)
Langkah 6: Validasi dan rencanakan
Periksa konfigurasi, yang menampilkan databricks.yml dan setiap file sumber daya yang dimuat oleh bundel:
databricks bundle validate
validate ini juga cara termurah untuk mengetahui apakah sebuah field diterima. Ia menamai setiap bidang yang tidak dikenali oleh bundel, beserta jalurnya serta file dan baris asalnya:
Warning: unknown field: bogus_field
at resources.features.transaction_count.function.aggregation_function.time_window.sliding
in resources/batch_feature.yml:16:15
Sebuah bidang yang tidak dikenali dilaporkan sebagai peringatan dan nilainya akan hilang, jadi baca outputnya, bukan hanya kode keluar. Teruskan --strict untuk memperlakukan peringatan sebagai kesalahan. Untuk kolom yang diterima setiap jendela, fungsi, dan sumber, lihat feature.
Aturan yang ditegakkan server, seperti aturan bahwa Tampilan Fitur dengan jendela sawtooth harus mendeklarasikan ketiga fitur termaterialisasi, tidak diperiksa di sini dan muncul di databricks bundle deploy.
Kemudian tinjau apa yang dilakukan deployment sebelum dijalankan:
databricks bundle plan
Pada penerapan pertama, semua tujuh sumber daya (empat Tampilan Fitur dan tiga set materialisasi) melaporkan create:
create features.amount_sum
create features.event_count_90m
create features.transaction_count
create features.transaction_count_30d
create materialization_sets.amounts
create materialization_sets.events_online
create materialization_sets.transactions
Plan: 7 to add, 0 to change, 0 to delete, 0 unchanged
Jalankan plan juga setiap perubahan berikutnya, untuk melihat tindakan apa yang direncanakan.
Langkah 7: Deploy
Sebarkan bundel ke ruang kerja Anda:
databricks bundle deploy
Proses deployment melaporkan setiap sumber daya saat sumber daya tersebut dibuat:
Uploading bundle files to /Workspace/Users/someone@example.com/.bundle/feature-store-quickstart/default/files...
Created features.transaction_count_30d
Created features.transaction_count
Created features.amount_sum
Created features.event_count_90m
Created materialization_sets.transactions
Created materialization_sets.events_online
Created materialization_sets.amounts
Files: 4 uploaded, 0 deleted
Resources: 7 created, 0 changed, 0 deleted, 0 unchanged
Langkah 8: Periksa apa yang dibuat
databricks bundle summary -o json melaporkan konfigurasi bundle Anda dengan pengenal sumber daya, seperti ID set materialisasi, yang tercatat pada deployment terakhir. Untuk set materialisasi yang didefinisikan pada Langkah 5:
{
"id": "1234567890abcdef1234567890abcdef",
"materialized_features": [
{
"cron_schedule_trigger": {
"mode": "DERIVED"
},
"feature_name": "${resources.features.amount_sum.full_name}",
"offline_store_config": {
"catalog_name": "main",
"schema_name": "features_demo",
"table_name_prefix": "amount_sum_offline"
}
},
{
"cron_schedule_trigger": {
"mode": "DERIVED"
},
"feature_name": "${resources.features.amount_sum.full_name}",
"online_store_config": {
"catalog_name": "main",
"online_store_name": "my_online_store",
"schema_name": "features_demo",
"table_name_prefix": "amount_sum_online"
}
},
{
"feature_name": "${resources.features.amount_sum.full_name}",
"online_store_config": {
"catalog_name": "main",
"online_store_name": "my_online_store",
"schema_name": "features_demo",
"table_name_prefix": "amount_sum_online"
},
"streaming_mode": {
"mode": "STREAMING_MODE_TYPE_RTM"
}
}
]
}
Untuk melihat apa yang disimpan di server, baca kembali set tersebut dengan perintah Feature Engineering, menggunakan id dari output databricks bundle summary:
databricks feature-engineering get-materialization-set <materialization-set-id>
Respons berisi apa yang disimpan server untuk set yang sama, termasuk field yang dihasilkannya:
{
"materialization_set_id": "1234567890abcdef1234567890abcdef",
"materialized_features": [
{
"cron_schedule_trigger": {
"cron_expression": "0 0 2 * * ?",
"mode": "DERIVED",
"timezone_id": "UTC"
},
"feature_name": "main.features_demo.amount_sum_3d",
"is_online": true,
"job_id": 123456789012345,
"materialization_set_id": "1234567890abcdef1234567890abcdef",
"materialized_feature_id": "22222222222222222222222222222222",
"online_store_config": {
"catalog_name": "",
"online_store_name": "my_online_store",
"schema_name": "",
"table_name_prefix": ""
},
"pipeline_schedule_state": "ACTIVE",
"table_name": "main.features_demo.amount_sum_online_ceq88t"
},
{
"feature_name": "main.features_demo.amount_sum_3d",
"is_online": true,
"job_id": 234567890123456,
"materialization_set_id": "1234567890abcdef1234567890abcdef",
"materialized_feature_id": "33333333333333333333333333333333",
"online_store_config": {
"catalog_name": "",
"online_store_name": "my_online_store",
"schema_name": "",
"table_name_prefix": ""
},
"pipeline_id": "12345678-1234-1234-1234-123456789012",
"pipeline_schedule_state": "ACTIVE",
"streaming_mode": {
"mode": "STREAMING_MODE_TYPE_RTM"
},
"table_name": "main.features_demo.amount_sum_online_qiohun"
},
{
"cron_schedule_trigger": {
"cron_expression": "0 0 2 * * ?",
"mode": "DERIVED",
"timezone_id": "UTC"
},
"feature_name": "main.features_demo.amount_sum_3d",
"is_online": false,
"job_id": 123456789012345,
"materialization_set_id": "1234567890abcdef1234567890abcdef",
"materialized_feature_id": "11111111111111111111111111111111",
"pipeline_schedule_state": "ACTIVE",
"table_name": "main.features_demo.amount_sum_offline_ceq88t"
}
]
}
Langkah 9: Ubah konfigurasi
Contoh berikut mengubah Tampilan Fitur dan set materialisasi dari langkah sebelumnya, dan menunjukkan apa yang dilakukan setiap perubahan saat deployment. Kecuali ada contoh yang menyebutkan titik awal yang berbeda, masing-masing dimulai dari deployment pada Langkah 7. Masing-masing merupakan edit pada file yang mendeklarasikan sumber daya, atau pada pemetaan resources di databricks.yml jika Anda mendeklarasikan semuanya dalam satu file. Di tab Python, edit dilakukan di resources/__init__.py. Untuk mengetahui perubahan mana yang diterapkan langsung, mana yang menggantikan sumber daya, dan mana yang ditolak, lihat Mengubah Tampilan Fitur dan Mengubah set materialisasi.
Menghapus semua fitur yang dimaterialisasi dari satu Tampilan Fitur
Menghapus setiap fitur yang dimaterialisasi dari satu Tampilan Fitur dari set materialisasi diterapkan di tempat, sehingga tidak ada data fitur yang dihitung ulang. Lihat Mengubah himpunan materialisasi.
Langkah berikut menggunakan set transactions yang didefinisikan pada Langkah 3 untuk Tampilan Fitur transaction_count dan transaction_count_30d, dan menghapus setiap fitur termaterialisasi dari Tampilan Fitur transaction_count_30d. Fitur termaterialisasi dari transaction_count dalam set yang sama tidak tersentuh:
YAML
materialization_sets:
transactions:
materialized_features:
# Batch offline materialized feature of transaction_count.
- feature_name: ${resources.features.transaction_count.full_name}
offline_store_config: # As in Step 3.
cron_schedule_trigger:
mode: DERIVED
# Batch online materialized feature of transaction_count.
- feature_name: ${resources.features.transaction_count.full_name}
online_store_config: # As in Step 3.
cron_schedule_trigger:
mode: DERIVED
- # Batch offline materialized feature of transaction_count_30d.
- - feature_name: ${resources.features.transaction_count_30d.full_name}
- offline_store_config: # As in Step 3.
- cron_schedule_trigger:
- mode: DERIVED
- # Batch online materialized feature of transaction_count_30d.
- - feature_name: ${resources.features.transaction_count_30d.full_name}
- online_store_config: # As in Step 3.
- cron_schedule_trigger:
- mode: DERIVED
Python
resources.add_materialization_set(
'transactions',
MaterializationSet(
materialized_features=[
# Batch offline materialized feature of transaction_count.
MaterializedFeature(...), # As in Step 3.
# Batch online materialized feature of transaction_count.
MaterializedFeature(...), # As in Step 3.
- # Batch offline materialized feature of transaction_count_30d.
- MaterializedFeature(...), # As in Step 3.
- # Batch online materialized feature of transaction_count_30d.
- MaterializedFeature(...), # As in Step 3.
]
),
)
databricks bundle plan melaporkan kumpulan tersebut sebagai pembaruan:
update materialization_sets.transactions
Plan: 0 to add, 1 to change, 0 to delete, 6 unchanged
Mengubah bidang yang tidak dapat diubah dari Tampilan Fitur
Ketika sebuah set materialisasi bergantung pada Tampilan Fitur, mengubah bidang yang tidak dapat diubah pada Tampilan Fitur gagal saat deploy. Mengganti Tampilan Fitur akan menghapusnya terlebih dahulu, dan penghapusan ditolak sementara Tampilan Fitur memiliki fitur yang termaterialisasi. Untuk mengetahui field mana yang tidak dapat diubah, dan cara yang direkomendasikan untuk mengubahnya, lihat Mengubah Tampilan Fitur.
Berikut ini menggunakan Feature View transaction_count yang didefinisikan pada Langkah 3 dan memperluas durasi jendela gesernya, yang merupakan field yang tidak dapat diubah:
YAML
features:
transaction_count:
# The other keys, as in Step 3.
function:
aggregation_function:
count_function:
input: transaction_id
time_window:
sliding:
- window_duration: 604800s
+ window_duration: 1209600s
slide_duration: 86400s
Python
resources.add_feature(
'transaction_count',
Feature(
# The other arguments, as in Step 3.
function=Function(
aggregation_function=AggregationFunction(
count_function=CountFunction(input='transaction_id'),
time_window=TimeWindow(
- sliding=SlidingWindow(window_duration='604800s', slide_duration='86400s')
+ sliding=SlidingWindow(window_duration='1209600s', slide_duration='86400s')
),
)
),
),
)
databricks bundle plan melaporkan recreate:
recreate features.transaction_count
Plan: 1 to add, 0 to change, 1 to delete, 6 unchanged
databricks bundle deploy meminta konfirmasi, dan pesannya menjelaskan mengapa perubahan tidak dapat dilanjutkan seperti yang tertulis:
This action will result in the deletion or recreation of the following Feature Views.
A Feature View that has materialized features in a materialization set cannot be deleted or
recreated. Remove its materialized features from the set in a separate deploy first, then delete
or recreate the Feature View. Deleting or recreating a Feature View that a FeatureSpec serves is
not blocked, and leaves the FeatureSpec stale:
recreate resources.features.transaction_count
Jika Anda menyetujui, deploy gagal, karena set transactions tersebut masih memuat dua fitur materialisasi Feature View:
Error: cannot recreate resources.features.transaction_count: deleting old id=main.features_demo.transaction_count_7d: Cannot delete feature 'main.features_demo.transaction_count_7d' because it has 2 materialized feature(s). Delete all materialized features first before deleting the feature. (400 BAD_REQUEST)
Untuk melakukan perubahan, deploy dua kali, seperti yang dijelaskan dalam Mengubah Tampilan Fitur:
Hapus fitur yang dimaterialisasi dari Tampilan Fitur dari set, lalu terapkan. Set diperbarui secara langsung, seperti dalam Menghapus semua fitur materialisasi dari Tampilan Fitur.
Ubah Feature View, tambahkan kembali fitur materialisasinya ke set, dan terapkan. Rencana membuat ulang Tampilan Fitur untuk jendela yang diubar, dan membuat ulang set, karena menambahkan fitur materialisasi ke set menggantikannya:
Warn: planning resources.materialization_sets.transactions: the member for feature "main.features_demo.transaction_count_7d" is not in the deployed set, and members cannot be added to an existing set, so the whole set will be recreated: every member is dropped and recomputed Warn: planning resources.materialization_sets.transactions: the member for feature "main.features_demo.transaction_count_7d" is not in the deployed set, and members cannot be added to an existing set, so the whole set will be recreated: every member is dropped and recomputed recreate features.transaction_count recreate materialization_sets.transactions Plan: 2 to add, 0 to change, 2 to delete, 5 unchangedSetelah Anda menyetujui, deploy akan membuat ulang Tampilan Fitur dan kemudian set:
Recreated features.transaction_count Recreated materialization_sets.transactions Files: 3 uploaded, 0 deleted Resources: 2 created, 0 changed, 2 deleted, 5 unchanged
Mengubah bidang yang tidak dapat diubah dari himpunan materialisasi
Mengubah bidang dari fitur materialisasi apa pun dalam sebuah set menggantikan seluruh set materialisasi, termasuk fitur materialisasi yang tidak disentuh oleh editan. Lihat Mengubah himpunan materialisasi.
Berikut ini mengambil himpunan transactions yang didefinisikan pada Langkah 3 dan mengubah table_name_prefix tujuan online-nya, yang tidak dapat diubah. Kedua fitur yang dimaterialisasi secara online membawa awalan ini, karena set tersebut memiliki satu tujuan online:
YAML
materialization_sets:
transactions:
materialized_features:
# Batch offline materialized feature of transaction_count.
- feature_name: ${resources.features.transaction_count.full_name}
offline_store_config: # As in Step 3.
cron_schedule_trigger:
mode: DERIVED
# Batch online materialized feature of transaction_count.
- feature_name: ${resources.features.transaction_count.full_name}
online_store_config:
online_store_name: ${var.online_store}
catalog_name: ${var.catalog}
schema_name: ${var.schema}
- table_name_prefix: transactions_online
+ table_name_prefix: transactions_online_v2
cron_schedule_trigger:
mode: DERIVED
# Batch offline materialized feature of transaction_count_30d.
- feature_name: ${resources.features.transaction_count_30d.full_name}
offline_store_config: # As in Step 3.
cron_schedule_trigger:
mode: DERIVED
# Batch online materialized feature of transaction_count_30d.
- feature_name: ${resources.features.transaction_count_30d.full_name}
online_store_config:
online_store_name: ${var.online_store}
catalog_name: ${var.catalog}
schema_name: ${var.schema}
- table_name_prefix: transactions_online
+ table_name_prefix: transactions_online_v2
cron_schedule_trigger:
mode: DERIVED
Python
resources.add_materialization_set(
'transactions',
MaterializationSet(
materialized_features=[
# Batch offline materialized feature of transaction_count.
MaterializedFeature(...), # As in Step 3.
# Batch online materialized feature of transaction_count.
MaterializedFeature(
feature_name='${resources.features.transaction_count.full_name}',
online_store_config=OnlineStoreConfig(
online_store_name='${var.online_store}',
catalog_name='${var.catalog}',
schema_name='${var.schema}',
- table_name_prefix='transactions_online',
+ table_name_prefix='transactions_online_v2',
),
cron_schedule_trigger=CronSchedule(mode=CronScheduleMode.DERIVED),
),
# Batch offline materialized feature of transaction_count_30d.
MaterializedFeature(...), # As in Step 3.
# Batch online materialized feature of transaction_count_30d.
MaterializedFeature(
feature_name='${resources.features.transaction_count_30d.full_name}',
online_store_config=OnlineStoreConfig(
online_store_name='${var.online_store}',
catalog_name='${var.catalog}',
schema_name='${var.schema}',
- table_name_prefix='transactions_online',
+ table_name_prefix='transactions_online_v2',
),
cron_schedule_trigger=CronSchedule(mode=CronScheduleMode.DERIVED),
),
]
),
)
databricks bundle plan melaporkan pembuatan ulang dari set tersebut, sehingga dua fitur offline yang dimaterialisasi secara batch juga dihapus dan dihitung ulang:
recreate materialization_sets.transactions
Plan: 1 to add, 0 to change, 1 to delete, 6 unchanged
Menambahkan fitur materialized ke set yang sudah ada
Menambahkan fitur materialisasi ke set materialisasi yang sudah diterapkan menggantikan set tersebut, sehingga setiap fitur materialisasi di dalamnya dihitung ulang. Lihat Mengubah himpunan materialisasi.
Berikut ini mengambil kumpulan transactions setelah penghapusan setiap fitur termaterialisasi dari Feature View transaction_count_30d dalam Menghapus semua fitur termaterialisasi milik Feature View, dan menambahkan kembali fitur-fitur termaterialisasi dari Feature View transaction_count_30d:
YAML
materialization_sets:
transactions:
materialized_features:
# Batch offline materialized feature of transaction_count.
- feature_name: ${resources.features.transaction_count.full_name}
offline_store_config: # As in Step 3.
cron_schedule_trigger:
mode: DERIVED
# Batch online materialized feature of transaction_count.
- feature_name: ${resources.features.transaction_count.full_name}
online_store_config: # As in Step 3.
cron_schedule_trigger:
mode: DERIVED
+ # Batch offline materialized feature of transaction_count_30d.
+ - feature_name: ${resources.features.transaction_count_30d.full_name}
+ offline_store_config: # As in Step 3.
+ cron_schedule_trigger:
+ mode: DERIVED
+ # Batch online materialized feature of transaction_count_30d.
+ - feature_name: ${resources.features.transaction_count_30d.full_name}
+ online_store_config: # As in Step 3.
+ cron_schedule_trigger:
+ mode: DERIVED
Python
resources.add_materialization_set(
'transactions',
MaterializationSet(
materialized_features=[
# Batch offline materialized feature of transaction_count.
MaterializedFeature(...), # As in Step 3.
# Batch online materialized feature of transaction_count.
MaterializedFeature(...), # As in Step 3.
+ # Batch offline materialized feature of transaction_count_30d.
+ MaterializedFeature(...), # As in Step 3.
+ # Batch online materialized feature of transaction_count_30d.
+ MaterializedFeature(...), # As in Step 3.
]
),
)
databricks bundle plan memperingatkan tentang setiap fitur materialized yang ditambahkan dan melaporkan rekreasi:
Warn: planning resources.materialization_sets.transactions: the member for feature "main.features_demo.transaction_count_30d" is not in the deployed set, and members cannot be added to an existing set, so the whole set will be recreated: every member is dropped and recomputed
Warn: planning resources.materialization_sets.transactions: the member for feature "main.features_demo.transaction_count_30d" is not in the deployed set, and members cannot be added to an existing set, so the whole set will be recreated: every member is dropped and recomputed
recreate materialization_sets.transactions
Plan: 1 to add, 0 to change, 1 to delete, 6 unchanged
databricks bundle deploy meminta konfirmasi sebelum membuat ulang himpunan:
This action will result in the deletion or recreation of the following materialization sets.
Every materialized feature in a recreated set is dropped and recomputed from scratch, including
the members whose configuration did not change:
recreate resources.materialization_sets.transactions
Menghapus beberapa fitur termaterialisasi milik Tampilan Fitur
Menghapus beberapa, tetapi tidak semua, fitur materialisasi Tampilan Fitur dari set materialisasi ditolak. Lihat Mengubah himpunan materialisasi.
Berikut ini adalah set amounts yang didefinisikan pada Langkah 5 untuk Tampilan Fitur amount_sum, yang memiliki sawtooth window, dan hanya menghapus fitur materialisasi offline batch-nya:
YAML
materialization_sets:
amounts:
materialized_features:
- # Batch offline materialized feature.
- - feature_name: ${resources.features.amount_sum.full_name}
- offline_store_config: # As in Step 5.
- cron_schedule_trigger:
- mode: DERIVED
# Batch online materialized feature.
- feature_name: ${resources.features.amount_sum.full_name}
online_store_config: # As in Step 5.
cron_schedule_trigger:
mode: DERIVED
# Streaming online materialized feature.
- feature_name: ${resources.features.amount_sum.full_name}
online_store_config: # As in Step 5.
streaming_mode:
mode: STREAMING_MODE_TYPE_RTM
Python
resources.add_materialization_set(
'amounts',
MaterializationSet(
materialized_features=[
- # Batch offline materialized feature.
- MaterializedFeature(...), # As in Step 5.
# Batch online materialized feature.
MaterializedFeature(...), # As in Step 5.
# Streaming online materialized feature.
MaterializedFeature(...), # As in Step 5.
]
),
)
Edit menghapus fitur materialized offline batch dari amount_sum, dan penghapusan tersebut juga menghapus dua fitur materialized lainnya dari Feature View yang sama, yang tidak diminta oleh edit tersebut. Penerapan ditolak:
Error: cannot update resources.materialization_sets.amounts: updating id=1234567890abcdef1234567890abcdef: Deleting materialized features '11111111111111111111111111111111' of feature 'main.features_demo.amount_sum_3d' also deletes materialized features '22222222222222222222222222222222', '33333333333333333333333333333333', which the request does not delete. Delete the unrequested materialized features as well. (400 INVALID_PARAMETER_VALUE)
Langkah 10: Pembersihan
Pipeline materialisasi terus berjalan sesuai jadwal yang dikonfigurasi sampai set dihapus. Bongkar bundel itu setelah selesai:
databricks bundle destroy
Ini menghapus set materialisasi dan Tampilan Fitur yang dideklarasikan di setiap file yang disertakan dalam bundel. Tabel, pipeline, dan pekerjaan di balik fitur materialisasi dihapus oleh proses latar belakang setelah fitur termaterialisasi terakhir yang membagikannya hilang, sehingga ada jeda singkat sebelum biaya terkait berhenti. Hanya pengguna yang membuat fitur materialized yang dapat menghapusnya, jadi jalankan databricks bundle destroy sebagai identitas yang sama yang menyebarkan bundle. Lihat delete_materialized_feature().
Untuk biaya materialisasi dan cara mengatribusikannya, lihat Manajemen biaya Feature Store.
Limitations
- Stream bukanlah sumber daya bundel. Buat di luar bundle dan referensikan berdasarkan nama.
- FeatureSpec bukanlah sumber daya bundle. Buat satu dengan API Python untuk menyajikan fitur secara online. Lihat Menyajikan Tampilan Fitur.
- Menambahkan fitur termaterialisasi ke kumpulan materialisasi yang sudah ada akan menciptakan kembali kumpulan tersebut, sehingga setiap fitur termaterialisasi di dalamnya dihitung ulang.
- Feature View pada
request_sourceataufeature_view_source, atau yang menggunakan fungsicustom_udf, tidak dapat dimaterialisasi. Lihat Materialisasi Tampilan Fitur.
Langkah berikutnya
- Untuk menyebarkan sumber daya ini dari alur kerja CI/CD, lihat CI/CD untuk Tampilan Fitur dengan GitHub Actions.
- Untuk menyajikan fitur ini, lihat Serve Feature Views dan Example: Deploy and query a feature serving endpoint.
- Untuk melatih model menggunakan fitur tersebut, lihat Melatih model dengan Feature Views.
- Untuk referensi konfigurasi lengkap, lihat feature dan materialization_set.
- Untuk mempelajari cara kerja materialisasi, lihat Materialize Feature Views.