Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Backfill menghitung ulang nilai materialisasi dari Tampilan Fitur Anda dalam rentang waktu yang Anda pilih. Gunakan setelah Anda memperbaiki atau menambahkan data sumber historis, sehingga materialisasi offline dan online mencerminkan data yang diperbarui.
Materialization menghitung nilai fitur terbaru di setiap run dan tidak mengunjungi kembali nilai yang sudah ditulisnya. Perubahan pada data sumber untuk rentang waktu sebelumnya tidak mencapai nilai yang termaterialisasi sampai Anda mengisi rentang waktu tersebut. Gunakan backfill dalam skenario seperti berikut:
- Masalah kualitas data hulu memengaruhi rentang waktu sebelumnya, dan Anda telah memperbaiki baris sumber.
- Data sumber untuk rentang waktu sebelumnya tiba setelah materialisasi memprosesnya.
Pengisian adalah pekerjaan satu kali yang berjalan bersamaan dengan materialisasi yang sudah dijadwalkan. Itu tidak mengubah jadwal materialisasi. Lihat Materialisasi Tampilan Fitur.
Requirements
-
databricks-feature-engineering0.18.2 ke atas. Untuk persyaratan lain, lihat Persyaratan. - Setiap Tampilan Fitur adalah fitur agregasi batch yang menggunakan a
DeltaTableSourcedan aSlidingWindowatauTumblingWindow. Jendela seumur hidup tidak didukung. - Setiap Tampilan Fitur telah dimaterialisasi dan telah menyelesaikan setidaknya satu kali proses materialisasi. Backfill menghitung ulang nilai-nilai yang sudah ditulis oleh materialisasi, sehingga tidak bisa mematerialisasi Tampilan Fitur untuk pertama kalinya.
- Anda memulai pengisian kembali sebagai pengguna atau prinsipal layanan yang sama yang mematerialisasi Tampilan Fitur, dari ruang kerja tempat tampilan tersebut dimaterialkan.
Permissions
Backfill berjalan sesuai dengan Anda, dan ia membaca serta menulis tabel yang sama dengan materialisasi Anda, jadi menggunakan hak istimewa yang sama dengan materialisasi Anda. Untuk deskripsi lengkap hak istimewa Unity Catalog, lihat referensi hak istimewa Unity Catalog.
- Anda harus memiliki
MANAGEdi setiap Tampilan Fitur yang Anda isi ulang. - Untuk memeriksa pengisian ulang, Anda perlu
READ FEATUREpada setiap Tampilan Fitur di pengisian tersebut. Untuk membatalkan pengisian ulang, Anda perluMANAGEpada setiap Tampilan Fitur di pengisian tersebut.
Mulai mengisi ulang
Untuk memulai pengisian ulang, panggil backfill_features dengan Tampilan Fitur untuk mengisi ulang dan satu atau lebih rentang waktu:
FeatureEngineeringClient.backfill_features(
*, # Arguments are keyword-only
features: List[Union[str, Feature]], # Feature Views to backfill, as Feature objects or full names
backfill_ranges: List[BackfillRange], # Time ranges of source data to reprocess
request_id: Optional[str] = None, # Idempotency token, a UUID
tags: Optional[Dict[str, str]] = None, # Custom tags for cost attribution
budget_policy_id: Optional[str] = None, # Serverless usage policy for cost attribution
wait: bool = False, # Wait for the backfill to finish
) -> BackfillStatus:
Semua Tampilan Fitur dalam satu panggilan harus menghasilkan nilai secara bersamaan. Mereka harus memiliki interval yang sama antara nilai (nilai dari slide_duration a SlidingWindow atau dari window_duration a TumblingWindow) dan nilai yang sama offset. Jika tidak, panggilan gagal dengan kesalahan yang mengelompokkan Tampilan Fitur berdasarkan interval, sehingga Anda dapat memulai pengisian terpisah untuk setiap grup.
Masing-masing BackfillRange memiliki , start_timeyang inklusif, dan end_time, yang eksklusif. Keduanya adalah nilai Pythondatetime. A datetime tanpa zona waktu dibaca sebagai UTC. Masing-masing start_time harus lebih awal dari end_time, dan rentang dalam satu panggilan tidak boleh tumpang tindih. Untuk bagaimana pengisian balik menafsirkan setiap rentang, lihat Bagaimana pengisian balik menerapkan rentang waktu.
Contoh berikut mengisi ulang satu minggu riwayat untuk dua Tampilan Fitur:
from datetime import datetime, timezone
from databricks.feature_engineering import FeatureEngineeringClient
from databricks.feature_engineering.entities import BackfillRange
fe = FeatureEngineeringClient()
backfill = fe.backfill_features(
features=[
"main.feature_store.amount_sum_sliding_7d_1d",
"main.feature_store.transaction_count_sliding_7d_1d",
],
backfill_ranges=[
BackfillRange(
start_time=datetime(2026, 3, 1, tzinfo=timezone.utc),
end_time=datetime(2026, 3, 8, tzinfo=timezone.utc),
)
],
)
print(backfill.operation_name) # operations/<operation-id>
Sebelum pengisian dimulai, backfill_features periksa hal-hal berikut. Jika pemeriksaan gagal, panggilan akan gagal dengan kesalahan yang menamai Tampilan Fitur yang terdampak.
- Setiap Tampilan Fitur memenuhi persyaratan, termasuk proses materialisasi yang selesai.
- Anda mematerialisasi setiap Tampilan Fitur.
- Kamu punya hak istimewa yang diperlukan.
Metode mengembalikan a BackfillStatus yang menggambarkan pengisian ulang. Ia operation_name mengidentifikasi backfill, dalam format operations/<operation-id>. Lihat Memantau atau batalkan pengisian ulang.
Untuk membuat panggilan aman untuk dicoba ulang, lewatkan UUID sebagai request_id. Upaya ulang dengan cara yang sama request_id mengembalikan pengisian asli, bukan memulai yang baru.
Untuk mengaitkan biaya pengisian ulang, lulus tags, budget_policy_id, atau keduanya. Aturan ini hanya berlaku untuk pengisian tersebut. Lihat Biaya atribut dengan tag dan kebijakan penggunaan serverless.
Bagaimana backfill menerapkan rentang waktu
Setiap rentang memilih data sumber untuk diproses ulang: baris sumber dengan cap waktu pada atau sesudah start_time dan sebelum end_time. Backfill menerapkan setiap rentang sebagai berikut:
- Rentang diselaraskan dengan nilai fitur secara keseluruhan. Backfill menghitung ulang nilai fitur secara keseluruhan, sehingga memperlebar setiap rentang ke waktu terdekat di mana fitur menghasilkan nilai. Sebuah
SlidingWindowfitur menghasilkan nilai setiapslide_duration, dan sebuahTumblingWindowfitur menghasilkanwindow_durationsatu setiap , yang digeser oleh jendelaoffsetjika Anda mengaturnya. Misalnya, untuk sebuah fitur dengan durasi 1 jamslide_duration, rentang dari 1:30 AM hingga 2:30 AM menjadi 1:00 AM hingga 3:00 AM. Anda tidak perlu menyelaraskan rentang sendiri. Rentang yang tumpang tindih setelah penyelarasan digabungkan menjadi satu. - Nilai setelah rentang dapat berubah. Backfill menulis ulang setiap nilai fitur yang jendela waktunya mencakup data yang telah diproses ulang. Sebuah jendela dapat berakhir setelah
end_time, sehingga nilai hingga satuwindow_durationsetelahend_timedapat berubah. Misalnya, untuk fitur dengan nilai 7 hariwindow_duration, hingga 7 hari setelahend_timedapat berubah. - Backfill berhenti pada nilai materialisasi terbaru. Backfill hanya menghitung ulang sejarah yang sudah ditulis oleh materialisasi. Jika rentang tersebut melampaui nilai materialisasi terbaru, backfill berhenti di situ dan meninggalkan rentang waktu yang lebih akhir untuk materialisasi yang dijadwalkan.
- Batas yang tidak diatur berlaku hingga data yang tersedia. Jika Anda menghilangkan
start_time, rentang dimulai pada timestamp paling awal dalam data sumber. Jika Anda menghilangkanend_time, rentang tersebut meluas hingga nilai termaterialisasi terbaru.
Rentang backfill_ranges dari a BackfillStatus adalah rentang Anda setelah penyelarasan. Backfill tidak mempersempit mereka ke nilai materialisasi terbaru, sehingga rentang yang dilaporkan dapat melampaui nilai yang telah dihitung ulang oleh backfill. Anda tidak perlu mengisi ulang nilai-nilai yang lebih baru, karena materialisasi terjadwal Anda menghitungnya dari data sumber saat ini.
Tabel offline dan online
Backfill memperbarui tabel offline dari Tampilan Fitur dan, jika Tampilan Fitur juga diwujudkan ke toko online, tabel online-nya. Untuk Tampilan Fitur dengan keduanya, backfill menghitung ulang tabel offline dan kemudian menerbitkan ulang tabel online darinya. Anda tidak bisa mengisi ulang hanya satu dari mereka.
Tabel online menyimpan nilai terbaru untuk setiap entitas. Sebuah backfill hanya mengubah nilai online ketika mengubah nilai terbaru dari suatu entitas.
Pantau atau batalkan pengisian balik
backfill_features Mengembalikan tanpa menunggu pengisian selesai. Untuk menunggu, lulus wait=True, atau menelepon wait_for_backfill dengan status yang dikembalikan:
backfill = fe.wait_for_backfill(backfill=backfill)
wait_for_backfill mengembalikan akhir BackfillStatus ketika pengisian berhasil. Jika pengisian kembali gagal atau dibatalkan, hal tersebut akan muncul kesalahan OperationFailed yang menjelaskan alasannya. Untuk membatasi berapa lama waktu menunggu, lewatkan a timeout sebagai .timedelta Jika pengisian belum selesai saat itu, wait_for_backfill akan menaikkan .TimeoutError Menghentikan penantian tidak membatalkan pengisian ulang.
Untuk memeriksa backfill tanpa menunggu, atau dari notebook atau pekerjaan lain, panggil get_backfill dengan nama operasi:
backfill = fe.get_backfill(operation_name="operations/<operation-id>")
print(backfill.state) # For example, BackfillState.RUNNING
A BackfillStatus memiliki bidang-bidang berikut:
-
operation_name: Nama yang mengidentifikasi pengisian belakang. -
state: Keadaan isi ulang, sebagai nilaiBackfillState. -
feature_full_names: Nama lengkap Tampilan Fitur di backfill. -
backfill_ranges: Rentang waktu yang diselaraskan, sebagaiBackfillRangenilai dengan batas UTC. -
error: Alasan pengisian kembali gagal. Bidang ini hanya diatur ketikastateadalahFAILED.
Status backfill adalah salah satu nilai berikut:
| State | Description |
|---|---|
PENDING |
Isi belakang diterima dan belum mulai beroperasi. |
RUNNING |
Isi belakang sedang berjalan. |
SUCCEEDED |
Backfill menyelesaikan dan menghitung ulang nilai fitur dalam rentang tersebut. |
FAILED |
Isi belakang berhenti karena kesalahan. Lihat Pulihkan dari pengisian kembali yang gagal. |
CANCELLED |
Pengisian kembali dibatalkan sebelum selesai. |
Jika Anda belum memiliki nama operasi, temukan backfill terbaru dari fitur materialized di latest_backfill_operation bidang yang dikembalikan oleh list_materialized_features, dan berikan ke get_backfill.
Untuk membatalkan pengisian ulang, hubungi dengan cancel_backfill statusnya:
fe.cancel_backfill(backfill=backfill)
Membatalkan pengisian kembali meminta agar pengisian tersebut dihentikan. Backfill yang hampir selesai masih bisa berhasil, jadi periksa keadaan akhirnya dengan get_backfill. Membatalkan pengisian yang sudah selesai tidak berpengaruh. Backfill yang dibatalkan dapat membuat beberapa nilai fitur dihitung ulang, seperti yang dijelaskan dalam Pulihkan dari pengisian gagal mengisi kembali.
Concurrency
Isi belakang berjalan bersamaan dengan materialisasi yang sudah dijadwalkan. Backfill dari berbagai Tampilan Fitur juga dapat dijalankan secara bersamaan.
Hanya satu pengisi ulang yang dapat dijalankan untuk Tampilan Fitur pada satu waktu. Jika Anda memulai pengisian ulang untuk Tampilan Fitur yang sudah memiliki pengisian ulang yang sedang berlangsung, permintaan gagal karena terjadi kesalahan ALREADY_EXISTS . Tunggu hingga pengisian sebelumnya selesai sebelum memulai yang berikutnya.
Pulihkan dari pengisian kembali yang gagal
Backfill yang gagal atau dibatalkan dapat berhenti sebelum selesai. Setiap nilai yang ditulis ulang oleh pengisi sebelum berhenti dihitung ulang sepenuhnya. Nilai yang tidak tercapai tetap mempertahankan nilai sebelumnya, sehingga beberapa Tampilan Fitur atau rentang waktu mungkin tidak diperbarui.
Untuk memulihkan, mulai mengisi ulang yang sama. Jika Anda melewatkan , request_idberikan yang baru, karena percobaan ulang dengan yang asli request_id mengembalikan hasil pengisian yang gagal, bukan memulai yang baru. Backfill aman untuk diulang. Jika data sumber tidak berubah, menghitung ulang rentang yang sudah berhasil menghasilkan nilai yang sama.
Limitations
- Hanya fitur agregasi batch yang menggunakan a
DeltaTableSourcedan aSlidingWindowatauTumblingWindowyang dapat diisi ulang. Fitur streaming,ColumnSelectionfitur, fitur dengan atauRollingWindowSawtoothWindow, fitur dengan jendela seumur hidup, dan fitur dengan sumber lain, sepertiRequestSource, tidak dapat diisi ulang. - Tampilan Fitur yang menghasilkan nilai pada interval atau offset berbeda tidak dapat berbagi satu backfill. Mulailah pengisian terpisah untuk setiap kelompok.
- Backfill memperbarui tabel offline dari Tampilan Fitur dan, jika Tampilan Fitur juga diwujudkan ke toko online, tabel online-nya. Anda tidak bisa mengisi ulang hanya satu dari mereka.
- Backfill tidak mengisi rentang waktu setelah nilai termaterialisasi terbaru. Materialisasi yang dijadwalkan mengisinya.