Penyimpanan Fitur Databricks

Databricks Feature Store adalah registri pusat untuk fitur yang digunakan oleh model AI dan ML Anda. Saat Anda mendaftarkan fitur dan model di Unity Catalog, Anda mendapatkan tata kelola bawaan, lineage, join point-in-time, serta berbagi dan penemuan fitur lintas workspace.

Anda dapat menulis fitur dengan dua strategi. Keduanya menghasilkan fitur yang diatur oleh Unity Catalog dan dipublikasikan ke Online Feature Store. Untuk kasus penggunaan baru, Databricks merekomendasikan Feature Views. Lihat Memilih strategi penulisan untuk informasi lebih lanjut.

  • Feature Views, yang mendefinisikan fitur secara deklaratif dan memungkinkan Databricks menghitung serta mengelola pipeline fitur untuk Anda.
  • Tabel fitur, yang Anda isi sendiri dengan menulis nilai fitur ke tabel Delta.

Dengan Databricks, seluruh alur kerja pelatihan model berlangsung pada satu platform, termasuk:

  • Alur data yang menyerap data mentah, membuat tabel fitur, melatih model, dan melakukan inferensi batch.
  • Model dan fitur yang melayani titik akhir yang tersedia dengan satu klik dan yang memberikan latensi milidetik.
  • Pemantauan data dan model.

Saat Anda menggunakan fitur dari Databricks Feature Store untuk melatih model, model secara otomatis melacak garis keturunan ke fitur yang digunakan saat pelatihan. Pada waktu inferensi, model secara otomatis mencari nilai fitur terbaru. Databricks Feature Store juga menyediakan komputasi fitur sesuai permintaan untuk aplikasi real time, menangani semua tugas komputasi fitur. Ini menghilangkan bias pelatihan/penyajian, memastikan bahwa perhitungan fitur yang digunakan selama inferensi sama dengan yang digunakan selama pelatihan model. Ini juga secara signifikan menyederhanakan kode pada sisi klien, karena semua pencarian fitur dan komputasi ditangani oleh Penyimpanan Fitur Databricks.

Nota

Halaman ini menjelaskan Feature Store Databricks untuk ruang kerja yang telah diaktifkan untuk Unity Catalog. Jika ruang kerja Anda tidak diaktifkan untuk Katalog Unity, lihat Penyimpanan Fitur Ruang Kerja (tidak digunakan lagi).

Cara kerja Feature Store

Untuk gambaran umum tentang cara kerja Penyimpanan Fitur Databricks dan glosarium istilah, lihat Gambaran umum dan glosarium Penyimpanan Fitur Databricks.

Pilih strategi pembuatan

Feature Store mendukung dua cara untuk membuat fitur. Keduanya membuat fitur yang diatur oleh Unity Catalog dan keduanya dapat memublikasikan ke Online Feature Store. Tampilan Fitur direkomendasikan untuk kasus baru, meskipun tabel fitur cocok untuk beban kerja yang membutuhkan Delta Sharing.

Strategy Paling cocok untuk Cara kerjanya
Feature Views (direkomendasikan) Kebanyakan proyek baru, agregasi dengan jendela waktu, dan fitur streaming. Definisikan fitur secara deklaratif sebagai objek Unity Catalog Feature . Databricks membuat dan mengelola pipeline fitur. Anda dapat bereksperimen pada fitur yang didefinisikan secara lokal di notebook sebelum mendaftarkannya, dan mematerialisasi pipeline fitur. Stream Feature Views mendukung data fitur terbaru dengan latensi di bawah satu detik dengan penulisan langsung dari mode Real-time ke Online Feature Store.
Tabel fitur Beban kerja yang membutuhkan Delta Sharing atau toko online pihak ketiga. Tulis nilai fitur ke tabel Delta di Unity Catalog yang memiliki kunci utama. Anda memiliki pipeline yang mengisi dan menyegarkan tabel.

Mengembangkan fitur

Fitur Description
Feature Views Mendefinisikan dan menghitung fitur secara deklaratif menggunakan Tampilan Fitur, termasuk agregasi dengan jendela waktu dan fitur streaming.
Materialize Feature Views Mematerialisasikan Tampilan Fitur untuk pelatihan offline atau penyajian online.
Backfill Feature Views Hitung ulang nilai fitur yang termaterialisasi setelah Anda memperbaiki atau menambahkan data sumber historis.
Hapus nilai fitur untuk entitas Hapus nilai fitur yang dimaterialisasi untuk entitas terpilih dari toko offline dan online.
Tabel fitur di Unity Catalog Membuat dan bekerja dengan tabel fitur.

Menemukan dan berbagi fitur

Fitur Description
Jelajahi tabel fitur di Unity Catalog Jelajahi dan kelola tabel fitur menggunakan Catalog Explorer dan UI Fitur.
Gunakan tag dengan tabel fitur dan fitur di Unity Catalog Gunakan pasangan kunci-nilai sederhana untuk mengategorikan dan mengelola tabel dan fitur fitur Anda.
Jelajahi Tampilan Fitur di Unity Catalog Telusuri definisi Tampilan Fitur dan status materialisasi di antarmuka pengguna Databricks.

Menggunakan fitur dalam alur kerja pelatihan

Fitur Description
Latih model dengan tabel fitur Gunakan fitur untuk melatih model.
Join fitur point-in-time Gunakan kebenaran pada titik waktu tertentu untuk membuat himpunan data pelatihan yang mencerminkan nilai fitur pada saat pencatatan observasi label.
API Python Rekayasa Fitur Referensi API Python

Menyediakan fitur

Fitur Description
Databricks Online Feature Stores Menyajikan data fitur ke aplikasi online dan model pembelajaran mesin real time. Didukung oleh Databricks Lakebase.
Model Serving dengan pencarian fitur otomatis Mencari nilai fitur secara otomatis dari toko online.
Sajikan tabel fitur Menyajikan fitur untuk model dan aplikasi di luar Databricks.
Perhitungan fitur sesuai permintaan Hitung nilai fitur pada saat inferensi.

Tata kelola dan jejak asal-usul fitur

Fitur Description
Tata kelola fitur dan lineage Gunakan Unity Catalog untuk mengontrol akses ke tabel fitur dan menampilkan silsilah tabel fitur, model, atau fungsi.

Tutorials

Tutorial Description
Contoh notebook untuk memulai Basic notebook. Memperlihatkan cara membuat tabel fitur, menggunakannya untuk melatih model, dan menjalankan penilaian batch menggunakan pencarian fitur otomatis. Juga menunjukkan UI Rekayasa Fitur untuk mencari fitur dan melihat silsilah data.
Contoh notebook taksi. Menunjukkan proses pembuatan fitur, memperbaruinya, dan menggunakannya untuk pelatihan model dan inferensi secara batch.
Contoh: Deploy dan kueri endpoint feature serving Tutorial dan contoh buku catatan memperlihatkan cara menyebarkan dan mengkueri fitur yang melayani titik akhir.
Contoh: gunakan fitur dengan aplikasi RAG terstruktur Tutorial yang menunjukkan cara menggunakan tabel online Databricks dan fitur yang melayani titik akhir untuk pengambilan aplikasi pembuatan tertambah (RAG).
Kelola Tampilan Fitur menggunakan Paket Otomatisasi Deklaratif Tutorial yang menunjukkan cara mendeklarasikan Tampilan Fitur dan materialisasinya dalam bundel, lalu deploy, ubah, dan bongkar.

Persyaratan

Untuk menggunakan Penyimpanan Fitur Databricks, ruang kerja Anda harus diaktifkan untuk Unity Catalog. Jika ruang kerja Anda tidak diaktifkan untuk Katalog Unity, lihat Penyimpanan Fitur Ruang Kerja (tidak digunakan lagi).

Tipe data yang didukung

Penyimpanan Fitur Databricks dan Penyimpanan Fitur Ruang Kerja warisan mendukung jenis data PySpark berikut:

  • IntegerType
  • FloatType
  • BooleanType
  • StringType
  • DoubleType
  • LongType
  • TimestampType
  • DateType
  • ShortType
  • ArrayType
  • BinaryType [1]
  • DecimalType [1]
  • MapType [1]
  • StructType [2]

[1] BinaryType, DecimalType, dan MapType didukung di semua versi Rekayasa Fitur di Katalog Unity dan di Penyimpanan Fitur Ruang Kerja versi 0.3.5 ke atas. [2] StructType didukung dalam Rekayasa Fitur v0.6.0 atau lebih tinggi.

Jenis data yang tercantum di atas mendukung jenis fitur yang umum dalam aplikasi pembelajaran mesin. Contohnya:

  • Anda dapat menyimpan vektor padat, tensor, dan sematan sebagai ArrayType.
  • Anda dapat menyimpan vektor tipis, tensor, dan sematan sebagai MapType.
  • Anda bisa menyimpan teks sebagai StringType.

Ketika diterbitkan ke penyimpanan online, fitur ArrayType dan MapType disimpan dalam format JSON.

UI Feature Store menampilkan metadata pada jenis data fitur:

Contoh tipe data kompleks

Informasi selengkapnya

Untuk informasi selengkapnya tentang praktik terbaik, unduh Panduan Komprehensif mengenai Penyimpanan Fitur.