Databricks Feature Store

A Databricks Feature Store egy központi beállításjegyzék az AI- és ML-modellekben használt funkciókhoz. Amikor regisztrálod a jellemzőket és modelleket a Unity Catalog-ban, beépített irányítást, lineage-t, pont-in-time összevonásokat, valamint a felületek közötti funkciómegosztást és felfedezést kapsz.

Két stratégiával írhatsz cikkeket.

Mindkettő Unity Catalog által szabályozott funkciókat készít, amelyek az Online Feature Store-ban jelennek meg. Lásd: Válassz szerzői stratégiát.

• Feature Views, amelyek deklaratívan definiálják a funkciókat, és lehetővé teszik, hogy a Databricks kiszámítsa és kezelje a funkcióvezetékeket helyetted. Ez a funkció nyilvános előzetes verzióban érhető el.
• Funkciótáblák, amelyeket magad töltesz fel úgy, hogy jellemzőket írsz egy Delta táblára.

A Databricks használatával a modell teljes betanítási munkafolyamata egyetlen platformon zajlik, beleértve a következőket:

• A nyers adatokat betöltő, jellemző táblákat létrehozó, modelleket betanító és batch következtetéseket végző adatátviteli csatornák.
• Az egyetlen kattintással elérhető és ezredmásodperc késést biztosító végpontokat kiszolgáló modell és szolgáltatás.
• Adat- és modellfigyelés.

Amikor a Databricks Feature Store szolgáltatásaival tanít be modelleket, a modell automatikusan nyomon követi a betanítás során használt funkciókat. A következtetési időpontban a modell automatikusan megkeresi a legújabb funkcióértékeket. A Databricks Feature Store a jellemzők valós idejű alkalmazásokhoz való igény szerinti számítását is biztosítja, és kezel minden jellemzőszámítási feladatot. Ez kiküszöböli a betanítási/kiszolgálói eltérést, biztosítva, hogy a következtetéskor használt funkciószámítások ugyanazok legyenek, mint a modell betanítása során. Emellett jelentősen leegyszerűsíti az ügyféloldali kódot, mivel minden funkciókeresést és számítást a Databricks Feature Store kezel.

Megjegyzés:

Ez a lap a Unity Cataloghoz engedélyezett munkaterületek Databricks-funkciótárolóját ismerteti. Ha a munkaterület nincs engedélyezve a Unity Cataloghoz, tekintse meg a munkaterület funkciótárolóját (elavult).

Fogalmi áttekintés

A Databricks Feature Store működésének áttekintéséhez és a kifejezések szószedetéhez tekintse meg a Databricks Szolgáltatástár áttekintését és szószedetét.

Válassz szerzői stratégiát

A Feature Store kétféleképpen támogatja a funkciók szerzőségét. Mindkettő létrehoz Unity Catalog által szabályozott funkciókat, és mindkettő publikálhat az Online Feature Store-ban. Általánosságban a Feature Views ajánlott a legtöbb új esethez, bár a funkciótáblák a leginkább rugalmas, többszakaszos kötött munkaterhelésekhez a legjobbak.

Strategy	Legjobb a számára	Hogyan működik?
Funkciók nézetei (ajánlottak)	A legtöbb új projekt, időablakos aggregációk és streaming funkciók.	Definiáljuk a jellemzőket deklaratívan Unity Catalog Feature objektumokként. Databricks létrehozza és kezeli a funkciós folyamatokat. Kísérletezhetsz egy jegyzetfüzetben helyi definiált jellemzőkkel a regisztráció előtt, és materializálhatsz funkcióvezetékeket. A Stream Feature Views támogatja a másodperc alatti friss funkcióadatokat közvetlen írással a valós idejű módból az Online Feature Store-ba.
Funkciótáblák	Olyan funkciók, amelyeket Lakeflow vagy Spark Declarative Pipelines segítségével számolsz ki, valamint olyan munkaterhelések, amelyekhez Delta Sharing szükséges, harmadik féltől származó online áruház vagy általánosan elérhető (GA) szerzői útvonal.	Írj jellemzők értékeket egy Delta táblára a Unity Catalog-ban, amelynek elsődleges kulcsa van. Te birtokolod azt a vezetéket, amely feltölti és frissíti az asztalt.

Funkciók fejlesztése

Tulajdonság	Description
Funkciók nézetei	Jellemzők deklaratív meghatározása és számítása a Feature Views segítségével, beleértve az időablakos aggregációkat és streaming funkciókat.
Materialize Feature Views	Materialize Feature Views offline képzéshez vagy online kiszolgáláshoz.
Funkciótáblák a Unity Katalógusban	Szolgáltatástáblák létrehozása és a velük való munka.

Funkciók felderítése és megosztása

Tulajdonság	Description
Funkciótáblák felfedezése a Unity Catalogban	A Katalóguskezelővel és a Szolgáltatások felhasználói felületével megismerheti és kezelheti a szolgáltatástáblákat.
Címkék használata jellemzőtáblákkal és funkciókkal a Unity Catalogban	Egyszerű kulcs-érték párok használatával kategorizálhatja és kezelheti a funkciótáblákat és -funkciókat.
Ismerkedés a feature-nézetekkel a Unity Catalogban	A Databricks felhasználói felületén tallózzon a Funkciónézet definíciói és materializálási állapota között.

Funkciók használata a betanítási munkafolyamatokban

Tulajdonság	Description
Modellek betanítása funkciótáblákkal	Modellek jellemzőkkel való betanítása.
Időponthoz kötött funkcióillesztések	Az időponthoz kötött helyesség használatával hozzon létre egy betanítási adatkészletet, amely a címkemegfigyelés rögzítésének időpontjától a funkcióértékeket tükrözi.
Szolgáltatásfejlesztés Python API	Python API-referencia

Funkciók kiszolgálása

Tulajdonság	Description
Databricks Online szolgáltatástárolók	Szolgáltatásadatok kiszolgálása online alkalmazások és valós idejű gépi tanulási modellek számára. A Databricks Lakebase működteti.
Modellkiszolgáló automatikus funkciókereséssel	Funkcióértékek automatikus keresése egy online áruházból.
Szolgáltatásvégpontok kiszolgálása	A Databricksen kívüli modellek és alkalmazások funkcióinak kiszolgálása.
Igény szerinti funkciószámítás	A következtetéskor számítsa ki a funkcióértékeket.

Funkcióirányítás és funkciószármazás

Tulajdonság	Description
Funkciószabályozás és származás	A Unity Catalog használatával szabályozhatja a funkciótáblákhoz való hozzáférést, és megtekintheti egy funkciótábla, modell vagy függvény életútját.

Oktatóanyagok

Tutorial	Description
Első lépésekhez példajegyzetfüzetek	Alapszintű jegyzetfüzet. Bemutatja, hogyan hozhat létre funkciótáblát, hogyan taníthat be egy modellt, és hogyan futtathat kötegelt pontozást automatikus funkciókereséssel. Emellett a szolgáltatástervezési felhasználói felületet is megjeleníti a szolgáltatások kereséséhez és az életút megtekintéséhez. Taxi példajegyzetfüzet. Megjeleníti a funkciók létrehozásának, frissítésének és a modellek betanításához és kötegelt következtetéshez való használatának folyamatát.
Példa: Végpontot kiszolgáló szolgáltatás üzembe helyezése és lekérdezése	Oktatóanyag és példajegyzetfüzet, amely bemutatja, hogyan helyezhet üzembe és kérdezhet le egy végpontot kiszolgáló funkciót.
Példa: funkciók használata strukturált RAG-alkalmazásokkal	Oktatóanyag a Databricks online tábláinak és végpontjait kiszolgáló funkcióknak a kiterjesztett generációs (RAG) alkalmazások lekéréséhez való használatához.

Követelmények

A Databricks Feature Store használatához engedélyezni kell a munkaterületet a Unity Catalogban. Ha a munkaterület nincs engedélyezve a Unity Cataloghoz, tekintse meg a munkaterület funkciótárolóját (elavult).

Támogatott adattípusok

A Databricks feature Store és az örökölt munkaterületi funkciótároló a következő PySpark-adattípusokat támogatja:

• IntegerType
• FloatType
• BooleanType
• StringType
• DoubleType
• LongType
• TimestampType
• DateType
• ShortType
• ArrayType
• BinaryType [1]
• DecimalType [1]
• MapType [1]
• StructType [2]

[1] BinaryType, DecimalType, és MapType támogatott a Feature Engineering valamennyi verziójában a Unity Catalogban és a Workspace Feature Store 0.3.5-ös vagy újabb verziójában. [2] StructType a Feature Engineering 0.6.0-s vagy újabb verziójában támogatott.

A fent felsorolt adattípusok támogatják a gépi tanulási alkalmazásokban gyakran használt funkciótípusokat. Példa:

• A sűrű vektorokat, tenzorokat és beágyazásokat ArrayTypea következőképpen tárolhatja.
• A ritka vektorokat, tenzorokat és beágyazásokat MapTypea következőképpen tárolhatja.
• A szöveget a következőképpen StringTypetárolhatja: .

Az online áruházakban való közzétételkor a ArrayTypeMapType szolgáltatások JSON formátumban vannak tárolva.

A Szolgáltatástár felhasználói felülete metaadatokat jelenít meg a funkciók adattípusainál:

További információ

Az ajánlott eljárásokkal kapcsolatos további információkért töltse le a Funkciótárak átfogó útmutatóját.