Úložiště funkcí Databricks

Úložiště funkcí Databricks je centrální registr pro funkce používané v modelech AI a ML. Když registrujete funkce a modely v Unity Catalog, získáte vestavěnou správu, datovou lineage, point-in-time join a sdílení a vyhledávání funkcí napříč pracovními prostory.

Funkce můžete vytvářet dvěma způsoby.

Oba vytvářejí atributy řízené službou Unity Catalog, které se publikují do Online Feature Store. Viz Volba strategie vytváření obsahu.

• Feature Views, které deklarativně definují atributy a umožňují Databricks počítat a spravovat pipeline atributů za vás.
• Tabulky příznaků, které si sami doplňujete tím, že si hodnoty příznaků zapisujete do tabulky Delta.

S Databricks probíhá celý pracovní postup trénování modelu na jedné platformě, včetně:

• Datové kanály, které ingestují nezpracovaná data, vytvářejí tabulky funkcí, trénují modely a provádějí dávkové odvozování.
• Model a funkce obsluhující koncové body, které jsou dostupné jediným kliknutím a poskytují latenci v milisekundách
• Monitorování dat a modelů

Když k trénování modelů používáte funkce z úložiště funkcí Databricks, model automaticky sleduje rodokmen funkcí používaných při trénování. V době odvozování model automaticky vyhledá nejnovější hodnoty funkcí. Úložiště funkcí Databricks také poskytuje výpočty funkcí na vyžádání pro aplikace v reálném čase, které zpracovávají všechny úlohy výpočtů funkcí. Tím se eliminují rozdíly mezi trénováním a použitím modelu, což zajišťuje, že výpočty příznaků použité při odvozování jsou stejné jako ty, které byly použity při trénování modelu. Také výrazně zjednodušuje kód na straně klienta, protože všechna vyhledávání funkcí a výpočty jsou zpracovávány úložištěm funkcí Databricks.

Poznámka:

Tato stránka popisuje Databricks Feature Store pro pracovní prostory, které jsou povoleny s Unity Catalogem. Pokud pro katalog Unity není povolený váš pracovní prostor, přečtěte si téma Úložiště funkcí pracovního prostoru (zastaralé).

Koncepční přehled

Přehled fungování úložiště funkcí Databricks a glosář termínů najdete v přehledu a glosáři úložiště funkcí Databricks.

Vyberte způsob vytváření obsahu

Feature Store podporuje dva způsoby, jak vytvářet featurey. Oba vytvářejí atributy spravované katalogem Unity Catalog a obě mohou publikovat do služby Online Feature Store. Obecně jsou Feature Views doporučovány pro většinu nových případů, i když feature tabulky jsou nejlepší pro flexibilní, vícestupňové dávkové pracovní zátěže.

Strategy	Nejlepší pro	Jak to funguje
Zobrazení funkcí (doporučeno)	Nejnovější projekty, časově omezené agregace a funkce streamování.	Definujte funkce deklarativně jako objekty Unity Catalog Feature. Databricks vytváří a spravuje pipeline příznaků. Můžete experimentovat s lokálně definovanými atributy v notebooku před jejich registrací a materializovat pipeline atributů. Stream Feature Views podporují aktuální data funkcí s latencí kratší než jedna sekunda s přímým zápisem z režimu Real-time do Online Feature Store.
Tabulky funkcí	Funkce, které vypočítáváte pomocí Lakeflow nebo Spark Declarative Pipelines, a pracovní zátěže, které vyžadují Delta Sharing, online obchod třetí strany nebo možnost vytváření obsahu dostupnou pouze ve verzi GA.	Zapisujte hodnoty vlastností do tabulky Delta v Unity Catalog, která má primární klíč. Vlastníte pipeline, která tabulku naplní a obnoví.

Vývoj funkcí

Vlastnost	Description
Zobrazení funkcí	Definujte a vypočítávejte příznaky deklarativně pomocí Feature Views, včetně časově omezených agregací a streamovacích příznaků.
Materialize Feature Views	Materializujte pohledy na příznaky pro offline školení nebo online obsluhu.
Vyčistit hodnoty funkcí pro entity	Odstraňte materializované hodnoty příznaků vybraných entit z offline i online úložišť.
Tabulky funkcí v katalogu Unity	Vytváření a práce s tabulkami vlastností

Zjišťování a sdílení funkcí

Vlastnost	Description
Prozkoumání tabulek funkcí v katalogu Unity	Prozkoumejte a spravujte tabulky funkcí pomocí Průzkumníka katalogu a uživatelského rozhraní funkcí.
Použití značek s tabulkami funkcí a funkcemi v katalogu Unity	Pomocí jednoduchých párů klíč-hodnota můžete kategorizovat a spravovat tabulky funkcí a funkce.
Prozkoumání zobrazení funkcí v katalogu Unity	Projděte si definice zobrazení funkcí a stav materializace v uživatelském rozhraní Databricks.

Použití funkcí v pracovních postupech školení

Vlastnost	Description
Trénování modelů pomocí tabulek prvků	K trénování modelů použijte funkce.
Spojení funkcí k určitému bodu v čase	Pomocí časové správnosti vytvořte trénovací datovou sadu, která odráží hodnoty atributů v době, kdy bylo zaznamenáno pozorování štítku.
Rozhraní API Python pro přípravu funkcí	Referenční informace k rozhraní Python API

Poskytování funkcí

Vlastnost	Description
Úložiště funkcí Databricks Online	Poskytování dat funkcí online aplikacím a modelům strojového učení v reálném čase Využívá databricks Lakebase.
Obsluha modelu s automatickým vyhledáváním funkcí	Automatické vyhledávání hodnot funkcí z online obchodu
Tabulky funkcí Serve	Poskytování funkcí pro modely a aplikace mimo Databricks.
Výpočet vlastností na vyžádání	Vypočítejte hodnoty funkcí v době odvozování.

Zásady správného řízení a rodokmen funkcí

Vlastnost	Description
Zásady správného řízení a rodokmen funkcí	Pomocí katalogu Unity můžete řídit přístup k tabulkám funkcí a zobrazit rodokmen tabulky funkcí, modelu nebo funkce.

Tutorials

Tutorial	Description
Ukázkové poznámkové bloky, které vám pomůžou začít	Základní notebook Ukazuje, jak vytvořit tabulku funkcí, použít ji k trénování modelu a spuštění dávkového vyhodnocování pomocí automatického vyhledávání funkcí. Zobrazuje také uživatelské rozhraní pro inženýrství atributů pro vyhledávání funkcí a zobrazení původu. Ukázkový poznámkový blok pro taxi. Ukazuje proces vytváření funkcí, jejich aktualizace a jejich použití pro trénování modelu a dávkové odvozování.
Příklad: Nasazení a dotazování koncového bodu obsluhující funkce	Výukový materiál a ukázkový poznámkový blok předvádějící postup nasazení a dotazování koncového bodu funkčního servisu.
Příklad: Použití funkcí se strukturovanými aplikacemi RAG	Kurz ukazující, jak používat online tabulky Databricks a funkce obsluhující koncové body pro načítání aplikací rozšířené generace (RAG).

Požadavky

Pokud chcete používat úložiště funkcí Databricks, musí být váš pracovní prostor povolený pro katalog Unity. Pokud pro katalog Unity není povolený váš pracovní prostor, přečtěte si téma Úložiště funkcí pracovního prostoru (zastaralé).

Podporované datové typy

Úložiště funkcí Databricks a starší úložiště funkcí pracovního prostoru podporují následující datové typy PySpark:

• IntegerType
• FloatType
• BooleanType
• StringType
• DoubleType
• LongType
• TimestampType
• DateType
• ShortType
• ArrayType
• BinaryType [1]
• DecimalType [1]
• MapType [1]
• StructType [2]

[1] BinaryType, DecimalTypea MapType jsou podporovány ve všech verzích zpracování funkcí v katalogu Unity a v úložišti funkcí v pracovním prostoru verze 0.3.5 nebo vyšší. [2] StructType je podporován v Feature Engineering verze 0.6.0 nebo vyšší.

Datové typy uvedené výše podporují typy funkcí, které jsou běžné v aplikacích strojového učení. Příklad:

• Můžete ukládat zhuštěné vektory, tensory a vkládání jako ArrayType.
• Můžete ukládat řídké vektory, tensory a vkládání jako MapType.
• Text můžete uložit jako StringType.

Při publikování do online obchodů ArrayType a MapType funkce se ukládají ve formátu JSON.

Uživatelské rozhraní úložiště funkcí zobrazuje metadata u datových typů funkcí:

Více informací

Další informace o osvědčených postupech najdete v Komplexním průvodci pro úložiště funkcí.