Úložiště funkcí Databricks

Tato stránka je přehledem funkcí dostupných při použití úložiště funkcí Databricks s katalogem Unity.

Úložiště funkcí Databricks poskytuje centrální registr pro funkce používané v modelech AI a ML. Tabulky a modely funkcí jsou zaregistrované v katalogu Unity, které poskytují integrované zásady správného řízení, rodokmen a sdílení a zjišťování funkcí mezi pracovními prostory. S Databricks probíhá celý pracovní postup trénování modelu na jedné platformě, včetně:

• Datové kanály, které ingestují nezpracovaná data, vytvářejí tabulky funkcí, trénují modely a provádějí dávkové odvozování.
• Model a funkce obsluhující koncové body, které jsou dostupné jediným kliknutím a poskytují latenci v milisekundách
• Monitorování dat a modelů

Když k trénování modelů používáte funkce z úložiště funkcí Databricks, model automaticky sleduje rodokmen funkcí používaných při trénování. V době odvozování model automaticky vyhledá nejnovější hodnoty funkcí. Úložiště funkcí Databricks také poskytuje výpočty funkcí na vyžádání pro aplikace v reálném čase, které zpracovávají všechny úlohy výpočtů funkcí. Tím se eliminují rozdíly mezi trénováním a použitím modelu, což zajišťuje, že výpočty příznaků použité při odvozování jsou stejné jako ty, které byly použity při trénování modelu. Také výrazně zjednodušuje kód na straně klienta, protože všechna vyhledávání funkcí a výpočty jsou zpracovávány úložištěm funkcí Databricks.

Poznámka:

Tato stránka popisuje Databricks Feature Store pro pracovní prostory, které jsou povoleny s Unity Catalogem. Pokud pro katalog Unity není povolený váš pracovní prostor, přečtěte si téma Úložiště funkcí pracovního prostoru (zastaralé).

Koncepční přehled

Přehled fungování úložiště funkcí Databricks a glosář termínů najdete v tématu Přehled úložiště funkcí a glosář.

Vývoj funkcí

Vlastnost	Description
Tabulky funkcí	Vytváření a práce s tabulkami vlastností

Zjišťování a sdílení funkcí

Vlastnost	Description
Prozkoumání funkcí v katalogu Unity	Prozkoumejte a spravujte tabulky funkcí pomocí Průzkumníka katalogu a uživatelského rozhraní funkcí.
Použití značek s tabulkami funkcí a funkcemi v katalogu Unity	Pomocí jednoduchých párů klíč-hodnota můžete kategorizovat a spravovat tabulky funkcí a funkce.

Použití funkcí v pracovních postupech školení

Vlastnost	Description
Trénování modelů pomocí tabulek prvků	K trénování modelů použijte funkce.
Spojení funkcí k určitému bodu v čase	Pomocí časové správnosti vytvořte trénovací datovou sadu, která odráží hodnoty atributů v době, kdy bylo zaznamenáno pozorování štítku.
API Python	Referenční informace k rozhraní Python API

Poskytování funkcí

Vlastnost	Description
Úložiště funkcí Databricks Online	Poskytování dat funkcí online aplikacím a modelům strojového učení v reálném čase Využívá databricks Lakebase.
Obsluha modelu s automatickým vyhledáváním funkcí	Automatické vyhledávání hodnot funkcí z online obchodu
Koncové body pro nasazení funkcí	Poskytování funkcí pro modely a aplikace mimo Databricks.
Výpočet vlastností na vyžádání	Vypočítejte hodnoty funkcí v době odvozování.

Zásady správného řízení a rodokmen funkcí

Vlastnost	Description
Zásady správného řízení a rodokmen funkcí	Pomocí katalogu Unity můžete řídit přístup k tabulkám funkcí a zobrazit rodokmen tabulky funkcí, modelu nebo funkce.

Tutorials

Tutorial	Description
Ukázkové poznámkové bloky, které vám pomůžou začít	Základní notebook Ukazuje, jak vytvořit tabulku funkcí, použít ji k trénování modelu a spuštění dávkového vyhodnocování pomocí automatického vyhledávání funkcí. Zobrazuje také uživatelské rozhraní pro inženýrství atributů pro vyhledávání funkcí a zobrazení původu. Ukázkový poznámkový blok pro taxi. Ukazuje proces vytváření funkcí, jejich aktualizace a jejich použití pro trénování modelu a dávkové odvozování.
Příklad: Nasazení a dotazování koncového bodu obsluhující funkce	Výukový materiál a ukázkový poznámkový blok předvádějící postup nasazení a dotazování koncového bodu funkčního servisu.
Příklad: Použití funkcí se strukturovanými aplikacemi RAG	Kurz ukazující, jak používat online tabulky Databricks a funkce obsluhující koncové body pro načítání aplikací rozšířené generace (RAG).

Požadavky

Pokud chcete používat úložiště funkcí Databricks, musí být váš pracovní prostor povolený pro katalog Unity. Pokud pro katalog Unity není povolený váš pracovní prostor, přečtěte si téma Úložiště funkcí pracovního prostoru (zastaralé).

Podporované datové typy

Úložiště funkcí Databricks a starší úložiště funkcí pracovního prostoru podporují následující datové typy PySpark:

• IntegerType
• FloatType
• BooleanType
• StringType
• DoubleType
• LongType
• TimestampType
• DateType
• ShortType
• ArrayType
• BinaryType [1]
• DecimalType [1]
• MapType [1]
• StructType [2]

[1] BinaryType, DecimalTypea MapType jsou podporovány ve všech verzích zpracování funkcí v katalogu Unity a v úložišti funkcí v pracovním prostoru verze 0.3.5 nebo vyšší. [2] StructType je podporován v Feature Engineering verze 0.6.0 nebo vyšší.

Datové typy uvedené výše podporují typy funkcí, které jsou běžné v aplikacích strojového učení. Příklad:

• Můžete ukládat zhuštěné vektory, tensory a vkládání jako ArrayType.
• Můžete ukládat řídké vektory, tensory a vkládání jako MapType.
• Text můžete uložit jako StringType.

Při publikování do online obchodů ArrayType a MapType funkce se ukládají ve formátu JSON.

Uživatelské rozhraní úložiště funkcí zobrazuje metadata u datových typů funkcí:

Více informací

Další informace o osvědčených postupech najdete v Komplexním průvodci pro úložiště funkcí.