Příprava a obsluha funkcí

Tato stránka popisuje možnosti přípravy funkcí a poskytování funkcí pro pracovní prostory, které jsou povolené pro katalog Unity. Pokud pro katalog Unity není povolený váš pracovní prostor, přečtěte si téma Úložiště funkcí pracovního prostoru (starší verze).

Proč používat Databricks jako úložiště funkcí?

S platformou Databricks Data Intelligence Platform probíhá celý pracovní postup trénování modelu na jedné platformě:

• Datové kanály, které ingestují nezpracovaná data, vytvářejí tabulky funkcí, trénují modely a provádějí dávkové odvozování. Při trénování a protokolování modelu pomocí přípravy funkcí v katalogu Unity se model zabalí s metadaty funkcí. Když použijete model pro dávkové vyhodnocování nebo online odvozování, automaticky načte hodnoty funkcí. Volající o nich nemusí vědět ani nezahrnovat logiku, aby vyhledal nebo připojil funkce pro určení skóre nových dat.
• Model a funkce obsluhující koncové body, které jsou dostupné jediným kliknutím a poskytují latenci v milisekundách
• Monitorování dat a modelů

Kromě toho platforma poskytuje následující:

• Zjišťovánífunkcích Funkce můžete procházet a vyhledávat v uživatelském rozhraní Databricks.
• Zásady správného řízení. Tabulky funkcí, funkce a modely se řídí katalogem Unity. Při trénování modelu dědí oprávnění z dat, na která byla natrénována.
• Rodokmen. Když v Azure Databricks vytvoříte tabulku funkcí, uloží se a zpřístupní zdroje dat použité k vytvoření tabulky funkcí. Pro každou funkci v tabulce funkcí máte také přístup k modelům, poznámkovým blokům, úlohám a koncovým bodům, které tuto funkci používají.
• Přístup mezi pracovními prostory Tabulky funkcí, funkce a modely jsou automaticky dostupné v jakémkoli pracovním prostoru, který má přístup k katalogu.

Požadavky

• Pro katalog Unity musí být povolený váš pracovní prostor.
• Příprava funkcí v katalogu Unity vyžaduje Databricks Runtime 13.3 LTS nebo vyšší.

Pokud váš pracovní prostor nesplňuje tyto požadavky, přečtěte si téma Úložiště funkcí pracovního prostoru (starší verze), kde se dozvíte, jak používat úložiště funkcí pracovního prostoru.

Jak funguje příprava funkcí na Databricks?

Typický pracovní postup strojového učení s využitím přípravy funkcí v Databricks se řídí tímto způsobem:

1. Napište kód pro převod nezpracovaných dat na funkce a vytvořte datový rámec Sparku obsahující požadované funkce.
2. Vytvořte tabulku Delta v katalogu Unity. Libovolná tabulka Delta s primárním klíčem je automaticky tabulkou funkcí.
3. Trénování a protokolování modelu pomocí tabulky funkcí Když to uděláte, uloží model specifikace funkcí používaných pro trénování. Když se model používá k odvozování, automaticky spojí funkce z příslušných tabulek funkcí.
4. Registrace modelu v registru modelů

Model teď můžete použít k předpovědím nových dat. V případě dávkového použití model automaticky načte funkce, které potřebuje, z úložiště funkcí.

Pro případy použití v reálném čase publikujte funkce do online tabulky. Podporují se také online obchody třetích stran. Podívejte se na online obchody třetích stran.

V době odvozování model čte předem vypočítané funkce z online obchodu a spojí je s daty poskytnutými v požadavku klienta na koncový bod obsluhující model.

Začínáme používat přípravu funkcí – ukázkové poznámkové bloky

Pokud chcete začít, vyzkoušejte tyto ukázkové poznámkové bloky. Základní poznámkový blok vás provede postupem vytvoření tabulky funkcí, jeho použití k trénování modelu a následnému dávkovému vyhodnocování pomocí automatického vyhledávání funkcí. Seznámí vás také s uživatelským rozhraním pro přípravu funkcí a ukáže, jak ho můžete použít k vyhledávání funkcí a pochopení toho, jak se vytvářejí a používají funkce.

Ukázkový poznámkový blok katalogu Unity s základními funkcemi

Získat poznámkový blok

Ukázkový poznámkový blok taxi znázorňuje proces vytváření funkcí, jejich aktualizace a jejich použití pro trénování modelu a dávkové odvozování.

Ukázkový poznámkový blok taxikář v Katalogu Unity

Získat poznámkový blok

Podporované datové typy

Příprava funkcí v katalogu Unity a úložišti funkcí pracovního prostoru podporují následující datové typy PySpark:

• IntegerType
• FloatType
• BooleanType
• StringType
• DoubleType
• LongType
• TimestampType
• DateType
• ShortType
• ArrayType
• BinaryType [1]
• DecimalType [1]
• MapType [1]
• StructType [2]

[1] BinaryTypeDecimalTypea MapType jsou podporovány ve všech verzích přípravy funkcí v katalogu Unity a v úložišti funkcí pracovních prostorů verze 0.3.5 nebo vyšší. [2] StructType je podporován v sadě Feature Engineering verze 0.6.0 nebo vyšší.

Datové typy uvedené výše podporují typy funkcí, které jsou běžné v aplikacích strojového učení. Příklad:

• Můžete ukládat zhuštěné vektory, tensory a vkládání jako ArrayType.
• Můžete ukládat řídké vektory, tensory a vkládání jako MapType.
• Text můžete uložit jako StringType.

Při publikování do online obchodů ArrayType a MapType funkce se ukládají ve formátu JSON.

Uživatelské rozhraní úložiště funkcí zobrazuje metadata u datových typů funkcí:

Více informací

Další informace o osvědčených postupech najdete v tématu Komplexní průvodce obchody s funkcemi.