Vytváření příznaků pro přenesené učení

Tento článek poskytuje příklad zpracování funkcí pro transferové učení pomocí pandas UDFs.

Featurizace pro přenos učení v modelech DL

Azure Databricks podporuje featurizaci pomocí modelů hlubokého učení. Předem natrénované modely hlubokého učení se dají použít k výpočetním funkcím pro použití v jiných podřízených modelech. Azure Databricks podporuje featurizaci ve velkém měřítku a distribuci výpočtů napříč clusterem. Featurizaci můžete provádět pomocí knihoven hlubokého učení, které jsou součástí modulu Databricks Runtime ML, včetně TensorFlow a PyTorch.

Azure Databricks podporuje také přenesené učení, což je technika úzce související s extrakcí příznaků. Transferové učení umožňuje opakovaně využívat znalosti z jedné problémové oblasti v souvisejících oblastech. Samotná extrakce příznaků je jednoduchá a výkonná metoda pro transferové učení: výpočet příznaků pomocí předem natrénovaného modelu hlubokého učení přenáší znalosti o kvalitních příznacích z původní oblasti.

Postup výpočtu charakteristik pro transferové učení

Tento článek ukazuje, jak spočítat charakteristiky pro transferové učení pomocí předtrénovaného modelu TensorFlow podle následujícího pracovního postupu:

1. Začněte s předem natrénovaným modelem hloubkového učení, v tomto případě model klasifikace obrázků z tensorflow.keras.applications.
2. Zkraťte poslední vrstvu či vrstvy modelu. Upravený model vytváří tensor funkcí jako výstup, nikoli predikci.
3. Použijte tento model na novou datovou sadu obrázků z jiné problémové domény a výpočetní funkce pro obrázky.
4. Pomocí těchto funkcí můžete vytrénovat nový model. Následující poznámkový blok tento poslední krok vynechá. Příklady trénování jednoduchého modelu, jako je logistická regrese, najdete v tématu Trénování modelů AI a ML.

Příklad: Použití pandas UDF pro featurizaci

Následující poznámkový blok používá uživatelské definiční funkce (UDF) pandas k provedení kroku featurizace. UDF pandas a jejich novější variantní skalární iterator pandas UDF nabízejí flexibilní rozhraní API, podporují jakoukoli knihovnu hlubokého učení a poskytují vysoký výkon.

Featurizace a přenos učení pomocí TensorFlow

Pořídit si poznámkový blok