Dobieranie cech na potrzeby uczenia transferowego
W tym artykule przedstawiono przykład cechowania uczenia transferowego przy użyciu funkcji zdefiniowanej przez użytkownika biblioteki pandas.
Cechowanie uczenia transferowego w modelach DL
Usługa Azure Databricks obsługuje dobieranie cech za pomocą modeli uczenia głębokiego. Wstępnie wytrenowane modele uczenia głębokiego mogą służyć do obliczania funkcji do użycia w innych modelach podrzędnych. Usługa Azure Databricks obsługuje dobieranie cech na dużą skalę, rozdzielając obliczenia w klastrze. Cechowanie można wykonywać za pomocą bibliotek uczenia głębokiego zawartych w środowisku Databricks Runtime ML, w tym TensorFlow i PyTorch.
Usługa Azure Databricks obsługuje również uczenie transferowe, technikę ściśle powiązaną z dobieraniem cech. Uczenie transferowe umożliwia ponowne wykorzystanie wiedzy z jednej domeny problemu w powiązanej domenie. Dobieranie cech jako takie jest prostą i wydajną metodą uczenia transferowego: funkcje obliczeniowe z wykorzystaniem wstępnie przeszkolonego modelu uczenia głębokiego przekazują wiedzę o dobrych funkcjach z oryginalnej domeny.
Procedura obliczania funkcji uczenia transferowego
W tym artykule pokazano, jak obliczać funkcje uczenia transferowego przy użyciu wstępnie wytrenowanego modelu TensorFlow przy użyciu następującego przepływu pracy:
- Zacznij od wstępnie wytrenowanego modelu uczenia głębokiego, w tym przypadku modelu klasyfikacji obrazów z usługi
tensorflow.keras.applications. - Obcinaj ostatnie warstwy modelu. Zmodyfikowany model tworzy tensor funkcji jako dane wyjściowe, a nie przewidywania.
- Zastosuj ten model do nowego zestawu danych obrazów z innej domeny problemu, funkcji obliczeniowych dla obrazów.
- Użyj tych funkcji, aby wytrenować nowy model. Poniższy notes pomija ten ostatni krok. Przykłady trenowania prostego modelu, takiego jak regresja logistyczna, można znaleźć w temacie Train AI and ML models (Trenowanie modeli sztucznej inteligencji i uczenia maszynowego).
Przykład: używanie funkcji zdefiniowanych przez użytkownika biblioteki pandas do cechowania
W poniższym notesie użyto funkcji zdefiniowanych przez użytkownika biblioteki pandas do wykonania kroku cechowania. Funkcje zdefiniowane przez użytkownika biblioteki pandas i ich nowszy wariant scalar iterator pandas uDF oferują elastyczne interfejsy API, obsługują dowolną bibliotekę uczenia głębokiego i zapewniają wysoką wydajność.