Caracterização para transferência de aprendizagem
Este artigo fornece um exemplo de featurização para aprendizagem de transferência usando pandas UDFs.
Featurização para aprendizagem por transferência em modelos de DL
O Azure Databricks suporta a caracterização com modelos de aprendizagem profunda. Modelos de aprendizagem profunda pré-treinados podem ser usados para calcular recursos para uso em outros modelos downstream. O Azure Databricks suporta a caracterização em escala, distribuindo a computação por um cluster. Você pode executar a featurização com bibliotecas de aprendizado profundo incluídas no Databricks Runtime ML, incluindo TensorFlow e PyTorch.
O Azure Databricks também suporta a transferência de aprendizagem, uma técnica estritamente relacionada com a caracterização. A transferência de aprendizagem permite reutilizar conhecimentos de um domínio de problema noutro domínio parecido. A própria caracterização é um modelo simples, mas robusto, para a transferência de aprendizagem: o processamento de características mediante a utilização de um modelo de aprendizagem profunda pré-preparado transfere conhecimentos sobre as características boas do domínio original.
Etapas para calcular recursos para transferir aprendizagem
Este artigo demonstra como calcular recursos para transferência de aprendizagem usando um modelo TensorFlow pré-treinado, usando o seguinte fluxo de trabalho:
- Comece com um modelo de aprendizagem profunda pré-treinado, neste caso um modelo de classificação de imagem da
tensorflow.keras.applications. - Truncar a(s) última(s) camada(s) do modelo. O modelo modificado produz um tensor de recursos como saída, em vez de uma previsão.
- Aplique esse modelo a um novo conjunto de dados de imagem de um domínio de problema diferente, recursos de computação para as imagens.
- Use esses recursos para treinar um novo modelo. O bloco de notas seguinte omite este passo final. Para obter exemplos de treinamento de um modelo simples, como regressão logística, consulte Treinar modelos de IA e ML.
Exemplo: Use pandas UDFs para featurização
O bloco de anotações a seguir usa pandas UDFs para executar a etapa de featurização. Os pandas UDFs, e sua variante mais recente Scalar Iterator pandas UDFs, oferecem APIs flexíveis, suportam qualquer biblioteca de aprendizado profundo e oferecem alto desempenho.