Introdução
No aprendizado de máquina, algoritmos são usados para treinar modelos que preveem rótulos desconhecidos para novos dados com base em correlações entre rótulos conhecidos e recursos encontrados nos dados de treinamento. Dependendo do algoritmo usado, talvez seja necessário especificar hiperparâmetros para configurar como o modelo é treinado. Por exemplo, o algoritmo de regressão logística usa um hiperparâmetro de taxa de regularização para neutralizar o sobreajuste e os modelos de rede neural de aprendizagem profunda usam hiperparâmetros como a taxa de aprendizagem para controlar como os pesos são ajustados durante o treinamento.
Nota
Machine Learning é um campo acadêmico com sua própria terminologia particular. Os cientistas de dados referem-se aos valores determinados a partir dos recursos de treinamento como parâmetros, portanto, um termo diferente é necessário para valores que são usados para configurar o comportamento de treinamento, mas que não são derivados dos dados de treinamento - daí o termo hiperparâmetro.
Os valores de hiperparâmetro selecionados para um determinado algoritmo podem ter um efeito significativo no modelo que ele treina; Portanto, escolher os valores de hiperparâmetros certos pode fazer a diferença entre um modelo que prevê bem quando usado com novos dados e um modelo que não prevê.
No Azure Databricks, você pode usar a biblioteca Hyperopt para automatizar o ajuste de hiperparâmetros, um processo no qual você treina e avalia repetidamente modelos usando diferentes combinações de hiperparâmetros até encontrar os valores que funcionam melhor para seus dados.