Revisão de testes do Hyperopt
Ao usar o Hyperopt para tentar várias combinações de hiperparâmetros, convém revisar os detalhes de cada avaliação. Pode rever estes detalhes de duas formas:
- Exiba a execução do MLflow para cada avaliação.
- Use a classe Trials para capturar detalhes da execução.
Exibir a execução do MLflow para cada avaliação
No Azure Databricks, as chamadas para a função Hyperopt fmin geram automaticamente execuções de experimento MLflow que você pode exibir no portal do Azure Databricks, fornecendo uma maneira fácil de exibir o conjunto completo de hiperparâmetros e métricas para cada avaliação, conforme mostrado aqui:
Use a classe Trials
O Hyperopt inclui uma classe Trials que registra detalhes de cada avaliação executada durante uma chamada de função fmin. O exemplo de código a seguir mostra como usar o Trials classe.
from hyperopt import Trials
# Create a Trials object to track each run
trial_runs = Trials()
argmin = fmin(
fn=objective,
space=search_space,
algo=algo,
max_evals=100,
trials=trial_runs)
print("Best param values: ", argmin)
# Get details from each trial run
print ("trials:")
for trial in trial_runs.trials:
print ("\n", trial)
A saída de detalhes completos para uma coleção de ensaios é semelhante a este exemplo:
{'state': 2, 'tid': 0, 'spec': None, 'result': {'loss': -0.8571428571428571, 'status': 'ok'}, 'misc': {'tid': 0, 'cmd': ('domain_attachment', 'FMinIter_Domain'), 'workdir': None, 'idxs': {'Iterations': [0], 'Regularization': [0]}, 'vals': {'Iterations': [1], 'Regularization': [0.4965634473237057]}}, 'exp_key': None, 'owner': None, 'version': 0, 'book_time': datetime.datetime(2023, 3, 17, 22, 45, 24, 993000), 'refresh_time': datetime.datetime(2023, 3, 17, 22, 46, 30, 374000)}
{'state': 2, 'tid': 1, 'spec': None, 'result': {'loss': -0.8857142857142857, 'status': 'ok'}, 'misc': {'tid': 1, 'cmd': ('domain_attachment', 'FMinIter_Domain'), 'workdir': None, 'idxs': {'Iterations': [1], 'Regularization': [1]}, 'vals': {'Iterations': [9], 'Regularization': [0.8446551490616772]}}, 'exp_key': None, 'owner': None, 'version': 0, 'book_time': datetime.datetime(2023, 3, 17, 22, 46, 30, 379000), 'refresh_time': datetime.datetime(2023, 3, 17, 22, 47, 34, 155000)}
{'state': 2, 'tid': 2, 'spec': None, 'result': {'loss': -0.9523809523809523, 'status': 'ok'}, 'misc': {'tid': 2, 'cmd': ('domain_attachment', 'FMinIter_Domain'), 'workdir': None, 'idxs': {'Iterations': [2], 'Regularization': [2]}, 'vals': {'Iterations': [9], 'Regularization': [0.3931915704555482]}}, 'exp_key': None, 'owner': None, 'version': 0, 'book_time': datetime.datetime(2023, 3, 17, 22, 47, 34, 160000), 'refresh_time': datetime.datetime(2023, 3, 17, 22, 48, 45, 986000)}
...
Gorjeta
Para obter mais informações sobre os detalhes registrados pela classe Trials, consulte a documentação do Hyperopt.