Episódio
Otimização Bayesiana com Redes Neurais Bayesianas Robustas
com o Jost Tobias Springenberg
A otimização bayesiana é um método proeminente para otimizar funções caras para avaliar funções de caixa preta que é proeminentemente aplicado para ajustar os hiperparâmetros de algoritmos de aprendizado de máquina. Apesar de seus sucessos, a abordagem de otimização bayesiana prototípica - usando modelos de processo gaussianos - não se dimensiona bem para muitos hiperparâmetros ou muitas avaliações de funções. Atacar essa falta de escalabilidade e flexibilidade é, portanto, um dos principais desafios do campo. Apresentamos uma abordagem geral para o uso de modelos paramétricos flexíveis (redes neurais) para otimização bayesiana, mantendo-se o mais próximo possível de um tratamento verdadeiramente bayesiano. Obtemos escalabilidade através do gradiente estocástico hamiltoniano Monte Carlo, cuja robustez melhoramos através de uma adaptação de escala. Experimentos incluindo otimização bayesiana multitarefa com 21 tarefas, otimização paralela de redes neurais profundas e aprendizagem profunda por reforço mostram o poder e a flexibilidade dessa abordagem.
A otimização bayesiana é um método proeminente para otimizar funções caras para avaliar funções de caixa preta que é proeminentemente aplicado para ajustar os hiperparâmetros de algoritmos de aprendizado de máquina. Apesar de seus sucessos, a abordagem de otimização bayesiana prototípica - usando modelos de processo gaussianos - não se dimensiona bem para muitos hiperparâmetros ou muitas avaliações de funções. Atacar essa falta de escalabilidade e flexibilidade é, portanto, um dos principais desafios do campo. Apresentamos uma abordagem geral para o uso de modelos paramétricos flexíveis (redes neurais) para otimização bayesiana, mantendo-se o mais próximo possível de um tratamento verdadeiramente bayesiano. Obtemos escalabilidade através do gradiente estocástico hamiltoniano Monte Carlo, cuja robustez melhoramos através de uma adaptação de escala. Experimentos incluindo otimização bayesiana multitarefa com 21 tarefas, otimização paralela de redes neurais profundas e aprendizagem profunda por reforço mostram o poder e a flexibilidade dessa abordagem.
Tem comentários? Submeta um problema aqui.