Aplicação de equações diferencias estocásticas em problemas de otimização

Resumo

Aprendizado profundo é uma subárea de aprendizado de máquinas, cujo objeto de estudo é redes neurais e suas diversas arquiteturas. Uma rede neural possui diversos neurônios artificiais, que recebem várias entradas e fornecem como saída uma soma ponderada dessas entradas. O resultado obtido é passado por uma função de ativação não linear. É desejado que a rede neural capture características dos dados, sendo capaz de generalizar para um conjunto de dados não conhecido. De modo a ter um bom desempenho, torna-se necessário otimizar os pesos da rede. Um modo de otimizar a função desses pesos é aplicar métodos baseados em equações diferenciais ordinárias (EDOs). Contudo, esses métodos utilizam características locais, analisando o comportamento da função ao longo da trajetória de um sistema de EDOs. Assim, tais métodos podem ficar presos em mínimos locais. Como alternativa, podemos usar métodos que utilizam equações diferenciais estocásticas (EDEs). Nesse contexto, o presente trabalho exibe uma revisão de literatura de equações diferenciais estocásticas, abordando integrais estocásticas, Lema de Itô, equação de Fokker-Planck, métodos numéricos, tipos de convergência e estabilidade. Ademais, o trabalho apresenta um método, utilizando EDE, para otimizar funções $f: \mathbb{R}^n \rightarrow \mathbb{R}$. O método é testado em quatro funções e os resultados são satisfatórios. Em todos os cenários, o método foi capaz de retornar o mínimo global da função.

Ficha do documento

Tipo

Outro

Ano

2023

Instituição

Fundação Getulio Vargas

Fonte

Repositório da FGV

Idioma

Português

Acesso

Acesso aberto

Identificador

oai:repositorio.fgv.br:10438/35401

Temas

Dados

Palavras-chave

Equação diferencial estocásticaOtimizaçãoMínimoStochastic differential equationOptimizationGlobal minimumMatemáticaEquações diferenciais estocásticasOtimização matemáticaAprendizado do computador